「AI新青年講座」將邀請世界頂尖AI研究機構(gòu)和大學(xué)的科研新青年,主講他們在計算機視覺、機器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進對人工智能前沿研究的理解,相應(yīng)領(lǐng)域的專業(yè)知識也能夠得以積累加深。同時,通過與AI新青年的直接交流,大家在AI學(xué)習(xí)和應(yīng)用AI的過程中遇到的問題,也能夠盡快解決。

「AI新青年講座」目前已完結(jié)201講;有興趣分享學(xué)術(shù)成果的朋友,可以與智東西公開課教研團隊進行郵件(class@zhidx.com)聯(lián)系。

基于生成對抗式網(wǎng)絡(luò)(Generative Adversarial Network, GAN),除了能夠生成高分辨率、逼真的圖片之外,還能進行圖片個性化編輯、圖片動畫化等。但是,如何利用 GAN 進行視頻生成仍然是一個頗有挑戰(zhàn)的問題。當前基于GAN的視頻生成方法也有很多,比如MoCoGAN、MoCoGAN- HD、VideoGPT、DIGAN、LongVideoGAN、StyleGAN-V等。

然而如何有效并合理地建模時序關(guān)系,并能如何生成高質(zhì)量的任意長度(包括無限長)的視頻呢?在ICLR 2023上,來自香港中文大學(xué)、上海人工智能實驗室、螞蟻技術(shù)研究院以及加州大學(xué)洛杉磯分校的研究者提出了一個新的視頻生成方法StyleSV。

StyleSV采納了StyleGAN-V 的設(shè)計,并將其作為基準。針對不同跨度的時序關(guān)系:短時間(~5 幀)時序關(guān)系、中等長度(~5 秒)時序關(guān)系和無限長視頻生成,StyleSV也分別進行了細致的建模與改進。

StyleSV在三個數(shù)據(jù)集(YouTube Driving, Timelapse, Taichi-HD)上進行了充分的實驗,并充分對比了先前的工作。結(jié)果顯示,StyleSV在圖片質(zhì)量(FID)以及視頻質(zhì)量(FVD)上,都大幅度超越先前工作。同時,該工作也為基于 GAN 的視頻生成方向提供了一個簡單且有效的新基準。

4月7日晚6點,AI新青年講座第202講邀請到StyleSV一作、香港中文大學(xué)MMLab在讀博士章啟航參與,主講《基于GAN的任意長度高質(zhì)量視頻生成》。

講者
章啟航,香港中文大學(xué)MMLab在讀博士,合作導(dǎo)師為周博磊教授;研究方向圍繞embodied intelligence,包括場景生成與策略學(xué)習(xí),已在TPAMI、ECCV、CORL、ICLR上發(fā)表多篇論文。

第202講

主 題
《基于GAN的任意長度高質(zhì)量視頻生成》
提 綱
1、視頻生成的研究及經(jīng)典方法概述
2、長視頻生成的難點
3、針對短時、中等以及長時間跨度視頻建模方法
4、GAN視頻生成的挑戰(zhàn)及展望

直 播 信 息
直播時間:4月7日18:00
直播地點:智東西公開課知識店鋪

成果
《Towards Smooth Video Composition》
https://arxiv.org/pdf/2212.07413
https://github.com/genforce/StyleSV