「智猩猩AI新青年講座」由智猩猩出品,致力于邀請(qǐng)青年學(xué)者,主講他們?cè)谏墒紸I、LLM、AI Agent、CV等人工智能領(lǐng)域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑,將可以幫助大家增進(jìn)對(duì)人工智能前沿研究的理解,相應(yīng)領(lǐng)域的專(zhuān)業(yè)知識(shí)也能夠得以積累加深。同時(shí),通過(guò)與AI新青年的直接交流,大家在AI學(xué)習(xí)和應(yīng)用AI的過(guò)程中遇到的問(wèn)題,也能夠盡快解決。

目前,將單目視頻中的內(nèi)容從其它視角渲染出來(lái)仍然是一個(gè)具有挑戰(zhàn)性的問(wèn)題。對(duì)于靜態(tài)場(chǎng)景,研究人員提出了針對(duì)場(chǎng)景的特定優(yōu)化技術(shù)和通用的優(yōu)化技術(shù)。相比之下,對(duì)于動(dòng)態(tài)場(chǎng)景,只存在特定場(chǎng)景的優(yōu)化技術(shù),目前還沒(méi)有針對(duì)給定單目視頻的動(dòng)態(tài)新視圖合成的通用方法。

針對(duì)以上問(wèn)題,伊利諾伊大學(xué)厄巴納-香檳分校在讀博士趙曉明在Apple實(shí)習(xí)期間提出了基于現(xiàn)有技術(shù)的解決思路。并且發(fā)現(xiàn)在幾何和時(shí)間上進(jìn)行一致性深度估計(jì)條件下,存在非場(chǎng)景特定外觀優(yōu)化的動(dòng)態(tài)視圖合成偽廣義方法。相關(guān)論文為《Pseudo-Generalized Dynamic View Synthesis from a Video》,已收錄于ICLR 2024。

ICLR’24收錄!Apple實(shí)習(xí)研究成果:從單目視頻中合成動(dòng)態(tài)新視圖 | UIUC趙曉明講座預(yù)告

為了較大程度上減少場(chǎng)景特定的優(yōu)化的需求,設(shè)計(jì)一種通用的方法,將靜態(tài)和動(dòng)態(tài)內(nèi)容的渲染任務(wù)分別進(jìn)行。
對(duì)于動(dòng)態(tài)場(chǎng)景中的靜態(tài)部分,利用改進(jìn)預(yù)訓(xùn)練的基于Transformer的NeRF架構(gòu)(GNT)合成高質(zhì)量的渲染內(nèi)容。即在GNT中引入masked attention使其有效地區(qū)分動(dòng)態(tài)和靜態(tài)內(nèi)容,減少動(dòng)態(tài)內(nèi)容的影響,從而模型能夠更準(zhǔn)確地渲染靜態(tài)內(nèi)容。
對(duì)于動(dòng)態(tài)內(nèi)容的渲染,受以往工作的啟發(fā),提出了利用深度和時(shí)間數(shù)據(jù)先驗(yàn)探索通用的動(dòng)態(tài)新視圖合成方法。
通過(guò)實(shí)驗(yàn)證明,沒(méi)有場(chǎng)景特定外觀優(yōu)化的偽廣義過(guò)程是可能實(shí)現(xiàn)的,且提升了某些特定場(chǎng)景外觀優(yōu)化方法的合成視圖質(zhì)量。
ICLR’24收錄!Apple實(shí)習(xí)研究成果:從單目視頻中合成動(dòng)態(tài)新視圖 | UIUC趙曉明講座預(yù)告
6月25日10點(diǎn),智猩猩邀請(qǐng)到論文一作、伊利諾伊大學(xué)厄巴納-香檳分校在讀博士趙曉明參與「智猩猩AI新青年講座」241講,主講《從單目視頻中合成動(dòng)態(tài)新視圖》。
講者

趙曉明

伊利諾伊大學(xué)厄巴納-香檳分校在讀博士

主要研究方向?yàn)槿S視覺(jué),導(dǎo)師為Alexander Schwing教授;在ECCV、ICCV、 NeurIPS、ICLR 等頂級(jí)會(huì)議上發(fā)表多篇一作論文。

第241講

主 題
從單目視頻中合成動(dòng)態(tài)新視圖
提 綱
1、單目視頻視圖合成研究概述
2、動(dòng)態(tài)視圖合成任務(wù)面臨的問(wèn)題與解決思路
3、改進(jìn)基于Transformer的NeRF架構(gòu)以生成靜態(tài)渲染
4、利用深度和時(shí)間先驗(yàn)合成動(dòng)態(tài)內(nèi)容的偽廣義方法

直播信息

直播時(shí)間:6月25日10:00
直播地點(diǎn):智猩猩GenAI視頻號(hào)

成果

論文標(biāo)題
《Pseudo-Generalized Dynamic View Synthesis from a Video》
論文鏈接
https://arxiv.org/abs/2310.08587
項(xiàng)目網(wǎng)站
https://xiaomingzhao.github.io/projects/pgdvs

直播預(yù)約

本次講座將在智猩猩GenAI視頻號(hào)進(jìn)行直播,歡迎預(yù)約~

入群申請(qǐng)

本次講座也組建了學(xué)習(xí)群,講者將會(huì)加入交流,希望入群的朋友可以?huà)呙柘路蕉S碼,添加小助手米婭進(jìn)行報(bào)名。已添加過(guò)米婭的老朋友,可以給米婭私信,發(fā)送“241”即可申請(qǐng)入群。

ICLR’24收錄!Apple實(shí)習(xí)研究成果:從單目視頻中合成動(dòng)態(tài)新視圖 | UIUC趙曉明講座預(yù)告