「AI新青年講座」將邀請(qǐng)世界頂尖AI研究機(jī)構(gòu)和大學(xué)的科研新青年，主講他們?cè)谟?jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對(duì)人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專(zhuān)業(yè)知識(shí)也能夠得以積累加深。同時(shí)，通過(guò)與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過(guò)程中遇到的問(wèn)題，也能夠盡快解決。
有興趣分享學(xué)術(shù)成果的朋友，可以與智東西公開(kāi)課教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系。
GAN在2D圖像生成上大放異彩，但在3D場(chǎng)景上卻無(wú)能為力。有研究者提出了一種3D感知圖像合成模型，可以從多個(gè)視圖圖像中學(xué)習(xí)3D的場(chǎng)景表示，例如體素、NeRF等。其中，基于NeRF的方法引起人們的關(guān)注，也產(chǎn)生了許多科研成果。然而現(xiàn)有的方法存在一個(gè)關(guān)鍵的挑戰(zhàn)：無(wú)法保證視圖之間的幾何約束，導(dǎo)致無(wú)法生成多視圖一致的圖像。
悉尼科技大學(xué)ReLER Lab在讀博士張軒夢(mèng)等人對(duì)上述問(wèn)題進(jìn)行分析，提出多視角連貫性生成式對(duì)抗網(wǎng)絡(luò)MVCGAN。利用底層的三維幾何信息，解決視覺(jué)之間幾何約束的問(wèn)題，強(qiáng)制使圖像對(duì)的光度一致，來(lái)明確視圖之間的對(duì)應(yīng)關(guān)系，鼓勵(lì)模型推理出正確的3D形狀，并優(yōu)化訓(xùn)練過(guò)程，使生成器不僅可以學(xué)習(xí)到2D圖像的流形，還能保證底層3D的正確性。
此外，張軒夢(mèng)博士等還設(shè)計(jì)了一種兩階段訓(xùn)練策略，來(lái)生成具有精細(xì)細(xì)節(jié)的高分辨率圖像。數(shù)據(jù)表明，在CELEBA-HQ、FFHQ和AFHQv2三個(gè)數(shù)據(jù)集上，MVCGAN在3D感知圖像合成上達(dá)到了最先進(jìn)的性能。
7月20日晚6點(diǎn)，「AI新青年講座」第139講邀請(qǐng)到悉尼科技大學(xué)ReLER Lab在讀博士張軒夢(mèng)參與，主講《多視圖統(tǒng)一的3D感知圖像生成網(wǎng)絡(luò)MVCGAN》。
講者
張軒夢(mèng)，悉尼科技大學(xué)ReLER Lab在讀博士，師從楊易教授，研究方向?yàn)?D視覺(jué)，圖像生成和圖像檢索，曾在等學(xué)術(shù)競(jìng)賽CVPR AICITY Challenge中取得冠軍和亞軍，并在計(jì)算機(jī)視覺(jué)頂級(jí)會(huì)議CVPR發(fā)表過(guò)論文。
主題
《多視圖統(tǒng)一的3D感知圖像生成網(wǎng)絡(luò)MVCGAN》
提綱
1、3D圖像生成的研究背景
2、主流方法的優(yōu)劣勢(shì)比較
3、基于幾何約束的3D圖像生成網(wǎng)絡(luò)MVCGAN
4、多視圖的聯(lián)合優(yōu)化及應(yīng)用展示
直播信息
直播時(shí)間：7月20日18:00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)店鋪
成果
MVCGAN：《Multi-View Consistent Generative Adversarial Networks for 3D-aware Image Synthesis》
論文鏈接：https://arxiv.org/abs/2204.06307.pdf
開(kāi)源代碼：https://github.com/Xuanmeng-Zhang/MVCGAN
