「智猩猩AI新青年講座」由智猩猩出品，致力于邀請青年學(xué)者，主講他們在生成式AI、LLM、AI Agent、CV等人工智能領(lǐng)域的最新重要研究成果。
AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識也能夠得以積累加深。同時，通過與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過程中遇到的問題，也能夠盡快解決。
在生成建模技術(shù)進(jìn)步的推動下，三維生成建模領(lǐng)域取得了顯著的成果。但是現(xiàn)行的兩大類3D表示方法主要存在兩個問題：（1）基于擬合能力不足的隱式解碼器；（2）缺乏清晰定義的空間結(jié)構(gòu)難以與主流的3D擴(kuò)散技術(shù)融合。
針對以上問題，來自中科大、清華和微軟亞洲研究院的研究人員提出了一種具有強大擬合能力的顯式結(jié)構(gòu)化三維表示GaussianCube，并且可以無縫應(yīng)用于目前主流的3D擴(kuò)散模型中。相關(guān)論文為《GaussianCube: A Structured and Explicit Radiance Representation for 3D Generative Modeling》。
GaussianCube的框架包括兩個主要階段，如下圖所示：表示構(gòu)建和擴(kuò)散建模。
在表示構(gòu)建階段，首先對每個對象應(yīng)用密度約束的3DGS擬合算法，以對3D資產(chǎn)進(jìn)行高精度擬合，獲得固定數(shù)量的自由高斯。然后，利用在高斯點和預(yù)定義體素網(wǎng)格中心之間的最優(yōu)傳輸算法，將這些高斯點組織到所提出的空間結(jié)構(gòu)化的高斯立方體中，結(jié)構(gòu)化為 GaussianCube。
對于擴(kuò)散建模，由于GaussianCube 具備在空間上的結(jié)構(gòu)化組織關(guān)系、無需復(fù)雜的網(wǎng)絡(luò)或訓(xùn)練設(shè)計的優(yōu)勢，標(biāo)準(zhǔn)的3D卷積足以有效地提取和聚合鄰近高斯的特征。因此，使用三維擴(kuò)散模型來建模 GaussianCube的分布，利用標(biāo)準(zhǔn)的U-Net網(wǎng)絡(luò)進(jìn)行擴(kuò)散，并直接將原始的2D操作符（包括卷積、注意力、上采樣和下采樣）替換為相應(yīng)的3D操作。
實驗結(jié)果表明，GaussianCube相較之前的基線算法實現(xiàn)了大幅度的性能提升。不僅能夠生成高質(zhì)量的3D資產(chǎn)，而且還提供了極具吸引力的視覺效果，充分證明了其作為3D生成通用表示的巨大潛力。
7月25日10點，智猩猩邀請到論文一作、中國科學(xué)技術(shù)大學(xué)與微軟亞洲研究院聯(lián)合培養(yǎng)博士張博文參與「智猩猩AI新青年講座」245講，主講《結(jié)構(gòu)化3DGS為高質(zhì)量3D生成帶來新思路》。
講者
張博文
中國科學(xué)技術(shù)大學(xué)與微軟亞洲研究院聯(lián)合培養(yǎng)博士
目前主要研究方向為高質(zhì)量生成模型，包括2D圖像生成和3D數(shù)字資產(chǎn)生成等。曾在國際頂級會議上以第一作者的身份發(fā)表數(shù)篇論文，GitHub 開源項目星標(biāo)超1000，同時擔(dān)任?CVPR、ICCV、ECCV 等頂級會議審稿人。
第245講
主 題
結(jié)構(gòu)化3DGS為高質(zhì)量3D生成帶來新思路
提 綱
1、主流三維表示方法及在3D生成中的局限
2、利用密度約束高斯擬合和最優(yōu)傳輸算法構(gòu)建GaussianCube
3、基于GaussianCube的3D擴(kuò)散模型
4、GaussianCube生成結(jié)果展示以及未來展望
直播信息
直播時間：7月25日10:00
直播地點：智猩猩GenAI視頻號
成果
論文標(biāo)題
《GaussianCube: A Structured and Explicit Radiance Representation for 3D?Generative Modeling》
論文鏈接
https://arxiv.org/pdf/2403.19655
項目網(wǎng)站
https://gaussiancube.github.io/
同時，本次講座也組建了學(xué)習(xí)交流群。加入學(xué)習(xí)交流群，除了可以觀看直播，并提前拿到課件（限可以對外的課件）外，你還能結(jié)識更多算法研究人員，所提問題也會被講者優(yōu)先回答。
