近年來，基于激光雷達(dá)的場景生成技術(shù)正在迅速發(fā)展，但現(xiàn)有方法主要是生成靜態(tài)和單幀場景，忽略了真實(shí)駕駛環(huán)境固有的動(dòng)態(tài)特性。
為此，上海AI Lab聯(lián)合CMU、NUS等提出一個(gè)4D動(dòng)態(tài)場景生成框架DynamicCity，該框架能夠生成大規(guī)模、高質(zhì)量的動(dòng)態(tài)4D點(diǎn)云場景。其中，CMU碩士在讀、上海AI Lab科研實(shí)習(xí)生卞恒瑋為論文一作，新加坡國立大學(xué)博士在讀、上海AI Lab科研實(shí)習(xí)生孔令東為論文二作。
DynamicCity框架采用了VAE模型學(xué)習(xí)HexPlane作為緊湊的4D表示，結(jié)合新提出的投影模塊和擴(kuò)展壓縮策略，顯著提升了HexPlane的擬合質(zhì)量、重建效率和精度。該框架還引入了“HexPlane展開”操作，結(jié)合基于DiT的擴(kuò)散模型實(shí)現(xiàn)了HexPlane生成。
此外，DynamicCity框架通過條件化生成與HexPlane操控，支持多樣化的4D動(dòng)態(tài)場景生成應(yīng)用，例如軌跡驅(qū)動(dòng)生成 (trajectory-guided?generation)、命令控制生成 (command-controlled generation) 、場景布局條件生成 (layout-conditioned generation) 以及場景和物體inpainting等，展現(xiàn)了優(yōu)異的4D場景生成性能和廣泛的應(yīng)用前景。
1月23日晚上7點(diǎn)，智猩猩邀請(qǐng)到卡耐基梅隆大學(xué)碩士在讀、上海人工智能實(shí)驗(yàn)室科研實(shí)習(xí)生，以及新加坡國立大學(xué)博士在讀、上海人工智能實(shí)驗(yàn)室科研實(shí)習(xí)生孔令東參與「智猩猩新青年講座自動(dòng)駕駛專題」第43講，主講《大規(guī)模4D自動(dòng)駕駛場景生成》。
講者
卞恒瑋，卡耐基梅隆大學(xué)碩士在讀、上海人工智能實(shí)驗(yàn)室科研實(shí)習(xí)生
卡耐基梅隆大學(xué)碩士研究生在讀，本科畢業(yè)于新加坡南洋理工大學(xué)。同期于上海人工智能實(shí)驗(yàn)室3D AIGC團(tuán)隊(duì)擔(dān)任科研實(shí)習(xí)生，導(dǎo)師是潘亮博士。研究方向?yàn)榇笠?guī)模3D場景生成。相關(guān)研究成果發(fā)表于CVPR、NeurIPS、MICCAI等國際會(huì)議中。
孔令東，新加坡國立大學(xué)博士在讀、上海人工智能實(shí)驗(yàn)室科研實(shí)習(xí)生
新加坡國立大學(xué)計(jì)算機(jī)系博士在讀，本科畢業(yè)于華南理工大學(xué)。于上海人工智能實(shí)驗(yàn)室、英偉達(dá)研究院、字節(jié)跳動(dòng)AI Lab等機(jī)構(gòu)進(jìn)行科研實(shí)習(xí)。研究方向?yàn)?D場景感知、理解與生成。相關(guān)研究成果發(fā)表于TPAMI、CVPR、ICCV、ECCV、NeurIPS、ICLR等國際期刊和會(huì)議中。
第 43 講
?主 題?
《大規(guī)模4D自動(dòng)駕駛場景生成》
?提 綱?
1、3D和4D生成概述
2、4D場景生成基礎(chǔ)知識(shí)
3、4D動(dòng)態(tài)場景生成框架DynamicCity
4、實(shí)驗(yàn)結(jié)果評(píng)估與分析
5、4D場景生成前景與應(yīng)用
?直 播 信 息?
直播時(shí)間：1月23日19:00
成果
論文標(biāo)題
《DynamicCity: Large-Scale LiDAR Generation from Dynamic Scenes》
論文鏈接
https://arxiv.org/abs/2410.18084
項(xiàng)目地址
https://dynamic-city.github.io
收錄情況
ICLR 2025 在投
如何報(bào)名
有講座直播觀看需求的朋友，可以添加小助手“陳新”進(jìn)行報(bào)名。已添加過“陳新”的老朋友，可以給“陳新”私信，發(fā)送“自動(dòng)駕駛43”進(jìn)行報(bào)名。對(duì)于通過報(bào)名的朋友，之后將邀請(qǐng)入群進(jìn)行觀看和交流。
