世界模型被業(yè)內(nèi)認為是通往自動駕駛的唯一解。世界模型是真實世界的模擬，可以根據(jù)控制指令預測對應的未來并反饋給決策過程，從而有效地幫助智能體的訓練和測試。
上海人工智能實驗室OpenDriveLab聯(lián)合香港科技大學等研究人員構(gòu)建了迄今為止最大的公共駕駛數(shù)據(jù)集OpenDV-2K，其中包含超過2000小時的駕駛視頻，比廣泛使用的nuScenes數(shù)據(jù)集大374倍。基于OpenDV-2K還構(gòu)建了自動駕駛領域中第一個大規(guī)模視頻預測模型GenAD。該模型通過新穎的時間推理模塊處理駕駛場景中的挑戰(zhàn)性動態(tài)情況，超越了一般或駕駛特定的視頻預測模型，在真實世界駕駛應用中的巨大潛力。與GenAD相關(guān)的論文收錄于?CVPR 2024 Highlight。
此外，針對現(xiàn)有的駕駛世界模型在泛化到未見環(huán)境、關(guān)鍵細節(jié)的預測保真度以及靈活應用的動作可控性方面存在的局限性。香港科技大學聯(lián)合上海人工智能實驗室OpenDriveLab等研究人員又提出一種高質(zhì)量可控的通用自動駕駛世界模型Vista。與Vista相關(guān)的論文收錄于NeurIPS 2024。
Vista能夠在高時空分辨率下預測逼真的未來，通過捕捉動態(tài)和保持結(jié)構(gòu)的兩種新?lián)p失函數(shù)，以及詳盡的動態(tài)先驗以維持長時間滾動預測的一致性，其預測保真度得到了極大提升。此外，Vista的動作可控性還可以在零樣本的情況下泛化到不同領域。
Vista在多個數(shù)據(jù)集上進行了全面的實驗，驗證了其有效性。它優(yōu)于最具競爭力的通用視頻生成工具，并在nuScenes數(shù)據(jù)集上設立了新的最先進水平。實驗證據(jù)表明，Vista可以用作評估動作的獎勵函數(shù)(reward function)。
10月25日晚7點，智猩猩邀請到香港科技大學在讀博士、上海AI Lab OpenDriveLab實習研究員高深遠參與「智猩猩自動駕駛新青年講座」第40講，主講《構(gòu)建通用可泛化的自動駕駛世界模型》。
講者
高深遠，香港科技大學在讀博士、上海AI Lab OpenDriveLab實習研究員
香港科技大學在讀博士，研究興趣主要圍繞具身場景中的世界模型。曾在CVPR、NeurIPS、ECCV以第一作者身份發(fā)表多篇論文，并擔任TPAMI、ICLR、NeurIPS、CVPR等期刊會議的審稿人。
第 40 講
主 題
《構(gòu)建通用可泛化的自動駕駛世界模型
提綱
1. 世界模型的概念及其重要性
2. 現(xiàn)有自動駕駛世界模型及其局限性
3. 大規(guī)模自動駕駛長視頻數(shù)據(jù)集OpenDV-2K
4. 高質(zhì)量可控的自動駕駛世界模型Vista
5. 現(xiàn)存挑戰(zhàn)與未來展望
直 播 信 息?
直播時間：10月25日19:00
成果
論文標題
《GenAD: Generalized Predictive Model for Autonomous Driving》
《Vista: A Generalizable Driving World Model with High Fidelity and Versatile Controllability》
論文鏈接
https://arxiv.org/abs/2403.09630
https://arxiv.org/abs/2405.17398
如何報名
有講座直播觀看需求的朋友，可以添加小助手“陳新”進行報名。已添加過“陳新”的老朋友，可以給“陳新”私信，發(fā)送“自動駕駛40”進行報名。對于通過報名的朋友，之后將邀請入群進行觀看和交流。
