「自動駕駛新青年講座」由智猩猩企劃，致力于邀請全球知名高校、頂尖研究機構(gòu)以及優(yōu)秀企業(yè)的新青年，主講在環(huán)境感知、精準(zhǔn)定位、決策規(guī)劃、控制執(zhí)行等自動駕駛關(guān)鍵技術(shù)上的最新研究成果和開發(fā)實踐。
使用生成模型來合成新數(shù)據(jù)已成為自動駕駛領(lǐng)域解決數(shù)據(jù)稀缺問題的重要途徑。然而現(xiàn)有方法雖能夠提升感知模型的性能，但卻未能改善端到端自動駕駛模型的規(guī)劃性能，因為生成的視頻通常少于8幀，且存在空間和時間的一致性的問題。
為此，理想汽車智駕團隊聯(lián)合西湖大學(xué)等提出了一種基于擴散模型的可控長視頻生成的方法Delphi。與Delphi相關(guān)的論文目前正處于NeurIPS 2024的投稿階段。其中，西湖大學(xué)助理教授于開丞老師為通訊作者，西湖大學(xué)和浙江大學(xué)聯(lián)培博士、理想汽車實習(xí)研究員馬恩慧為論文一作。
多視角長視頻生成方法Delphi主要包括以下兩個模塊來提升一致性：1） 具有跨多視圖的共享噪聲建模機制以增加空間一致性；2）特征對齊交互模塊以實現(xiàn)精確的可控性和時間一致性。該方法能夠生成多達40幀的視頻而不失去一致性，約為現(xiàn)有最先進方法的5倍。
此外，該團隊進一步設(shè)計了failure case驅(qū)動的框架來高效進行數(shù)據(jù)增強。通過多輪問詢策略，結(jié)合VLM分析失敗原因；利用定向多樣化生成策略，結(jié)合使用Delphi的可控生成能力，定向生成與failure case相關(guān)的場景。
實驗表明，Delphi生成的長視頻質(zhì)量更高，超越了現(xiàn)有最先進的方法。該方法通過僅生成訓(xùn)練集大小的4%數(shù)據(jù)，將碰撞率從0.33降低到0.27，改善了自動駕駛模型的感知和預(yù)測能力，并將端到端自動駕駛模型的規(guī)劃性能提升了25%。
8月23日晚7點，智猩猩邀請到論文一作、西湖大學(xué)和浙江大學(xué)聯(lián)培博士、理想汽車實習(xí)研究員馬恩慧參與「智猩猩自動駕駛新青年講座」第38講，主講《利用長視頻生成模型釋放端到端自動駕駛泛化性》。
講者
馬恩慧
西湖大學(xué)和浙江大學(xué)聯(lián)培博士、理想汽車實習(xí)研究員
馬恩慧博士目前是西湖大學(xué)和浙江大學(xué)聯(lián)培項目的一年級博士生，碩士畢業(yè)于天津大學(xué)智算學(xué)部。她的研究方向包括可控視頻生成，三維場景理解等，曾在ICCV學(xué)術(shù)會議上發(fā)表研究成果。
第 38 講
主 題
《利用長視頻生成模型釋放端到端自動駕駛泛化性》
提 綱
1、利用合成數(shù)據(jù)訓(xùn)練端到端自動駕駛模型存在的問題
2、基于擴散模型的多視角長視頻生成方法Delphi
3、利用failure-case驅(qū)動框架增強端到端模型泛化能力
4、nuScenes數(shù)據(jù)集上的實驗結(jié)果及Demo演示
直 播 信 息
直播時間：8月23日19:00
直播地點：智猩猩GenAI視頻號
成果
論文標(biāo)題
《Unleashing Generalization of End-to-End AutonomousDriving with Controllable Long Video Generation》
論文鏈接
https://arxiv.org/abs/2406.01349
項目地址
https://westlake-autolab.github.io/delphi.github.io/
直播預(yù)約
本次講座將在智猩猩GenAI視頻號進行直播，歡迎預(yù)約~
入群申請
本次講座組建了學(xué)習(xí)交流群。加入學(xué)習(xí)交流群，除了可以觀看直播，并提前拿到課件外，你還能結(jié)識更多研究人員和開發(fā)者，所提問題也將會優(yōu)先解答。
希望入群的朋友可以掃描下方二維碼，添加小助手陳新進行申請。已添加過陳新的老朋友，可以給陳新私信，發(fā)送“自動駕駛38”進行申請。
