導(dǎo)讀：
9月10日，由智猩猩聯(lián)合 NVIDIA 策劃推出的「智猩猩公開課 NVIDIA 端到端自動駕駛專場」順利完結(jié)。NVIDIA 自動駕駛團(tuán)隊深度學(xué)習(xí)和計算機(jī)視覺方向的李臻欣以《探索端到端自動駕駛規(guī)劃新范式》為主題進(jìn)行了直播講解。
本次公開課聚焦 NVIDIA 研究團(tuán)隊今年提出的新型端到端自動駕駛框架 Hydra-MDP 。該框架在 CVPR 2024 NAVSIM（大規(guī)模端到端駕駛）挑戰(zhàn)賽中，獲得了第一名和創(chuàng)新獎，并且在 nuPlan 基準(zhǔn)測試中的表現(xiàn)優(yōu)于當(dāng)前最先進(jìn)的規(guī)劃器。Hydra-MDP 的出現(xiàn)，為基于機(jī)器學(xué)習(xí)的規(guī)劃系統(tǒng)在自動駕駛中的應(yīng)用開辟出一條前景廣闊的道路，有望推動端到端自動駕駛的大規(guī)模實現(xiàn)。
在此次公開課中，李臻欣首先介紹了 UniAD、VAD、BEV-Planner、PDM-Planner 四種端到端模型的特點(diǎn)，并對開環(huán)端到端規(guī)劃面臨的諸多問題進(jìn)行了總結(jié)，包括對自車狀態(tài)過分依賴、數(shù)據(jù)集不平衡、開環(huán)的規(guī)劃不考慮誤差的累計，等等。之后，他對? CVPR 2024 NAVSIM 挑戰(zhàn)賽的背景進(jìn)了簡要介紹。
在接下來的講解中，李臻欣針對當(dāng)前端到端模型采用的“單模態(tài)規(guī)劃 + 單目標(biāo)學(xué)習(xí)”、“多模態(tài)規(guī)劃 + 單目標(biāo)學(xué)習(xí)規(guī)劃”這兩種主流范式的特點(diǎn)及其存在的問題，進(jìn)行了對比分析。之后他重點(diǎn)對 Hydra-MDP 提出的“多模式規(guī)劃+多目標(biāo)學(xué)習(xí)”這一新規(guī)劃范式進(jìn)行了重點(diǎn)講解。
最后，李臻欣從感知網(wǎng)絡(luò)、軌跡解碼器和多目標(biāo)、多頭蒸餾模塊三部分對 Hydra-MDP 的模型架構(gòu)進(jìn)行了深入講解，并通過試驗數(shù)據(jù)展示了 Hydra-MDP 在 NAVSIM Benchmark 上的性能，及其在地圖結(jié)構(gòu)理解、長尾物體超越和駕駛員不確定意圖處理場景下的表現(xiàn)。
目前，此次公開課的課件PPT已上傳至本公眾號【智猩猩】，大家可以在后臺回復(fù)關(guān)鍵詞“端到端”進(jìn)行獲取和學(xué)習(xí)。
完整回放
錯過本次公開課直播的朋友，可以點(diǎn)擊鏈接觀看「智猩猩公開課 NVIDIA 端到端自動駕駛專場」完整回放。
https://wqpoq.xetlk.com/sl/3UXIkG
精選PPT
相關(guān)資料
論文標(biāo)題
《Hydra-MDP: End-to-end Multimodal Planning with Multi-target Hydra-Distillation》
論文鏈接
https://arxiv.org/abs/2406.06978
項目地址
https://github.com/NVlabs/Hydra-MDP
NVIDIA博客
https://mp.weixin.qq.com/s/902mxeh6rijC8xCdE9RGkw
