端到端自動(dòng)駕駛目前逐漸被認(rèn)為是實(shí)現(xiàn)完全自動(dòng)駕駛的最優(yōu)解,受到了學(xué)術(shù)界和產(chǎn)業(yè)界的廣泛關(guān)注。然而,最近的研究表明,近年來涌現(xiàn)的不少端到端自動(dòng)駕駛模型,在規(guī)劃范式上存在一定問題。

近期,NVIDIA 研究團(tuán)隊(duì)提出了一種新型的端到端自動(dòng)駕駛框架 Hydra-MDP。在 CVPR 2024 NAVSIM(大規(guī)模端到端駕駛)挑戰(zhàn)賽中,Hydra-MDP 獲得了第一名和創(chuàng)新獎(jiǎng),并且在 nuPlan 基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)于當(dāng)前最先進(jìn)的規(guī)劃器。

Hydra-MDP 框架采用新穎的多教師、學(xué)生-教師知識(shí)蒸餾架構(gòu),整合了來自人類和基于規(guī)則的規(guī)劃器的知識(shí)。借助基于規(guī)則的教師知識(shí),Hydra-MDP 可以學(xué)習(xí)環(huán)境如何以端到端的方式影響規(guī)劃,而不是求助于無差別的后處理,使其在不同駕駛環(huán)境和條件下的通用性有了顯著提高。

CVPR’24 Navsim挑戰(zhàn)賽冠軍方案!NVIDIA Hydra-MDP:端到端自動(dòng)駕駛規(guī)劃新范式 | 公開課預(yù)告

有別于其他端到端模型所主要采用的“單模式規(guī)劃+單目標(biāo)學(xué)習(xí)”或“多模式規(guī)劃+單目標(biāo)學(xué)習(xí)”規(guī)劃范式,Hydra-MDP 開創(chuàng)了“多模式規(guī)劃+多目標(biāo)學(xué)習(xí)”這一全新規(guī)劃范式。
Hydra-MDP 將為基于機(jī)器學(xué)習(xí)的規(guī)劃系統(tǒng)在自動(dòng)駕駛中的應(yīng)用開辟一條前景廣闊的道路,有望推動(dòng)端到端自動(dòng)駕駛的大規(guī)模實(shí)現(xiàn)。

為了幫助開發(fā)者深入了解 Hydra-MDP 這一通用的端到端規(guī)劃范式,智猩猩聯(lián)合 NVIDIA 策劃推出「猩猩公開課 NVIDIA 端到端自動(dòng)駕駛專場(chǎng)」。公開課邀請(qǐng)到 Hydra-MDP 論文第一作者、NVIDIA 自動(dòng)駕駛團(tuán)隊(duì)深度學(xué)習(xí)和計(jì)算機(jī)視覺方向李臻欣于9月10日進(jìn)行直播講解,主題為《探索端到端自動(dòng)駕駛規(guī)劃新范式》。

在簡(jiǎn)要概述端到端自動(dòng)駕駛后,李臻欣將介紹CVPR 2024 NAVSIM挑戰(zhàn)賽的背景。接下來,他將對(duì)比分析端到端模型的規(guī)劃范式,重點(diǎn)探討如何運(yùn)用Hydra-MDP這一新范式實(shí)現(xiàn)大規(guī)模端到端駕駛。最后會(huì)對(duì)可視化效果進(jìn)行分析及總結(jié)。

CVPR’24 Navsim挑戰(zhàn)賽冠軍方案!NVIDIA Hydra-MDP:端到端自動(dòng)駕駛規(guī)劃新范式 | 公開課預(yù)告

公開課信息

主 題?

《探索端到端自動(dòng)駕駛規(guī)劃新范式》

提 綱?
1、端到端自動(dòng)駕駛概述
2、CVPR 2024 大規(guī)模端到端駕駛挑戰(zhàn)賽背景
3、端到端模型的規(guī)劃范式對(duì)比及問題
4、借助 Hydra-MDP 新范式實(shí)現(xiàn)大規(guī)模端到端駕駛
5、可視化分析及總結(jié)

?主 講 人?

李臻欣,NVIDIA 自動(dòng)駕駛團(tuán)隊(duì)深度學(xué)習(xí)和計(jì)算機(jī)視覺方向

復(fù)旦大學(xué)碩士生在讀,師從吳祖煊教授與姜育剛教授。在 NVIDIA 的主要研究興趣方向?yàn)?D 視覺與自動(dòng)駕駛。提出過 BEVNext、Hydra-MDP 工作。Hydra-MDP 方法在2024年的 CVPR Navsim 挑戰(zhàn)賽中獲得第一名。

?直 播 時(shí) 間?

9月10日 19:00

報(bào)名方式

對(duì)此次公開課感興趣的朋友,可以掃描下方二維碼添加小助手小艾進(jìn)行報(bào)名。已經(jīng)添加小艾的老朋友,可以給小艾私信,發(fā)送“端到端”即可報(bào)名。我們會(huì)為報(bào)名成功的朋友推送直播鏈接。

同時(shí),本次公開課也組建了交流群,直播開始前會(huì)邀請(qǐng)相關(guān)朋友入群交流。

CVPR’24 Navsim挑戰(zhàn)賽冠軍方案!NVIDIA Hydra-MDP:端到端自動(dòng)駕駛規(guī)劃新范式 | 公開課預(yù)告