讓自動(dòng)駕駛系統(tǒng)適應(yīng)新環(huán)境和不同地區(qū)的習(xí)慣和法規(guī)是自動(dòng)駕駛領(lǐng)域長期面臨的挑戰(zhàn)。NVIDIA Research 團(tuán)隊(duì)提出的自動(dòng)駕駛智能體 LLaDA 能夠利用 LLM 生成適應(yīng)不同環(huán)境的駕駛策略和指令，為駕駛員和自動(dòng)駕駛汽車提供多語言和地區(qū)交通規(guī)則的實(shí)時(shí)指導(dǎo)，幫助他們更輕松地在陌生的地方導(dǎo)航。此外，LLaDA 還能幫助自動(dòng)駕駛汽車重新規(guī)劃出與當(dāng)?shù)丨h(huán)境更加匹配的運(yùn)動(dòng)軌跡，調(diào)整自動(dòng)駕駛汽車的運(yùn)動(dòng)規(guī)劃策略。相關(guān)論文成果收錄于?CVPR 2024?。
然而，LLaDA 無法實(shí)現(xiàn)場(chǎng)景的自動(dòng)識(shí)別，且對(duì)場(chǎng)景描述的質(zhì)量有著較高要求。盡管 GPT-4V 能夠提供這種描述，但是卻不夠準(zhǔn)確。為此，NVIDIA Research 提出一個(gè)創(chuàng)新的自動(dòng)化視頻字幕生成框架 Wolf。Wolf 采用專家混合方法，利用視覺語言模型(VLMs)的互補(bǔ)優(yōu)勢(shì)，能夠提升自動(dòng)駕駛智能體的場(chǎng)景理解能力。
此外，LLaDA 通常是與用戶直接交互，并主要處理文本信息。相比之下，自動(dòng)駕駛系統(tǒng)則需要提供具體的位置和軌跡規(guī)劃信息。基于這些差異，NVIDIA Research 團(tuán)隊(duì)專為自動(dòng)駕駛領(lǐng)域設(shè)計(jì)出一種多模態(tài)大型語言模型（MM-LLM）TOKEN。TOKEN 通過將復(fù)雜的交通環(huán)境轉(zhuǎn)化為對(duì)象級(jí)別的知識(shí)單元，增強(qiáng)了自動(dòng)駕駛車輛在面對(duì)長尾事件時(shí)的規(guī)劃能力。該模型還結(jié)合了端到端駕駛模型的優(yōu)勢(shì)，解決了數(shù)據(jù)稀缺和標(biāo)記化效率低下的問題。相關(guān)論文收錄于?CoRL 2024?。
在上述背景下，智猩猩與 NVIDIA 策劃推出「智猩猩公開課 NVIDIA 自動(dòng)駕駛智能體專場(chǎng)」，并將于10月22日以視頻直播形式進(jìn)行。公開課邀請(qǐng)到?LLaDA 論文第一作者、NVIDIA Research 自動(dòng)駕駛方向研究科學(xué)家李柏依進(jìn)行主講，主題為《探索基于多模態(tài)LLM 的自動(dòng)駕駛智能體》。
李柏依博士首先會(huì)重點(diǎn)講解 LLaDA 如何利用 LLM 生成適應(yīng)不同環(huán)境的駕駛策略和指令；之后會(huì)解讀如何使用 Wolf 框架生成字幕提升智能體的場(chǎng)景理解能力。接下來，李柏依博士會(huì)講解如何基于 TOKEN 分解復(fù)雜交通場(chǎng)景提升智能體在長尾事件的規(guī)劃能力，最后會(huì)分享在自動(dòng)駕駛智能體上的未來研究方向，并進(jìn)行展望。
公開課信息
?主 題?
《探索基于多模態(tài) LLM 的自動(dòng)駕駛智能體》
?提 綱
1、LLaDA 利用 LLM 生成適應(yīng)不同環(huán)境的駕駛策略和指令
2、使用 Wolf 框架生成字幕提升智能體的場(chǎng)景理解能力
3、基于 TOKEN 分解復(fù)雜交通場(chǎng)景提升智能體在長尾事件的規(guī)劃能力
4、未來研究方向與展望
主 講 人
李柏依，NVIDIA Research 自動(dòng)駕駛方向研究科學(xué)家
李柏依是 NVIDIA 自動(dòng)駕駛汽車研究小組的一名研究科學(xué)家。博士畢業(yè)于康奈爾大學(xué)，師從Serge Belongie 教授 和 Kilian Q. Weinberger 教授。她對(duì)計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和多媒體藝術(shù)感興趣，研究重點(diǎn)是多模態(tài)與數(shù)據(jù)高效的機(jī)器學(xué)習(xí)。
?直 播 時(shí) 間
北京時(shí)間10月22日上午10點(diǎn)
報(bào)名方式
對(duì)此次公開課感興趣的朋友，可以掃描下方二維碼添加小助手小艾進(jìn)行報(bào)名。已經(jīng)添加小艾的老朋友，可以給小艾私信，發(fā)送“自動(dòng)駕駛智能體”即可報(bào)名。我們會(huì)為報(bào)名成功的朋友推送直播鏈接。
同時(shí)，本次公開課也組建了交流群，直播開始前會(huì)邀請(qǐng)相關(guān)朋友入群交流。
