「自動(dòng)駕駛新青年講座」由智猩猩企劃，致力于邀請(qǐng)全球知名高校、頂尖研究機(jī)構(gòu)以及優(yōu)秀企業(yè)的新青年，主講在環(huán)境感知、精準(zhǔn)定位、決策規(guī)劃、控制執(zhí)行等自動(dòng)駕駛關(guān)鍵技術(shù)上的最新研究成果和開發(fā)實(shí)踐。
「自動(dòng)駕駛新青年講座」目前已完結(jié)31講。有興趣分享的朋友，可以與智猩猩教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系
在傳統(tǒng)的自動(dòng)駕駛系統(tǒng)中，往往需要復(fù)雜的規(guī)則和獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì)，而且受限于數(shù)據(jù)量和采樣效率，處理罕見事件是一大挑戰(zhàn)。此外，由于神經(jīng)網(wǎng)絡(luò)的黑盒特性，現(xiàn)有基于學(xué)習(xí)的自動(dòng)駕駛系統(tǒng)缺乏良好的可解釋性。
針對(duì)此問題，來自清華大學(xué)和香港大學(xué)的研究人員共同提出的一種新型類人智駕系統(tǒng) LanguageMPC，該系統(tǒng)將大語言模型（LLM）和模型預(yù)測控制（MPC）相結(jié)合，利用 LLM 像人一樣思考的能力，將人類常識(shí)和推理能力作為自動(dòng)駕駛系統(tǒng)決策的指導(dǎo)。同時(shí)，基于模型預(yù)測控制算法研究員們還開發(fā)了將 LLM 給出的高層決策轉(zhuǎn)化為具體駕駛行為的方法，將高層決策與底層控制器無縫結(jié)合，可與當(dāng)前各自動(dòng)駕駛大廠的 MPC 框架完美結(jié)合，無縫銜接。
LanguageMPC 的核心技術(shù)包括專用于駕駛場景的思維鏈框架和高層決策與模型預(yù)測控制銜接。其中，思維鏈框架通過設(shè)計(jì)初始 prompt 和多種工具，指導(dǎo) LLM 依次完成對(duì)周車的意圖判斷和注意力分配、判斷自車所處情景、給出駕駛動(dòng)作指引等任務(wù)。而高層決策與模型預(yù)測控制銜接則是通過將 LLM 的決策轉(zhuǎn)化為可操作的駕駛行為。
12月22日晚6點(diǎn)，「自動(dòng)駕駛新青年講座」第32講邀請(qǐng)到 LanguageMPC 一作、清華大學(xué)的沙昊參與，主講《LanguageMPC：以大語言模型為核心的自動(dòng)駕駛決策和控制系統(tǒng)》。
講者
沙昊，清華大學(xué)在讀本科生；研究方向包括2D-3D視覺、自動(dòng)駕駛、大語言模型等。
第32講
主 題
《LanguageMPC：以大語言模型為核心的自動(dòng)駕駛決策和控制系統(tǒng)》
提 綱
1、自動(dòng)駕駛場景的 LLM 專用思維鏈框架
2、基于 LLM 高層決策指導(dǎo)底層控制器
3、在定量指標(biāo)上的性能體現(xiàn)
4、協(xié)調(diào)多輛汽車等復(fù)雜任務(wù)中的應(yīng)用
直 播 信 息
直播時(shí)間：12月22日18:00
直播地點(diǎn)：智猩猩知識(shí)店鋪
成果
論文標(biāo)題：《LanguageMPC:Large Language Models as Decision?Makers for Autonomous Driving》
論文地址：https://arxiv.org/pdf/2310.03026.pdf
