「自動駕駛新青年講座」由智猩猩企劃，致力于邀請全球知名高校、頂尖研究機(jī)構(gòu)以及優(yōu)秀企業(yè)的新青年，主講在環(huán)境感知、精準(zhǔn)定位、決策規(guī)劃、控制執(zhí)行等自動駕駛關(guān)鍵技術(shù)上的最新研究成果和開發(fā)實(shí)踐。

「自動駕駛新青年講座」目前已完結(jié)33講;有興趣分享的朋友，可以與智猩猩教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系

3D 場景感知對于自動駕駛的安全性至關(guān)重要。來自新加坡國立大學(xué)的博士生孔令東等人在 NeurIPS 2023 上提出了一個新穎的點(diǎn)云無監(jiān)督預(yù)訓(xùn)練框架 Seal，該框架旨在利用視覺基礎(chǔ)模型 (VFM) 分割不同的激光雷達(dá)點(diǎn)云序列。


Seal 具有以下三點(diǎn)特性：

1) 可擴(kuò)展性：其將VFM中的知識直接蒸餾到點(diǎn)云上，從而無需在預(yù)訓(xùn)練期間使用任何2D 或3D 標(biāo)注。

2）一致性：其在相機(jī)到激光雷達(dá)和點(diǎn)到簇兩個正則化階段分別進(jìn)行了空間和時間約束，以促進(jìn)跨模式表示學(xué)習(xí)。

3) 通用性：Seal能夠?qū)F(xiàn)有模型中的知識遷移到涉及不同類型點(diǎn)云的下游任務(wù)中，包括了來自真實(shí)/合成、低/高分辨率、大/小規(guī)模以及干凈/損壞數(shù)據(jù)集的點(diǎn)云等。

在共11個不同的點(diǎn)云數(shù)據(jù)集上進(jìn)行的廣泛實(shí)驗(yàn)，也驗(yàn)證了 Seal 的有效性和優(yōu)越性。 該成果已被 NeurIPS 2023 收錄為 Spotlight。

除了 Seal，在如何提升 3D 場景感知可靠性上，孔令東還分別提出了首個關(guān)注于使用半監(jiān)督信號進(jìn)行激光雷達(dá)點(diǎn)云語義分割的框架?LaserMix 和包含惡劣天氣條件、外部干擾和內(nèi)部傳感器故障引起的八種損壞類型的 3D 感知模型測試基線 Robo3D 。

1月11日晚7點(diǎn)，「自動駕駛新青年講座」第34講邀請到 Seal 一作、新加坡國立大學(xué)在讀博士孔令東參與，主講《運(yùn)用視覺基礎(chǔ)模型分割「任意」激光雷達(dá)點(diǎn)云》，包括 Seal、LaserMix 和 Robo3D 等成果內(nèi)容。

講者
孔令東,新加坡國立大學(xué)計(jì)算機(jī)系在讀博士;研究方向包括3D場景感知、域適應(yīng)和無監(jiān)督表征學(xué)習(xí)等；曾于Motional進(jìn)行自動駕駛場景感知方向的研究實(shí)習(xí)；相關(guān)研究工作已發(fā)表于TPAMI、CVPR、ICCV、NeurIPS和ICRA等國際期刊和會議中，并入選Highlight、Spotlight和Best Workshop Paper。

第34講

主 題
《運(yùn)用視覺基礎(chǔ)模型分割「任意」激光雷達(dá)點(diǎn)云》

提 綱
1、大模型在自動駕駛點(diǎn)云分割中的應(yīng)用
2、半監(jiān)督激光雷達(dá)點(diǎn)云語義分割 LaserMix
3、使用 VFM 的無監(jiān)督預(yù)訓(xùn)練點(diǎn)云分割框架 Seal
4、Seal 的有效性和優(yōu)越性驗(yàn)證
5、3D 場景感知的可靠性探索

直 播 信 息
直播時間：1月11日19:00
直播地點(diǎn)：智東西公開課知識店鋪

成果

論文標(biāo)題
《Segment Any Point Cloud Sequences by Distilling Vision Foundation Models》
《LaserMix for Semi-Supervised LiDAR Semantic Segmentation》
《Robo3D: Towards Robust and Reliable 3D Perception against Corruptions》

?論文地址
https://arxiv.org/pdf/2306.09347.pdf
https://arxiv.org/pdf/2207.00026.pdf
https://arxiv.org/pdf/2303.17597.pdf

代碼鏈接
https://github.com/youquanl/Segment-Any-Point-Cloud
https://github.com/ldkong1205/LaserMix
https://github.com/ldkong1205/Robo3D.