「AI新青年講座」將邀請(qǐng)世界頂尖AI研究機(jī)構(gòu)和大學(xué)的科研新青年，主講他們?cè)谟?jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等人工智能領(lǐng)域的最新重要研究成果。

AI新青年是加速人工智能前沿研究的新生力量。AI新青年的視頻講解和直播答疑，將可以幫助大家增進(jìn)對(duì)人工智能前沿研究的理解，相應(yīng)領(lǐng)域的專業(yè)知識(shí)也能夠得以積累加深。同時(shí)，通過(guò)與AI新青年的直接交流，大家在AI學(xué)習(xí)和應(yīng)用AI的過(guò)程中遇到的問(wèn)題，也能夠盡快解決。

「AI新青年講座」目前已完結(jié)122講，錯(cuò)過(guò)往期講座直播的朋友，可以點(diǎn)擊文章底部“閱讀原文”進(jìn)行回看！

有興趣分享學(xué)術(shù)成果的朋友，可以與智東西公開(kāi)課教研團(tuán)隊(duì)進(jìn)行郵件（class@zhidx.com）聯(lián)系。

在自動(dòng)駕駛等應(yīng)用愈加炙手可熱的背景下，三維深度學(xué)習(xí)和激光雷達(dá)視覺(jué)受到越來(lái)越多的關(guān)注。激光雷達(dá)為自動(dòng)駕駛系統(tǒng)提供了精確的空間信息，然而如何處理采集到的三維點(diǎn)云給車上較為有限的硬件資源帶來(lái)了巨大的挑戰(zhàn)。

傳統(tǒng)的三維深度學(xué)習(xí)方法大多都受限于較大的內(nèi)存開(kāi)銷和不規(guī)則的內(nèi)存訪問(wèn)?；谶@些問(wèn)題，麻省理工學(xué)院HAN Lab在讀博士劉志健等人，在近年來(lái)對(duì)自動(dòng)駕駛高效三維深度學(xué)習(xí)做了一系列的探索，包括如何設(shè)計(jì)高效的三維深度學(xué)習(xí)組件PVCNN、自動(dòng)的搜索三維神經(jīng)網(wǎng)絡(luò)架構(gòu)SPVNAS和加速三維稀疏卷積的計(jì)算TorchSparse等。

PVCNN（Point-Voxel CNN）將點(diǎn)云處理領(lǐng)域的兩類思路：?基于柵格和直接處理點(diǎn)云的方法進(jìn)行了結(jié)合，是一種在計(jì)算效率與內(nèi)存利用率都更高效的3D點(diǎn)云處理框架。在語(yǔ)義分割和部件分割數(shù)據(jù)集上，PVCNN的性能比基于體素的基準(zhǔn)高，且GPU內(nèi)存減少到10%，同時(shí)，相比于基于點(diǎn)的方法，PVCNN實(shí)現(xiàn)了平均7倍的運(yùn)算加速。值得一說(shuō)的是，PVCNN可以部署在 Jetson Nano上并且達(dá)到實(shí)時(shí)的效果，其速度與精度都明顯高于PointCNN和PointNet。

雖然PVCNN在小物體和較小的區(qū)域理解中展現(xiàn)了強(qiáng)勁的性能，但在大規(guī)模室外場(chǎng)景上仍然無(wú)法高效部署。為解決這一問(wèn)題，劉志健等人又提出了一種新的三維點(diǎn)云計(jì)算模塊稀疏點(diǎn)云-柵格卷積 (SPVConv)?和3D神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)搜索 (3D-NAS)。這也是業(yè)界最早在3D計(jì)算機(jī)視覺(jué)領(lǐng)域，進(jìn)行神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動(dòng)搜索的工作之一，SPVNAS在極具挑戰(zhàn)的室外場(chǎng)景雷達(dá)點(diǎn)云語(yǔ)義分割任務(wù)上，完勝該領(lǐng)域此前的設(shè)計(jì)，在自動(dòng)駕駛的權(quán)威評(píng)測(cè)榜SemanticKITTI 上，更是位列單幀3D場(chǎng)景語(yǔ)義分割榜首。

針對(duì)點(diǎn)云數(shù)據(jù)的處理計(jì)算，劉志健博士等人還開(kāi)源了一個(gè)高性能神經(jīng)網(wǎng)絡(luò)加速庫(kù)TorchSparse。該庫(kù)最新版本在運(yùn)行標(biāo)準(zhǔn)的稀疏卷積網(wǎng)絡(luò)時(shí)能相對(duì)于此前學(xué)術(shù)界最先進(jìn)的開(kāi)源庫(kù)MinkowskiEngine獲得1.9倍的加速。同時(shí)，這項(xiàng)工作也獲得了麻省理工學(xué)院-IBM沃森人工智能實(shí)驗(yàn)室、賽靈思、ON Semi、三星以及AWS的支持。

6月9日，「AI新青年講座」第123講邀請(qǐng)到麻省理工學(xué)院HAB Lab在讀博士劉志健參與，主講《高效的點(diǎn)云神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及開(kāi)源加速庫(kù)》。

講者
劉志健，麻省理工學(xué)院HAN Lab在讀博士；導(dǎo)師為韓松教授，2018年從上海交通大學(xué)獲得學(xué)士學(xué)位，2020年從麻省理工學(xué)院獲得碩士學(xué)位；研究興趣主要是高效和硬件友好的深度學(xué)習(xí)及其在計(jì)算機(jī)視覺(jué)和機(jī)器人中的應(yīng)用，在NeurIPS、CVPR、ICRA等國(guó)際一流會(huì)議上發(fā)表多篇學(xué)術(shù)論文。

第123講

主 題
《高效的點(diǎn)云神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)及開(kāi)源加速庫(kù)》

提 綱
1、點(diǎn)云算法在自動(dòng)駕駛車輛上部署的難點(diǎn)
2、點(diǎn)云神經(jīng)網(wǎng)絡(luò)算法PVCNN設(shè)計(jì)
3、輕量級(jí)點(diǎn)云神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索SPVNAS
4、高性能開(kāi)源神經(jīng)網(wǎng)絡(luò)加速庫(kù)TorchSparse
5、在自動(dòng)駕駛汽車上的部署和測(cè)試表現(xiàn)

直 播 信 息
直播時(shí)間：6月9日10:00
直播地點(diǎn)：智東西公開(kāi)課知識(shí)店鋪

成果
PV-CNN：《PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection》
https://proceedings.neurips.cc/paper/2019/file/5737034557ef5b8c02c0e46513b98f90-Paper.pdf

SPVNAS：《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》
https://arxiv.org/pdf/2007.16100.pdf

TorchSparse：《High-Performance Neural Network Library for Point Cloud Processing》
https://github.com/mit-han-lab/torchsparse