2024年已行進(jìn)尾聲，但對于生成式AI而言，這又是波瀾壯闊的一年。Sora掀起視頻生成熱潮，多模態(tài)世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，帶來的思維鏈CoT+強(qiáng)化學(xué)習(xí)這一新范式，正推動生成式AI邁入新的階段。
大語言模型仍在狂飆，但價格戰(zhàn)、營銷戰(zhàn)硝煙燃起，融資熱度正在降溫。不過行業(yè)賦能持續(xù)進(jìn)行，應(yīng)用層的興起更加受到期待。同時，大模型向邊端下沉的趨勢日趨明顯，AI手機(jī)、AI PC等AI硬件紛紛站上風(fēng)口。GPT-4o的出現(xiàn)，將輕量化模型和端側(cè)大模型推向新高度之余，端側(cè)設(shè)備的交互革新也有了前進(jìn)方向。不止AI硬件，大模型驅(qū)動下的具身智能更是熱度空前，人形機(jī)器人正開啟星辰大海。
作為支撐大模型運(yùn)行以及生成式AI應(yīng)用開發(fā)的關(guān)鍵，AI Infra走到了臺前，從智算集群到基礎(chǔ)軟件，發(fā)展勢頭強(qiáng)勁，但挑戰(zhàn)不少。
在上述背景下，2024中國生成式AI大會（上海站）「GenAICon 2024」將于12月5-6日在上海中星鉑爾曼大酒店盛大舉辦。中國生成式AI大會已成功舉辦兩屆，迅速成長為國內(nèi)生成式AI領(lǐng)域最具影響力的產(chǎn)業(yè)峰會之一。
此次也是中國生成式AI大會首次登陸上海舉辦。大會由智一科技旗下智能產(chǎn)業(yè)第一媒體智東西、AI與硬科技知識分享社區(qū)智猩猩共同發(fā)起主辦。上海市人工智能行業(yè)協(xié)會為大會的指導(dǎo)單位。
大會上海站以“智能躍進(jìn) 創(chuàng)造無限”為主題，50+位嘉賓將帶來致辭、演講、報告和對話討論，基于前瞻性視角解構(gòu)和把脈生成式AI的技術(shù)產(chǎn)品創(chuàng)新、商業(yè)落地解法、未來趨勢走向與前沿研究焦點(diǎn)。
上海站由“主會場峰會+分會場研討會+展覽區(qū)”組成。主會場將進(jìn)行大模型峰會、AI Infra峰會，分會場將進(jìn)行端側(cè)生成式AI技術(shù)研討會、AI視頻生成技術(shù)研討會和具身智能技術(shù)研討會。展覽區(qū)則緊鄰會場門口設(shè)置，14家企業(yè)將進(jìn)行技術(shù)產(chǎn)品展示。
作為大會上海站的三場技術(shù)研討會之一，具身智能技術(shù)研討會將在第二日下午的分會場進(jìn)行，由主題報告和圓桌Panel兩個環(huán)節(jié)組成。
一、研討會完整議程公布
目前，具身智能技術(shù)研討會邀請到上海人工智能實(shí)驗(yàn)室青年科學(xué)家王泰，上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院助理教授、博士生導(dǎo)師顧家遠(yuǎn)，上海交通大學(xué)在讀博士、穹徹智能實(shí)習(xí)研究員呂峻，國地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人李廣宇，哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士王雪松，中國科學(xué)院空天信息創(chuàng)新研究院特別研究助理姚方龍6位青年學(xué)者和技術(shù)專家?guī)韴蟾妗?/p>
近年來，具身智能在大模型、強(qiáng)化學(xué)習(xí)等技術(shù)的推動下快速發(fā)展，但還面臨著數(shù)據(jù)匱乏的核心問題，大規(guī)模訓(xùn)練和評測仍存在客觀瓶頸。上海人工智能實(shí)驗(yàn)室青年科學(xué)家王泰將圍繞《大規(guī)模具身多模態(tài)三維感知》這一主題帶來報告。報告聚焦于三維場景中具身多模態(tài)感知相關(guān)的具體任務(wù)，詳細(xì)介紹利用多模態(tài)大模型的生成能力設(shè)計(jì)三維多模態(tài)數(shù)據(jù)的自動化標(biāo)注管線，構(gòu)建帶有顯式三維建模和空間感知能力的具身感知基礎(chǔ)模型，并最終利用大模型實(shí)現(xiàn)更符合人類判斷的自動化評測。
在具身智能領(lǐng)域，通用機(jī)器人決策模型的開發(fā)取得了顯著進(jìn)展，但收集真實(shí)世界的訓(xùn)練數(shù)據(jù)，和在真實(shí)環(huán)境下對這些模型評估仍需高昂的成本。仿真技術(shù)提供了一種可行的替代方案，但其有效性高度依賴多樣且逼真的數(shù)字資產(chǎn)。上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院助理教授、博士生導(dǎo)師顧家遠(yuǎn)將帶來主題為《服務(wù)于具身智能的仿真評估平臺和數(shù)字資產(chǎn)》的報告，詳解專為評估基于真實(shí)世界數(shù)據(jù)訓(xùn)練的決策模型而開發(fā)的仿真環(huán)境平臺SimplerEnv，和用于理解物體功能性部件的3D原生工具Point-SAM。
如何利用來自不同信息源的數(shù)據(jù)共同實(shí)現(xiàn)具身操作技巧開發(fā)，降低對真實(shí)機(jī)器人數(shù)據(jù)的依賴與成本已成為領(lǐng)域內(nèi)的關(guān)注重點(diǎn)。上海交通大學(xué)在讀博士、穹徹智能實(shí)習(xí)研究員呂峻將以《Real2Sim2Real：一種基于多信息源的具身操作技能開發(fā)系統(tǒng)》為主題，解讀包含Real2Sim、Learn@Sim、Sim2Real模塊在內(nèi)的具身智能系統(tǒng)，旨在通過各類感知技術(shù)對現(xiàn)實(shí)物理世界進(jìn)行建模，在仿真環(huán)境中學(xué)習(xí)開發(fā)特定的機(jī)器人操作技巧，并將仿真中學(xué)習(xí)到的技能遷移到真實(shí)環(huán)境中。
數(shù)據(jù)稀缺是目前困擾具身操作研究的共識。國地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人李廣宇將分享具身智能國創(chuàng)中心在數(shù)據(jù)方面的進(jìn)展，包括數(shù)據(jù)采集和訓(xùn)練基地建設(shè)情況、數(shù)據(jù)集開源開放情況，以及圍繞數(shù)據(jù)融合方向的探索和嘗試，主題為《數(shù)據(jù)視角下的具身操作》。
哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士王雪松將以《具身智能大模型研究的關(guān)鍵問題與展望》為主題帶來報告。報告將從大模型技術(shù)和人形機(jī)器人技術(shù)是如何推動具身智能發(fā)展的角度進(jìn)行切入，闡述當(dāng)前大模型技術(shù)在解決具身智能問題時的諸多不足，詳解具身智能大模型在感知、規(guī)劃、導(dǎo)航、和機(jī)器人操控方面待研究的關(guān)鍵問題，同時也將對具身智能未來發(fā)展做出展望。
空間智能與具身智能兩者既有區(qū)別又相互補(bǔ)充。中國科學(xué)院空天信息創(chuàng)新研究院特別研究助理姚方龍以《萬物具身：耦合空間智能與具身智能的復(fù)空間具身體系》為主題帶來報告。該報告旨在嘗試聯(lián)結(jié)空間智能與具身智能，構(gòu)思出“萬物具身”這一概念，設(shè)計(jì)了復(fù)空間具身體系計(jì)算范式，探索了“超圖+空天世界模擬器+空天世界模型”的研究路線，推動從單體智能向空天地海任務(wù)、環(huán)境、場景耦合的體系智能演進(jìn)。
主題報告環(huán)節(jié)結(jié)束后的圓桌Panel，將由上海人工智能實(shí)驗(yàn)室青年科學(xué)家王泰，上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院助理教授、博士生導(dǎo)師顧家遠(yuǎn)，上海交通大學(xué)在讀博士、穹徹智能實(shí)習(xí)研究員呂峻，國地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人李廣宇、哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士王雪松以及中國科學(xué)院空天信息創(chuàng)新研究院特別研究助理姚方龍一起帶來。
二、報告嘉賓及內(nèi)容介紹
1、上海人工智能實(shí)驗(yàn)室青年科學(xué)家 王泰
王泰博士畢業(yè)于香港中文大學(xué)MMLab，研究方向?yàn)榫呱碇悄芎腿S視覺。過往工作有近三十篇論文在頂級會議和期刊上發(fā)表，谷歌學(xué)術(shù)引用 2900 余次，多篇被選中做口頭報告或獲得滿分評審，并多次在國際頂級競賽中獲得冠軍。代表工作包括早期 FCOS3D 系列工作和近期 EmbodiedScan, GRUtopia 和 PointLLM 等，相關(guān)開源工作如 MMDetection3D 在學(xué)界和業(yè)界有廣泛影響。曾獲得 ECCV 最佳論文提名、ICCV 研討會最佳論文、港府獎學(xué)金。
報告主題：《大規(guī)模具身多模態(tài)三維感知》
內(nèi)容概要：近年來，大模型的成功以及模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方法的突破持續(xù)推動著具身智能的快速發(fā)展。但這一領(lǐng)域仍然面臨著數(shù)據(jù)匱乏的核心問題，大規(guī)模訓(xùn)練和評測仍存在客觀瓶頸。生成式 AI 的進(jìn)展為解決這一問題提供了重要路徑。
本報告將聚焦于三維場景中具身多模態(tài)感知相關(guān)的具體任務(wù)，詳細(xì)介紹團(tuán)隊(duì)利用多模態(tài)大模型的生成能力設(shè)計(jì)三維多模態(tài)數(shù)據(jù)的自動化標(biāo)注管線，從而形成大規(guī)模三維物體、場景在不同粒度全方位的語料標(biāo)注，構(gòu)建帶有顯式三維建模和空間感知能力的具身感知基礎(chǔ)模型，并最終利用大模型實(shí)現(xiàn)更符合人類判斷的自動化評測。最后，報告將展望生成式 AI 在機(jī)器人交互數(shù)據(jù)方面的巨大潛力，同時探討其潛在的局限性。
2、上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院助理教授、博士生導(dǎo)師 顧家遠(yuǎn)
報告主題：《服務(wù)于具身智能的仿真評估平臺和數(shù)字資產(chǎn)》
內(nèi)容概要：在具身智能領(lǐng)域，通用機(jī)器人決策模型的開發(fā)取得了顯著進(jìn)展。然而，收集真實(shí)世界的訓(xùn)練數(shù)據(jù)和對這些模型進(jìn)行真實(shí)環(huán)境下的評估仍然成本高昂。仿真技術(shù)提供了一種可行的替代方案，但其有效性高度依賴于多樣且逼真的數(shù)字資產(chǎn)。傳統(tǒng)上，這些資產(chǎn)主要由游戲產(chǎn)業(yè)創(chuàng)建，但隨著具身智能的發(fā)展，對高質(zhì)量數(shù)字資產(chǎn)的需求激增，以提高仿真環(huán)境的多樣性和逼真度。這引發(fā)了一系列關(guān)鍵問題：這些資產(chǎn)的真實(shí)程度應(yīng)達(dá)到何種水平？我們?nèi)绾斡行У貏?chuàng)建這些仿真環(huán)境？在此過程中，哪些工具是必不可少的？
在本次報告中，我將介紹最近的工作SimplerEnv，一個專為評估基于真實(shí)世界數(shù)據(jù)訓(xùn)練的決策模型而開發(fā)的仿真環(huán)境平臺。該平臺支持對多種通用機(jī)器人操作模型的評估，如RT-1和Octo。此外，我還將討論另一個研究成果Point-SAM，一個3D原生工具，能夠?qū)θS部件和物體進(jìn)行交互式分割。理解物體的功能性部件對具身智能的研究至關(guān)重要，這一工具為此提供了重要支持。
3、上海交通大學(xué)在讀博士、穹徹智能實(shí)習(xí)研究員 呂峻
呂峻博士就讀于上海交通大學(xué)，師從盧策吾教授，入選上海交通大學(xué)吳文俊人工智能榮譽(yù)博士班，目前是穹徹智能實(shí)習(xí)研究員。研究方向?yàn)榫呱碇悄?，曾在IJRR、RSS、CoRL、ICRA、CVPR等具身智能頂級期刊與學(xué)術(shù)會議發(fā)表論文，曾以第一作者身份獲得2023年RSS最佳系統(tǒng)論文獎提名。
報告主題：《Real2Sim2Real：一種基于多信息源的具身操作技能開發(fā)系統(tǒng)》
內(nèi)容概要：數(shù)據(jù)是具身智能在今天面臨的核心問題之一。如何利用來自不同信息源的數(shù)據(jù)，例如仿真數(shù)據(jù)、人類演示數(shù)據(jù)、靜態(tài)視覺數(shù)據(jù)等，構(gòu)建數(shù)據(jù)金字塔，共同實(shí)現(xiàn)具身操作技巧開發(fā)，降低對真實(shí)機(jī)器人數(shù)據(jù)的依賴與數(shù)據(jù)成本成為值得關(guān)注的課題。過去幾年，我們構(gòu)建了包含Real2Sim、Learn@Sim、Sim2Real模塊的具身智能系統(tǒng)，旨在通過各類感知技術(shù)對現(xiàn)實(shí)物理世界進(jìn)行建模，基于建模在人類演示數(shù)據(jù)、自然語言提示詞等的指導(dǎo)下于仿真環(huán)境中學(xué)習(xí)開發(fā)特定的機(jī)器人操作技巧，并將仿真中學(xué)習(xí)到技能遷移到真實(shí)環(huán)境中。相關(guān)成果發(fā)表在IJRR、RSS、CoRL、ICRA等期刊與會議上，曾獲選RSS 2023 Best System Finalist。
4、國地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人 李廣宇
李廣宇，國地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人，美國南加州大學(xué)電子工程系博士，具身智能和自動駕駛行業(yè)從業(yè)多年，主導(dǎo)構(gòu)建了多家企業(yè)的數(shù)據(jù)驅(qū)動系統(tǒng)，包括滴滴出行多模態(tài)駕駛數(shù)據(jù)挖掘系統(tǒng)，覆蓋滴滴百萬量級網(wǎng)約車數(shù)據(jù)，輕舟智航數(shù)據(jù)驅(qū)動系統(tǒng)，支持超40萬臺乘用車，日均超百萬公里的智能駕駛，以及國地共建具身智能創(chuàng)新中心數(shù)據(jù)閉環(huán)鏈路，并率先將多頭注意力機(jī)制引入多智能體學(xué)習(xí)領(lǐng)域，大幅提升了數(shù)據(jù)驅(qū)動效率。
報告主題：《數(shù)據(jù)視角下的具身操作》
內(nèi)容概要：數(shù)據(jù)稀缺是目前困擾具身操作研究的共識。從各種機(jī)器人整機(jī)、機(jī)械臂、靈巧手等本體廠家紛紛推出的遙操作采集系統(tǒng)，到以UMI為代表的低成本采集設(shè)備，再到各類人類操作動作捕捉方案，以及各種仿真數(shù)據(jù)合成方法。如何高效的獲取具身操作數(shù)據(jù)，已經(jīng)成為學(xué)術(shù)界和產(chǎn)業(yè)界的研究重點(diǎn)。
另一方面，針對不同途徑獲取的數(shù)據(jù)，具身數(shù)據(jù)金字塔的概念已經(jīng)廣為傳播：下層是數(shù)據(jù)量大、獲取成本低，但單位價值較低的互聯(lián)網(wǎng)數(shù)據(jù)和仿真合成數(shù)據(jù)；頂層是采集成本昂貴，單位價值高的真機(jī)遙操作數(shù)據(jù)；而中間層是介于真機(jī)遙操作和仿真合成之間的，人類動作捕捉數(shù)據(jù)和仿真遙操作數(shù)據(jù)。同時當(dāng)前的機(jī)器人數(shù)據(jù)中，本體構(gòu)型豐富多樣，傳感器配置各異。如何有效融合多種來源，多種本體的具身數(shù)據(jù)，也是研究者和工程師的關(guān)注點(diǎn)。
本次報告中，我將梳理具身數(shù)據(jù)方向的各種技術(shù)路線，并介紹具身智能國創(chuàng)中心在數(shù)據(jù)方面的進(jìn)展，包括數(shù)據(jù)采集和訓(xùn)練基地建設(shè)情況、數(shù)據(jù)集開源開放情況，以及一些圍繞數(shù)據(jù)融合方向的探索和嘗試。
5、哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士 王雪松
王雪松，哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士研究生，師從劉挺教授、張偉男教授。曾擔(dān)任中國中文信息學(xué)會青工委學(xué)生執(zhí)委，研究方向?yàn)槎嗄B(tài)大模型和具身智能，參與研發(fā)哈工大“活字”大模型，帶頭研發(fā)了哈工大展廳服務(wù)機(jī)器人等。
報告主題：《具身智能大模型研究的關(guān)鍵問題與展望》
內(nèi)容概要：隨著深度學(xué)習(xí)、大模型技術(shù)的突破性進(jìn)展，人工智能的發(fā)展從感知智能和認(rèn)知智能，逐步向能夠與真實(shí)物理環(huán)境進(jìn)行交互的具身智能階段發(fā)展，并在大模型在多種任務(wù)上的強(qiáng)大泛化能力和人形機(jī)器人對于人類社會場景的適應(yīng)能力的基礎(chǔ)上，有望通過具身智能的發(fā)展，最終實(shí)現(xiàn)通用人工智能。不過，具身智能為我們帶來希望的同時，也更多的帶來了挑戰(zhàn)，機(jī)器人如何感知世界、理解世界？如何擁有對自己行為的認(rèn)知？如何高效合理的運(yùn)動？等等。
本次報告將從大模型技術(shù)和人形機(jī)器人技術(shù)是如何推動具身智能發(fā)展的角度進(jìn)行切入，闡述當(dāng)前大模型技術(shù)在解決具身智能問題時的諸多不足，進(jìn)而詳解具身智能大模型在感知、規(guī)劃、導(dǎo)航、乃至機(jī)器人操控方面有哪些亟待研究的關(guān)鍵問題，同時也將對未來具身智能如何更好發(fā)展做出展望。
6、中國科學(xué)院空天信息創(chuàng)新研究院特別研究助理 姚方龍
姚方龍于中國科學(xué)院空天信息創(chuàng)新研究院直博（導(dǎo)師孫顯研究員），畢業(yè)留院工作任目標(biāo)重點(diǎn)實(shí)驗(yàn)室特別研究助理（合作導(dǎo)師付琨研究員），負(fù)責(zé)具身智能與空間智能研究方向，并在科技部（中央科技辦）借調(diào)工作。在Nature Communications、IEEE TPAMI、IEEE TNNLS、IEEE TGRS等期刊發(fā)表論文20篇（其中頂刊/頂會18篇，第一/通訊作者13篇，IF＞10有6篇），授權(quán)專利12項(xiàng)，擔(dān)任國際期刊Innovations in Aerospace Science and Technology、Journal of Artificial Intelligence and Robotics編委，Advanced Tech. in Neuroscience、Intelligence&Robotics、SmartBot青年編委， IEEE TGRS、IEEE TII、Information Fusion等頂刊審稿專家，以副主編身份參編“十四五”教材2本。主持國家自然科學(xué)基金青年項(xiàng)目，牽頭研制遙感時空預(yù)測大模型-靈眸·Sense、空天世界模擬器-空天·萬界、空天具身世界模型，參與制作全球規(guī)模最大遙感細(xì)粒度數(shù)據(jù)集。獲中國科學(xué)院院長優(yōu)秀獎和指揮與控制學(xué)會科技進(jìn)步一等獎。
報告主題：《萬物具身：耦合空間智能與具身智能的復(fù)空間具身體系》
內(nèi)容概要：空間智能旨在開發(fā)理解三維物理世界的模型，模擬物體物理特性、空間位置和功能，具身智能通過賦予智能“身體”，與環(huán)境交互反饋中實(shí)現(xiàn)智能增長和環(huán)境自適應(yīng)，二者既有區(qū)別又相互補(bǔ)充。本報告旨在嘗試聯(lián)結(jié)空間智能與具身智能，構(gòu)思出“萬物具身（Embodiment-of-Objects）”概念，設(shè)計(jì)了復(fù)空間具身體系（Multiverse Embodied System）計(jì)算范式，探索了“超圖+空天世界模擬器+空天世界模型”的研究路線，初步形成思維超圖引導(dǎo)的智能體世界模型、異質(zhì)超圖引導(dǎo)的智能體關(guān)聯(lián)導(dǎo)航、時空超圖引導(dǎo)的智能體預(yù)測規(guī)劃等關(guān)鍵技術(shù)，推動從單體智能向空天地海任務(wù)、環(huán)境、場景耦合的體系智能演進(jìn)。
三、中國生成式AI大會上海站日程
四、報名進(jìn)入最后階段，立即搶票參加研討會
具身智能技術(shù)研討會是2024中國生成式AI大會上海站的三場研討會之一，將在分會場第二日下午進(jìn)行。另外兩場研討會分別是端側(cè)生成式AI技術(shù)研討會、AI視頻生成技術(shù)研討會。
研討會主要面向大會購票用戶及定向邀請的用戶開放。
希望到現(xiàn)場參加研討會的朋友，可以掃描下方二維碼，添加小助手“泡泡”進(jìn)行咨詢。已添加過“泡泡”的老朋友，給“泡泡”私信，發(fā)送“GenAI24”即可。
