2024年已行進(jìn)尾聲，但對(duì)于生成式AI而言，這又是波瀾壯闊的一年。Sora掀起視頻生成熱潮，多模態(tài)世界模型的研究熱度漸起。更具革命性的推理模型o1悄然出世，帶來(lái)的思維鏈CoT+強(qiáng)化學(xué)習(xí)這一新范式，正推動(dòng)生成式AI邁入新的階段。
大語(yǔ)言模型仍在狂飆，但價(jià)格戰(zhàn)、營(yíng)銷戰(zhàn)硝煙燃起，融資熱度正在降溫。不過(guò)行業(yè)賦能持續(xù)進(jìn)行，應(yīng)用層的興起更加受到期待。同時(shí)，大模型向邊端下沉的趨勢(shì)日趨明顯，AI手機(jī)、AI PC等AI硬件紛紛站上風(fēng)口。GPT-4o的出現(xiàn)，將輕量化模型和端側(cè)大模型推向新高度之余，端側(cè)設(shè)備的交互革新也有了前進(jìn)方向。不止AI硬件，大模型驅(qū)動(dòng)下的具身智能更是熱度空前，人形機(jī)器人正開(kāi)啟星辰大海。
作為支撐大模型運(yùn)行以及生成式AI應(yīng)用開(kāi)發(fā)的關(guān)鍵，AI Infra走到了臺(tái)前，從智算集群到基礎(chǔ)軟件，發(fā)展勢(shì)頭強(qiáng)勁，但挑戰(zhàn)不少。
在上述背景下，2024中國(guó)生成式AI大會(huì)（上海站）「GenAICon 2024」將于12月5-6日在上海中星鉑爾曼大酒店盛大舉辦。中國(guó)生成式AI大會(huì)已成功舉辦兩屆，迅速成長(zhǎng)為國(guó)內(nèi)生成式AI領(lǐng)域最具影響力的產(chǎn)業(yè)峰會(huì)之一。
此次也是中國(guó)生成式AI大會(huì)首次登陸上海舉辦。大會(huì)由智一科技旗下智能產(chǎn)業(yè)第一媒體智東西、AI與硬科技知識(shí)分享社區(qū)智猩猩共同發(fā)起主辦。上海市人工智能行業(yè)協(xié)會(huì)為大會(huì)的指導(dǎo)單位。
大會(huì)上海站以“智能躍進(jìn) 創(chuàng)造無(wú)限”為主題，50+位嘉賓將帶來(lái)致辭、演講、報(bào)告和對(duì)話討論，基于前瞻性視角解構(gòu)和把脈生成式AI的技術(shù)產(chǎn)品創(chuàng)新、商業(yè)落地解法、未來(lái)趨勢(shì)走向與前沿研究焦點(diǎn)。
上海站由“主會(huì)場(chǎng)峰會(huì)+分會(huì)場(chǎng)研討會(huì)+展覽區(qū)”組成。主會(huì)場(chǎng)將進(jìn)行大模型峰會(huì)、AI Infra峰會(huì)，分會(huì)場(chǎng)將進(jìn)行端側(cè)生成式AI技術(shù)研討會(huì)、AI視頻生成技術(shù)研討會(huì)和具身智能技術(shù)研討會(huì)。展覽區(qū)則緊鄰會(huì)場(chǎng)門口設(shè)置，14家企業(yè)將進(jìn)行技術(shù)產(chǎn)品展示。
其中，端側(cè)生成式AI技術(shù)研討會(huì)將于12月5日下午進(jìn)行，AI視頻生成技術(shù)研討會(huì)于12月6日上午進(jìn)行，具身智能技術(shù)研討會(huì)于12月6日下午進(jìn)行。
目前，分會(huì)場(chǎng)三場(chǎng)研討會(huì)邀請(qǐng)到17位來(lái)自學(xué)術(shù)界和工業(yè)界的青年學(xué)者和技術(shù)專家與會(huì)，并帶來(lái)主題報(bào)告和圓桌Panel。今天將為大家正式揭曉分會(huì)場(chǎng)研討會(huì)的完整議程。
一、分會(huì)場(chǎng)研討會(huì)完整議程
二、端側(cè)生成式AI技術(shù)研討會(huì)報(bào)告介紹
本次研討會(huì)將于12月5日下午進(jìn)行，目前邀請(qǐng)到上海人工智能實(shí)驗(yàn)室博士后研究員羅根，西湖大學(xué)工學(xué)院助理教授王歡，聯(lián)想集團(tuán)首席研究員、聯(lián)想研究院人工智能實(shí)驗(yàn)室研發(fā)總監(jiān)師忠超，vivo AI全球研究院AI技術(shù)總監(jiān)李方圓，愛(ài)芯元智智慧IoT事業(yè)部產(chǎn)品總監(jiān)吳煒5位青年學(xué)者和技術(shù)專家?guī)?lái)報(bào)告。
主題報(bào)告環(huán)節(jié)結(jié)束后，商湯科技研究院模型計(jì)算部系統(tǒng)研究員雷丹將受邀參與并主持圓桌Panel。
報(bào)告嘉賓：上海人工智能實(shí)驗(yàn)室博士后研究員 羅根
報(bào)告主題：《多模態(tài)大模型的高效感知、建模與計(jì)算》
內(nèi)容概要：近年來(lái)，多模態(tài)大模型的不斷進(jìn)步也對(duì)端側(cè)設(shè)備的部署和使用提出了更大的要求。針對(duì)該問(wèn)題，羅根博士將從感知、建模與計(jì)算三個(gè)方面進(jìn)行深入探討：在感知層面，主要介紹通過(guò)混合分辨率視覺(jué)融合實(shí)現(xiàn)高效的視覺(jué)感知；在建模層面，主要介紹通過(guò)內(nèi)生視覺(jué)專家實(shí)現(xiàn)緊湊的一體化多模態(tài)建模；在計(jì)算層面，主要介紹通過(guò)混合深度計(jì)算實(shí)現(xiàn)稀疏的模型動(dòng)態(tài)推理。
報(bào)告嘉賓：西湖大學(xué)工學(xué)院助理教授 王歡
報(bào)告主題：《神經(jīng)網(wǎng)絡(luò)剪枝、蒸餾在Efficient AI中的發(fā)展與應(yīng)用》
內(nèi)容概要：AI模型深刻改變了我們的生活，但這些模型無(wú)論是訓(xùn)練還是測(cè)試階段都需要消耗大量資源，導(dǎo)致速度慢、能耗高、存儲(chǔ)及運(yùn)存冗余等問(wèn)題，解決這些問(wèn)題亟需提高AI模型的效能（Efficiency），因此需要Efficient AI。Efficient AI涉及軟硬件、算法等多個(gè)維度的協(xié)同設(shè)計(jì)和優(yōu)化，硬件不足時(shí)往往可以通過(guò)在算法上的改進(jìn)來(lái)補(bǔ)齊短板。在算法層面，要想實(shí)現(xiàn)提高效能，需要解決兩個(gè)問(wèn)題：（1）效能如何提高，（2）性能如何保證。前者一般是通過(guò)縮小模型大小來(lái)實(shí)現(xiàn)，最具代表性的方法就是神經(jīng)網(wǎng)絡(luò)剪枝（Pruning）；后者一般是通過(guò)重訓(xùn)練（Retraining）、微調(diào)（Fine-tuning）得到，最具代表性的方法就是知識(shí)蒸餾（Knowledge Distillation）。
在這次交流中，我將介紹剪枝和蒸餾的主要?dú)v史背景和當(dāng)前研究現(xiàn)狀，結(jié)合我的研究經(jīng)歷，重點(diǎn)介紹如何利用剪枝和蒸餾實(shí)現(xiàn)對(duì)神經(jīng)輻射場(chǎng)（NeRF）、文生圖（T2I）等任務(wù)進(jìn)行效能提升。其中文生圖加速的工作SnapFusion（NeurIPS’23）是世界上首個(gè)端上文生圖時(shí)間小于2s、且性能可以對(duì)標(biāo)SD-v1.5的模型。
報(bào)告嘉賓：聯(lián)想集團(tuán)首席研究員、聯(lián)想研究院人工智能實(shí)驗(yàn)室研發(fā)總監(jiān) 師忠超
報(bào)告主題：《聯(lián)想AIPC端側(cè)智能體》
內(nèi)容概要：本次演講將重點(diǎn)介紹聯(lián)想AIPC端側(cè)智能體的獨(dú)特架構(gòu)，旨在通過(guò)開(kāi)發(fā)端側(cè)智能體，顯著提升端側(cè)大模型在處理復(fù)雜任務(wù)和場(chǎng)景應(yīng)用時(shí)的性能。我們將深入探討聯(lián)想端側(cè)個(gè)人智能體如何結(jié)合大模型的關(guān)鍵能力定向增強(qiáng)與端側(cè)異構(gòu)加速技術(shù)，在設(shè)備資源有限的條件下達(dá)到卓越的性能。此外，本次演講也將展示聯(lián)想如何運(yùn)用混合意圖理解與復(fù)雜任務(wù)自動(dòng)分解策略等創(chuàng)新方法，優(yōu)化個(gè)人知識(shí)庫(kù)及工具庫(kù)的應(yīng)用，進(jìn)而為用戶提供更智能、更個(gè)性化的服務(wù)體驗(yàn)。
報(bào)告嘉賓：vivo AI全球研究院AI技術(shù)總監(jiān) 李方圓
報(bào)告主題：《智能手機(jī)的未來(lái)：端側(cè)大模型重塑用戶體驗(yàn)》
內(nèi)容概要：手機(jī)是從早到晚伴隨我們工作、學(xué)習(xí)、生活、娛樂(lè)最長(zhǎng)時(shí)間的智能設(shè)備。在AIGC時(shí)代，現(xiàn)有的手機(jī)AI功能已無(wú)法滿足用戶對(duì)更高層次體驗(yàn)的追求，主要表現(xiàn)在單點(diǎn)功能與系統(tǒng)融合不夠緊密、機(jī)械的被動(dòng)執(zhí)行缺乏主動(dòng)性，通用的功能難以與用戶個(gè)性化需求相結(jié)合等不足。手機(jī)終端大模型憑借其強(qiáng)大的語(yǔ)義理解、語(yǔ)言生成和邏輯推理能力，一方面能夠大幅提升傳統(tǒng)AI功能的準(zhǔn)確性和效果，另一方面能夠理解執(zhí)行用戶更加復(fù)雜的指令，結(jié)合用戶使用手機(jī)的情景，提供更加主動(dòng)、個(gè)性化的智能服務(wù)。
本次演講，將分享vivo如何從傳統(tǒng)的AI時(shí)代邁向大模型AI時(shí)代的技術(shù)演進(jìn)之路。圍繞記憶、端側(cè)化、主動(dòng)執(zhí)行3個(gè)方面探索更懂用戶、更懂手機(jī)、更加主動(dòng)的個(gè)人智能的應(yīng)用場(chǎng)景，并與大家揭秘背后的核心技術(shù)藍(lán)心端側(cè)大模型的構(gòu)建思路與方案。
報(bào)告嘉賓：愛(ài)芯元智智慧IoT事業(yè)部產(chǎn)品總監(jiān) 吳煒
報(bào)告主題：《多模態(tài)大模型在端側(cè)的創(chuàng)新實(shí)踐與挑戰(zhàn)》
內(nèi)容概要：隨著大模型的發(fā)展，AI已從簡(jiǎn)單的圖像分類識(shí)別功能，升級(jí)為對(duì)視頻、音頻、文字等多模態(tài)信息的整合分析，實(shí)現(xiàn)對(duì)內(nèi)容更深刻的理解。多模態(tài)大模型已成為推動(dòng)各行各業(yè)發(fā)展的重要力量。然而，要將大模型應(yīng)用于端側(cè)設(shè)備，面臨著算力、帶寬、功耗和成本之間的多重平衡挑戰(zhàn)。愛(ài)芯元智致力于打造世界領(lǐng)先的AI芯片，積極布局多模態(tài)大模型，助力大模型在端側(cè)的普及和高效部署。
本次演講，將通過(guò)展示實(shí)際應(yīng)用案例，探討多模態(tài)大模型如何在更廣泛的應(yīng)用場(chǎng)景中發(fā)揮更大的價(jià)值。同時(shí)，還將與行業(yè)伙伴共同探索大模型在端側(cè)應(yīng)用的無(wú)限可能，推動(dòng)“普惠AI，造就美好生活”的使命。
三、AI視頻生成技術(shù)研討會(huì)報(bào)告介紹
本次研討會(huì)將于12月6日上午進(jìn)行，目前邀請(qǐng)到中存算董事長(zhǎng)陳巍，上海交通大學(xué)人工智能研究院助理教授晏軼超，新壹科技AI算法主任架構(gòu)師李璋，井英科技聯(lián)合創(chuàng)始人、CTO王健，曠視研究院高級(jí)研究員李華東5位青年學(xué)者和技術(shù)專家?guī)?lái)報(bào)告。
主題報(bào)告環(huán)節(jié)結(jié)束后的圓桌Panel，將由中存算董事長(zhǎng)陳巍，上海交通大學(xué)人工智能研究院助理教授晏軼超，井英科技聯(lián)合創(chuàng)始人、CTO王健，以及曠視研究院高級(jí)研究員李華東一起帶來(lái)。
報(bào)告嘉賓：中存算董事長(zhǎng) 陳巍
報(bào)告主題：《視頻大模型架構(gòu)對(duì)比及長(zhǎng)序列模型加速》
內(nèi)容概要：隨著大模型技術(shù)的快速發(fā)展，視頻大模型（VLM）正與短視頻產(chǎn)業(yè)結(jié)合并迎來(lái)新的爆發(fā)機(jī)遇，逐漸成為互聯(lián)網(wǎng)應(yīng)用的熱點(diǎn)。
本次分享從視頻大模型與世界模型的角度，對(duì)比主流視頻生成大模型架構(gòu)，探討視頻生成的關(guān)鍵技術(shù)（包括NaViT、RADM等），分析視頻生成類大模型的主要挑戰(zhàn)與發(fā)展趨勢(shì)；探討內(nèi)存墻（Memory Wall）和通信墻對(duì)視頻大模型GPGPU/TPU集群訓(xùn)練和部署的挑戰(zhàn)，并針對(duì)這類視頻長(zhǎng)序列模型的算力芯片級(jí)訓(xùn)練部署，結(jié)合具體項(xiàng)目給出軟硬結(jié)合的解決方案與系統(tǒng)經(jīng)驗(yàn)。
報(bào)告嘉賓：上海交通大學(xué)人工智能研究院助理教授 晏軼超
報(bào)告主題：《先驗(yàn)引導(dǎo)的三維數(shù)字人視頻生成》
內(nèi)容概要：“人”一直是視頻生成的核心對(duì)象，面對(duì)大規(guī)模視頻的生成需求，利用生成式人工智能技術(shù)產(chǎn)生高擬真，規(guī)模化的虛擬數(shù)字人正逐漸成為研究熱點(diǎn)。三維高斯、大模型等技術(shù)在過(guò)去一年快速發(fā)展，并與數(shù)字人技術(shù)進(jìn)行了廣泛結(jié)合，本次報(bào)告將從數(shù)字人重建、生成、編輯等方向介紹數(shù)字人視頻生成領(lǐng)域的最近進(jìn)展，對(duì)三維數(shù)字人技術(shù)的發(fā)展趨勢(shì)進(jìn)行探討。
報(bào)告嘉賓：新壹科技AI算法主任架構(gòu)師 李璋
報(bào)告主題：《視頻垂直大模型在智能數(shù)字人生成中的應(yīng)用》
內(nèi)容概要：在生成式AI技術(shù)蓬勃發(fā)展的背景下，智能數(shù)字人已成為內(nèi)容創(chuàng)作、虛擬助手和人機(jī)交互等領(lǐng)域的重要應(yīng)用之一。然而，傳統(tǒng)生成模型在高精度、多模態(tài)的智能數(shù)字人生成中仍面臨諸多挑戰(zhàn)。為此，垂直領(lǐng)域的大模型提供了一條全新路徑。
本次演講，首先會(huì)介紹從通用大模型到垂直大模型的演進(jìn)，之后將著重講解新壹視頻大模型的整體架構(gòu)設(shè)計(jì)及其在數(shù)字人視頻生成與優(yōu)化中的核心技術(shù)突破；此外，還將對(duì)智能數(shù)字人生成的技術(shù)難點(diǎn)，包括數(shù)字人生成中實(shí)現(xiàn)自然語(yǔ)言驅(qū)動(dòng)動(dòng)作與表情生成的關(guān)鍵技術(shù)等進(jìn)行深入分析，并分享視頻垂直大模型驅(qū)動(dòng)的智能數(shù)字人在相關(guān)領(lǐng)域的典型應(yīng)用案例。
報(bào)告嘉賓：井英科技聯(lián)合創(chuàng)始人、CTO 王健
報(bào)告主題：《AI短劇拐點(diǎn)背后的技術(shù)突破》
內(nèi)容概要：自今年2月OpenAI發(fā)布Sora起，視頻生成大模型成為了熱點(diǎn)方向。但其具體落地的業(yè)務(wù)場(chǎng)景卻一直不明確。近期，井英科技通過(guò)視頻生成模型實(shí)現(xiàn)了100分鐘以上短視頻的制作，并成功實(shí)現(xiàn)了用戶付費(fèi)觀看的商業(yè)模式。
本次分享將介紹AI短劇從最初的不可行到現(xiàn)如今可行的關(guān)鍵技術(shù)突破，并探討了除視頻生成大模型之外的其他關(guān)鍵技術(shù)進(jìn)展。
報(bào)告嘉賓：曠視研究院高級(jí)研究員李華東
報(bào)告主題：《可控人物視頻生成》
內(nèi)容概要：短視頻、影視和游戲動(dòng)畫(huà)創(chuàng)作正在迅速發(fā)展。然而，傳統(tǒng)的視頻制作過(guò)程耗時(shí)耗力，通常需要大量的人工后期編輯。視頻生成大模型算法提供了一種低成本、高效的高質(zhì)量視頻內(nèi)容生成解決方案。但視頻生成算法生成的內(nèi)容可控性不足，限制了其實(shí)際應(yīng)用的有效性。因此，如何實(shí)現(xiàn)視頻生成內(nèi)容的可控性仍是一大關(guān)鍵挑戰(zhàn)。
在本次報(bào)告中，我將介紹 MegActor 系列工作，這是一種支持混合模態(tài)控制的人像視頻生成算法。該算法支持角色自定義（包括真實(shí)人物、二次元人物和游戲人物等），并能夠通過(guò)視頻、音頻和文本輸入實(shí)現(xiàn)單獨(dú)和混合控制。其功能涵蓋了控制角色說(shuō)話、唱歌和生成表情動(dòng)畫(huà)等。MegActor 系列是社區(qū)內(nèi)的首個(gè)開(kāi)源可控人物視頻生成大模型，將持續(xù)優(yōu)化以推動(dòng)技術(shù)的不斷發(fā)展。
四、具身智能技術(shù)研討會(huì)報(bào)告介紹
本次研討會(huì)將于12月6日下午進(jìn)行，目前邀請(qǐng)到上海人工智能實(shí)驗(yàn)室青年科學(xué)家王泰，上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院助理教授、博士生導(dǎo)師顧家遠(yuǎn)，上海交通大學(xué)在讀博士、穹徹智能實(shí)習(xí)研究員呂峻，國(guó)地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人李廣宇，哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士王雪松，中國(guó)科學(xué)院空天信息創(chuàng)新研究院特別研究助理姚方龍6位青年學(xué)者和技術(shù)專家?guī)?lái)報(bào)告。
主題報(bào)告環(huán)節(jié)結(jié)束后的圓桌Panel，也將由上述6位嘉賓一起帶來(lái)。
報(bào)告嘉賓：上海人工智能實(shí)驗(yàn)室青年科學(xué)家 王泰
報(bào)告主題：《大規(guī)模具身多模態(tài)三維感知》
內(nèi)容概要：近年來(lái)，大模型的成功以及模仿學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等方法的突破持續(xù)推動(dòng)著具身智能的快速發(fā)展。但這一領(lǐng)域仍然面臨著數(shù)據(jù)匱乏的核心問(wèn)題，大規(guī)模訓(xùn)練和評(píng)測(cè)仍存在客觀瓶頸。生成式 AI 的進(jìn)展為解決這一問(wèn)題提供了重要路徑。
本報(bào)告將聚焦于三維場(chǎng)景中具身多模態(tài)感知相關(guān)的具體任務(wù)，詳細(xì)介紹團(tuán)隊(duì)利用多模態(tài)大模型的生成能力設(shè)計(jì)三維多模態(tài)數(shù)據(jù)的自動(dòng)化標(biāo)注管線，從而形成大規(guī)模三維物體、場(chǎng)景在不同粒度全方位的語(yǔ)料標(biāo)注，構(gòu)建帶有顯式三維建模和空間感知能力的具身感知基礎(chǔ)模型，并最終利用大模型實(shí)現(xiàn)更符合人類判斷的自動(dòng)化評(píng)測(cè)。最后，報(bào)告將展望生成式 AI 在機(jī)器人交互數(shù)據(jù)方面的巨大潛力，同時(shí)探討其潛在的局限性。
報(bào)告嘉賓：上海科技大學(xué)信息科學(xué)與技術(shù)學(xué)院助理教授、博士生導(dǎo)師 顧家遠(yuǎn)
報(bào)告主題：《服務(wù)于具身智能的仿真評(píng)估平臺(tái)和數(shù)字資產(chǎn)》
內(nèi)容概要：在具身智能領(lǐng)域，通用機(jī)器人決策模型的開(kāi)發(fā)取得了顯著進(jìn)展。然而，收集真實(shí)世界的訓(xùn)練數(shù)據(jù)和對(duì)這些模型進(jìn)行真實(shí)環(huán)境下的評(píng)估仍然成本高昂。仿真技術(shù)提供了一種可行的替代方案，但其有效性高度依賴于多樣且逼真的數(shù)字資產(chǎn)。傳統(tǒng)上，這些資產(chǎn)主要由游戲產(chǎn)業(yè)創(chuàng)建，但隨著具身智能的發(fā)展，對(duì)高質(zhì)量數(shù)字資產(chǎn)的需求激增，以提高仿真環(huán)境的多樣性和逼真度。這引發(fā)了一系列關(guān)鍵問(wèn)題：這些資產(chǎn)的真實(shí)程度應(yīng)達(dá)到何種水平？我們?nèi)绾斡行У貏?chuàng)建這些仿真環(huán)境？在此過(guò)程中，哪些工具是必不可少的？
在本次報(bào)告中，我將介紹最近的工作SimplerEnv，一個(gè)專為評(píng)估基于真實(shí)世界數(shù)據(jù)訓(xùn)練的決策模型而開(kāi)發(fā)的仿真環(huán)境平臺(tái)。該平臺(tái)支持對(duì)多種通用機(jī)器人操作模型的評(píng)估，如RT-1和Octo。此外，我還將討論另一個(gè)研究成果Point-SAM，一個(gè)3D原生工具，能夠?qū)θS部件和物體進(jìn)行交互式分割。理解物體的功能性部件對(duì)具身智能的研究至關(guān)重要，這一工具為此提供了重要支持。
報(bào)告嘉賓：上海交通大學(xué)在讀博士、穹徹智能實(shí)習(xí)研究員 呂峻
報(bào)告主題：《Real2Sim2Real：一種基于多信息源的具身操作技能開(kāi)發(fā)系統(tǒng)》
內(nèi)容概要：數(shù)據(jù)是具身智能在今天面臨的核心問(wèn)題之一。如何利用來(lái)自不同信息源的數(shù)據(jù)，例如仿真數(shù)據(jù)、人類演示數(shù)據(jù)、靜態(tài)視覺(jué)數(shù)據(jù)等，構(gòu)建數(shù)據(jù)金字塔，共同實(shí)現(xiàn)具身操作技巧開(kāi)發(fā)，降低對(duì)真實(shí)機(jī)器人數(shù)據(jù)的依賴與數(shù)據(jù)成本成為值得關(guān)注的課題。過(guò)去幾年，我們構(gòu)建了包含Real2Sim、Learn@Sim、Sim2Real模塊的具身智能系統(tǒng)，旨在通過(guò)各類感知技術(shù)對(duì)現(xiàn)實(shí)物理世界進(jìn)行建模，基于建模在人類演示數(shù)據(jù)、自然語(yǔ)言提示詞等的指導(dǎo)下于仿真環(huán)境中學(xué)習(xí)開(kāi)發(fā)特定的機(jī)器人操作技巧，并將仿真中學(xué)習(xí)到技能遷移到真實(shí)環(huán)境中。相關(guān)成果發(fā)表在IJRR、RSS、CoRL、ICRA等期刊與會(huì)議上，曾獲選RSS 2023 Best System Finalist。
報(bào)告嘉賓：國(guó)地共建具身智能機(jī)器人創(chuàng)新中心數(shù)據(jù)智能負(fù)責(zé)人 李廣宇
報(bào)告主題：《數(shù)據(jù)視角下的具身操作》
內(nèi)容概要：數(shù)據(jù)稀缺是目前困擾具身操作研究的共識(shí)。從各種機(jī)器人整機(jī)、機(jī)械臂、靈巧手等本體廠家紛紛推出的遙操作采集系統(tǒng)，到以UMI為代表的低成本采集設(shè)備，再到各類人類操作動(dòng)作捕捉方案，以及各種仿真數(shù)據(jù)合成方法。如何高效的獲取具身操作數(shù)據(jù)，已經(jīng)成為學(xué)術(shù)界和產(chǎn)業(yè)界的研究重點(diǎn)。
另一方面，針對(duì)不同途徑獲取的數(shù)據(jù)，具身數(shù)據(jù)金字塔的概念已經(jīng)廣為傳播：下層是數(shù)據(jù)量大、獲取成本低，但單位價(jià)值較低的互聯(lián)網(wǎng)數(shù)據(jù)和仿真合成數(shù)據(jù)；頂層是采集成本昂貴，單位價(jià)值高的真機(jī)遙操作數(shù)據(jù)；而中間層是介于真機(jī)遙操作和仿真合成之間的，人類動(dòng)作捕捉數(shù)據(jù)和仿真遙操作數(shù)據(jù)。同時(shí)當(dāng)前的機(jī)器人數(shù)據(jù)中，本體構(gòu)型豐富多樣，傳感器配置各異。如何有效融合多種來(lái)源，多種本體的具身數(shù)據(jù)，也是研究者和工程師的關(guān)注點(diǎn)。
本次報(bào)告中，我將梳理具身數(shù)據(jù)方向的各種技術(shù)路線，并介紹具身智能國(guó)創(chuàng)中心在數(shù)據(jù)方面的進(jìn)展，包括數(shù)據(jù)采集和訓(xùn)練基地建設(shè)情況、數(shù)據(jù)集開(kāi)源開(kāi)放情況，以及一些圍繞數(shù)據(jù)融合方向的探索和嘗試。
報(bào)告嘉賓：哈爾濱工業(yè)大學(xué)計(jì)算學(xué)部在讀博士 王雪松
報(bào)告主題：《具身智能大模型研究的關(guān)鍵問(wèn)題與展望》
內(nèi)容概要：隨著深度學(xué)習(xí)、大模型技術(shù)的突破性進(jìn)展，人工智能的發(fā)展從感知智能和認(rèn)知智能，逐步向能夠與真實(shí)物理環(huán)境進(jìn)行交互的具身智能階段發(fā)展，并在大模型在多種任務(wù)上的強(qiáng)大泛化能力和人形機(jī)器人對(duì)于人類社會(huì)場(chǎng)景的適應(yīng)能力的基礎(chǔ)上，有望通過(guò)具身智能的發(fā)展，最終實(shí)現(xiàn)通用人工智能。不過(guò)，具身智能為我們帶來(lái)希望的同時(shí)，也更多的帶來(lái)了挑戰(zhàn)，機(jī)器人如何感知世界、理解世界？如何擁有對(duì)自己行為的認(rèn)知？如何高效合理的運(yùn)動(dòng)？等等。
本次報(bào)告將從大模型技術(shù)和人形機(jī)器人技術(shù)是如何推動(dòng)具身智能發(fā)展的角度進(jìn)行切入，闡述當(dāng)前大模型技術(shù)在解決具身智能問(wèn)題時(shí)的諸多不足，進(jìn)而詳解具身智能大模型在感知、規(guī)劃、導(dǎo)航、乃至機(jī)器人操控方面有哪些亟待研究的關(guān)鍵問(wèn)題，同時(shí)也將對(duì)未來(lái)具身智能如何更好發(fā)展做出展望。
報(bào)告嘉賓：中國(guó)科學(xué)院空天信息創(chuàng)新研究院特別研究助理 姚方龍
報(bào)告主題：《萬(wàn)物具身：耦合空間智能與具身智能的復(fù)空間具身體系》
內(nèi)容概要：空間智能旨在開(kāi)發(fā)理解三維物理世界的模型，模擬物體物理特性、空間位置和功能，具身智能通過(guò)賦予智能“身體”，與環(huán)境交互反饋中實(shí)現(xiàn)智能增長(zhǎng)和環(huán)境自適應(yīng)，二者既有區(qū)別又相互補(bǔ)充。本報(bào)告旨在嘗試聯(lián)結(jié)空間智能與具身智能，構(gòu)思出“萬(wàn)物具身（Embodiment-of-Objects）”概念，設(shè)計(jì)了復(fù)空間具身體系（Multiverse Embodied System）計(jì)算范式，探索了“超圖+空天世界模擬器+空天世界模型”的研究路線，初步形成思維超圖引導(dǎo)的智能體世界模型、異質(zhì)超圖引導(dǎo)的智能體關(guān)聯(lián)導(dǎo)航、時(shí)空超圖引導(dǎo)的智能體預(yù)測(cè)規(guī)劃等關(guān)鍵技術(shù)，推動(dòng)從單體智能向空天地海任務(wù)、環(huán)境、場(chǎng)景耦合的體系智能演進(jìn)。
五、報(bào)名進(jìn)入最后階段，立即搶票參加研討會(huì)
分會(huì)場(chǎng)三場(chǎng)研討會(huì)主要面向大會(huì)購(gòu)票用戶及定向邀請(qǐng)的用戶開(kāi)放。
希望到現(xiàn)場(chǎng)參加研討會(huì)的朋友，可以掃描下方二維碼，添加小助手“泡泡”進(jìn)行咨詢。已添加過(guò)“泡泡”的老朋友，給“泡泡”私信，發(fā)送“GenAI24”即可。
