在具身智能和機(jī)器人操作實(shí)驗(yàn)室中，往往會(huì)選擇固定的setting進(jìn)行實(shí)驗(yàn)。但在現(xiàn)實(shí)環(huán)境中，實(shí)現(xiàn)機(jī)器人的空間泛化，以應(yīng)對(duì)多樣化的物體位置和復(fù)雜的場(chǎng)景布置，一直是個(gè)艱難的挑戰(zhàn)。
近日，來(lái)自清華和NUS的團(tuán)隊(duì)，發(fā)現(xiàn)了具身智能空間泛化Scaling Law。在此基礎(chǔ)上，提出了一個(gè)創(chuàng)新的機(jī)器人操作算法框架ManiBox。其中，清華大學(xué)計(jì)算機(jī)系TSAIL實(shí)驗(yàn)室博士生譚恒楷為論文一作。
ManiBox深入探索了具身智能的空間泛化性 Scaling Law，并通過(guò)大量模擬器數(shù)據(jù)和Bounding Box這樣的視覺(jué)低維特征引導(dǎo)，成功實(shí)現(xiàn)了空間泛化、背景泛化和物體泛化的抓取任務(wù)，能夠從固定點(diǎn)到34440cm3最大操作空間范圍的高效覆蓋，抓取成功率高達(dá)90%。
此外，ManiBox 不僅能夠完成常規(guī)抓取，還擴(kuò)展到更復(fù)雜的任務(wù)，如倒水，抓取杯子把手，雜亂桌面抓取等等精細(xì)操作場(chǎng)景，展現(xiàn)了出色的 Sim2Real 能力。更為引人注目的是，用戶只需輸入一個(gè)物體的prompt，ManiBox 即可自動(dòng)執(zhí)行對(duì)應(yīng)物體的抓取、傾倒等操作，顯著提升了機(jī)器人操作任務(wù)的魯棒性與靈活性。
1月16日晚7點(diǎn)，智猩猩邀請(qǐng)到論文一作、清華大學(xué)計(jì)算機(jī)系TSAIL實(shí)驗(yàn)室譚恒楷參與「智猩猩新青年講座具身智能專題」第19講，以《探索具身智能空間泛化性的Scaling Law》為主題帶來(lái)直播講解。
講者
譚恒楷，清華大學(xué)計(jì)算機(jī)系TSAIL實(shí)驗(yàn)室博士生
清華大學(xué)計(jì)算機(jī)系TSAIL實(shí)驗(yàn)室的二年級(jí)博士生譚恒楷（Hengkai Tan），本科畢業(yè)于清華計(jì)算機(jī)系，師從朱軍教授。主要研究方向是具身智能和強(qiáng)化學(xué)習(xí)，此前一作論文FCNet發(fā)表在ICML 2024，ManiBox一作，也是清華 RDT 大模型的作者之一。還曾是全國(guó)青少年信息學(xué)奧林匹克競(jìng)賽（NOI）的銀牌，全國(guó)84名。
第 19 講?
主 題
《探索具身智能空間泛化性的Scaling Law》
提 綱
1、什么是空間泛化性
2、利用模擬器從視覺(jué)泛化轉(zhuǎn)移到策略泛化
3、機(jī)器人操作算法框架ManiBox
4、sim2real經(jīng)驗(yàn)分享
5、具身智能的空間泛化性Scaling Law
-空間泛化性、成功率和數(shù)據(jù)量的冪律
-Michaelis-Menten 動(dòng)力學(xué)曲線
?直 播 信 息
直播時(shí)間：1月16日19點(diǎn)
成果
論文成果1
標(biāo)題：《ManiBox: Enhancing Spatial Grasping Generalization via Scalable Simulation Data Generation》
鏈接：https://arxiv.org/abs/2411.01850
項(xiàng)目地址：https://thkkk.github.io/manibox
收錄情況：ICLR 2025在投
論文成果2
標(biāo)題：《Fourier Controller Networks for Real-Time Decision-Making in Embodied Learning》
鏈接：https://arxiv.org/abs/2405.19885
項(xiàng)目地址：https://thkkk.github.io/fcnet
收錄情況：ICML 2024
論文成果3
標(biāo)題：《RDT-1B: A DIFFUSION FOUNDATION MODEL FOR BIMANUAL MANIPULATION》
鏈接：https://arxiv.org/abs/2410.07864
項(xiàng)目地址：https://rdt-robotics.github.io/rdt-robotics/
收錄情況：ICLR 2025在投
如何報(bào)名
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進(jìn)行報(bào)名。已添加過(guò)“莓莓”的老朋友，可以給“莓莓”私信，發(fā)送“具身智能19”進(jìn)行報(bào)名。對(duì)于通過(guò)報(bào)名的朋友，之后將邀請(qǐng)入群進(jìn)行觀看和交流。
