控制人形機(jī)器人執(zhí)行復(fù)雜的全身動(dòng)作是機(jī)器人學(xué)領(lǐng)域的一個(gè)重大挑戰(zhàn)。盡管，在人形機(jī)器人元年，一些研究推動(dòng)人形機(jī)器人在全身控制方面取得了顯著進(jìn)展，但在執(zhí)行復(fù)雜任務(wù)和適應(yīng)性方面仍然面臨諸多問題。
為此，意大利技術(shù)研究院(iit)博士生研究員王進(jìn)等提出用于不同場(chǎng)景中基于任務(wù)學(xué)習(xí)、選擇和規(guī)劃行為的框架HYPERmotion。相關(guān)論文成果收錄于CoRL 2024。
該框架能夠結(jié)合強(qiáng)化學(xué)習(xí)與全身模型預(yù)測(cè)控制生成人形機(jī)器人全身動(dòng)作，并將其開發(fā)為運(yùn)動(dòng)庫(kù)中的一種技能。此外，通過(guò)將LLMs的在線規(guī)劃和推理功能應(yīng)用于復(fù)雜的移動(dòng)操作任務(wù)，還形成了一個(gè)包含一系列基本行為的層次化任務(wù)圖，以橋接低級(jí)執(zhí)行和高階自動(dòng)化規(guī)劃。通過(guò)利用提煉的空間幾何和2D觀測(cè)與VLM的交互，將知識(shí)嵌入構(gòu)建的機(jī)器人形態(tài)選擇器中，從而選擇單臂或雙臂、腿式或輪式運(yùn)動(dòng)的適當(dāng)動(dòng)作。
通過(guò)在仿真和現(xiàn)實(shí)環(huán)境中進(jìn)行大規(guī)模實(shí)驗(yàn)，HYPERmotion展示了機(jī)器人所學(xué)的全身技能可以高效適應(yīng)新任務(wù)，表現(xiàn)出從自由文本指令中獲得的高自主性，并在非結(jié)構(gòu)化場(chǎng)景中進(jìn)行規(guī)劃。
此外，王進(jìn)博士等研究人員又提出基于LLM的人形機(jī)器人自主行為規(guī)劃框架，機(jī)器人能夠根據(jù)文本指令自主規(guī)劃行為和低級(jí)執(zhí)行，并觀察和糾正任務(wù)執(zhí)行中的失敗。該框架提高了機(jī)器人在非結(jié)構(gòu)化環(huán)境中的行動(dòng)規(guī)劃能力。王進(jìn)博士等研究人員還設(shè)計(jì)了包含動(dòng)作行為和感知行為的機(jī)器人行為庫(kù)，將復(fù)雜任務(wù)分解為可執(zhí)行的子任務(wù)，提高了任務(wù)執(zhí)行的可靠性和可解釋性。相關(guān)論文成果收錄于IROS 2024。
10月24日晚7點(diǎn)，智猩猩邀請(qǐng)到意大利技術(shù)研究院(iit)博士生研究員王進(jìn)參與「智猩猩具身智能前沿講座」第14講，主講《HYPERmotion：結(jié)合語(yǔ)言模型實(shí)現(xiàn)人形機(jī)器人自主行為規(guī)劃》。
講者
王進(jìn)
意大利技術(shù)研究院(iit)博士生研究員
師從Nikos Tsagarakis,是HHCM實(shí)驗(yàn)室的一員。其主要研究興趣為機(jī)器人學(xué)習(xí)、具身智能以及仿人機(jī)器，具體為人形機(jī)器人的自主移動(dòng)操作，在機(jī)器人任務(wù)中融合基礎(chǔ)模型并通過(guò)學(xué)習(xí)的方式提高機(jī)器人的自主性。部分研究發(fā)表在IROS、ICRA、CoRL等機(jī)器人相關(guān)會(huì)議。
第 14 講?
主 題?
《HYPERmotion：結(jié)合語(yǔ)言模型實(shí)現(xiàn)人形機(jī)器人自主行為規(guī)劃》
提 綱?
1、利用RL與全身模型預(yù)測(cè)控制生成人形機(jī)器人全身動(dòng)作
2、基于LLM分解復(fù)雜操作任務(wù)構(gòu)建層次化任務(wù)圖
3、結(jié)合VLM選擇機(jī)器人形態(tài)和相應(yīng)動(dòng)作
4、在仿真和真實(shí)環(huán)境的實(shí)驗(yàn)中效果展示及分析
?直 播 信 息?
直播時(shí)間：10月24日19:00
成果
論文標(biāo)題
《HYPERmotion: Learning Hybrid Behavior Planning for Autonomous Loco-manipulation》
《Autonomous Behavior Planning For Humanoid Loco-manipulation Through Grounded Language Model》
論文鏈接
https://arxiv.org/abs/2406.14655
https://arxiv.org/abs/2408.08282v1
項(xiàng)目地址
http://hy-motion.github.io/
如何報(bào)名
有講座直播觀看需求的朋友，可以添加小助手“莓莓”進(jìn)行報(bào)名。已添加過(guò)“莓莓”的老朋友，可以給“莓莓”私信，發(fā)送“具身智能14”進(jìn)行報(bào)名。對(duì)于通過(guò)報(bào)名的朋友，之后將邀請(qǐng)入群進(jìn)行觀看和交流。
