機器人前瞻(公眾號:robot_pro)
作者?|??許麗思
編輯?|??漠影

機器人前瞻1月28日報道,今天,F(xiàn)igure發(fā)布了最新具身模型Helix 02,能夠用單一的神經(jīng)網(wǎng)絡(luò)實現(xiàn)全身長程自主控制。

Helix 02讓機器人連續(xù)執(zhí)行了一個設(shè)計61個行走-操作動作的長程任務(wù),F(xiàn)igure強調(diào),這不是遙操,是完全的端到端自主,還能像人一樣把髖部、腳也變?yōu)橥瓿扇蝿?wù)的工具。

Helix 02在感知側(cè)新增掌心相機與高靈敏度指尖觸覺傳感器,其中掌心相機用于彌補操作過程中因自遮擋導(dǎo)致的視野缺口,指尖觸覺則提供更精細(xì)的力反饋,從而支持更穩(wěn)定的抓握控制與多指精細(xì)操作,像旋轉(zhuǎn)瓶蓋、捏取藥店、操作注射器等任務(wù)。

一、耗時四分鐘,無遙操、端到端自主操作洗碗機

在一個標(biāo)準(zhǔn)大小的廚房里,F(xiàn)igure讓機器人完成了長達(dá)四分鐘的操作洗碗機的任務(wù)。

Figure稱,這個任務(wù)涉及61個動作,將行走、操作與平衡進行整合,全程無需重置、無人類干預(yù),是迄今為止由人形機器人自主完成的、時間跨度最長且最復(fù)雜的任務(wù)。

機器人行走姿態(tài)非常擬人,先用手打開洗碗機,拿出餐具。

會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布

在拿著易碎餐具行走時,全稱行走狀態(tài)比較穩(wěn)定,并把已經(jīng)清洗完的餐具放到櫥柜里,最后用雙手把柜門關(guān)上。

會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布

緊接著,機器人把水池中的餐具放到洗碗機中。

會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布

有意思的是,當(dāng)騰不出手的時候,機器人會用髖部關(guān)上抽屜、用腳抬起洗碗機門,把整個身體當(dāng)作工具使用,而不是只依賴雙手。

會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布 會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布

Figure還展示了機器人通過觸覺感知、掌心相機,來執(zhí)行靈巧操作任務(wù)的情況:一手穩(wěn)住瓶身、一手持續(xù)擰動瓶蓋;像人用指腹一樣地精準(zhǔn)捏取藥片;用注射器精準(zhǔn)推出5ml等。

會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布 會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布 會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布

二、引入System 0,能夠下達(dá)更長、步驟復(fù)雜的連續(xù)任務(wù)

Helix 02 原有的System 1,、System 2的架構(gòu)之上,加入了一個新的基礎(chǔ)層:System 0。

System 0:來自人類數(shù)據(jù)的類人全身控制

S0是一個用于類人全身控制的基礎(chǔ)模型,能夠描述人在維持平衡與穩(wěn)定時如何運動,確保機器人的每一個動作都能平滑、安全且穩(wěn)定地執(zhí)行。

S0 在訓(xùn)練思路上放棄了傳統(tǒng)做法中為“走路、轉(zhuǎn)向、下蹲、伸手”等動作分別手工設(shè)計獎勵函數(shù)的方式,而是直接讓模型從大量、多樣的人類運動數(shù)據(jù)中學(xué)習(xí)人是怎么動的。

通過模仿與跟蹤人類動作,S0逐步學(xué)會在不同動作之間協(xié)調(diào)發(fā)力、調(diào)整姿態(tài),并在完成“通用行走-操作”這類復(fù)雜行為時持續(xù)保持平衡與穩(wěn)定。

S0的訓(xùn)練以超過1000 小時的關(guān)節(jié)級重定向人類運動數(shù)據(jù)為基礎(chǔ);在架構(gòu)上,它采用了一個約1000萬參數(shù)的神經(jīng)網(wǎng)絡(luò),以全身關(guān)節(jié)狀態(tài)與底座運動作為輸入,并以1 kHz的頻率輸出關(guān)節(jié)級執(zhí)行器指令。

在訓(xùn)練方式上,S0完全在仿真中完成,覆蓋超過200000個并行環(huán)境并采用大量域隨機化,從而實現(xiàn)向真實機器人的直接遷移,并具備良好的泛化能力。

會用臀和腳關(guān)門的機器人登場!4分鐘61步,F(xiàn)igure最強具身模型發(fā)布

System1:控制機器人全身關(guān)節(jié)

在Helix 01中,S1可以控制上半身,并從關(guān)節(jié)狀態(tài)與圖像中讀取信息。在Helix 02中,它連接上了所有傳感器,能夠控制整臺機器人。

S1在輸入側(cè)接入頭部相機、掌心相機、指尖觸覺傳感器以及全身本體感知;在輸出側(cè)則實現(xiàn)對整臺機器人的完整關(guān)節(jié)級控制,覆蓋腿部、軀干、頭部、手臂、手腕及每一根手指等全身部位。

據(jù)介紹,這使得 S1能將機器人自身狀態(tài)與外部環(huán)境作為一個耦合系統(tǒng)進行統(tǒng)一推理。掌心相機與觸覺傳感器屬于Figure 03 新增的硬件能力,F(xiàn)igure稱這是其首次展示依賴上述模態(tài)的神經(jīng)網(wǎng)絡(luò)策略。

掌心相機可以在目標(biāo)被頭部相機遮擋時提供手中視覺反饋;指尖觸覺傳感器嵌入于每個指尖,能夠檢測回形針大小的接觸力,以支持具備接觸意識、可進行力調(diào)制(force-modulated)的抓取,從而能夠處理需要多指抓握、精細(xì)運動控制的復(fù)雜操作任務(wù)。

System 2:負(fù)責(zé)場景、語言理解

S2依舊承擔(dān)語義推理層的角色,主要負(fù)責(zé)看懂場景、理解語言指令,并把高層意圖轉(zhuǎn)化為可執(zhí)行的目標(biāo)交給下一級系統(tǒng)。

相比此前只能下達(dá)類似“撿起番茄醬”這類較短、單一步驟的指令,Helix 02 將S2可指定的行為范圍進一步拓展到更長、更連貫的任務(wù),比如“走到洗碗機前并打開它”“把碗搬到臺面上”“回到上層架并拿起杯子”等,指令更接近日常家務(wù)的表達(dá)方式。

在實現(xiàn)上,S2不需要規(guī)劃具體的步伐,其生成的語義指令由S1解釋并由S0最終執(zhí)行。

結(jié)語:人形機器人加快邁向長時程任務(wù)新階段

一年前,Helix還僅能通過神經(jīng)網(wǎng)絡(luò)控制機器人的上半身;如今,Helix 02已將控制能力拓展至全身,使行走、操作與平衡不再是被機械拼接的獨立環(huán)節(jié),而是融合為一套更為連貫、閉環(huán)的智能系統(tǒng)。

這意味著人形機器人正從短暫的片段式演示,加快走向真正勝任長時程、多步驟的復(fù)雜任務(wù)。通過軟硬件深度整合與感知-決策-執(zhí)行的閉環(huán)迭代,具身智能正在快速演進,為機器人在開放、動態(tài)場景中的規(guī)?;瘧?yīng)用鋪平道路。