智東西（公眾號：zhidxcom）
作者 | 夏舍予
編輯 | 徐珊
智東西8月23日消息，根據(jù)外媒Tech Xplore報道，加州大學(xué)伯克利分校的研究人員開發(fā)了一種分層強(qiáng)化學(xué)習(xí)框架（a hierarchical reinforcement learning framework ），該框架可以提高四足機(jī)器人足球射門的精準(zhǔn)度。目前中國機(jī)器人初創(chuàng)企業(yè)宇樹科技的機(jī)器狗Unitree A1已經(jīng)應(yīng)用了該技術(shù)。
李中宇（音譯）是該項目的研究人員之一，他說：“四足機(jī)器人是仿造人類的腿建造的，人類的腿不僅可以運(yùn)動，還能踢足球。我們希望四足機(jī)器人也能獲得踢足球的能力”
一、先跟蹤，后規(guī)劃，分層框架能讓機(jī)器狗精準(zhǔn)射門
近年來，技術(shù)的進(jìn)步為機(jī)器人帶來了更可靠的硬件和更先進(jìn)的控制算法。因此，現(xiàn)在機(jī)器人有可能處理更加復(fù)雜的任務(wù)，例如與人類一起踢足球。李忠宇和他的團(tuán)隊開發(fā)的分層強(qiáng)化學(xué)習(xí)框架可以提高四足機(jī)器人足球射門的精準(zhǔn)度。
分層強(qiáng)化學(xué)習(xí)框架由兩個部分組成：運(yùn)動控制策略（a motion control policy）和運(yùn)動規(guī)劃策略（a motion planning policy）。前者能夠跟蹤機(jī)器人腿部的任意運(yùn)動軌跡，后者能夠在這些軌跡中選擇一個最佳的路線，進(jìn)而讓機(jī)器人把足球踢進(jìn)目標(biāo)位置。
▲記錄機(jī)器狗的不同運(yùn)動軌跡
李忠宇說：“為了讓訓(xùn)練結(jié)果更接近真實情況，我們會用真實世界的數(shù)據(jù)訓(xùn)練機(jī)器人。”
在訓(xùn)練過程中，李忠宇及其團(tuán)隊發(fā)現(xiàn)，雖然分層強(qiáng)化學(xué)習(xí)框架可以讓機(jī)器人精準(zhǔn)地把足球射向任意目標(biāo)，但這個任務(wù)非常復(fù)雜，因為機(jī)器人必須在保持平衡的情況下，擺動它的腿來獲取動力。
二、變形和摩擦，機(jī)器人足球技術(shù)兩大挑戰(zhàn)
但這其中存在另一個問題：足球會變形。李忠宇說：“機(jī)器人不僅要處理腿與可變形足球之間難以建模的軟接觸（soft contact）情況，還要處理球與地面之間滾動摩擦的不確定性。而我們開發(fā)的分層強(qiáng)化學(xué)習(xí)框架或許可以幫助四足機(jī)器人處理腿與軟物體（球、繩子、皮帶、衣服等）之間的互動任務(wù)?！?/p>
▲機(jī)器狗正在進(jìn)行射門測試
機(jī)器人界有一個著名的足球賽，叫做“機(jī)器人世界杯”（Robot World Cup），幾十年來，比賽主辦方一直邀請研究人員帶著機(jī)器人參與足球比賽。
李忠宇說：“未來，我們將繼續(xù)設(shè)計其他分層框架及機(jī)器學(xué)習(xí)模型。我們的終極目標(biāo)是希望開發(fā)出一種可以與人類進(jìn)行足球比賽的四足機(jī)器人。”
結(jié)語：傳球基礎(chǔ)上再射門，機(jī)器狗足球技術(shù)逐步提升
其實，機(jī)器狗能踢足球，已經(jīng)不是一件新鮮事。2019年，麻省理工學(xué)院的仿生機(jī)器人實驗室就研發(fā)出了名為迷你獵豹（Mini Cheetah）的機(jī)器狗，迷你獵豹就已經(jīng)實現(xiàn)了傳球功能。
但是，機(jī)器狗Unitree A1部署的分層強(qiáng)化學(xué)習(xí)框架能讓機(jī)器狗在傳球的基礎(chǔ)上，提升足球射門的精度。這意味著，機(jī)器狗在足球方向的技術(shù)又有了新的提升。
或許，在不久的未來，我們真的能夠看到四足機(jī)器人與人類同臺競技的場面，讓我們拭目以待吧。
來源：Tech Xplore
