Ken641228的部落格

不需要任何參考軌跡，無需微調直接部署在機器人身上——

就能讓它們在瞬間適應各種復雜的新地形，一步都不帶“走神”地穿過亂石、沙灘、樓梯、長植被、人為搭建的活動板等環境。

在滴瞭油的墊子上也是健步如飛、突然被負重5公斤也沒事！

這個對於人類來說非常簡單的技能，機器人現在也擁有瞭……

就問你厲不厲害（怕不怕）？

ps.眼尖的朋友應該能看出來，這個項目用的機器人就是咱國產的A1，來自杭州的Unitree。

如何做到的？

這個算法被命名為RMA（Rapid Motor Adaptation，快速電機自適應）。

由兩部分組成：基本策略模塊 (base policy, π)和自適應模塊 (adaptation module, ϕ)。

算法完全在仿真環境中訓練，然後直接部署於現實世界。

訓練分為兩個階段。

第一階段，將機器人當前狀態、先前的動作、環境因素作為輸入，使用model-free的強化學習進行基本策略訓練。

第二階段，采用on-policy數據的監督學習，訓練自適應模塊通過歷史狀態和動作來預測外部參數（extrinsics），也就是該怎麼下腳。

部署階段，自適應模塊生成外部參數，基本策略模塊生成所需的關節位置，並使用A1機器人的PD控制器轉換為扭矩。

總的來說，基本策略模塊探測環境，並實際控制機器人的步態。

自適應模塊負責分析基本策略給的數據，並加以分析，然後告訴基本模塊如何調整步態。

兩者協同工作以便在多樣化的環境中實現實時適應。

需要註意的是，該算法沒有視覺輸入！環境因素由機器人運動部件“感覺到”的力收集而來。

室內和室外測試

又到瞭評估性能的時刻，室內測試中，將三者：RMA、A1機器人本身的控制器、沒有自適應模塊的RMA進行瞭比較。

結果發現，RMA以100%的成功率走下15cm高度的臺階，並以80%的成功率走過可變形表面（記憶泡沫床墊和微微不平整的泡沫墊）。

它也能夠成功爬上斜坡和臺階。

在油性表面上行走的成功為90%。

而A1的控制器在不平整的泡沫上就隻有20%的成功率。

沒有自適應模塊的RMA就基本啥也不行瞭。

最下面的三張圖表還說明瞭三種方法的有效載荷限制：

A1控制器的性能在8Kg載荷下開始下降。

沒有自適應模塊的RMA承載超過8Kg後就沒法移動，不過倒是不會跌倒。

而RMA則在負重、保持平衡與行走距離上碾壓前兩者。

A1機器人的本身重量為12Kg。

而在室外：RMA在沙子、泥堆、高大植被上行走或穿越灌木的成功率為100%（不會被草纏腳）。

而在亂石堆上行走時成功率為80%。

在鋪滿瞭枯枝敗葉的自然階梯上的成功率為70%。

最後，研究人員表示，要開發出真正可靠的地形自適應機器人，現在的這個“盲人”機器人的裝備還遠遠不夠，還需配上視覺傳感器等工具。這也是他們未來工作的一個重要方向。