今天小編分享的科學經驗：機器人輕松模仿人類，還能泛化到不同任務和智能體！微軟新研究，學習人類和機器人統一動作表示，歡迎閱讀。
讓機械臂模仿人類動作的新方法來了，不怕缺高質量機器人數據的那種。
微軟提出影像目标表示（IGOR，Image-GOal Representation），" 投喂 " 模型人類與現實世界的互動數據。
IGOR 能直接為人類和機器人學習一個統一的動作表示空間，實現跨任務和智能體的知識遷移以及下遊任務效果的提升。
要知道，在訓練具身智能領網域的基礎模型時，高質量帶有标籤的機器人數據是保證模型質量的關鍵，而直接采集機器人數據成本較高。
考慮到互聯網視頻數據中也展示了豐富的人類活動，包括人類是如何與現實世界中的各種物體進行互動的，由此來自微軟的研究團隊提出了 IGOR。
究竟怎樣才能學到人類和機器人統一的動作表示呢？
IGOR 框架如下所示，包含三個基礎模型：
Latent Action Model、Policy Model 和 World Model。
具體來說，IGOR 先是提出了潛在動作模型 LAM（Latent Action Model），将初始狀态和目标狀态之間的視覺變化壓縮為低維向量，并通過最小化初始狀态和動作向量對目标狀态的重建損失來進行訓練。
這樣一來，具有相似視覺變化的影像狀态将具有相似的動作向量，代表了他們在語義空間而非像素空間上的變化。
通過 LAM，可以将互聯網規模的視頻數據轉化為帶有潛在動作标注的數據，大大擴展了具身智能基礎模型能夠使用的數據量。
這個統一的潛在動作空間使團隊能夠在幾乎任意由機器人和人類執行的任務上訓練 Policy Model 和 World Model。
通過結合 LAM 和 World Model，IGOR 成功地将一個視頻中的物體運動 " 遷移 " 到其他視頻中。并且，這些動作實現了跨任務和跨智能體的遷移。
也就是說，用人的行為給機器人做演示，機器人也能做出正确的動作。如下圖所示，LAM 得到的潛在動作表示可以同時實現跨任務（用手移動不同物體）和跨智能體（用手的移動指導機械臂的移動）的遷移。
△Latent Action 實現跨任務和智能體的遷移
以下是模型架構的具體細節。
Latent Action Model
LAM 的目标是以無監督的方式從互聯網規模的視頻數據中學習和标注潛在動作，即給定視頻幀序列，對于每一對相鄰幀提取潛在動作表示。
為此，LAM 模型由一個 Inverse Dynamic Model（IDM）和 Forward Dynamic Model（FDM）組成。
IDM 的從視頻幀序列中提取潛在動作表示，而FDM 負責用學到的表示和當前視頻幀來重建接下來的視頻幀。
由于将潛在動作表示限定在較低的維度，因此 LAM 模型會将兩幀之間語義上的區别學習到之中。
值得注意的是，這種方式天然保證了學到的潛在動作是具有泛化性的。
如下圖所示， 在未見數據集上，LAM 學到的相似潛在動作反映了相似的語義，包括打開夾子、機械臂向左移動和關閉夾子，這些潛在動作在不同任務間共享，進而提升下遊模型的泛化性。
△Latent Action Model 在未見數據集上的表現 Foundation World Model
World Model 的作用是根據歷史視頻幀和未來多幀的潛在動作表示，生成在歷史幀的基礎上執行各個潛在動作之後的未來視頻幀。
為此，研究人員選擇從預訓練的視頻生成模型上進行微調，将條件從文本換成了潛在動作表示和 FDM 的重建輸出。
在具身智能的相關數據集上進行微調之後，研究人員觀察到 World Model 可以成功地在給定相同歷史幀時，針對不同的潛在動作表示生成相對應的未來視頻幀。
如下圖所示，此方法可以通過潛在動作和 World Model 控制不同物體的獨立移動。
△World Model 對于給定的不同潛在動作表示時的生成結果 Foundation Policy Model
Policy Model 的目标是在具體的下遊任務上，根據視頻幀和文本指令來預測智能體每一步要采取的動作。
在 IGOR 中，它的訓練分為了兩個階段。
在第一階段，Policy Model 将根據輸入的視頻幀和文本指令來預測 LAM 提取出的相應的潛在運動表示，從而建立從視頻幀到通用潛在運動表示的映射。
在第二階段，該模型則會根據文本指令、視頻幀以及第一階段模型預測出來的潛在動作表示共同預測下遊任務上具體的運動标籤。
和現有模型相比，第一階段預測出的潛在動作表示蘊含了完成該任務需要達成的短期目标，豐富了模型的輸入信息，因此提升了最終策略的任務成功率，如下圖所示。
△Policy Model 在下遊機器人任務上的表現
在相同的場景下給定不同的文本指令，研究人員也驗證了 Policy Model 的有效性，即模型可以根據不同的指令生成相應的潛在動作表示，進而通過 World Model 模拟執行相應的指令。
△Policy Model 和 World Model 對于不同文本指令的生成結果
總的來說，IGOR 提出了通過大量人類和機器人視頻預訓練學習動作表示并泛化到不同任務和智能體的新方法。通過從大量視頻中學到的動作表示，IGOR 可以實現機器人輕松模仿人類動作，進而實現更通用的智能體。
項目主頁：https://aka.ms/project-igor
論文：https://aka.ms/project-igor-paper
— 完 —
投稿請發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
