今天小編分享的科學經驗：人類淪為工具人！斯坦福機器人“吸星大法”：從演示中轉移技能，400美元打破訓練數據悖論，歡迎閲讀。
斯坦福最新" 技能轉移 "大法，讓人類淪為給機器人提供訓練數據的工具人。
小哥拿上機械手做示範，機器人就能從收集到的數據中學會刷碗，并且能随機應變。
打開水龍頭、抓取盤子、用百潔布清洗一氣呵成，外界幹擾使壞也不怕。
整套系統從硬體到代碼完全開源，成本只需400 美元，就可以在沒有機器人的情況下收集訓練機器人所需數據。
更詳細的 3D 打印、組裝教程視頻也即将發布。
要知道，在這項工作之前要想大規模訓練機器人 be like：
對此，一作黃文龍表示：驚人的工作，破解了機器人數據收集中的先有雞先有蛋難題。
有網友覺得，這項工作和之前爆火的等工作同樣令人印象深刻。
實際上，都是來自斯坦福大學的兩個團隊，已經在實驗室裏帶着各自的機器人對練碰拳、握手了。
破解數據的先有雞先有蛋難題
新方法收集數據的秘密，就藏在這對手持夾持器裏。
左右手各一個 300 美元的 Go Pro 攝像頭，搭配一面鏡子就能得到隐式立體信息，大大節省成本和重量。
再加上内置的慣性傳感器，聯合優化視覺跟蹤和慣性姿态。
錄好的第一視角演示影像就像這樣：
機器人學會之後，即使照明環境發生劇烈變化也絲毫不受影響。
再疊加上人為幹擾，機器人最後也不忘把水龍頭關好。
除刷碗之外，還展示了疊衣服、擺放餐具和抛物投籃，都是學習了人類演示後，機器人全自主行動無遙控，1 倍速播放。
通用操作接口
斯坦福的這項研究名為通用操作接口（UMI），是一種數據收集和策略學習框架，允許将技能從人類演示直接轉移到可部署的機器人策略。
其中硬體，設計了一個手持夾持器，長這樣嬸兒：
上面搭載的 GoPro 運動相機，是唯一的傳感器和記錄設備，這種設計可以最小化人機觀測空間上的差異，保證策略部署時的魯棒性，同時也簡化了硬體搭建。
相機配有155 ° 寬視角魚眼鏡頭，可以收集足夠的視覺上下文和關鍵深度信息。相機的兩邊還配有兩塊物理側鏡，用于提供隐式的立體視角，輔助深度估計。
下圖中綠色框圈出的部分就是側鏡在相機鏡頭上的顯示：
結合内置的 IMU 傳感器，UMI 能夠在快速運動下穩健跟蹤，即使在運動模糊或視覺特征缺失時也能在短時間内保持跟蹤。
并且，可以通過視覺标記實時檢測夾持器張開寬度，進行精細和連續的抓取控制，同時可隐式檢測抓取力度。
總的來説，UMI 夾持器的重量為 780 克，其中 3D 打印的夾持器材料成本為 73 美元，GoPro 相機及配件的總成本為 298 美元。
可謂集便攜、低成本、信息豐富的數據收集于一身，在任何家庭或餐廳，2 分鍾内就可以開始進行數據收集。
再來看策略接口設計。
UMI 在觀測和推理時間上可能會有延遲，為此研究人員進行了延遲匹配。
具體來説，測量不同數據流的延遲将其對齊到最大延遲，通過影像時間戳進行線性插值，獲得同步觀測序列；測量機械臂和手持夾持器延遲，提前對應時間發送控制指令。
此外，作為策略輸入的端效器（機械臂）位姿狀态采用的是相對位姿序列的表示方法，所以與機器人基座的位置無關，可跨多個機器人平台部署，不需要重新訓練或校準。
憑借多樣化操作數據集，UMI 能訓練出一個擴散策略（Diffusion Policy），實現零樣本泛化到新環境和對象，使得機器人在新環境下執行任務，也能展示出高度的适應性和靈活性。
擴散策略基于團隊之前的研究成果，把擴散模型用于機器人視覺運動策略學習，可優雅地處理多模态動作分布、适用于高維動作空間以及表現出令人印象深刻的訓練穩定性。
做到即使是水上作業也遊刃有餘：
斯隆獎得主領銜
UMI 來自斯坦福大學 、哥倫比亞大學 、豐田研究院聯合團隊。
通訊作者為斯隆獎得主、斯坦福助理教授、哥倫比亞大學兼職副教授宋舒然，兩位共同一作都是宋舒然的博士生。
論文公布後，她還補充總結了在這個項目中學到的三件事：
通過正确的硬體設計，腕戴式相機足以應對具有挑戰性的操作任務。
通過合适的策略接口，可以實現跨實體（cross-embodiment）的策略。
如果數據合适，行為克隆（BC）可以實現泛化。
共同一作Cheng Chi（遲宬），哥倫比亞大學博士生及斯坦福 Student of New Faculty。
共同一作上交大校友Zhenjia Xu，哥倫比亞大學博士生及斯坦福大學機器人與具身智能實驗室 ( REAL ) 成員。
Cheng Chi 認為，新方法在大多數任務上實現了 70-90% 的成功率，但仍然沒有達到商業部署的标準。
最後還自曝了一波 UMI 系統的翻車集錦。
可以看出，機器人在真實場景中還會碰到很多意想不到的問題，但這回新方法啓動了數據飛輪，解決也只是時間問題。
論文地址：
https://umi-gripper.github.io
參考鏈接：
[ 1 ] https://twitter.com/chichengcc/status/1758539728444629158
[ 2 ] https://twitter.com/chichengcc/status/1758539728444629158
