今天小編分享的科學經驗：李飛飛「具身智能」新成果！機器人接入大模型直接聽懂人話，0預訓練就能完成復雜指令，歡迎閱讀。
李飛飛團隊具身智能最新成果來了：
大模型接入機器人，把復雜指令轉化成具體行動規劃，無需額外數據和訓練。
從此，人類可以很随意地用自然語言給機器人下達指令，如：
打開上面的抽屜，小心花瓶！
大語言模型 + 視覺語言模型就能從 3D 空間中分析出目标和需要繞過的障礙，幫助機器人做行動規劃。
然後重點來了， 真實世界中的機器人在未經 " 培訓 " 的情況下，就能直接執行這個任務。
新方法實現了零樣本的日常操作任務軌迹合成，也就是機器人從沒見過的任務也能一次執行，連給他做個示範都不需要。
可操作的物體也是開放的，不用事先劃定範圍，開瓶子、按開關、拔充電線都能完成。
目前項目主頁和論文都已上線，代碼即将推出，并且已經引起學術界廣泛興趣。
一位前微軟研究員評價到：這項研究走在了人工智能系統最重要和最復雜的前沿。
具體到機器人研究界也有同行表示：給運動規劃領網域開辟了新世界。
還有本來沒看到 AI 危險性的人，因為這項 AI 結合機器人的研究而改變看法。
機器人如何直接聽懂人話？
李飛飛團隊将該系統命名為 VoxPoser，如下圖所示，它的原理非常簡單。
首先，給定環境信息（用相機采集 RGB-D 影像）和我們要執行的自然語言指令。
接着，LLM（大語言模型）根據這些内容編寫代碼，所生成代碼與 VLM（視覺語言模型）進行互動，指導系統生成相應的操作指示地圖，即3D Value Map。
所謂 3D Value Map，它是 Affordance Map 和 Constraint Map 的總稱，既标記了" 在哪裡行動 "，也标記了" 如何行動 "。
如此一來，再搬出動作規劃器，将生成的 3D 地圖作為其目标函數，便能夠合成最終要執行的操作軌迹了。
而從這個過程我們可以看到，相比傳統方法需要進行額外的預訓練，這個方法用大模型指導機器人如何與環境進行互動，所以直接解決了機器人訓練數據稀缺的問題。
更進一步，正是由于這個特點，它也實現了零樣本能力，只要掌握了以上基本流程，就能 hold 任何給定任務。
在具體實現中，作者将 VoxPoser 的思路轉化為一個優化問題，即下面這樣一個復雜的公式：
它考慮到了人類下達的指令可能範圍很大，并且需要上下文理解，于是将指令拆解成很多子任務，比如開頭第一個示例就由 " 抓住抽屜把手 " 和 " 拉開抽屜 " 組成。
VoxPoser 要實現的就是優化每一個子任務，獲得一系列機器人軌迹，最終最小化總的工作量和工作時間。
而在用 LLM 和 VLM 将語言指令映射為 3D 地圖的過程中，系聯考慮到語言可以傳達豐富的語義空間，便利用 "感興趣的實體 ( entity of interest ) " 來引導機器人進行操作，也就是通過 3DValue Map 得標記的值來反應哪個物體是對它具有 " 吸引力 " 的，那些物體是具有 " 排斥性 "。
還是以開頭的例子舉，抽屜就是 " 吸引 " 的，花瓶是 " 排斥 " 的。
當然，這些值如何生成，就靠大語言模型的理解能力了。
而在最後的軌迹合成過程中，由于語言模型的輸出在整個任務中保持不變，所以我們可以通過緩存其輸出，并使用閉環視覺反饋重新評估生成的代碼，從而在遇到幹擾時快速進行重新規劃。
因此，VoxPoser 有着很強的抗幹擾能力。
△ 将廢紙放進藍色托盤
以下分别是 VoxPoser 在真實和模拟環境中的表現（衡量指标為平均成功率）：
可以看到，無論是哪種環境哪種情況（有無幹擾、指令是否可見），它都顯著高于基于原語的基線任務。
最後，作者還驚喜地發現，VoxPoser 產生了4 個 " 湧現能力 "：
（1）評估物理特性，比如給定兩個質量未知的方塊，讓機器人使用工具進行物理實驗，确定哪個塊更重；
（2）行為常識推理，比如在擺餐具的任務中，告訴機器人 " 我是左撇子 "，它就能通過上下文理解其含義；
（3）細粒度校正，比如執行 " 給茶壺蓋上蓋子 " 這種精度要求較高的任務時，我們可以向機器人發出 " 你偏離了 1 厘米 " 等精确指令來校正它的操作；
（4）基于視覺的多步操作，比如叫機器人将抽屜精準地打開成一半，由于沒有對象模型導致的信息不足可能讓機器人無法執行這樣的任務，但 VoxPoser 可以根據視覺反饋提出多步操作策略，即首先完全打開抽屜同時記錄搖桿位移，然後将其推回至中點就可以滿足要求了。
李飛飛：計算機視覺的 3 顆北極星
大約一年前，李飛飛在美國文理學會會刊上撰文，指出計算機視覺發展的三個方向：
具身智能（Embodied AI）
視覺推理（Visual Reasoning）
場景理解（Scene Understanding）
李飛飛認為，具身智能不單指人形機器人，任何能在空間中移動的有形智能機器都是人工智能的一種形式。
正如 ImageNet 旨在表示廣泛且多樣化的現實世界影像一樣，具身智能研究也需要解決復雜多樣的人類任務，從疊衣服到探索新城市。
遵循指令執行這些任務需要視覺，但需要的不僅僅是視覺，也需要視覺推理理解場景中的三維關系。
最後機器還要做到理解場景中的人，包括人類意圖和社會關系。比如看到一個人打開冰箱能判斷出他餓了，或者看到一個小孩坐在大人腿上能判斷出他們是親子關系。
機器人結合大模型可能正是解決這些問題的一個途徑。
除李飛飛外，參與本次研究的還有清華姚班校友吳佳俊，博士畢業于 MIT，現為斯坦福大學助理教授。
論文一作Wenlong Huang現為斯坦福博士生，在谷歌實習期間參與了 PaLM-E 研究。
論文地址：
https://voxposer.github.io/voxposer.pdf
項目主頁：
https://voxposer.github.io/
參考鏈接：
[ 1 ] https://twitter.com/wenlong_huang/status/1677375515811016704
[ 1 ] https://www.amacad.org/publication/searching-computer-vision-north-stars
