今天小編分享的科學經驗:英偉達成立最壕AI實驗室:Jim Fan領銜,專攻具身智能,歡迎閱讀。
英偉達最新大動作來了——通用具身智能體。
這則消息是由英偉達高級科學家 Jim Fan 透露,他表示:
我将和老隊友 Yuke Zhu 一起,在英偉達内部組建一個新研究小組—— GEAR,通用具身智能體研究。
我們相信,在未來,每一台移動的機器都将是自主的,機器人和模拟智能體将像 iPhone 一樣無處不在。
我們正在構建基礎智能體:一個具有通用能力的 AI,可以在許多虛拟和現實的世界中學習如何熟練地行動。
Jim Fan 還強調,2024 年将是屬于機器人、遊戲 AI 和模拟的一年。
而随着這兩天英偉達市值暴漲,Jim Fan 還補充了一條 X 說道:
我們有足夠的資金一次性解決機器人基礎模型、遊戲基礎模型和生成式模拟。
我們團隊可能是全球最有錢的具身智能實驗室。
嗯,有錢,很壕。
相關成果展示
Jim Fan 在發布這條職業履新消息之際,也順帶把英偉達此前在具身智能所做的相關工作盤點了一波。
例如被評為 "2023 年英偉達十大項目 " 之一的Eureka——
用 GPT-4 生成獎勵函數,教會機器人完成了三十多個復雜任務:比如,快速轉個筆,打開抽屜和櫃子、抛球和接球。
使用 GPU 加速的物理模拟進行訓練,速度比實時快 1000 倍!
再如Voyager,把 GPT-4 放進《我的世界》——
在遊戲中點亮科技樹的速度是此前方法的 15.3 倍,同時獲得的獨特物品是此前的 3.3 倍,探索範圍是 2.3 倍。
更關鍵的是,Voyager 完全借助遊戲畫面推理,一切操作與反饋通過文本和遊戲的 Javascript API 進行。
它也是第一個 LLM 驅動、能熟練玩《我的世界》的智能體。
除此之外,還包括斬獲了 NeurIPS 2022 最佳論文的MineDojo。
這項研究提出一個由 3 個智能體組成的 " 具身 GPT-3",可以感知無限世界并在其中行動。
MineDojo 是一個将《我的世界》變成 AGI 研究遊樂場的開放框架。
團隊收集了 100000 個 YouTube 視頻、Wiki 頁面和 Reddit 帖子,用于訓練《我的世界》智能體。
還有像VIMA這樣的研究:第一個帶有機械臂的多模态 LLM,為機器人學習引入了 " 多模态提示 "。
更多相關成果盤點,可以戳文末鏈接。
被黃仁勳帶火的具身智能
其實 Jim Fan 領隊搞通用具身智能體并不是非常意外的一件事情。
早在去年,黃仁勳便公開表達他對下一代人工智能的觀點:
這種新型的人工智能叫做具身智能(Embodied AI),即能理解、推理和與物理世界互動的智能系統。
而從去年至今,無論是高校還是產業,具身智能相關的研究可謂是層出不窮。
最為典型的便是斯坦福大學的家務機器人,驚呆了一眾網友。
那麼 Jim Fan 團隊将在今年再帶來什麼成果,是值得期待一波了。
參考鏈接:
[ 1 ] https://twitter.com/DrJimFan/status/1761052023821369639
[ 2 ] https://research.nvidia.com/labs/gear/
[ 3 ] https://twitter.com/DrJimFan/status/1761099207920992688