今天小编分享的科学经验:英伟达成立最壕AI实验室:Jim Fan领衔,专攻具身智能,欢迎阅读。
英伟达最新大动作来了——通用具身智能体。
这则消息是由英伟达高级科学家 Jim Fan 透露,他表示:
我将和老队友 Yuke Zhu 一起,在英伟达内部组建一个新研究小组—— GEAR,通用具身智能体研究。
我们相信,在未来,每一台移动的机器都将是自主的,机器人和模拟智能体将像 iPhone 一样无处不在。
我们正在构建基础智能体:一个具有通用能力的 AI,可以在许多虚拟和现实的世界中学习如何熟练地行动。
Jim Fan 还强调,2024 年将是属于机器人、游戏 AI 和模拟的一年。
而随着这两天英伟达市值暴涨,Jim Fan 还补充了一条 X 说道:
我们有足够的资金一次性解决机器人基础模型、游戏基础模型和生成式模拟。
我们团队可能是全球最有钱的具身智能实验室。
嗯,有钱,很壕。
相关成果展示
Jim Fan 在发布这条职业履新消息之际,也顺带把英伟达此前在具身智能所做的相关工作盘点了一波。
例如被评为 "2023 年英伟达十大项目 " 之一的Eureka——
用 GPT-4 生成奖励函数,教会机器人完成了三十多个复杂任务:比如,快速转个笔,打开抽屉和柜子、抛球和接球。
使用 GPU 加速的物理模拟进行训练,速度比实时快 1000 倍!
再如Voyager,把 GPT-4 放进《我的世界》——
在游戏中点亮科技树的速度是此前方法的 15.3 倍,同时获得的独特物品是此前的 3.3 倍,探索范围是 2.3 倍。
更关键的是,Voyager 完全借助游戏画面推理,一切操作与反馈通过文本和游戏的 Javascript API 进行。
它也是第一个 LLM 驱动、能熟练玩《我的世界》的智能体。
除此之外,还包括斩获了 NeurIPS 2022 最佳论文的MineDojo。
这项研究提出一个由 3 个智能体组成的 " 具身 GPT-3",可以感知无限世界并在其中行动。
MineDojo 是一个将《我的世界》变成 AGI 研究游乐场的开放框架。
团队收集了 100000 个 YouTube 视频、Wiki 页面和 Reddit 帖子,用于训练《我的世界》智能体。
还有像VIMA这样的研究:第一个带有机械臂的多模态 LLM,为机器人学习引入了 " 多模态提示 "。
更多相关成果盘点,可以戳文末链接。
被黄仁勋带火的具身智能
其实 Jim Fan 领队搞通用具身智能体并不是非常意外的一件事情。
早在去年,黄仁勋便公开表达他对下一代人工智能的观点:
这种新型的人工智能叫做具身智能(Embodied AI),即能理解、推理和与物理世界互动的智能系统。
而从去年至今,无论是高校还是产业,具身智能相关的研究可谓是层出不穷。
最为典型的便是斯坦福大学的家务机器人,惊呆了一众网友。
那么 Jim Fan 团队将在今年再带来什么成果,是值得期待一波了。
参考链接:
[ 1 ] https://twitter.com/DrJimFan/status/1761052023821369639
[ 2 ] https://research.nvidia.com/labs/gear/
[ 3 ] https://twitter.com/DrJimFan/status/1761099207920992688