今天小编分享的科技经验：谷歌发布世界模型Genie 2！一键生成3D游戏，人和AI都能玩，时长多达1分钟，欢迎阅读。
作者 | ZeR0
编辑 | 漠影
智东西 12 月 5 日报道，AGI 竞赛愈演愈烈！就在 OpenAI 宣布将于未来 12 天直播新发布和 demo 前，昨夜，Google DeepMind 发布大型基础世界模型 Genie 2，能生成各种可控制动作、可玩的 3D 环境，还可以用于训练和评估具身 agent。
只要给一张提示影像，Genie 2 就能按照你输入的文本提示，生成对应的互動式虚拟世界。无论是人类还是 AI agent，都可以使用键盘和滑鼠来在由 AI 生成的 3D 游戏世界里探索和互动。
Genie 2 是一个自回归潜在扩散模型，训练于大型视频数据集。经过自动编码器后，视频中的潜在帧被传递到大型 Transformer 动力学模型。该模型使用与大语言模型类似的因果掩码进行训练。
在推理时，Genie 2 能以自回归方式进行采样，逐帧获取单个动作和过去的潜在帧。Google DeepMind 使用 CFG（无分类器指导，classifier-free guidance）来提高动作可控性。
博客文章放出大量由未蒸馏的基础模型生成的视频示例，来展示 Genie 2 在行动控制、生成反设事实、长视界记忆、长视频生成、多样环境、3D 结构、物体互動、复杂角色动画、NPC、物理、烟雾、光影、快速原型设计方面的效果与优势。蒸馏版本支持实时互動，但运行时的视觉质量会降低些。
输入真实世界的照片后，它也能很好模拟一些物理规律，比如可模拟风中摇曳的草或河中流动的水。
一、超强空间记忆能力，模拟真实世界环境
此前世界模型在很大程度上局限于建模狭窄的领網域。Genie 1 引入了一种生成各种 2D 世界的方法。Genie 2 则进一步在通用性上取得进展，可以生成种类繁多的丰富 3D 世界。
以下是与 Genie 2 互动的一些示例视频。模型会使用文生图模型 Imagen 3 生成的单个影像，按照提示词生成一个可互動的 3D 世界。人或 agent 进行键鼠操作，进入这个新创建的世界并与之互动。Genie 2 可以生成长达 1 分钟的一致世界，大多数示例持续 10-20 秒（本文将部分视频示例转成 gif 动图并只截取片段，完整视频请到原博客文章查看）。
1、智能响应键盘按键操作
Genie 2 可以智能地响应键盘上的按键操作，正确地识别并移动角色。比如下图中的几个示例，模型必须能弄清楚方向按键对应要移动的是机器人，而不是画面中的树、云等其他物体。
树林里的一个可爱的人形机器人。
古埃及的人形机器人。
紫色星球上的机器人的第一视角。
大城市阁楼公寓中的机器人的第一视角。
2、生成反设事实
Genie 2 可以从同一起始帧生成不同的轨迹，为训练 agent 模拟不同事实的体验。在每一行中，每个视频都从同一帧开始，但人类玩家采取的动作不同，生成的画面内容也响应不同。
3、长视界记忆
Genie 2 能够记住视野中不再存在的世界部分，并在它们再次可见时准确呈现。
4、使用新生成的内容生成长视频
Genie 2 可动态生成新的合理内容，并在长达 1 分钟的时间内维持一致的世界。
5、多样化环境
Genie 2 可创建不同的视角，例如第一视角、等距视图或第三视角驾驶视频。
6、3D 结构
Genie 2 会创建复杂的 3D 视觉场景。
7、模拟对象相互作用
Genie 2 能模拟各种物体的相互作用，例如爆破气球、打开门和射击炸药桶。
8、角色动画
Genie 2 学习了如何为不同类型的角色制作动画来执行不同的活动。
9、NPC
Genie 2 能够模拟其他 agent，甚至与它们进行复杂的互動。
10、物理
Genie 2 模拟水效果。
11、烟雾
Genie 2 模拟烟雾效果。
12、重力
Genie 2 模拟重力。
13、灯光
Genie 2 模拟光点和定向照明。
14、反射
Genie 2 模拟反射、喷雾减光和彩色灯光。
二、理解物理世界差异，可将概念图转化成互動式环境
Genie 2 模型可快速创建各种互動体验的原型。例如用 Imagen 3 生成不同影像，让 Genie 2 生成模拟纸飞机、龙、鹰、降落伞飞行的视频。可以看到 Genie 2 生成的视频能够理解并模拟出它们飞行的差异。
概念艺术和绘图也可以被 Genie 2 转化成完全互動式环境，以便艺术家、设计师能快速制作研究环境概念的原型。
三、AI agent 也能玩，为具身智能提供绝佳训练场
Genie 2 可快速为 AI agent 创建丰富多样的环境，从而生成 agent 在训练期间未见过的评估任务。
例如，Google DeepMind 与游戏开发商合作开发了 SIMA agent。SIMA agent 被设计成通过遵循自然语言指令来完成一系列 3D 游戏世界中的任务，因此可以在 Genie 2 合成的、未见过的环境执行指令。
输入下面 Imagen 3 生成的第三开放世界探索游戏图，Genie 2 可生成一个带有两扇门（一扇是红门，一扇是蓝门）的 3D 环境。
然后向 SIMA agent 提出打开某扇门的指令，Genie 2 则能生成符合要求的画面。
在这个示例中，SIMA 通过键盘和滑鼠输入控制角色，而 Genie 2 生成游戏帧。
也可以使用 SIMA 来帮助评估 Genie 2 的功能。通过指示 SIMA 环顾四周、探索房屋后面等，测试 Genie 2 生成一致环境的能力。
再比如根据下面这张图来生成视频。
输入不同提示词 " 上楼 "、" 去有植物的地方 "、" 走中间门 "，Genie 2 会生成对应的不同视频画面。
虽然这项研究仍处于早期阶段，agent 和环境生成能力都还有很大的改进空间，但 Google DeepMind 相信 Genie 2 是解决安全训练具体 agent 的结构性问题的途径，同时实现迈向 AGI 所需的广度和通用性。
结语：世界模型，AI 领網域的下一件大事
游戏是安全测试和推进 AI 能力的理想环境。训练更通用具身 agent 的传统瓶颈在于缺乏足够丰富和多样化的训练环境。
Google DeepMind 正将越来越多资源投入于世界模型研究。Genie 2 展示了基础世界模型在创建多样化 3D 环境、定制互動式游戏场景、加速 agent 研究等方面的潜力，可让未来的 Agent 在无限的新世界中接受训练和评估。
该研究方向尚处于早期阶段，Google DeepMind 计划在通用性和一致性方面继续改进 Genie 的世界生成能力。
与 SIMA 一样，其研究致力于构建更通用的 AI 系统和 agent，使其能够理解和安全地执行各种任务，从而帮助在线和现实世界中的人们。
Google DeepMind 还放了一些有趣的 " 彩蛋 "：Genie 2 生成出一些奇怪视频，比如没有采取行动的情况下一个鬼魂出现在花园，在雪场的人物角色相比滑雪更爱跑酷、一个魔法球把周遭炸成灰。
来源：Google DeepMind
