今天小编分享的互联网经验：NVIDIA GTC2024 ：你必须知道的AI、机器人、自动驾驶，欢迎阅读。
图片来源 @视觉中国
文 | MetaPost
北京时间 3 月 19 日凌晨，NVIDIA 英伟达一年一度的科技 " 春晚 " 如期而至，NVIDIA 英伟达在 2024 GTC 上隆重发布 Project GR00T 人形机器人基础模型和 Omniverse Cloud API，同时宣布全球众多知名汽车品牌已使用 NVIDIA DRIVE Thor 集中式车载计算平台，用于为各自下一代车型的自动驾驶功能提供助力。
众所周知，科技圈最火的技术和产品，都绕不开 NVIDIA 英伟达。
01 Project GR00T 人形机器人基础模型
NVIDIA 于今日发布人形机器人通用基础模型 Project GR00T，旨在进一步推动其在机器人和具身智能方面的突破。Project GR00T 是一种多模态人形机器人通用基础模型，作为机器人的大腦，让机器人学习技能从而执行各种指令。
NVIDIA 创始人兼首席执行官黄仁勋表示：" 开发通用人形机器人基础模型是当今 AI 领網域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术，致力于在人工通用机器人领網域实现突破。"
此外，NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片的新型人形机器人计算机 Jetson Thor，并对 NVIDIA Isaac 机器人平台进行了重大更新，包括生成式 AI 基础模型和仿真工具，以及 AI 工作流基础设施。
GR00T 驱动的机器人将能够理解自然语言，并通过观察人类行为来模仿动作——快速学习协调、灵活性和其他技能，以便适应现实世界并与之互动。黄仁勋还在现场展示了数台人形机器人，并与它们进行了互动。
1、专为人形机器人而生
Jetson Thor 是一个全新的计算平台，能够执行复杂的任务并安全、自然地与人和机器互動，具有针对性能、功耗和尺寸优化的模块化架构。
该平台带有 transformer engine 的下一代 GPU，采用 NVIDIA Blackwell 架构，可提供每秒 800 万亿次 8 位浮点运算 AI 性能，以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽，大大简化了设计和集成工作。
2、 Isaac 平台的重大更新
GR00T 使用的 Isaac 工具可以为任何环境中的机器人创建新的基础模型。这些工具包括用于强化学习的 Isaac Lab 和用于计算编排服务的 OSMO。
训练具身智能模型需要海量的真实数据和合成数据。新的 Isaac Lab 是一个 GPU 加速、性能优化的轻量级应用，基于 Isaac Sim 构建，专门用于运行数千个用于机器人学习的并行仿真。
为了扩展异构计算的机器人开发工作负载，OSMO 在分布式环境中协调数据生成、模型训练和软硬體在环工作流。
NVIDIA 还发布了 Isaac Manipulator 和 Isaac Perceptor 等一系列机器人预训练模型、库和参考硬體。
Isaac Manipulator 为机械臂提供了卓越的灵活性和模块化 AI 功能，并提供了一系列强大的基础模型和 GPU 加速库。它提供了高达 80 倍的路径规划加速，零样本感知提高了效率和吞吐量，使开发者能够实现更多新的机器人任务的自动化。
Isaac Perceptor 提供了多摄像头和 3D 环绕视觉功能，这些功能正越来越多地被制造业和物流业的自主移动机器人所采用，以提高效率和更好地保护工人，同时降低错误率和成本。
02 NVIDIA DRIVE 进一步助力自动驾驶
NVIDIA 今日还宣布 NVIDIA DRIVE Thor 集中式车载计算平台，已经被比亚迪、昊铂、小鹏、Plus、Nuro、Waabi 和文远知行等品牌采用。
作为 DRIVE Orin 的后续产品，性能高达 1000 TFLOPS 的 DRIVE Thor 是专为汽车行业的生成式 AI 应用而打造的车载计算平台。DRIVE Thor 不仅可以提供丰富的座舱功能、安全可靠的高度自动化驾驶和无人驾驶功能，还能将所有功能整合至同一个集中式平台上。
NVIDIA 创始人兼首席执行官黄仁勋表示，这款新一代自动驾驶汽车处理器将搭载专为 Transformer、大语言模型和生成式 AI 工作负载而打造的全新 NVIDIA Blackwell 架构。
NVIDIA 汽车事业部副总裁吴新宙表示：" 加速计算为生成式 AI 等领網域带来了变革性突破，而生成式 AI 则正在重新定义自动驾驶和全球交通运输业。DRIVE Orin 仍然是当今智能车型首选的 AI 车载计算平台，同时，我们看到移动出行领網域的领先企业富有远见地将 NVIDIA DRIVE Thor 纳入其下一代 AI 汽车产品路线图中。"
1、加速计算打造下一代 AI 车型
NVIDIA DRIVE Thor 被 NVIDIA 称为 " 将彻底改变汽车行业的格局，开创生成式 AI 定义驾驶体验的时代 " 的产品。多家头部电动汽车制造商在 GTC 上公布了其搭载 DRIVE Thor 的下一代 AI 车型。
比亚迪与 NVIDIA 的长期协作正从车端延伸到云端。除了在 DRIVE Thor 上构建下一代车型外，比亚迪还计划将 NVIDIA 的 AI 基础设施用于云端 AI 开发和训练技术，并使用 NVIDIA Isaac 与 NVIDIA Omniverse 来开发用于虚拟工厂规划和零售配置器的工具与应用。
广汽埃安宣布旗下品牌昊铂下一代电动汽车将采用 DRIVE Thor 平台，新车型将于 2025 年开始量产，可实现 L4 级自动驾驶。昊铂目前的旗舰车型昊铂 GT 搭载了 NVIDIA DRIVE Orin，该车型具备 L2+ 级高速自动驾驶能力。
小鹏宣布将把 NVIDIA DRIVE Thor 平台作为其下一代电动汽车的 " AI 大腦 "，助力其智能辅助驾驶系统，实现自动驾驶和泊车、驾乘人员监控等功能。
此前，理想汽车和极氪均已表示将在 DRIVE Thor 上构建未来车型。
2、赋能全景智能交通运输需求
除乘用车外，DRIVE Thor 还能够满足卡车、自动驾驶出租车、配送车等其他细分领網域的不同需求。
Nuro 致力于开发用于商用车和乘用车的 L4 级自动驾驶技术。该公司选择 DRIVE Thor 为 Nuro Driver 提供助力，Nuro Driver 是一个集成式自动驾驶系统，由 Nuro 自研的 AI-First 軟體和传感器以及 NVIDIA 车规级计算和网络硬體组成。该系统将于今年晚些时候开始测试。
全球自动驾驶軟體解决方案提供商 Plus 宣布，其 L4 级解决方案 SuperDrive 的下一代产品将在符合安全标准的 DRIVE Thor 车规级集中式计算平台上运行。Plus 的自动驾驶系统将充分利用 DRIVE Thor 的计算性能，以了解卡车周围的环境并做出安全的驾驶决策。
正在打造自动驾驶 AI 的 Waabi 将利用 DRIVE Thor 推出其首个采用生成式 AI 技术的自动驾驶卡车解决方案。该公司计划将 DRIVE Thor 集成到其 Waabi Driver 中，大规模地提升自动驾驶卡车的安全与可靠性。
文远知行正在与联想车计算一同基于 DRIVE Thor 来创建多个商用 L4 级自动驾驶解决方案。该解决方案集成在联想首款自动驾驶網域控制器 AD1 中，将被用于各种以城市为中心的用例，具备功能安全、冗余安全设计、融合可扩展等技术特点。
03 全新 Omniverse Cloud API 发布
2019 年，NVIDIA Omniverse 上线，2022 年，Omniverse Cloud 发布，如今，Omniverse 已被全球各大行业广泛应用，任何人在任何地点都可以使用 Omniverse Cloud 这一综合、全面的云服务来设计、发布、运行和体验元宇宙相关应用。
NVIDIA 创始人兼首席执行官黄仁勋表示：" 所有制造出来的产品都将拥有数字孪生。 Omniverse 是一个可以构建并操作物理真实的数字孪生的作業系統。Omniverse 和生成式 AI 都是将价值高达 50 万亿美元的重工业市场进行数字化所需的基础技术。"
2024 GTC，五款全新 Omniverse Cloud API 发布，既可以单独使用，也可以组合使用：
l USD Render：生成 OpenUSD 数据的全光线追踪 RTX 渲染；
l USD Write：用户可以修改 OpenUSD 数据并与之互動；
l USD Query：支持场景查询和互動式场景；
l USD Notify：追踪 USD 变化并提供更新信息；
l Omniverse Channel：连接用户、工具和世界，实现跨场景协作；
借助 Omniverse Cloud API，开发者们可以轻松地将 Omniverse 的核心技术直接集成到现有的数字孪生设计与自动化軟體应用中，以及用于测试和验证机器人或自动驾驶汽车等自主机器的仿真工作流中。
截至目前， Ansys、Cadence、达索系统旗下 3DEXCITE、Hexagon、微软、罗克韦尔自动化、西门子和 Trimble 等全球大型工业軟體制造商都在将 Omniverse Cloud API 加入到其軟體组合中。
1、互式可视化和协作走近工业应用
早在 2022 年，NVIDIA 便宣布进一步拓展和西门子的合作伙伴关系，将西门子的 Xcelerator 和 NVIDIA 的 Omniverse 平台连接起来，共同打造工业元宇宙。西门子是工业自动化軟體基础设施、建筑技术和交通领網域的领先者，结合 NVIDIA 在加速图形和人工智能领網域的成果，将为用户带来生产和产品全生命周期的效率、生产力以及流程等优化提升。
如今，西门子正在其 Xcelerator 平台中使用 Omniverse Cloud API，最先接入的是云端产品生命周期管理軟體 Teamcenter X。
黄仁勋今日在 GTC 主题演讲中展示了 Teamcenter X 与 Omniverse API 的连接，它不仅可以打通设计数据到 NVIDIA 生成式 AI API 之间的通路，还允许在该应用内直接使用 Omniverse RTX 渲染。
西门子总裁兼首席执行官 Roland Busch 表示：" 通过 NVIDIA Omniverse API，西门子能够利用生成式 AI 赋能客户，使其符合物理学的数字孪生变得更具沉浸感。这将帮助所有人在实际建造前，对下一代产品、制造流程和工厂进行虚拟设计、建造和测试。通过将现实世界与数字世界相结合，西门子数字孪生技术正在帮助全球企业提高竞争力、弹性和可持续发展能力。"
2、加速自主机器开发
随着全球对机器人、自动驾驶汽车和 AI 监控系统需求的增加，传感器数据对于训练、测试和验证从感知到规划和控制的全栈自主性便显得至关重要。
Omniverse Cloud API 恰恰能够连接丰富的模拟工具、开发者生态系统和业界领先的传感器解决方案提供商，通过高保真以及符合物理学的传感器仿真实现全栈训练和测试工作。
据悉，今年晚些时候，Microsoft Azure 也将上线 Omniverse Cloud API 服务。
微软 Emerging Technologies 公司副总裁 Andy Pratt 表示：" 下一个工业数字化时代已经到来。通过 Microsoft Azure 上的 NVIDIA Omniverse API，世界各地各行业的企业都可以连接、协作并改进其现有工具，创造出下一批 AI 赋能的数字孪生工具。"
