今天小編分享的互聯網經驗：NVIDIA GTC2024 ：你必須知道的AI、機器人、自動駕駛，歡迎閱讀。
圖片來源 @視覺中國
文 | MetaPost
北京時間 3 月 19 日凌晨，NVIDIA 英偉達一年一度的科技 " 春晚 " 如期而至，NVIDIA 英偉達在 2024 GTC 上隆重發布 Project GR00T 人形機器人基礎模型和 Omniverse Cloud API，同時宣布全球眾多知名汽車品牌已使用 NVIDIA DRIVE Thor 集中式車載計算平台，用于為各自下一代車型的自動駕駛功能提供助力。
眾所周知，科技圈最火的技術和產品，都繞不開 NVIDIA 英偉達。
01 Project GR00T 人形機器人基礎模型
NVIDIA 于今日發布人形機器人通用基礎模型 Project GR00T，旨在進一步推動其在機器人和具身智能方面的突破。Project GR00T 是一種多模态人形機器人通用基礎模型，作為機器人的大腦，讓機器人學習技能從而執行各種指令。
NVIDIA 創始人兼首席執行官黃仁勳表示：" 開發通用人形機器人基礎模型是當今 AI 領網域中最令人興奮的課題之一。世界各地的機器人技術領導者正在匯集各種賦能技術，致力于在人工通用機器人領網域實現突破。"
此外，NVIDIA 還發布了一款基于 NVIDIA Thor 系統級芯片的新型人形機器人計算機 Jetson Thor，并對 NVIDIA Isaac 機器人平台進行了重大更新，包括生成式 AI 基礎模型和仿真工具，以及 AI 工作流基礎設施。
GR00T 驅動的機器人将能夠理解自然語言，并通過觀察人類行為來模仿動作——快速學習協調、靈活性和其他技能，以便适應現實世界并與之互動。黃仁勳還在現場展示了數台人形機器人，并與它們進行了互動。
1、專為人形機器人而生
Jetson Thor 是一個全新的計算平台，能夠執行復雜的任務并安全、自然地與人和機器互動，具有針對性能、功耗和尺寸優化的模塊化架構。
該平台帶有 transformer engine 的下一代 GPU，采用 NVIDIA Blackwell 架構，可提供每秒 800 萬億次 8 位浮點運算 AI 性能，以運行 GR00T 等多模态生成式 AI 模型。憑借集成的功能安全處理器、高性能 CPU 集群和 100GB 以太網帶寬，大大簡化了設計和集成工作。
2、 Isaac 平台的重大更新
GR00T 使用的 Isaac 工具可以為任何環境中的機器人創建新的基礎模型。這些工具包括用于強化學習的 Isaac Lab 和用于計算編排服務的 OSMO。
訓練具身智能模型需要海量的真實數據和合成數據。新的 Isaac Lab 是一個 GPU 加速、性能優化的輕量級應用，基于 Isaac Sim 構建，專門用于運行數千個用于機器人學習的并行仿真。
為了擴展異構計算的機器人開發工作負載，OSMO 在分布式環境中協調數據生成、模型訓練和軟硬體在環工作流。
NVIDIA 還發布了 Isaac Manipulator 和 Isaac Perceptor 等一系列機器人預訓練模型、庫和參考硬體。
Isaac Manipulator 為機械臂提供了卓越的靈活性和模塊化 AI 功能，并提供了一系列強大的基礎模型和 GPU 加速庫。它提供了高達 80 倍的路徑規劃加速，零樣本感知提高了效率和吞吐量，使開發者能夠實現更多新的機器人任務的自動化。
Isaac Perceptor 提供了多攝像頭和 3D 環繞視覺功能，這些功能正越來越多地被制造業和物流業的自主移動機器人所采用，以提高效率和更好地保護工人，同時降低錯誤率和成本。
02 NVIDIA DRIVE 進一步助力自動駕駛
NVIDIA 今日還宣布 NVIDIA DRIVE Thor 集中式車載計算平台，已經被比亞迪、昊鉑、小鵬、Plus、Nuro、Waabi 和文遠知行等品牌采用。
作為 DRIVE Orin 的後續產品，性能高達 1000 TFLOPS 的 DRIVE Thor 是專為汽車行業的生成式 AI 應用而打造的車載計算平台。DRIVE Thor 不僅可以提供豐富的座艙功能、安全可靠的高度自動化駕駛和無人駕駛功能，還能将所有功能整合至同一個集中式平台上。
NVIDIA 創始人兼首席執行官黃仁勳表示，這款新一代自動駕駛汽車處理器将搭載專為 Transformer、大語言模型和生成式 AI 工作負載而打造的全新 NVIDIA Blackwell 架構。
NVIDIA 汽車事業部副總裁吳新宙表示：" 加速計算為生成式 AI 等領網域帶來了變革性突破，而生成式 AI 則正在重新定義自動駕駛和全球交通運輸業。DRIVE Orin 仍然是當今智能車型首選的 AI 車載計算平台，同時，我們看到移動出行領網域的領先企業富有遠見地将 NVIDIA DRIVE Thor 納入其下一代 AI 汽車產品路線圖中。"
1、加速計算打造下一代 AI 車型
NVIDIA DRIVE Thor 被 NVIDIA 稱為 " 将徹底改變汽車行業的格局，開創生成式 AI 定義駕駛體驗的時代 " 的產品。多家頭部電動汽車制造商在 GTC 上公布了其搭載 DRIVE Thor 的下一代 AI 車型。
比亞迪與 NVIDIA 的長期協作正從車端延伸到雲端。除了在 DRIVE Thor 上構建下一代車型外，比亞迪還計劃将 NVIDIA 的 AI 基礎設施用于雲端 AI 開發和訓練技術，并使用 NVIDIA Isaac 與 NVIDIA Omniverse 來開發用于虛拟工廠規劃和零售配置器的工具與應用。
廣汽埃安宣布旗下品牌昊鉑下一代電動汽車将采用 DRIVE Thor 平台，新車型将于 2025 年開始量產，可實現 L4 級自動駕駛。昊鉑目前的旗艦車型昊鉑 GT 搭載了 NVIDIA DRIVE Orin，該車型具備 L2+ 級高速自動駕駛能力。
小鵬宣布将把 NVIDIA DRIVE Thor 平台作為其下一代電動汽車的 " AI 大腦 "，助力其智能輔助駕駛系統，實現自動駕駛和泊車、駕乘人員監控等功能。
此前，理想汽車和極氪均已表示将在 DRIVE Thor 上構建未來車型。
2、賦能全景智能交通運輸需求
除乘用車外，DRIVE Thor 還能夠滿足卡車、自動駕駛出租車、配送車等其他細分領網域的不同需求。
Nuro 致力于開發用于商用車和乘用車的 L4 級自動駕駛技術。該公司選擇 DRIVE Thor 為 Nuro Driver 提供助力，Nuro Driver 是一個集成式自動駕駛系統，由 Nuro 自研的 AI-First 軟體和傳感器以及 NVIDIA 車規級計算和網絡硬體組成。該系統将于今年晚些時候開始測試。
全球自動駕駛軟體解決方案提供商 Plus 宣布，其 L4 級解決方案 SuperDrive 的下一代產品将在符合安全标準的 DRIVE Thor 車規級集中式計算平台上運行。Plus 的自動駕駛系統将充分利用 DRIVE Thor 的計算性能，以了解卡車周圍的環境并做出安全的駕駛決策。
正在打造自動駕駛 AI 的 Waabi 将利用 DRIVE Thor 推出其首個采用生成式 AI 技術的自動駕駛卡車解決方案。該公司計劃将 DRIVE Thor 集成到其 Waabi Driver 中，大規模地提升自動駕駛卡車的安全與可靠性。
文遠知行正在與聯想車計算一同基于 DRIVE Thor 來創建多個商用 L4 級自動駕駛解決方案。該解決方案集成在聯想首款自動駕駛網域控制器 AD1 中，将被用于各種以城市為中心的用例，具備功能安全、冗餘安全設計、融合可擴展等技術特點。
03 全新 Omniverse Cloud API 發布
2019 年，NVIDIA Omniverse 上線，2022 年，Omniverse Cloud 發布，如今，Omniverse 已被全球各大行業廣泛應用，任何人在任何地點都可以使用 Omniverse Cloud 這一綜合、全面的雲服務來設計、發布、運行和體驗元宇宙相關應用。
NVIDIA 創始人兼首席執行官黃仁勳表示：" 所有制造出來的產品都将擁有數字孿生。 Omniverse 是一個可以構建并操作物理真實的數字孿生的作業系統。Omniverse 和生成式 AI 都是将價值高達 50 萬億美元的重工業市場進行數字化所需的基礎技術。"
2024 GTC，五款全新 Omniverse Cloud API 發布，既可以單獨使用，也可以組合使用：
l USD Render：生成 OpenUSD 數據的全光線追蹤 RTX 渲染；
l USD Write：用戶可以修改 OpenUSD 數據并與之互動；
l USD Query：支持場景查詢和互動式場景；
l USD Notify：追蹤 USD 變化并提供更新信息；
l Omniverse Channel：連接用戶、工具和世界，實現跨場景協作；
借助 Omniverse Cloud API，開發者們可以輕松地将 Omniverse 的核心技術直接集成到現有的數字孿生設計與自動化軟體應用中，以及用于測試和驗證機器人或自動駕駛汽車等自主機器的仿真工作流中。
截至目前， Ansys、Cadence、達索系統旗下 3DEXCITE、Hexagon、微軟、羅克韋爾自動化、西門子和 Trimble 等全球大型工業軟體制造商都在将 Omniverse Cloud API 加入到其軟體組合中。
1、互式可視化和協作走近工業應用
早在 2022 年，NVIDIA 便宣布進一步拓展和西門子的合作夥伴關系，将西門子的 Xcelerator 和 NVIDIA 的 Omniverse 平台連接起來，共同打造工業元宇宙。西門子是工業自動化軟體基礎設施、建築技術和交通領網域的領先者，結合 NVIDIA 在加速圖形和人工智能領網域的成果，将為用戶帶來生產和產品全生命周期的效率、生產力以及流程等優化提升。
如今，西門子正在其 Xcelerator 平台中使用 Omniverse Cloud API，最先接入的是雲端產品生命周期管理軟體 Teamcenter X。
黃仁勳今日在 GTC 主題演講中展示了 Teamcenter X 與 Omniverse API 的連接，它不僅可以打通設計數據到 NVIDIA 生成式 AI API 之間的通路，還允許在該應用内直接使用 Omniverse RTX 渲染。
西門子總裁兼首席執行官 Roland Busch 表示：" 通過 NVIDIA Omniverse API，西門子能夠利用生成式 AI 賦能客戶，使其符合物理學的數字孿生變得更具沉浸感。這将幫助所有人在實際建造前，對下一代產品、制造流程和工廠進行虛拟設計、建造和測試。通過将現實世界與數字世界相結合，西門子數字孿生技術正在幫助全球企業提高競争力、彈性和可持續發展能力。"
2、加速自主機器開發
随着全球對機器人、自動駕駛汽車和 AI 監控系統需求的增加，傳感器數據對于訓練、測試和驗證從感知到規劃和控制的全棧自主性便顯得至關重要。
Omniverse Cloud API 恰恰能夠連接豐富的模拟工具、開發者生态系統和業界領先的傳感器解決方案提供商，通過高保真以及符合物理學的傳感器仿真實現全棧訓練和測試工作。
據悉，今年晚些時候，Microsoft Azure 也将上線 Omniverse Cloud API 服務。
微軟 Emerging Technologies 公司副總裁 Andy Pratt 表示：" 下一個工業數字化時代已經到來。通過 Microsoft Azure 上的 NVIDIA Omniverse API，世界各地各行業的企業都可以連接、協作并改進其現有工具，創造出下一批 AI 賦能的數字孿生工具。"
