今天小編分享的科學經驗:老黃發布新核彈B300,英偉達:B200已破DeepSeek-R1推理世界紀錄,歡迎閲讀。
皮衣老黃,帶着最強 AI 芯片 GB300閃亮登場 "AI 超級碗 "GTC,燃爆全場!
性能方面,和去年發布的 GB200 相比,推理性能是其 1.5 倍。
據悉,GB300 将在今年的下半年出貨。
除此之外,老黃還預覽(2026 年下半年發貨)了英偉達下一代 AI 超級芯片,名字大變樣——Vera Rubin。
其實它的命名規則和 Grace Blackwell(GB)類似:Grace 是 CPU,Blackwell 是 GPU。
而 Vera Rubin 中的 Vera 是 CPU,Rubin 是 GPU。根據老黃的説法:
幾乎所有細節都是新的。
從預覽的性能來看,Vera Rubin 整體性能更是 GB300 的3.3 倍。更具體一些:
Vera:CPU 的内存是 Grace 的 4.2 倍,内存帶寬是 Grace 的 2.4 倍。
Rubin:将配備 288GB 的 HBM4。
在 Vera Rubin 之後的下一代 GPU(2027 年下半年),英偉達會将其命名為 Rubin Ultra,性能直接拉到 GB300 的14 倍。
一個直觀的對比,如下圖所示:
更多的具體性能對比,是這樣的:
性能上的提升,也正應了老黃在現場説的那句話:
大規模推理是一種極限計算。
Inference at-scale is extreme computing.
不僅如此,就連 Rubin 之後的下一代 GPU,老黃也給亮出來了——将以Feynman來命名。
而縱觀整場 GTC,我們可以輕松提煉老黃提及最多的幾個關鍵詞:tokens、推理和Agentic AI。
但除此之外,還有一個比較有意思的關鍵詞——DeepSeek。
英偉達官方博客稱:
實現了 DeepSeek-R1 推理性能世界紀錄。
每個用户每秒可處理超過 250 個 token;實現每秒超過 30000 個 token 的最大吞吐量。
但這項紀錄采用的是 B200,英偉達表示随着 Blackwell Ultra 等新 GPU 的出現,紀錄還将繼續被打破。
而老黃在現場體現傳統 LLM 和推理 LLM 的區别時,也是拿着 DeepSeek-R1 來舉例:
嗯,微妙,着實有點微妙。
那麼除了一系列新 GPU 之外,還有什麼?我們繼續往下看。
推出兩款個人 AI 超級計算機
首先,第一款個人 AI 超級計算機,叫做DGX Spark。
它就是老黃在今年 1 月份 CES 中發布的那個全球最小的個人 AI 超級計算機 Project Digits,這次取了個正式的名字。
DGX Spark 售價3000 美元(約 21685 元),大小和 Mac Mini 相當。
它采用的是英偉達GB10 芯片,能夠提供每秒 1000 萬億次的 AI 運算,用于微調和推理最新 AI 模型。
其中,GB10 采用了 NVLink-C2C 互連技術,提供 CPU+ gpu 的相幹内存模型,帶寬是第五代 PCIe 的 5 倍。
值得一提的是,英偉達官網已經開發預定了哦 ~
至于第二款個人 AI 超級電腦,則是DGX Station。
DGX Station 所采用的,正是今天推出的 GB300,也是首個采用這款芯片的 AI 電腦。
其性能如下:
擁有 784GB 的相幹内存空間
擁有英偉達的 ConnectX-8 超級網卡,支持高達 800Gb/s 的網絡速度
擁有 Nvidia 的 CUDA-X AI 平台,可訪問 NIM 微服務和 AI Enterprise
用老黃的話來説就是:
這就是 PC 應該有的樣子。
This is what a PC should look like.
至于上市趕時間,則是将于今年晚些時候從華碩、BOXX、戴爾、惠普、Lambda 和美超微等廠商處推出。
△搭載 GB300 的 DGX Station 主機板
而根據英偉達官方的介紹,這兩款個人 AI 超級計算機,是面向研究人員、數據科學家、AI 開發者和學生設計的。
除此之外,老黃在這屆 GTC 上還涉足了以太網,推出全球首個面向 AI 的以太網網絡平台——Spectrum-X。
它由英偉達的 Spectrum-4 以太網交換機和 BlueField-3 SuperNIC 共同發力,能為 AI、機器學習和自然語言處理等提供高性能支持。
相比傳統以太網,Spectrum-X 可将 AI 網絡性能提升 1.6 倍,提高 AI 雲的電力效率。
以及還包括基于硅光學的 Spectrum-X Photonics 和 Quantum-X Photonics 網絡交換平台,用于使用硅光學的超大規模數據中心。
新的網絡交換平台将端口數據傳輸速度提升至 1.6Tb/s,總傳輸速度達到 400Tb/s,使數百萬個 GPU 能夠無縫協同工作。
還開源了一系列軟體
除了硬體,英偉達這次在軟體開源方面也有幾個新動作。
其中最重磅的,當屬發布NVIDIA Dyamo,一個用于加速 AI 模型推理的分布式推理服務庫。
老黃将其稱為 "AI 工廠的作業系統 ",核心目标在于提高推理性能的同時降低 Test-Time 算力消耗。
按照英偉達的説法,在 NVIDIA Blackwell 上使用 Dynamo 優化推理,能讓 DeepSeek-R1 的吞吐量提升 30 倍。
至于背後原因,主要在于 Dynamo 可以通過動态調整 GPU 資源應對請求波動,并優化數據解除安裝到成本更低的存儲設備,從而降低推理成本并提高效率。
目前 Dynamo 已完全開源,支持 PyTorch、SGLang、NVIDIA TensorRTyTM 以及 vLLM,在 GitHub 獲取後即可将推理工作分配到多達 1000 個 NVIDIA GPU 芯片。
此外,英偉達還宣布開源新的 AI 推理模型—— Llama Nemotron,該系列模型也曾出現在今年 1 月的 CES 上。
據介紹,Llama Nemotron 基于開源 Llama 基礎模型構建,采用英偉達最新技術和高質量數據集進行剪枝和訓練,優化了計算效率和準确性。
為了直觀展示其性能,老黃在大會上将它和 Llama 3.3(70B)以及 DeepSeek R1 Llama (70B)進行了對比,下圖展示了它們在 Agentic 任務上的平均準确率(橫軸)與每秒處理的 tokens 數量(縱軸):
可以看出,新的推理模型以 49B 參數量性能遠超另外兩個模型,在 Agentic 任務中表現更為突出。
目前 Nano 和 Super 模型可在 NIM 微服務中獲取,Ultra 模型即将推出。
與此同時,英偉達在自動駕駛和具身智能方面也有新進展。
大會開始不久,老黃即宣布英偉達與通用汽車達成合作:
通用将在自動駕駛上使用英偉達的 AI 技術。
在這之後,英偉達正式發布了端到端自動駕駛汽車全棧綜合安全系統NVIDIA Halos。
這個系統主要将 NVIDIA 的汽車硬體和軟體解決方案與尖端 AI 研究相結合,以确保從雲端到車輛的自動駕駛汽車(AVs)的安全開發。
介紹過程中,老黃多次提到了 " 安全性 " 這個詞,并公開聲稱:
我們是世界上第一家對每一行代碼進行安全評估的公司
落實到具體上,Halos 系統主要在三個互補的層面提供支持:
技術層面:包括平台安全、算法安全和生态系統安全;
開發層面:涵蓋設計階段、部署階段和驗證階段的安全防護措施;
計算層面:從 AI 訓練到部署的全過程,利用三種強大的計算平台,分别是 NVIDIA DGX 用于 AI 訓練,NVIDIA Omniverse 和 NVIDIA Cosmos 在 NVIDIA OVX 上運行用于模拟,以及 NVIDIA DRIVE AGX 用于部署。
到了大會的最後階段,老黃宣布英偉達與 Google DeepMind 和 Disney Research 正合作開發下一代開源仿真物理模型 Newton。
據英偉達介紹,Newton 基于 NVIDIA Warp 構建,支持與 MuJoCo Playground 或 NVIDIA Isaac Lab 等學習框架兼容。
它主要用于機器人模拟訓練,使用之後可以幫助研究人員安全、加速且低成本地訓練 / 開發 / 測試 / 驗證機器人控制算法和原型設計。
同時,英偉達還同步推出了 Isaac GR00T N1,号稱全球首個開源的、完全可定制的人形機器人基礎模型。
它采用雙系統架構,靈感來自人類思考模式,包括快速思考的動作模型(System 1)和慢速思考的決策模型(System 2)。
在大會演示中,GR00T N1 能夠輕松泛化常見的任務,如抓取、移動物體以及在雙臂之間轉移物品,或執行需要長時間推理的復雜任務。
最後的最後,老黃在謝幕之前還成功 " 召喚 " 出了配有 GR00T N1 模型的機器人—— Blue(星球大戰機器人)。
雖然過程中有些不聽話的 " 叛逆行為 ",但好在還是給了點老黃面子(doge)。
One More Thing
今年的 GTC 大會,除了老黃的主題演講,還有一件事最值得期待:
那就是今年首次設立的 " 量子日 " 活動,屆時老黃将與 D-Wave Quantum 和 Rigetti Computing 等十餘家量子計算行業領軍企業的高管同台,讨論量子計算的技術現狀、潛力以及未來發展方向。
要知道今年年初時,老黃一句 " 量子計算還需 20 年才實用 ",相關概念股曾應聲腰斬。
所以大家這次都在觀望,老黃是否又會 " 語出驚人 ",相關探讨是否會對量子計算產業產生更大影響。
咱們繼續坐等答案揭曉 ~
老黃演講回看地址:
https://www.youtube.com/watch?v=_waPvOwL9Z8
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法!
— 完 —
最後一周!2025 年值得關注的 AIGC 企業產品 報名即将截止
下一個 AI" 國產之光 " 将會是誰?歡迎申報獎項!
本次評選結果将于 4 月 16 日中國 AIGC 產業峰會上公布。
一鍵星标
科技前沿進展每日見