英偉達發布 Llama-3.1-Nemotron-Ultra-253B-v1 模型

今天小編分享的科技經驗：英偉達發布 Llama-3.1-Nemotron-Ultra-253B-v1 模型，歡迎閱讀。

IT 之家 4 月 12 日消息，科技媒體 marktechpost 昨日（4 月 11 日）發布博文，報道稱英偉達發布 Llama-3.1-Nemotron-Ultra-253B-v1，這款 2530 億參數的大型語言模型在推理能力、架構效率和生產準備度上實現重大突破。

随着 AI 在數字基礎設施中的普及，企業與開發者需在計算成本、性能與擴展性間尋找平衡。大型語言模型（LLM）的快速發展提升了自然語言理解和對話能力，但其龐大規模常導致效率低下，限制大規模部署。

英偉達最新發布的 Llama-3.1-Nemotron-Ultra-253B-v1（簡稱 Nemotron Ultra）直面這一挑戰，該模型基于 Meta 的 Llama-3.1-405B-Instruct 架構，專為商業和企業需求設計，支持從工具使用到多輪復雜指令執行等任務。

IT 之家援引博文介紹，Nemotron Ultra 采用僅解碼器的密集 Transformer 結構，通過神經架構搜索（NAS）算法優化，其創新之處在于采用跳躍注意力機制，在部分層中省略注意力模塊或替換為簡單線性層。

此外，前饋網絡（FFN）融合技術将多層 FFN 合并為更寬但更少的層，大幅縮短推理時間，同時保持性能。模型支持 128K token 的上下文視窗，可處理長篇文本，适合高級 RAG 系統和多文檔分析。

在部署效率上，Nemotron Ultra 也實現突破。它能在單 8xH100 節點上運行推理，顯著降低數據中心成本，提升企業開發者的可及性。

英偉達通過多階段後訓練進一步優化模型，包括在代碼生成、數學、對話和工具調用等任務上的監督微調，以及使用群體相對策略優化（GRPO）算法進行強化學習（RL）。這些步驟确保模型在基準測試中表現出色，并與人類互動偏好高度契合。