今天小編分享的互聯網經驗：在馬斯克和奧特曼比誰喊的響的時候，DeepSeek低調發論文，梁文鋒親自參與，歡迎閲讀。
當馬斯克高調推出基于 20 萬塊 GPU 集群的 Grok-3、Sam Altman 在開源策略上反復權衡之際，DeepSeek 悄然發布了一項可能改變遊戲規則的技術。
18 日，DeepSeek CEO公布了一項由梁文鋒親自參與的研究論文成果——原生稀疏注意力（Native Sparse Attention, NSA）機制。這是 DeepSeek 團隊在稀疏注意力領網域的創新性工作，結合了算法創新和硬體優化，旨在解決長上下文建模中的計算瓶頸。
DeepSeek 論文顯示，NSA 不僅将大語言模型處理 64k 長文本的速度最高提升 11.6 倍，更在通用基準測試中實現性能反超傳統全注意力模型。在全球 AI 競賽轉向 " 硬核創新 " 的當口，這家低調的中國公司展示了技術破局的新範式。
值得注意的是，NSA 尚未應用于 DeepSeek V3 的訓練中。這意味着，如果後續 DeepSeek 将 NSA 整合到模型訓練中，其基座模型的能力有望實現顯著提升。論文中明确指出：" 使用 NSA 預訓練的模型超過了全注意力模型 "。
與 DeepSeek 形成鮮明對比的是，xAI 選擇了另一條道路：對工程規模的極致追求。今日馬斯克發布的 Grok3 使用了 20 萬塊 GPU 集群，而未來的 Grok4 更是計劃使用百萬塊 GPU、1.2GW 的集群。這種 " 财大氣粗 " 的做法，體現了北美在 AI 領網域一貫的 " 大力出奇迹 " 風格。
稀疏注意力：DeepSeek NSA 的創新之道
"AI 革命 " 狂飙突進，長文本建模在 AI 領網域的重要性日益凸顯。OpenAI 的 o-series 模型、DeepSeek-R1 以及 Google Gemini 1.5 Pro 等，都展示了處理超長文本的強大潛力。
然而，傳統 Attention 機制的計算復雜度随序列長度呈平方級增長，成為制約大語言模型（LLM）發展的關鍵瓶頸。
稀疏注意力機制被認為是解決這一難題的希望所在。DeepSeek 今日提出的 NSA 機制，正對去年 5 月 MLA（Multi-Layer Attention）工作的補充。NSA 的核心在于将算法創新與硬體優化相結合，實現了高效的長文本建模。
科技媒體AI 寒武紀表示，NSA 的三大關鍵創新包括：
動态分層稀疏策略：結合粗粒度 Token 壓縮和細粒度 Token 選擇，兼顧全局上下文感知和局部信息精确性。
算術強度平衡的設計：針對現代硬體進行優化，顯著提升計算速度。
端到端可訓練：支持端到端訓練，減少預訓練計算量，同時保持模型性能。
NSA 的核心組件：三位一體，逐層優化
科技自媒體zartbot分析，NSA 架構采用了分層 Token 建模，通過三個并行的注意力分支處理輸入序列：
壓縮注意力（Compressed Attention）： 通過壓縮 Token 塊來捕獲全局信息，處理粗粒度的模式。
選擇注意力（Selected Attention）： 處理重要的 Token 塊，選擇性地保留細粒度的信息。
滑動視窗注意力（Sliding Window Attention）： 處理局部上下文信息。
這三個分支的輸出通過一個門控機制進行聚合。為了最大化效率，NSA 還專門設計了硬體優化的 Kernel。
具體而言，NSA 在 Token Compression 部分，基于 block 粒度進行壓縮計算，并插入位置信息編碼。在 Token Selection 部分，則巧妙地借用 Compression 的注意力分數作為 block 的重要性分數，進行 top-N 選擇，以保留關鍵的細粒度信息。Sliding Window 部分則負責處理局部上下文。最後，通過 Gating 函數綜合三種注意力的輸出。
實驗結果：性能與效率的雙重飛躍
根據 DeepSeek 發布的實驗數據，NSA 技術在多個方面展現出卓越表現。
在通用基準測試、長文本任務和指令推理方面，使用 NSA 預訓練的模型性能不僅沒有下降，反而超越了 Full Attention 模型。更重要的是，在處理 64k 長度的序列時，NSA 在解碼、前向傳播和反向傳播等各個階段都實現了顯著的速度提升，最高可達 11.6 倍，證明了 NSA 在模型生命周期各個階段的效率優勢。
AI 寒武紀表示：
"DeepSeek 的 NSA 技術為長文本建模帶來了新的突破。它不僅在性能上超越了傳統的 Full Attention 模型，更在效率方面實現了顯著的提升，尤其是在長序列場景下。NSA 的 硬體友好設計 和 訓推一體化特性，使其在實際應用中更具優勢，有望加速下一代 LLM 在長文本處理領網域的應用落地。"
科技媒體信息平權表示，NSA 論文中隐藏了一個 " 彩蛋 "：
"DeepSeek 此次使用了 Triton，而沒有提及英偉達專用庫和框架。Triton 底層可以調用 CUDA，也可以調用其他計算平台的框架，如 AMD 的 ROCM，甚至國產計算卡。結合 NSA 降低了浮點算力和内存占用門檻的特性，這或許暗示了 DeepSeek 在模型研發階段，就已經開始考慮未來适配更多類型計算卡，為更廣泛、更普遍的開源做準備。"
xAI 的 Grok3：算力堆砌的 " 極致 "
與 DeepSeek 形成鮮明對比的是，xAI 選擇了另一條道路：對工程規模的極致追求。Grok3 使用了 20 萬塊 GPU 集群，而未來的 Grok4 更是計劃使用百萬塊 GPU、1.2GW 的集群。這種 " 财大氣粗 " 的做法，體現了北美在 AI 領網域一貫的 " 大力出奇迹 " 風格。
然而，信息平權的分析指出，盡管 xAI 通過超大集群在短時間内實現了對之前 SOTA（State-of-the-Art）模型的反超，但其投入產出比并不理想。相比 DeepSeek V3，xAI 以 50 倍的成本實現了 30% 的性能提升。這表明，單純在預訓練階段投入巨額算力，其收益可能并不如預期，将資源投入到 RL（強化學習）後訓練階段可能更為劃算。
