今天小編分享的财經經驗：爆火的DeepSeek-V3強在哪？，歡迎閲讀。
最近，DeepSeek-V3 在國外火了。
它為什麼火呢？主要有三個原因：
一，性能非常出色。
在許多測試中，它都超過了其他頂尖模型，比如 GPT-4o 和 Claude 3.5 Sonnet。特别在數學和代碼生成方面，表現尤為突出。
二，它的訓練成本相對較低。只要 600 萬美元就能完成訓練，與其他頂級模型相比，性價比極高。
三，它是開源的。全球的開發者都可以免費使用和測試它。
因此，它火了。不過，随着它的火爆，很多人開始好奇：這個模型來自哪裏？它與其他模型有何不同？
帶着同樣的疑問，我查看了它 12 月 26 日在 GitHub 上發布的報告—— DeepSeek-V3 Technical Report。總結出五點内容，關于模型架構設計、基礎設施、預訓練、後訓練模型，以及評估結果。現在向你匯報一下。
一
先來説説這家公司：
DeepSeek-V3 由中國幻方量化公司開發，它是基于自研 MoE 模型的新一代大語言模型。
MoE，全稱 Mixture of Experts，也叫混合專家技術，是一種機器學習架構，是通過組合多個專家模型，在處理復雜任務時，讓效率和準确度都大大提升。
以前，人們總愛把 "DeepSeek" 比作 AI 界的拼多多。
因為它開啓了中國大模型的價格戰。2024 年 5 月，它們推出了一個名為 DeepSeek V2 的開源模型。這個模型的性價比超級高，每百萬個 token 的推理計算成本只要 1 塊錢。
這個價格，大概是 Llama3 70B 的 1/7，也是 GPT-4 Turbo 的 1/70。
這個消息一出，字節、騰訊、百度、阿裏，還有 kimi 這些 AI 公司都跟着降價。所以，DeepSeek 憑借它的高性價比，在中國大模型市場掀起了第一場價格戰。
但是，V2.5 版本的更新速度不快，直到 9 月份才有動靜；現在又過了 3 個月，V3 版本終于來了。這次，大家最想知道的就是，它的架構有什麼新變化。
這家公司的老板梁文鋒説過，以前中國公司習慣于做應用變現，但現在 DeepSeek 的目标是走在技術前沿。他希望用技術推動整個生态的發展。他認為，中國公司應該從 " 搭便車 " 的角色，轉變為 " 貢獻者 "，主動參與到全球創新的大潮中。
那麼，DeepSeek-V3 到底有哪些技術架構上新亮點呢？
圖釋：DeepSeek-V3MoE 架構工作流程
報告中説：DeepSeek-V3 的架構設計非常精巧，主要有四點：
分别是什麼意思呢？首先，DeepSeek-V3 有 671 億個參數，像一個超級大腦。這個大腦采用的技術叫做 MoE 架構，就是混合專家技術。這意味着它裏面有很多專家模型，但每次只需要調用 37 億個參數來工作就可以了。
為了讓專家模型高效工作，DeepSeek-V3 得有個聰明的調度員，确保每個專家都有活幹，不會有的很忙，有的很閒。
因此，DeepSeek-V3 裝載了信息過濾器，叫做 "MLA"，它能讓模型只關注信息中的重要部分，不會被不重要的細節分散注意力。
但是，這樣還不夠，DeepSeek-V3 還得确保每個專家都能得到合理的工作量，并且訓練模型去預測接下來的幾個步驟，不只是下一步；這就是無輔助損失的負載平衡策略和多令牌預測訓練目标的用處。
簡單來説，讓每個專家都有合理的工作量，同時訓練模型去預測接下來的幾個步驟，這樣模型在實際工作中就能表現得更好，比如在處理長篇文章時能更好地理解上下文。
所以，DeepSeek-V3 的架構有四個要點：
一，MLA 技術，通過壓縮注意力機制減少需要處理的信息量，提高效率。二，DeepSeekMoE 技術，用更細粒度的專家和共享專家提高訓練效率，并且動态調整專家間的工作量均衡。
三，無輔助損失的負載平衡策略，确保專家間工作量均衡，不依賴額外的損失項；四，多令牌預測訓練目标，提高模型的預測能力和數據效率。
總之，DeepSeek-V3 的架構，像一個高效的團隊，每個成員都有特定的任務，而且團隊能夠預測并準備接下來的工作，這樣的設計才能讓模型在處理信息時既快速又準确。
二
報告第 11 頁到第 12 頁詳細講解了 DeepSeek-V3 的訓練技術。首先，DeepSeek-V3 是在擁有 2048 個 NVIDIA H800 GPU 的超級計算機上進行訓練的。
這些 GPU 通過 NVLink 和 NVSwitch 在單個節點内連接，節點之間則通過 InfiniBand 連接，形成了一個強大的分布式計算網絡。
接下來説説訓練框架。DeepSeek-V3 用了一個叫做 DualPipe 的算法，這個算法能讓模型更智能地分配任務，減少等待時間，确保每個部分都能在正确的時間做正确的事。
這個算法具體包括兩點：
一，DualPipe 和計算通信重疊。就像兩組工人，一組加工零件，一組準備材料。如果他們不同步，加工好的零件就會堆積。
DeepSeek-V3 的 DualPipe 算法讓這兩組工人的工作節奏同步，一邊加工零件，一邊準備材料，這樣就沒有等待時間，生產過程更流暢。
二，高效實現跨節點全對全通信。你可以想象一個大工廠的不同車間需要共享信息。DeepSeek-V3 通過高效的通信技術，确保不同 " 車間 " 之間的信息能快速共享，就像建立了一個快速的信息傳遞網絡。
兩者組合，就能在有限的硬體資源下訓練更大的模型。
有了算法還不夠，還要精練。怎麼精練？DeepSeek-V3 推出了一種叫 FP8 的新技術。簡單來説，通過五個步驟用更小的數字代替原來的大數字，讓計算機更快地做計算，同時節省電力。
舉個例子：
在超市買東西，大多數情況下不用精确到小數點後，大概齊就行了。但是，用小數字代替大數字可能會影響精細工作。
怎麼辦？DeepSeek-V3 在關鍵的地方會用更精确的大數字來确保質量，比如：矩陣乘法，這就像在做精細活兒時，在關鍵步驟用上好工具，其他時候用差點的也沒事。
在訓練過程中，DeepSeek-V3 還會用 FP8 存儲中間結果，節省更多的内存空間。這就像整理東西時，不用把所有東西都放在顯眼的地方，而是合理地收納起來，需要時再拿出來。
最後，DeepSeek-V3 在實際使用時也會根據情況來決定用不用 FP8，這樣就能在保證效果的同時，讓模型跑得更快，更省資源。
如同我們在日常生活中會根據不同的情況來選擇不同的工具，既高效又節約，這就是它的底層基礎技術。
三
DeepSeek-V3 是怎麼做預訓練的呢？
報告裏説，DeepSeek-V3 的預訓練涉及六個方面：數據建設、超參數調整、長上下文擴展、評估基準、消融研究，還有輔助無損耗平衡策略。
首先是 " 數據建設 "。
DeepSeek-V3 用了 14.8 萬億個高質量的數據點來訓練，這些數據覆蓋了很多不同的領網域和語言，這樣模型就能學到很多不同的知識。
然後，在訓練開始之前，得設定一些重要的參數，比如學習率。DeepSeek-V3 會仔細挑選這些參數，讓模型能以最好的方式學習，這叫超參數調整。
緊接着，對長上下文擴展。
這就像教模型讀長故事。DeepSeek-V3 用了一些特别的技術，比如 YaRN，來增加模型能處理的文本長度，從 4K 字節增加到 128K 字節。這樣，模型就能理解更長的文章和故事了。
在學習的過程中，還得檢查模型學得怎麼樣。這就是 " 評估基準 " 的作用。DeepSeek-V3 會在各種測試上進行評估，比如 MMLMU-Pro、GPQA-Diamond 等，确保模型在不同的任務上都能表現得很好。
圖釋：DeepSeek-V3 訓練數據的方法
消融研究是什麼？
DeepSeek-V3 會做很多實驗，看看哪些方法最管用。比如研究無輔助損失的負載平衡策略，找出哪些技術最能提高模型的性能等。
最後，模型通過動态調整，使得每個專家的工作量更加均衡，而不是通過輔助損失來強制平衡。如此一來，預訓練階段就能吸收和處理很多信息，學會理解和生成文本，為後面的訓練打下堅實的基礎。
看完這段報告後我覺得，訓練模型就像給一個 5 歲孩子提供學習資源和環境一樣，讓它在成長過程中能夠全面發展。
四
問題是：只有預訓練還不夠，後訓練才能讓模型更成熟。那麼，DeepSeek-V3 是怎麼做的後訓練呢？
首先是監督微調。
DeepSeek 團隊為模型準備了 150 萬個實例的特别訓練集，就像是一本包含各種生活場景的百科全書。每個訓練集都是精心設計，确保模型能學會在不同情況下應該怎麼處理。
對于那些需要邏輯和計算的數據，比如數學問題或者編程挑戰，團隊用了一個已經訓練好的模型來生成例子。
雖然這些例子通常很準确，但有時可能太復雜或者格式不規範。所以，團隊的目标是讓數據既準确又容易理解。
為了做到這一點，他們結合了監督微調和強化學習的方法，訓練了一些 " 專家模型 "。這些專家模型就像專業的老師，負責教模型如何在特定領網域做得更好。
在訓練過程中，他們會創造兩種類型的例子：一種是直接的問題和答案，另一種加上了 " 系統提示 " 的問題、答案和 R1 模型的響應。這些系統提示就像教學大綱，指導模型如何給出有深度和經過驗證的答案。
對了，在 " 強化學習 " 階段，模型會嘗試不同的回答，根據效果得到獎勵或懲罰。
通過這個過程，模型就學會了給出更好的答案；最後，團隊會用 " 拒絕采樣 " 的方法挑選最好的示例，用于最終模型的訓練，這确保了用于模型學習的數據既準确又容易理解。
對于非推理數據，比如：寫故事或者角色扮演，團隊用了另一個模型來生成回答，然後讓人工檢查這些回答是否準确和合适。這兩個步驟，報告中稱之為 " 評價标準 "。
最後，DeepSeek 團隊對 DeepSeek-V3-Base 進行了兩個時期的微調，采用了從 5×10-6 到 1×10-6 的 " 餘弦衰減學習率調度 "。
在訓練期間，每個序列都由多個樣本組成，但他們采用了 " 樣本屏蔽策略 "，确保示例相互獨立，這是一種 " 開放評估 " 的模型。
通過這些後訓練步驟，DeepSeek-V3 能夠在實際應用中做到更加精準，就像完成基礎訓練後，再給它進行一些專業技能的培訓。
他們給它起的名字叫 " 生成獎勵模型 "，這讓它不僅是一個學習者，還成為了一個評委；如此周而復始，建立一套正向反饋機制。
五
那麼，通過這套模型訓練出來的成果如何呢？
DeepSeek-V3 做了一系列的全面基準測試，這些測試相當于給超級大腦出了一套标準化的試卷，看看它在各個科目上能得多少分。這些科目包括教育知識、語言理解、編程技能、數學問題解決等。
在數學推理上：
在 MATH-500 測試中，DeepSeek-V3 得了 90.2 分，這個分數不僅比所有開源競争對手高，比如 Qwen 2.5 的 80 分和 Llama 3.1 的 73.8 分，也超過了閉源模型 GPT-4o 的 74.6 分。
在 MGSM 測試中，DeepSeek-V3 得了 79.8 分，超過了 Llama 3.1 的 69.9 分和 Qwen 2.5 的 76.2 分。在 CMath 測試中，DeepSeek-V3 得了 90.7 分，比 Llama 3.1 的 77.3 分和 GPT-4o 的 84.5 分都要好。
圖解：DeepSeek-V3 基準測試數據
在編程和編碼能力方面：
在 LiveCodeBench 測試中，DeepSeek-V3 的通過率達到了 37.6%，領先于 Llama 3.1 的 30.1% 和 Claude 3.5 Sonnet 的 32.8%。
在 HumanEval-Mul 測試中，DeepSeek-V3 得了 82.6%，比 Qwen 2.5 的 77.3% 高，并且和 GPT-4o 的 80.5% 差不多。在 CRUXEval-I 測試中，DeepSeek-V3 得了 67.3%，明顯優于 Qwen 2.5 的 59.1% 和 Llama 3.1 的 58.5%。
在多語言和非英語任務上：
在 CMMLU 測試中，DeepSeek-V3 得了 88.8 分，超過了 Qwen 2.5 的 89.5 分，并且領先于 Llama 3.1 的 73.7 分。
在 C-Eval，中國評估基準測試中，DeepSeek-V3 得了 90.1 分，遠遠領先于 Llama 3.1 的 72.5 分。
其他數據還有很多，總的來説，DeepSeek-V3 成績遙遙領先；對了，還有一句要提的是：DeepSeek-V3 的訓練成本只有 557.6 萬美元，這只是訓練 Meta 的 Llama 3.1 所需估計的 5 億美元的一小部分。
所以，DeepSeek-V3 新的模型結構，無疑是如今人工智能領網域中一次新的變革。高效、省力、省成本；難怪連 OpenAI 的前首席科學家 Andrej Karpathy 也表示，這是一次 " 令人印象深刻的展示 "。
如果 DeepSeek-V3 在資源有限的情況下，都能表現出如此卓越的工程能力，以後是不是不需要大型 GPU 集群了？這個問題值得我們思考。
