今天小編分享的科學經驗：字節新推理模型逆襲DeepSeek，200B參數戰勝671B，豆包史詩級加強？，歡迎閱讀。
字節最新深度思考模型，在數學、代碼等多項推理任務中超過 DeepSeek-R1 了？而且參數規模更小。
同樣是 MoE 架構，字節新模型 Seed-Thinking-v1.5 有 200B 總參數和 20B 激活參數。
對比 DeepSeek-R1 的 671B 總參數和 37B 激活參數，可以算得上輕量級了。
目前，完整的技術報告已公開發布，其中揭示了諸多秘訣。
字節 Seed 團隊聚焦大規模強化學習，并從三個角度提升了推理表現：數據、RL 算法和 RL 基礎設施。
可驗證與不可驗證問題
從數據開始說起，字節團隊把 RL 訓練數據分為兩個部分，具有明确答案的可驗證問題和沒有明确答案的不可驗證問題，采用不同的獎勵建模方法。
這其中，模型的推理能力主要來自可驗證問題，并可以推廣到不可驗證問題。
可驗證問題包括問題與答案配對的 STEM 問題、附帶單元測試的代碼問題，以及适合自動驗證的邏輯推理問題（24 點、迷宮、數獨等）。
不可驗證問題主要包括根據人類偏好評估的非推理任務，如創意寫作、翻譯、知識 QA、角色扮演等。
對于不可驗證問題，字節團隊丢棄了樣本分數方差低、難度低的數據。此類數據可能過于簡單或已在數據集中大量表示。離線實驗表明，過度優化此類樣本會導致模型的探索空間過早崩潰并降低性能。
此外，團隊還打造了全新數學推理評測集 BeyondAIME。
當前的推理模型通常使用 AIME 作為評估數學推理能力的首選基準，但該基準每年只發布 30 個問題，有限的規模可能會導致高方差的評估結果，難以有效區分最先進的推理模型。
字節與數學專家合作，根據既定的比賽形式開發原創問題。通過結構修改和情景重新配置來系統地調整現有的比賽問題，确保不會發生直接重復。此外還确保答案不是容易猜的數值（例如問題陳述中明确提到的數字），以減少模型在沒有适當推理的情況下猜出正确答案的機會。
RL 算法
強化學習雖然強大，但訓練起來也很不穩定，經常崩潰。
字節在技術報告中提到 " 有時，兩次運行之間的分數差異可能高達 10 分 "。
針對這個問題，團隊提出了 VAPO 和 DAPO 兩個 RL 框架，分别從基于價值和無價值的 RL 範式出發來穩定訓練。
VAPO 和 DAPO 兩篇論文都已單獨發布。
此外，在 Seed-Thining-v1.5 中，還借鑑了之前學術界工作中的很多關鍵技術：
價值預訓練 ( Value-Pretraining ) ，保證價值網絡和策略網絡一致
解耦的 GAE ( Decoupled-GAE ) ，讓兩個網絡更獨立高效
長度自适應 GAE ( Length-adaptive GAE ) ，更好處理不同長度序列
解耦 PPO 損失 ( Clip-Higher ) ，為低概率 token 的增長創造，了更多空間鼓勵模型探索新方案
Token 級損失 ( Token-level Loss ) ，平衡每個 token 對訓練過程的影響。
正例增強 ( Postive Example LM Loss ) ，提高 RL 訓練過程中正樣本的利用效率，從而提高模型整體性能
RL 基礎設施
在 Long-CoT 生成過程中，字節團隊觀察到各種提示詞之間的響應長度差異較大，在生成過程中出現大量 GPU 空閒時間。
為了緩解長尾響應生成的滞後問題，提出了 SRS（流式 Rollout 系統），一種資源感知型調度框架，可戰略性地部署獨立的流式計算單元，将系統約束從内存綁定轉換為計算綁定。
為了有效地大規模訓練，團隊還設計了一個混合分布式訓練框架，集成高級并行策略、動态工作負載平衡和内存優化：
并行機制：将 TP （張量并行）/EP （專家并行）/CP （上下文并行）與全分片數據并行 （FSDP） 組合在一起，具體來說，将 TP/CP 應用于注意力層，将 EP 應用于 MoE 層。
序列長度平衡：DP 等級之間的有效序列長度可能不平衡，導致計算工作量不平衡和訓練效率低下。利用 KARP 算法在一個 mini-batch 内重新排列輸入序列，使它們在 micro-batch 之間保持平衡。
内存優化：采用逐層重新計算、激活解除安裝和優化器解除安裝來支持更大 micro-batch 的訓練，以覆蓋 FSDP 引起的通信開銷。
自動并行：為了實現最佳系統性能，開發了 AutoTuner 自動調整系統，按照基于配置檔案的解決方案 對内存使用情況進行建模。然後估計各種配置的性能和内存使用情況以獲得最優配置。
檢查點：使用 ByteCheckpoint 支持從不同的分布式配置中以最小的開銷恢復檢查點，彈性訓練以提高集群效率。
最終，在多項自動評估中，Seed-Thinking-v1.5 在 AIME 2024 基準測試中取得 86.7，與 OpenAI 的 o3-mini-high 模型的性能相當。但在最近的 AIME 2025 和 BeyondAIME 中，Seed-Thinking-v1.5 仍然落後于 o3 級别的性能。
對于 GPQA 任務，Seed-Thinking-v1.5 達到 77.3% 的準确率，接近 o3-mini-high 的性能。
在 Codeforces 等代碼生成場景中，Seed-Thinking-v1.5 的性能與 Gemini 2.5 Pro 的性能相當，但仍落後于 o3-mini-high。
Seed-Thinking-v1.5 在 SimpleQA 上的表現不太理想。但團隊認為，該基準測試預訓練模型規模的相關性更強，而不是考驗推理能力。
許多人看完這篇技術報告，都很感興趣，不過找了一圈也沒找到模型在哪發布。
從技術報告的口徑來看，該模型與目前豆包中的 Doubao-1.5 Pro 并不是一回事。
但從作者名單看，這是由字節 Seed 團隊負責人吳永輝帶隊，主要成員都參與的大項目。
那麼是否将來會部署到豆包 APP，可以期待一波了。
論文地址：
https://github.com/ByteDance-Seed/Seed-Thinking-v1.5/
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
不到一周！中國 AIGC 產業峰會觀眾正在火熱報名中 ♀️
全部嘉賓已就位 百度、華為、AWS、MSRA、無問芯穹、數勢科技、面壁智能、生數科技等十數位 AI 領網域創變者将齊聚峰會，讓更多人用上 AI、用好 AI，與 AI 一同加速成長～
4 月 16 日周三，就在北京，一起來深度求索 AI 怎麼用
一鍵星标
科技前沿進展每日見
