今天小編分享的科學經驗：超低成本復現QwQ！數學推理模型訓練迎來RL暴擊，數據代碼模型全開源，歡迎閱讀。
用上這個開源框架，2 天時間就能刷新 7B 數學推理紀錄！
螞蟻清華聯手開源的強化學習框架AReaL-boba，直接把推理模型訓練帶到了 Next Level ——
訓練成本下降的同時，訓練速率、推理能力還大幅提升的那種。
除了前面提到的 7B 模型，在 32B 模型上，只需兩百美元、200 條數據，就可以輕松復現QwQ-32B，就是那個。
而且開源的内容非常全面，不僅只是模型，所有訓練代碼，數據，模型參數以及訓練細節都通通開源了，還有超級詳細的技術筆記可以看，感覺像是被技術團隊手把手教導。
一個技術小白也能手搓一個頂尖大模型了。
AReaL-boba，人人可復現 QwQ
AReaL，Ant Reasoning RL，是 Ant Research RL Lab 等開源的高效強化學習系統。在此基礎之上，該版本取名為boba，是因為團隊希望 AReaL 像珍珠奶茶一樣讓強化學習普惠整個社區，讓開發者無論資源規模均可觸達 SOTA 效果。
通過開源全部代碼、數據與模型參數，AReaL-boba 在訓練效率、推理能力與成本控制上實現三重突破。
首先是訓練效率上的提升，全面集成 SGLang 推理框架。
AReaL-boba 是首個擁抱SGLang 的開源訓練系統，大幅優化訓練吞吐性能。
（SGLang 是一個 xAI 公司采用的面向復雜語言模型的高性能推理框架，它通過共同設計後端運行時和前端語言，讓模型互動更快、更可控。市面上主流模型和企業都已大規模部署，每天產生數萬億個 token）
對比原始版本，在 1.5B 模型尺寸上吞吐提升 35%，7B 模型提升 60%，32B 模型提升 73%。
而且無縫适配各種計算資源，既支持單機，也支持大規模分布式訓練，突破傳統 RL 訓練資源瓶頸。
在大規模分布式訓練效率上有顯著的提升，一個直觀的例子：
128 卡集群 1 天完成 1.5B 模型訓練，256 卡 2 天完成 7B 模型訓練。
這樣一來，中小團隊也能在有限算力下快速迭代模型，真正實現 " 人人可駕馭強化學習 "。
其次，推理能力大幅提升，尤其 7B 模型性能斷層領先。
當前最考驗推理模型能力的，無疑是它在數學推理領網域的表現。
在這一領網域中，AReaL-boba 基于Qwen-R1-Distill-7B模型，通過大規模強化學習訓練，僅用 2 天即實現 SOTA 水平——
AIME 2024 61.9 分，AIME 2025 48.3 分，相比于 o1-preview 也是大幅領先。
相較于基礎模型 Qwen-R1-Distill-7B，使用 AReaL-boba 後模型推理能力也有不少提升——
分别在 AIME2024、AIME2025 提升 6.9、8.6 分。
而想要擁有這樣一個 SOTA 級别的推理模型并不難，團隊不僅把能開源的都開源了，還有超級詳細的技術筆記送上。
團隊不僅開源了推理模型，也開源了所有所有訓練數據 AReaL-boba-106k，以及全部的訓練腳本和評估腳本，保證人人可以復現。
而過程中遇到問題也不用擔心，在項目官方倉庫上，AReaL 團隊也放出了極其詳細的技術筆記，總結了大量訓練中的關鍵點，包括 PPO 超參數、獎勵函數設定、正則化設定、長度上限設定等等。
刷新小模型推理上限的同時，也通過技術透明化推動創新生态。
像我這樣一個技術小白，研究一下也能手搓個小模型出來。
最後，使用創新性蒸餾技術，極簡數據復現頂尖模型。
前段時間，QwQ-32B 橫空出世，其強大的推理性能引發諸多關注。
它在數學推理、編碼能力和一般問題解決能力上，超過了一眾領先模型，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 和原始 DeepSeek-R1。
現在 AReaL-boba 推出超精簡訓練方案，直接把 32B 大模型訓練的所需成本給打下來。
數據上面，僅需 200 條數據的 AReaL-boba-200 數據集。
使用 Qwen-32B-Distill 基礎模型，通過輕量級 SFT 技術即可復現 QwQ-32B 的 AIME2024 效果。
整個計算成本，僅需 200 美元。
這一創新讓頂級推理能力的訓練門檻從 " 實驗室專享 " 降為 " 人人可及 "，開創了小數據驅動大模型的新範式。
首個完整開源的團隊
AReaL 團隊的核心成員均來自于螞蟻研究院強化學習實驗室以及清華交叉信息研究院吳翼老師團隊。
上個月，他們初始版本針對 1.5B 和 7B 推理模型優化，比如借助 AReaL 使用 RL 訓練 1.5B 蒸餾模型，在 40 小時内超越 o1-Preview 的數學推理能力。
同樣也給出了詳細的訓練細節。
作為國内第一個完整開源（數據、代碼、模型、腳本全開源）的項目團隊，他們表示致力于真正實現 AI 訓練的普惠。
其實從此次 boba 版本的發布也能看出，通過開源開放，讓 AI 訓練成為社區共享的基礎設施。其三大技術突破（極速訓練、推理登頂、低成本復現）形成的技術飛輪，推動強化學習大規模訓練的發展。
在項目列表中，他們也揭示了後續的開源計劃和目标——
包括異步訓練，更快的訓練吞吐，更好的數據集和算法，以及代碼和 Agent 智能體能力的支持。
也是十分期待了。
實際上，螞蟻的 AI 研發也非常值得關注，成果 SOTA，場景天然，產品還是國民級的。
項目鏈接：
https://github.com/inclusionAI/AReaL
HuggingFace 數據模型地址：
https://huggingface.co/collections/inclusionAI/areal-boba-67e9f3fa5aeb74b76dcf5f0a
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
點亮星标
科技前沿進展每日見
