今天小编分享的科学经验：超低成本复现QwQ！数学推理模型训练迎来RL暴击，数据代码模型全开源，欢迎阅读。
用上这个开源框架，2 天时间就能刷新 7B 数学推理纪录！
蚂蚁清华联手开源的强化学习框架AReaL-boba，直接把推理模型训练带到了 Next Level ——
训练成本下降的同时，训练速率、推理能力还大幅提升的那种。
除了前面提到的 7B 模型，在 32B 模型上，只需两百美元、200 条数据，就可以轻松复现QwQ-32B，就是那个。
而且开源的内容非常全面，不仅只是模型，所有训练代码，数据，模型参数以及训练细节都通通开源了，还有超级详细的技术笔记可以看，感觉像是被技术团队手把手教导。
一个技术小白也能手搓一个顶尖大模型了。
AReaL-boba，人人可复现 QwQ
AReaL，Ant Reasoning RL，是 Ant Research RL Lab 等开源的高效强化学习系统。在此基础之上，该版本取名为boba，是因为团队希望 AReaL 像珍珠奶茶一样让强化学习普惠整个社区，让开发者无论资源规模均可触达 SOTA 效果。
通过开源全部代码、数据与模型参数，AReaL-boba 在训练效率、推理能力与成本控制上实现三重突破。
首先是训练效率上的提升，全面集成 SGLang 推理框架。
AReaL-boba 是首个拥抱SGLang 的开源训练系统，大幅优化训练吞吐性能。
（SGLang 是一个 xAI 公司采用的面向复杂语言模型的高性能推理框架，它通过共同设计后端运行时和前端语言，让模型互動更快、更可控。市面上主流模型和企业都已大规模部署，每天产生数万亿个 token）
对比原始版本，在 1.5B 模型尺寸上吞吐提升 35%，7B 模型提升 60%，32B 模型提升 73%。
而且无缝适配各种计算资源，既支持单机，也支持大规模分布式训练，突破传统 RL 训练资源瓶颈。
在大规模分布式训练效率上有显著的提升，一个直观的例子：
128 卡集群 1 天完成 1.5B 模型训练，256 卡 2 天完成 7B 模型训练。
这样一来，中小团队也能在有限算力下快速迭代模型，真正实现 " 人人可驾驭强化学习 "。
其次，推理能力大幅提升，尤其 7B 模型性能断层领先。
当前最考验推理模型能力的，无疑是它在数学推理领網域的表现。
在这一领網域中，AReaL-boba 基于Qwen-R1-Distill-7B模型，通过大规模强化学习训练，仅用 2 天即实现 SOTA 水平——
AIME 2024 61.9 分，AIME 2025 48.3 分，相比于 o1-preview 也是大幅领先。
相较于基础模型 Qwen-R1-Distill-7B，使用 AReaL-boba 后模型推理能力也有不少提升——
分别在 AIME2024、AIME2025 提升 6.9、8.6 分。
而想要拥有这样一个 SOTA 级别的推理模型并不难，团队不仅把能开源的都开源了，还有超级详细的技术笔记送上。
团队不仅开源了推理模型，也开源了所有所有训练数据 AReaL-boba-106k，以及全部的训练脚本和评估脚本，保证人人可以复现。
而过程中遇到问题也不用担心，在项目官方仓库上，AReaL 团队也放出了极其详细的技术笔记，总结了大量训练中的关键点，包括 PPO 超参数、奖励函数設定、正则化設定、长度上限設定等等。
刷新小模型推理上限的同时，也通过技术透明化推动创新生态。
像我这样一个技术小白，研究一下也能手搓个小模型出来。
最后，使用创新性蒸馏技术，极简数据复现顶尖模型。
前段时间，QwQ-32B 横空出世，其强大的推理性能引发诸多关注。
它在数学推理、编码能力和一般问题解决能力上，超过了一众领先模型，包括 DeepSeek-R1-Distilled-Qwen-32B、DeepSeek-R1-Distilled-Llama-70B、o1-mini 和原始 DeepSeek-R1。
现在 AReaL-boba 推出超精简训练方案，直接把 32B 大模型训练的所需成本给打下来。
数据上面，仅需 200 条数据的 AReaL-boba-200 数据集。
使用 Qwen-32B-Distill 基础模型，通过轻量级 SFT 技术即可复现 QwQ-32B 的 AIME2024 效果。
整个计算成本，仅需 200 美元。
这一创新让顶级推理能力的训练门槛从 " 实验室专享 " 降为 " 人人可及 "，开创了小数据驱动大模型的新范式。
首个完整开源的团队
AReaL 团队的核心成员均来自于蚂蚁研究院强化学习实验室以及清华交叉信息研究院吴翼老师团队。
上个月，他们初始版本针对 1.5B 和 7B 推理模型优化，比如借助 AReaL 使用 RL 训练 1.5B 蒸馏模型，在 40 小时内超越 o1-Preview 的数学推理能力。
同样也给出了详细的训练细节。
作为国内第一个完整开源（数据、代码、模型、脚本全开源）的项目团队，他们表示致力于真正实现 AI 训练的普惠。
其实从此次 boba 版本的发布也能看出，通过开源开放，让 AI 训练成为社区共享的基础设施。其三大技术突破（极速训练、推理登顶、低成本复现）形成的技术飞轮，推动强化学习大规模训练的发展。
在项目列表中，他们也揭示了后续的开源计划和目标——
包括异步训练，更快的训练吞吐，更好的数据集和算法，以及代码和 Agent 智能体能力的支持。
也是十分期待了。
实际上，蚂蚁的 AI 研发也非常值得关注，成果 SOTA，场景天然，产品还是国民级的。
项目链接：
https://github.com/inclusionAI/AReaL
HuggingFace 数据模型地址：
https://huggingface.co/collections/inclusionAI/areal-boba-67e9f3fa5aeb74b76dcf5f0a
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
点亮星标
科技前沿进展每日见
