今天小編分享的科學經驗：阿裡Qwen3問鼎開源王座！8款模型全面開放，最大杯全方位超越R1/o1，網友：讓開源再次偉大，歡迎閱讀。
千呼萬喚，Qwen3 終于來了！
一口氣上新 8 大模型，通通開源。
旗艦模型 Qwen3-235B-A22B 全方位超越 R1、o1、o3-mini，最大杯稠密模型也以 32B 參數量達到了可觀水平。
小尺寸模型的表現也同樣亮眼，Qwen3-4B 在數學、代碼能力上 " 以小博大 "，和比自身大 10 倍模型水平相當。
本系列一共包括 2 個 MoE 模型和 6 個稠密模型。
小 MoE 模型 Qwen3-30B-A3B
MoE 模型 Qwen3-235B-A22B
Qwen3-32B
Qwen3-14B
Qwen3-8B
Qwen3-4B
Qwen3-1.7B
Qwen3-0.6B
它們均在 Apache 2.0 許可下開源。
經過後訓練的模型，例如 Qwen3-30B-A3B，以及它們的預訓練基座模型（如 Qwen3-30B-A3B-Base），現已在 Hugging Face、ModelScope 和 Kaggle 等平台上開放使用。
對于部署，Qwen 團隊推薦使用 SGLang 和 vLLM 等框架；而對于本地使用，則推薦 Ollama、LMStudio、MLX、llama.cpp 和 KTransformers 等。
網友：讓開源再次偉大！
現在，在 Qwen Chat（網頁版）和通義 APP 中均能試用 Qwen3。
值得一提的是，Qwen3 還增強了對 MCP 的支持，具備更強的與環境互動的能力。
【視頻】
輕松破解 7 米甘蔗過 2 米門
Qwen3 系列的亮點包括代碼、數學能力，并提出了思考 / 非思考模式切換，提供更具性價比的模型體驗。
思考模式下，模型會逐步推理；非思考模式提供更快速、近乎即時的響應。
比如 "7 米長的甘蔗如何通過 2 米高 1 米寬的門？" 的問題，Qwen3-235B-A22B 知道可以通過傾斜一定角度讓甘蔗過門。
非思考模式等待了 2 秒左右即開始作答，思考模式則消耗了 38912 個 token 進行逐步推理。
36 萬億 token 預訓練
所以 Qwen3 如何而來？
首先在數據上，Qwen3 預訓練使用的數據約是 Qwen2.5 的 2 倍，達到 36 萬億 token，涵蓋 119 種語言和方言。
并使用 Qwen2.5 處理數據。用 Qwen2.5-VL 提取 PDF 中的文本，在用 Qwen2.5 改進質量。數學和代碼方面，則利用 Qwen2.5-Math 和 Qwen2.5-Coder 來合成包括教科書、問答對以及代碼片段等多種形式的數據。
其次在預訓練方面，共分為 3 個階段。
在第一階段（S1），模型在超過 30 萬億個 token 上進行了預訓練，上下文長度為 4Ktoken。這一階段為模型提供了基本的語言技能和通用知識。
在第二階段（S2），通過增加知識密集型數據（如 STEM、編程和推理任務）的比例來改進數據集，随後模型又在額外的 5 萬億個 token 上進行了預訓練。
在最後階段，使用高質量的長上下文數據将上下文長度擴展到 32K token，确保模型能夠有效地處理更長的輸入。
由于模型架構的改進、訓練數據的增加以及更有效的訓練方法，Qwen3 Dense 基礎模型的整體性能與參數更多的 Qwen2.5 基礎模型相當。
例如，Qwen3-1.7B/4B/8B/14B/32B-Base 分别與 Qwen2.5-3B/7B/14B/32B/72B-Base 表現相當。特别是在 STEM、編碼和推理等領網域，Qwen3 Dense 基礎模型的表現甚至超過了更大規模的 Qwen2.5 模型。
對于 Qwen3 MoE 基礎模型，它們在僅使用 10% 激活參數的情況下達到了與 Qwen2.5 Dense 基礎模型相似的性能。這帶來了訓練和推理成本的顯著節省。
最後在後訓練方面。共分為 4 個階段：
（1）長思維鏈冷啟動
（2）長思維鏈強化學習
（3）思維模式融合
（4）通用強化學習
第一階段使用長思維鏈數據對模型進行微調，涵蓋了數學、代碼、邏輯推理和 STEM 問題等多種任務和領網域，增強模型基本推理能力。
第二階段進行大規模強化學習，利用基于規則的獎勵來增強模型的探索和鑽研能力。
第三階段在一份包括長思維鏈數據和常用的指令微調數據的組合數據上對模型進行微調，将非思考模式整合到思考模型中。
第四階段則在包括指令遵循、格式遵循和 Agent 能力等在内的 20 多個通用領網域的任務上應用了強化學習，以進一步增強模型的通用能力并糾正不良行為。
在博客中，Qwen 團隊表示，Qwen3 的發布和開源将極大地推動大型基礎模型的研究與開發。
我們的目标是為全球的研究人員、開發者和組織賦能，幫助他們利用這些前沿模型構建創新解決方案。
更多細節可查看：
[ 1 ] Blog: https://qwenlm.github.io/blog/qwen3/
[ 2 ] GitHub: https://github.com/QwenLM/Qwen3
[ 3 ] Hugging Face: https://huggingface.co/collections/Qwen/qwen3-67dd247413f0e2e4f653967f
[ 4 ] ModelScope: https://modelscope.cn/collections/Qwen3-9743180bdc6b48
體驗方式：點擊下方鏈接或打開通義 APP
https://chat.qwen.ai/
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
點亮星标
科技前沿進展每日見
