今天小編分享的科學經驗：240元打造擅長數學的多模态版R1，基于DeepSeek核心思想，兩階段訓練提升推理能力至工業級應用标準，歡迎閱讀。
多模态大模型雖然在視覺理解方面表現出色，但在需要深度數學推理的任務上往往力不從心，尤其是對于參數量較小的模型來說更是如此。
如何讓小型多模态大模型也能擁有強大的數學推理能力呢？
如圖所示，通過 LMM-R1 框架訓練的模型（下側）能夠正确應用勾股定理計算出圓錐的斜高，而基準模型（上側）錯誤地識别了斜高位置，導致計算錯誤。這種顯著的推理能力提升來自于一個創新的兩階段訓練策略。
這是來自東南大學、香港中文大學、螞蟻集團等研究人員的，兩階段多模态基于規則強化學習的框架 LMM-R1，實現多模态大模型的推理性能飛躍。
針對多模态領網域長期存在的 " 高訓練成本、低任務泛化 " 難題，LMM-R1 框架創造性引入規則化獎勵函數機制。
通過深度優化 DeepSeek-R1 核心思想，該框架在無需多模态标注數據的情況下，僅需 240 元 GPU 成本即可顯著增強模型性能，成功将多模态模型的推理能力提升至工業級應用标準。
實驗數據顯示，經 LMM-R1 框架強化的 QwenVL-2.5-3B 模型，在推箱子等復雜路徑規劃任務中，性能顯著超越 GPT-4o、Claude3.5 等 100B+ 參數量產品級大模型。
從文本到多模态的推理能力遷移
DeepSeek-R1 和 OpenAI 的 o1 等模型已經證明了基于規則獎勵的強化學習在純文本大語言模型中的有效性。然而，将這一成功經驗擴展到多模态領網域面臨兩大關鍵挑戰：
數據限制：多模态領網域中高質量的推理數據十分稀缺，且答案常常模糊不清，難以用于規則獎勵
基礎推理能力薄弱：多模态預訓練常常會削弱模型在純文本任務上的能力，特别是對于參數量有限的小模型
針對這些挑戰，研究團隊提出了 LMM-R1 框架，通過創新的兩階段訓練策略巧妙解決了以上問題。
LMM-R1：兩階段強化學習策略
LMM-R1 框架包含兩個精心設計的階段：
第一階段：基礎推理增強（FRE）
FRE 階段利用豐富的高質量純文本推理數據（如數學題、科學問題等）通過基于規則的強化學習來增強模型的基礎推理能力。這一階段避開了多模态數據的限制，專注于構建堅實的推理基礎。
在這個階段，模型學習如何進行嚴密的邏輯思考、復雜的數學運算和多步驟推理，為後續的多模态泛化奠定基礎。
第二階段：多模态泛化訓練（MGT）
MGT 階段将第一階段培養的推理能力泛化到多模态領網域。研究團隊在這一階段探索了幾個關鍵領網域：
幾何推理領網域：使用 GeoDB 等數據集，增強模型在幾何圖形推理方面的能力
感知 - 推理平衡領網域：使用 VerMulti 數據集，提升模型在多種視覺任務中的推理能力
智能體相關領網域：使用推箱子（Sokoban）等需要復雜規劃的任務
值得注意的是，這種兩階段策略避免了對昂貴的高質量多模态訓練數據的依賴，同時有效利用了豐富的文本推理數據資源，為構建高性能多模态模型提供了一種高效路徑。
實驗結果
研究團隊使用 Qwen2.5-VL-Instruct-3B 作為基準模型進行實驗。經過 LMM-R1 框架訓練後，模型在各類基準測試上均取得顯著提升：
在純文本和多模态基準測試上平均提升約 4.5%~4.8%
在推理密集型任務（如幾何問題）上效果尤為明顯
更重要的是，實驗證明了一個關鍵發現：通過先增強基礎推理能力再進行多模态泛化的策略，可以有效避免直接在多模态數據上訓練時常見的推理能力退化問題。
在典型智能體應用場景驗證中，研究團隊選取推箱子任務作為評估基準。該任務要求模型同步處理視覺空間解析、目标匹配、動态路徑規劃等多模态推理能力，對智能體在現實場景中的決策能力具有重要指示意義。經 LMM-R1 框架強化後的模型，僅通過初始畫面即可完成完整動作序列規劃。
實驗證明哪怕是 3B 規模的小模型，使用 LMM-R1 的兩階段 RL 訓練，也可以極大增強推理能力，暗示了多模态 R1 的強大應用潛力。
值得關注的是，該框架以上遊項目 OpenRLHF 為基礎，實現了完全自主研發的多模态訓練方案：通過重構數據流實現多模态支持，基于張量并行優化和内存管理技術創新，構建起高效穩定的訓練體系。其開創性的 PackingSample + Ring FlashAttention 技術實現了模型最大上下文長度基于 GPU 數量的線性增長率，配合動态梯度裁剪策略，在保證訓練穩定性的同時大幅降低資源消耗。
項目自 2025 年 2 月開源以來迅速獲得學術界關注，相關技術方案已被多個知名開源項目采納為基準架構。目前，LMM-R1 框架已在 GitHub 平台建立獨立技術生态，累計獲得超過 500+ 星标關注。
團隊表示将持續深耕多模态模型領網域，推動多模态強化學習技術在智能體、視覺問答等場景的落地應用。與開源社區共建多模态強化學習框架。
論文地址：https://arxiv.org/abs/2503.07536
項目主頁：https://forjadeforest.github.io/LMM-R1-ProjectPage/
項目地址：https://github.com/TideDra/lmm-r1
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
點亮星标
科技前沿進展每日見
