今天小編分享的科學經驗：顯著超越SFT，o1/DeepSeek-R1背後秘訣也能用于多模态大模型了，歡迎閱讀。
o1/DeepSeek-R1 背後秘訣也能擴展到多模态了！
舉個例子，提問多模态大模型：" 什麼寶可夢可以釋放技能十萬伏特 "時，模型通過推理過程準确找出皮卡丘對應的坐标框，展示出模型的泛化能力。
這是來自上海交大、上海 AI Lab、港中文大學的研究人員推出的視覺強化微調開源項目——Visual-RFT ( Visual Reinforcement Fine-Tuning ) ， 只需 10~1000 條數據，就能通過思考過程和基于規則的監督提升多模态大模型的性能。
具體來說，他們将 DeepSeek-R1 背後的基于規則獎勵的強化學習方法和 OpenAI 的強化微調（Reinforcement Fine-Tuning，RFT）範式，成功從純文本大語言模型拓展到了視覺語言大模型（LVLM）。
通過針對視覺的細分類、目标檢測等任務設計對應的規則獎勵，Visual-RFT 打破了 DeepSeek-R1 方法局限于文本、數學推理、代碼等少數領網域的認知，為視覺語言模型的訓練開辟了全新路徑。
下面具體來看。
從 R1 到 Visual-RFT：強化學習的多模态突破
OpenAI o1 主打的強化微調能力（Reinforcement Fine-Tuning）能只用少量樣本就将 o1 遷移到新的任務上。
最近 DeepSeek-R1 解釋了 o1 模型背後的強推理能力來自基于可驗證獎勵（Verified Rewards）/ 規則獎勵（Rule-based Verifier）的強化學習策略。
不過，目前主流的認知在于這種基于規則獎勵的方法只适用于數學推理、代碼等少數便于驗證的任務。
而在 Visual-RFT 中，研究人員将這一策略遷移到了視覺語言模型。
通過對細分類、目标檢測等任務建立對應的可驗證規則獎勵，研究解決了傳統方法在視覺領網域中的局限性，只需少量微調樣本就實現了更高效、泛化性更強的視覺理解與推理能力。
傳統的視覺指令微調（Visual Instruction Tuning/Supervised Fine-Tuning，SFT）需要海量數據對模型微調，在數據量有限（例如某些難以收集數據的特定學科場景）的情況下帶來的提升有限。
與之不同，新研究提出的視覺強化微調（Visual Reinforcement Fine-Tuning）具有少樣本學習能力和更強的泛化性，在數據量有限的場景下相比指令微調具有很大的優勢。
為驗證 Visual-RFT（視覺強化微調）的的泛化能力和普适性，力求對視覺領網域的全面覆蓋，研究人員在多個視覺感知任務上對 Visual-RFT 進行驗證，包含 Detection，Classification，Grounding 等。
其中，Visual-RFT 在 open vocabulary，few-shot learning 等設定下，僅僅通過非常少量的數據就取得了顯著的性能提升，輕松實現能力的遷移，且結果明顯優于 SFT 的微調方法。
在 Reasoning Grounding（推理定位）的測試中，Visual-RFT 展現出強大的視覺推理能力。
評測結果如下圖所示：
為了在視覺多模态領網域驗證可驗證獎勵的作用，研究人員提出了使用基于 IoU 的 verified reward 獎勵應用于 detection 和 grounding 等任務，使用基于分類正确判斷的 cls reward 用于 classification 任務。
部分推理定位結果顯示，通過引入思考過程和強化學習策略，Visual-RFT（多模态強化微調）顯著超越 SFT，更加準确地定位物體。
如詢問模型，圖中的運動員在水下依然保持清晰的視野需要帶什麼物體時候，通過傳統指令微調的方法模型直接将整個運動員框出。
而 Visual-RFT 通過引入推理過程準确地指出防水眼睛及其所在的位置并準确框出。
部分推理細粒度分類結果也展示了相同結論。
小結一下，相比于傳統的視覺指令微調（Visual Instruction/Supervised Fine-Tuning），Visual-RFT（視覺強化微調）通過強化學習方法，對問題進行深入的 think 分析取得更佳推理性能，相較于傳統的指令微調（SFT）方法取得顯著提升。
Visual-RFT 實驗結果
Visual-RFT（視覺強化微調）在各大圖文感知任務中均展現出強大的性能。
實驗主要基于視覺語言大模型基座 QWen2-VL 2B/7B 模型，和傳統的監督微調（Supervised Fine-Tuning）方法進行對比。
在開放目标檢測、少樣本檢測、細粒度分類和推理定位任務上，Visual-RFT 相比 SFT 全面實現了性能提升。
值得一提的是，該研究的測試數據既包含 COCO、LVIS 等通用場景，又包含從互聯網中收集的卡通人物等開放場景數據。只需要幾十條數據，模型通過 Visual-RFT 可以學會檢測某動漫中的史萊姆形象。
實驗結果廣泛驗證了 Visual-RFT 的卓越性能和魯棒性。
目前，包含訓練、評測代碼，數據在内，Visual-RFT 項目已全面開源。
項目地址：
https://github.com/Liuziyu77/Visual-RFT
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
