今天小編分享的科學經驗：遷移DeepSeek-R1同款算法，小米讓7B模型登頂音頻理解推斷MMAU榜單，歡迎閱讀。
7B 小模型 +3.8 萬條訓練數據，就能讓音頻理解和推斷評測基準 MMAU 榜單王座易主？
受到 DeepSeek-R1 中強化學習算法的啟發，小米大模型團隊對阿裡的 Qwen2-Audio-7B 模型進行了微調。
結果模型在 MMAU 上的準确率從 49.2% 提升到了 64.5%（漲幅 31%），比以前霸榜的 GPT-4o 還高出近 10 個百分點。
MMAU 是一個由一萬條涵蓋語音、環境聲和音樂的音頻樣本構成的評測基準，難度非常高，人類專家的成績為 82.2%。
來自阿裡的Qwen2-Audio-7B模型在此評測集上的準确率為 49.2%，經小米大模型團隊用清華大學發布的 AVQA 數據集，使用 SFT 微調後提升到了 51.8%。
這樣的提升并不明顯，而當小米團隊選擇改用 DeepSeek-R1 的 GRPO 算法時，發現獲得了巨大的性能提升，一舉達到了 MMAU 的新 SOTA。
目前，小米大模型團隊已經把訓練代碼、模型參數開源，并提供了技術報告、在線 Demo。
7B 小模型拿下 MMAU 榜單 SOTA
如前所述，小米大模型團隊通過 SFT，使用清華 AVQA 數據集對選擇了來自阿裡的 Qwen2-Audio-7B 進行了微調，成績提升了 2.6 個百分點。
直到 DeepSeek-R1 的發布，為小米在該項任務上的研究帶來了啟發。
DeepSeek-R1 的 Group Relative Policy Optimization（GRPO）方法，讓模型僅通過 " 試錯 - 獎勵 " 機制就能使自主進化，湧現出類似人類的反思、多步驗證等推理能力。
在同一時間，卡内基梅隆大學發布的預印本論文（arxiv：2503.01067），通過精巧的實驗得出了一個有趣的論斷：
當任務存在明顯的生成 - 驗證差距（Generation-Verification Gap），即任務生成結果的難度遠大于驗證結果正确性的難度時，強化學習比起有監督微調具有獨特優勢。
而 AQA 任務，恰好是完美的生成 - 驗證差距顯著的任務。
離線微調方法，如 SFT，有點像背題庫，你只能根據已有的題目和答案訓練，但遇到新題可能不會做；
而強化學習方法，如 GRPO，像老師在要求你多想幾個答案，然後老師告訴你哪一個答案好，讓你主動思考，激發出自身的能力，而不是被 " 填鴨式 " 教學。
當然，如果訓練量足夠，比如有學生願意花很多年的時間來死記硬背題庫，也許最終也能達到不錯的效果，但效率太低，浪費太多時間。
而主動思考，更容易快速地達到舉一反三的效果。強化學習的實時反饋可能會幫助模型更快鎖定高質量答案的分布區網域，而離線方法需要遍歷整個可能性空間，效率要低得多。
基于上述洞察，小米嘗試将 DeepSeek-R1 的 GRPO 算法遷移到 Qwen2-Audio-7B 模型上。
令人驚喜的是，在僅使用 AVQA 的 3.8 萬條訓練樣本的情況下，強化學習微調後的模型在 MMAU 評測集上實現了 64.5% 的準确率，這一成績比目前榜單上第一名的商業閉源模型 GPT-4o 有近 10 個百分點的優勢。
有趣的是，如果在訓練中強制要求模型輸出包含 thinking 标籤的推理過程時，準确率反而下降至 61.1%。這說明顯式的思維鏈結果輸出可能并不利于模型的訓練。
小米大模型團隊的實驗揭示了幾個和傳統認知不同的結論：
關于微調方法：強化學習在 3.8 萬條數據集上的表現，顯著超過監督學習在 57 萬條數據集上的結果；
關于參數規模：相比千億級模型，7B 參數的模型通過強化學習也可展現強推理能力；
關于隐式推理：顯式思維鏈輸出反而成為性能瓶頸。
盡管當前準确率已突破 64%，但距離人類專家 82% 的水平仍有差距。
小米大模型團隊表示，在當前的實驗中，強化學習策略還是比較粗糙，訓練過程對思維鏈的引導并不充分，我們會在後續做進一步探索。
此次實驗驗證了強化學習在音頻理解和判斷領網域的獨特價值，也為後續研究打開了一扇新的大門。
小米團隊期待，當機器不僅能 " 聽見 " 聲音，還能 " 聽懂 " 聲音背後的因果邏輯時，真正的智能聽覺時代将會來臨。
人類專家準确率 82.23%
MMAU（Massive Multi-Task Audio Understanding and Reasoning）評測集由美國馬裡蘭大學和 Adobe 的研究人員于去年聯合提出，是音頻理解和推斷能力的量化标尺。
它通過一萬條涵蓋語音、環境聲和音樂的音頻樣本，結合人類專家标注的問答對，測試模型在 27 種技能，如跨場景推理、專業知識等應用上的表現，期望模型達到接近人類專家的邏輯分析水平。
面對一段汽車行駛中的座艙錄音，AI 能否判斷出汽車是否存在潛在的故障？
在交響樂演出現場，AI 能否推測出作曲家創造這首音樂時的心情？
在早高峰地鐵站混亂的腳步聲潮中，AI 能否預判閘機口可能發生的衝撞風險？
在大模型時代，人們已經不滿足于機器僅僅識别說話的内容、聲音的種類，更期望機器具備復雜的理解和判斷能力，MMAU 衡量的就是這種能力。
這是一個很難的評測集，作為基準上限，人類專家在 MMAU 上的準确率為 82.23%。
目前 MMAU 官網榜單上表現最好的模型是 GPT-4o，準确率為 57.3%。緊随其後的是谷歌的 Gemini 2.0 Flash，準确率為 55.6%。
訓練代碼：
https://github.com/xiaomi-research/r1-aqa
模型參數：
https://huggingface.co/mispeech/r1-aqa
技術報告：
https://arxiv.org/abs/2503.11197
互動 Demo：
http://120.48.108.147:7860/
— 完 —
學術投稿請于工作日發郵件到：
标題注明【投稿】，告訴我們：
你是誰，從哪來，投稿内容
附上論文 / 項目主頁鏈接，以及聯系方式哦
我們會（盡量）及時回復你
一鍵關注 點亮星标
科技前沿進展每日見
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
