今天小編分享的科學經驗：Kimi 16B勝GPT-4o！開源視覺推理模型：MoE架構，推理時僅激活2.8B，歡迎閱讀。
剛剛，Kimi 團隊上新了！
開源輕量級視覺語言模型Kimi-VL及其推理版Kimi-VL-Thinking，多模态和推理雙雙拿捏。
按照 Kimi 官方的說法，其關鍵亮點如下：
都是基于 MoE 架構，總參數為 16B，但推理時僅激活 2.8B；
具備強大的多模态推理能力（媲美參數大 10 倍的模型）和 Agent 能力；
支持 128K 上下文視窗；
采用相對較為寬松的 MIT 許可證。
如圖所示，和 Qwen2.5-VL、Gemma-3 等前沿開源 VLM 相比，Kimi-VL-Thinking 僅使用 2.8B 激活參數即可實現強大的多模态推理。
同時在一些重要基準測試中，Kimi 新模型 " 以小博大 "，超越了GPT-4o等規模更大的模型。
目前兩款模型均已上架 Hugging Face，分為 Instruct 基礎版和 Thinking 推理版。
網友們紛紛表示，新的标杆再次誕生！
多模态和推理雙雙拿捏
話不多說，我們直接看 Kimi 新模型的具體玩法和效果。
視覺理解與推理
首先，作為一款通用的 VLM 模型，Kimi-VL 具備強大的視覺理解和推理能力。
給它一份手稿，要求它通過逐步推理來确認手稿屬于誰，以及所記錄的内容。
可以看到，Kimi-VL 通過分析手稿的筆迹、内容、語言等特征，推斷出手稿可能屬于愛因斯坦，理由是這些内容與引力場方程有關，這與愛因斯坦對廣義相對論的貢獻有關。
又或者只提供一張圖片，讓 Kimi-VL 來判斷城市地标建築、識别遊戲場景等。
比如第 2 個例子中，它成功識别出圖片中的穹頂建築為多倫多的羅傑斯中心（Rogers Centre），同時描述了其特征和用途。
除此之外，Kimi-VL 也能被用來解答高難度幾何數學題。
還是僅需一個上傳圖片的動作，它就能将復雜數學公式轉換為 LaTeX 代碼，并以正确格式輸出。
OCR 與文本處理
當然，Kimi-VL 對多模态數據的正确理解還離不開一項關鍵能力——OCR 字元識别。
在 OCRBench 基準測試中，其得分為 867，屬于 SOTA 水平。
除了識别數學公式，它還能識别金融表格（以 Markdown 表格格式輸出）和手寫作文。
甚至還能從長達一小時的視頻課程中捕捉和理解關鍵細節。
比如提供視頻中的某句話 " 授人以魚不如授人以漁 "，要求它找到出處并進一步解讀。
智能體任務與互動
值得關注的是，Kimi-VL 還在多輪 Agent 互動任務（例如 OSWorld）中表現出色，取得了媲美旗艦模型的 SOTA 結果。
比如在 Chrome 浏覽器中，要求它自動啟用 "Do Not Track" 功能來保護用戶隐私。
可以看到，通過一步步思考，Kimi-VL 對每個螢幕進行解讀，識别相關的用戶界面元素，并通過清晰的思路、操作和 API 調用按順序執行相應的操作。
背後技術原理
那麼接下來的問題是，怎麼做到的？
來看 Kimi 此次公開的技術報告。
首先，在模型架構上，Kimi-VL 和 Kimi-VL-Thinking 主要由三大部分構成：
MoE 專家混合語言模型（之前發布的 Moonlight-16B-A3B）；
原生分辨率視覺編碼器（MoonViT，基于 SigLIP-SO-400M 微調）；
一個多層感知機（MLP）投影器。
模型具體訓練過程如下：
數據準備
這第一步，團隊構建了三大類别數據集：
1、預訓練數據。精選來自六個類别的高質量數據，包括字幕數據、影像文本交織數據、OCR 數據、知識數據、視頻數據和智能體數據。通過過濾、合成和去重等操作，控制數據質量。
2、指令數據。用于增強模型的對話和指令遵循能力。對于非推理任務，通過人工标注構建種子數據集，訓練種子模型後生成并篩選多輪響應；對于推理任務，利用拒絕采樣的方式擴展數據集，确保數據多樣性和準确性。
3、推理數據。通過類似拒絕采樣和提示工程的方法，收集和合成高質量的長思維鏈數據。
預訓練：主要提升多模态能力
然後開始預訓練，這一階段共消耗 4.4T tokens，主要目标是提高模型的多模态理解能力。
概括而言，這一過程包含 4 個步驟：先獨立進行 ViT 訓練，以建立原生分辨率視覺編碼器；随後進行三個聯合訓練階段（預訓練、冷卻、長上下文激活）。
後訓練：主要提升長思維鏈推理能力
接着進行後訓練，通過在 32K 和 128K 上下文中進行的兩個階段的聯合監督微調、長思維鏈監督微調及強化學習，團隊進一步提升了模型的長期思考能力。
更多細節感興趣可以查閱原論文。
One More Thing
有一說一，相比于 DeepSeek、Qwen 等國内競争對手，Kimi 最近一個月實在有點過于安靜了。
從官方公眾号來看，最新一條發布還是在 2 月份。
在這股平靜之下，網友們開始猜測：
Kimi 即将有大動作了？
結合更多消息，目前大家比較認可的推測是K1.6 模型即将到來。
就在 3 月，基于 Kimi-K1.6 的數學模型突然曝光，在編程基準測試 LiveCodeBench 中拿下第一，超越 o3、DeepSeek-R1 等模型。
當然，也歡迎更多知情者在評論區爆料 ( doge ) 。
論文：
https://github.com/MoonshotAI/Kimi-VL/blob/main/Kimi-VL.pdf
模型開源地址：
https://huggingface.co/collections/moonshotai/kimi-vl-a3b-67f67b6ac91d3b03d382dd85
參考鏈接：
[ 1 ] https://x.com/Kimi_Moonshot/status/1910035354570371082
[ 2 ] https://x.com/iamfakhrealam/status/1909559812498886813
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
不到一周！中國 AIGC 產業峰會觀眾正在火熱報名中 ♀️
全部嘉賓已就位 百度、華為、AWS、MSRA、無問芯穹、數勢科技、面壁智能、生數科技等十數位 AI 領網域創變者将齊聚峰會，讓更多人用上 AI、用好 AI，與 AI 一同加速成長～
4 月 16 日周三，就在北京，一起來深度求索 AI 怎麼用
一鍵星标
科技前沿進展每日見
