今天小編分享的科技經驗：清華系出手！全球第一款端側全模态理解模型開源，歡迎閱讀。
編輯 | Panken
智東西 12 月 16 日報道，今日，清華系 AI Infra 創企無問芯穹正式開源端側解決方案中的全模态理解小模型 Megrez-3B-Omni，并同步開源其純語言模型版本 Megrez-3B-Instruct。
Megrez-3B-Omni 為端側而生，選擇了最适合手機、平板等端側設備的 30 億參數黃金尺寸，結構規整，單模态版本的推理速度最大領先同精度模型300%。
該模型同時具備圖片、音頻、文本三種模态數據的處理能力，并在三個模态的多種測評基準中取得了同尺寸下最優性能。
其多模态能力可靈活切換，響應非常迅速。比如先随手拍張單據照片發給它，問 "6 個人 AA 人均多少錢 "，再語音輸入讓它寫個诙諧文案催大家交錢，它能立即按要求出稿。
▲ Megrez-3B-Omni 可實現在語音、影像、文本多個模态之間自由切換
和同樣三模态的 VITA（based on Mixtral 8×7B）、Baichuan-Omni-7B ，雙模态的 MiniCPM-V 2.6（based on Qwen2-7B）、Qwen2-VL-7B、Qwen2-Audio-7B，以及單一模态的 Qwen、Baichuan 等模型相比，Megrez-3B-Omni 在主流基準測試集上的表現都不遜色。
Megrez-3B-Instruct 還提供了WebSearch 功能，支持調用外部工具進行網頁搜索。
無問芯穹成立于 2023 年 5 月，由清華大學電子工程系教授、系主任汪玉教授發起，汪玉的第一任博士畢業生夏立雪擔任聯合創始人兼 CEO。其技術團隊源起于清華大學電子工程系 NICS-EFC 實驗室，在模型壓縮、推理加速及硬體能耗優化等領網域擁有深入的學術研究和深厚的工程實踐經驗，擅長模型輕量化、軟硬體協同優化。
該公司以 " 釋放無穹算力，讓 AGI 觸手可及 " 為使命，致力于成為大模型時代首選的 "算力運營商"。百度、智譜 AI、聯想、小米、軟通高科等知名企業均是無問芯穹的投資方。
今年 9 月，無問芯穹 CEO 夏立雪、無問芯穹戰略運營 SVP 王夢菲在與智東西等媒體交流時透露，該公司今年已有一些規模化收入，主要來自銷售算力，明年會進一步擴大市場份額。其端側大模型推理處理器 LPU 将以 IP 形式，與合作夥伴做聯合的芯片發布，計劃明年有一些落地嘗試。經其内部測算，無問芯穹預計将在3 到 5 年内實現盈利。
作為無問芯穹" 端模型 + 端軟體 + 端 IP" 端上智能一體化解決方案的重要構成，無問芯穹認為要實現端側 AGI，像 Megrez-3B-Omni 這樣的全模态理解模型是必不可少的一環。
無問芯穹稱 Megrez-3B-Omni 是一個能力預覽，接下來将持續迭代 Megrez 系列，提升自動化水平至 "edge device use" 效果，讓用戶只需要給出簡單的語音指令，就可完成端設備的設定或應用操作，并将它作為" 端模型 + 端軟體 + 端 IP" 端上智能一體化解決方案的重要構成推向市場。
無問芯穹 Github、HuggingFace 主頁以及 Modelers 魔樂、ModelScope 魔搭等社區均可獲取 Megrez-3B-Omni 及其大語言模型版本。無問芯穹 Infini-AI 異構雲平台上可獲取大語言模型版本的 API 或直接在線體驗。
Github 地址：https://github.com/infinigence/Infini-Megrez
HuggingFace 地址：https://huggingface.co/Infinigence/Megrez-3B-Omni
Infini-AI 異構雲地址：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr
一、圖片理解：3B 體量對标 34B 模型表現，輕松識别模糊印刷體、復雜手寫字
在影像理解方面，Megrez-3B-Omni 參數規模僅為 3B，其綜合性能表現卻可以全面超過 34B 模型，包括 LLaVA-NeXT-Yi-34B 等模型，是目前 OpenCompass、MME、MMMU、OCRBench 等多個主流測試集上精度最高的影像理解模型之一。
▲圖源：https://internvl.github.io/blog/2024-12-05-InternVL-2.5/
同時，Megrez-3B-Omni 在場景理解、OCR 等任務上也表現出色，能夠準确洞察和分析影像中的場景内容，高效地從中提取文本信息。
比如發一張模糊截圖，哪怕圖片裡的像素低清，該模型也能秒速識别。
▲ Megrez-3B-Omni 螢幕識别
随手拍一張復雜的手寫字照片，它也能快速提取裡面的關鍵信息。
▲ Megrez-3B-Omni 手寫字體識别
二、文本理解：超越上一代 14B 最佳模型，讀完課堂筆記秒出考題
在文本理解方面，作為全模态理解模型，Megrez-3B-Omni 沒有犧牲模型的文本處理能力，将上一代 14B 大模型的優秀能力壓縮至 3B 規模，以更少的資源消耗，實現了更高的性能輸出，顯著降低了計算成本、提升了計算效率。
該模型在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多個權威測試集上更是取得端上模型最優精度，在文本理解方面取得全球領先地位。這為端側設備的智能化提供了全新可能。
在理解長文本時，該模型能做到準确意圖識别和極速推理。
它可以适用于教育等很多文字工作應用場景。比如讓它參考課堂筆記，出一套包含 3 個問題的課後習題。
▲ Megrez-3B-Omni 文本理解
或者讓它幫忙給代碼捉蟲。
▲ Megrez-3B-Omni 代碼理解
三、音頻理解：輸入語音輕松提問，能聽音、問圖、解文
在語音理解方面，Megrez-3B-Omni 的效果比肩行業主流方案，不僅支持中文和英文的語音輸入，還能夠處理復雜的多輪對話場景，更能支持對輸入圖片或文字的語音提問，實現不同模态間的自由切換。
用戶可以就任意模态内容發出語音指令，Megrez-3B-Omni 能根據語音指令直接響應文本，從一長段語音中快速提煉重點。
▲ Megrez-3B-Omni 語音理解
四、多場景靈活應用：支持網頁搜索
Megrez-3B-Instruct 還特别提供了WebSearch 功能，使得模型能夠智能地判斷何時需要調用外部工具進行網頁搜索，輔助回答用戶的問題。
▲ WebSearch 支持
這樣用戶就能構建屬于自己 AI 搜索，通過網絡獲取最新信息，克服小模型的幻覺問題和知識儲備不足的局限。
模型有時候自身儲備已經足夠獨立解決問題，這時過多的搜索調用反而可能降低推理速度和效果。Megrez-3B-Instruct 通過在搜索和對話之間智能切換，避免了過度依賴搜索或完全不調用搜索的問題。
除了可以自動決策工具調用時機之外，Megrez-3B-Instruct 還具備上下文理解性能優異、可提供帶參考信息的結構化輸出等優勢。
這些能力都已集成于 Megrez-3B-Instruct 模型中，用戶可通過 System Prompt 自由切換。
結語：一體化設計，推動端側智能
相較于雲端大模型，端側模型需要在資源有限的設備上快速部署、高效運行，對降低模型計算和存儲需求提出更高要求。
模型小，不一定就意味着速度快。
在将推理速度大幅提升背後，憑借對硬體特性的深入理解與利用，Megrez-3B-Omni 通過軟硬體協同優化策略，确保了各參數與主流硬體高度适配，以實現硬體性能的利用最大化。
此前在提供端上智能一體化解決方案方面，無問芯穹秉持軟硬協同理念已與多家知名智能設備和終端芯片廠商展開合作。
除端側全模态理解模型外，該公司有端上推理軟體和 IP 設計方案，不僅支持 CPU、GPU、NPU 的同時推理，還能通過跨越軟硬體層次的系統優化，額外帶來最高可達70%的性能提升，最大化端側硬體性能的利用，适應電腦、平板、手機乃至眼鏡等輕量的端側移動設備。
通過軟硬體聯合優化，在端上智能一體化解決方案内，無問芯穹還将推出與之相适配的端側推理軟體與 LPU IP 等，通過 " 端模型 + 端軟體 + 端 IP" 一體化設計，為端側設備提供更完整、對硬體利用更高效的智能方案，促進大模型在端側設備上實現更高推理速度與更低能耗。
