今天小編分享的科學經驗：全球首個全模态理解開源端模型：長語音自動總結，圖文音啥都會！300%推理速度領先，來自無問芯穹，歡迎閱讀。
全球首個端側全模态理解開源模型來了！
在菜單裡幫忙選奶茶，不在話下：
還能幫忙輕松提煉長語音，再也不用對着一串幾十秒語音頭皮發麻（doge）。
就在剛剛，無問芯穹宣布開源目前世界上首個端側全模态理解的開源模型Megrez-3B-Omni，不僅體積輕巧，速度飛快，更是一個多才多藝的全能選手，能夠輕松處理圖片、音頻、文本三種模态數據。
在眾多測評基準中，Megrez-3B-Omni在圖片、文本、音頻三個模态中均取得了同尺寸下最優性能。作為一個 3B 模型，綜合性能表現甚至能超過 34B 模型。
具體來說，Megrez-3B-Omni 采用了專為手機、平板等端側設備量身定制的 30 億參數黃金尺寸，主幹網絡參數規模更是僅有 2.3B，精度超越了上一代 14B 模型，最大推理速度更是比同精度模型快達 300%。
一起來看更多技術細節 ~
影像理解
在影像理解方面，Megrez-3B-Omni 作為一個體積僅為 3B 的模型，其綜合性能表現可以全面超過 34B 的龐然大物，是目前 OpenCompass、MME、MMMU、OCRBench 等多個主流測試集上精度最高的影像理解模型之一。
與此同時，Megrez-3B-Omni 在場景理解、OCR等任務上也具有良好表現，能夠準确洞察和分析任意比例尺寸影像中的場景内容，并高效地從中提取文本信息，且無論是模糊的印刷體還是復雜的手寫字，都能夠輕松識别。
不僅能理解手機螢幕上的信息，給定條件輔助商品挑選。
讀取手寫字體，一樣輕松搞定：
文本理解
在文本理解方面，作為全模态理解模型，Megrez-3B-Omni 在沒有犧牲模型的文本處理能力的前提下，将上一代 14B 大模型的優秀能力壓縮至 3B 規模，顯著降低了計算成本、提升了計算效率。
在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多個權威測試集上更是取得端上模型最優精度，在文本理解方面确立了全球領先地位。同時，以更少的資源消耗，實現了更高的性能輸出，為端側設備的智能化提供了進一步突破精度與速度邊界的全新可能。
de 個 Bug，成功：
緊急處理備忘錄中的資料，也沒問題：
音頻理解
在語音理解方面，Megrez-3B-Omni 的效果比肩行業主流方案。Megrez-3B-Omni 不僅支持中文和英文的語音輸入，還能夠處理復雜的多輪對話場景，更能支持對輸入圖片或文字的語音提問。
用戶就任意模态内容，發出語音指令，Megrez-3B-Omni 就能根據語音指令直接響應文本，實現多輪對話中語音與文本輸入的自由切換，讓用戶可以通過更少動作與模型展開更直觀、自然的互動。
遇到客戶的超長語音連擊也不怕了：
支持語音問圖，還能聽口令寫小作文：
推理效率高，應用場景靈活
模型的規模并不是決定其速度的唯一因素，因此模型小并不一定就意味着速度快。憑借對硬體特性的深入理解與利用，Megrez-3B-Omni 通過軟硬體協同優化策略，确保了各參數與主流硬體高度适配，以實現硬體性能的利用最大化。
與上一代及其他端側大語言模型相比，單模态 LLM 版本的 Megrez-3B-Instruct 在推理速度上取得了顯著提升，最大推理速度可以領先同精度模型 300%。
Megrez-3B-Instruct 這次還特别提供了WebSearch功能，這一功能使得模型能夠智能地判斷何時需要調用外部工具進行網頁搜索，輔助回答用戶的問題。用戶得以構建屬于自己 AI 搜素，通過網絡獲取最新信息，克服小模型的幻覺問題和知識儲備不足的局限。
有時，模型通過搜索網頁可以更全面地完成回答，而其他時候，模型自身已具備足夠的知識來獨立解決問題，過多的搜索調用可能會降低推理速度和效果。Megrez-3B-Instruct 通過在搜索和對話之間智能切換，避免了過度依賴搜索或完全不調用搜索的問題。除了可以自動決策工具調用時機之外，Megrez-3B-Instruct 還具備上下文理解性能優異、可提供帶參考信息的結構化輸出等優勢。
目前，這些能力已集成于 Megrez-3B-Instruct 模型中，用戶可以通過 System Prompt 自由切換，同時享受到高精度模型推理能力與智能 WebSearch 調用收益。
One More Thing
相較于雲端大模型，端側模型需要在資源有限的設備上快速部署、高效運行，對降低模型計算和存儲需求提出更高要求。
無問芯穹技術團隊源起于清華大學電子工程系 NICS-EFC 實驗室，在模型壓縮、推理加速及硬體能耗優化等領網域擁有深入的學術研究和深厚的工程實踐經驗，正是模型輕量化、軟硬體協同優化領網域的頂尖團隊。
無問芯穹表示，Megrez-3B-Omni 是一個能力預覽，接下來還将持續迭代 Megrez 系列，提升自動化水平至 "edge device use" 效果，讓用戶只需要給出簡單的語音指令，就可完成端設備的設定或應用操作，并将它作為 " 端模型 + 端軟體 + 端 IP" 端上智能一體化解決方案的重要構成推向市場。目前，無問芯穹就該一體化方案已與多家知名智能設備和終端芯片廠商展開合作。
在這個方案中，除端側全模态理解模型外，還有端上推理軟體和 IP 設計方案，不僅支持 CPU、GPU 和 NPU 的同時推理，更能通過跨越軟硬體層次的系統優化，額外帶來最高可達 70% 的性能提升，最大化端側硬體性能的利用。
對那些久困于功耗、速度、續航以及智能效果的端側設備來說，這意味着，效果更佳的智能更新成為可能。
Github： https://github.com/infinigence/Infini-Megrez
HuggingFace：https://huggingface.co/Infinigence/Megrez-3B-Omni
登錄 Infini-AI 異構雲體驗純語言版本 Megrez-3B-Instruct：https://cloud.infini-ai.com/genstudio/model/mo-c73owqiotql7lozr
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
