全球首个全模态理解开源端模型：长语音自动总结，图文音啥都会！300%推理速度领先，来自无问芯穹

今天小编分享的科学经验：全球首个全模态理解开源端模型：长语音自动总结，图文音啥都会！300%推理速度领先，来自无问芯穹，欢迎阅读。

全球首个端侧全模态理解开源模型来了！

在菜单里帮忙选奶茶，不在话下：

还能帮忙轻松提炼长语音，再也不用对着一串几十秒语音头皮发麻（doge）。

就在刚刚，无问芯穹宣布开源目前世界上首个端侧全模态理解的开源模型Megrez-3B-Omni，不仅体积轻巧，速度飞快，更是一个多才多艺的全能选手，能够轻松处理图片、音频、文本三种模态数据。

在众多测评基准中，Megrez-3B-Omni在图片、文本、音频三个模态中均取得了同尺寸下最优性能。作为一个 3B 模型，综合性能表现甚至能超过 34B 模型。

具体来说，Megrez-3B-Omni 采用了专为手机、平板等端侧设备量身定制的 30 亿参数黄金尺寸，主干网络参数规模更是仅有 2.3B，精度超越了上一代 14B 模型，最大推理速度更是比同精度模型快达 300%。

一起来看更多技术细节 ~

影像理解

在影像理解方面，Megrez-3B-Omni 作为一个体积仅为 3B 的模型，其综合性能表现可以全面超过 34B 的庞然大物，是目前 OpenCompass、MME、MMMU、OCRBench 等多个主流测试集上精度最高的影像理解模型之一。

与此同时，Megrez-3B-Omni 在场景理解、OCR等任务上也具有良好表现，能够准确洞察和分析任意比例尺寸影像中的场景内容，并高效地从中提取文本信息，且无论是模糊的印刷体还是复杂的手写字，都能够轻松识别。

不仅能理解手机螢幕上的信息，给定条件辅助商品挑选。

读取手写字体，一样轻松搞定：

文本理解

在文本理解方面，作为全模态理解模型，Megrez-3B-Omni 在没有牺牲模型的文本处理能力的前提下，将上一代 14B 大模型的优秀能力压缩至 3B 规模，显著降低了计算成本、提升了计算效率。

在 C-EVAL、MMLU/MMLU Pro、AlignBench 等多个权威测试集上更是取得端上模型最优精度，在文本理解方面确立了全球领先地位。同时，以更少的资源消耗，实现了更高的性能输出，为端侧设备的智能化提供了进一步突破精度与速度边界的全新可能。

de 个 Bug，成功：

紧急处理备忘录中的资料，也没问题：

音频理解

在语音理解方面，Megrez-3B-Omni 的效果比肩行业主流方案。Megrez-3B-Omni 不仅支持中文和英文的语音输入，还能够处理复杂的多轮对话场景，更能支持对输入图片或文字的语音提问。

用户就任意模态内容，发出语音指令，Megrez-3B-Omni 就能根据语音指令直接响应文本，实现多轮对话中语音与文本输入的自由切换，让用户可以通过更少动作与模型展开更直观、自然的互動。

遇到客户的超长语音连击也不怕了：

支持语音问图，还能听口令写小作文：

推理效率高，应用场景灵活

模型的规模并不是决定其速度的唯一因素，因此模型小并不一定就意味着速度快。凭借对硬體特性的深入理解与利用，Megrez-3B-Omni 通过软硬體协同优化策略，确保了各参数与主流硬體高度适配，以实现硬體性能的利用最大化。

与上一代及其他端侧大语言模型相比，单模态 LLM 版本的 Megrez-3B-Instruct 在推理速度上取得了显著提升，最大推理速度可以领先同精度模型 300%。

Megrez-3B-Instruct 这次还特别提供了WebSearch功能，这一功能使得模型能够智能地判断何时需要调用外部工具进行网页搜索，辅助回答用户的问题。用户得以构建属于自己 AI 搜素，通过网络获取最新信息，克服小模型的幻觉问题和知识储备不足的局限。

有时，模型通过搜索网页可以更全面地完成回答，而其他时候，模型自身已具备足够的知识来独立解决问题，过多的搜索调用可能会降低推理速度和效果。Megrez-3B-Instruct 通过在搜索和对话之间智能切换，避免了过度依赖搜索或完全不调用搜索的问题。除了可以自动决策工具调用时机之外，Megrez-3B-Instruct 还具备上下文理解性能优异、可提供带参考信息的结构化输出等优势。

目前，这些能力已集成于 Megrez-3B-Instruct 模型中，用户可以通过 System Prompt 自由切换，同时享受到高精度模型推理能力与智能 WebSearch 调用收益。

One More Thing

相较于云端大模型，端侧模型需要在资源有限的设备上快速部署、高效运行，对降低模型计算和存储需求提出更高要求。

无问芯穹技术团队源起于清华大学电子工程系 NICS-EFC 实验室，在模型压缩、推理加速及硬體能耗优化等领網域拥有深入的学术研究和深厚的工程实践经验，正是模型轻量化、软硬體协同优化领網域的顶尖团队。

无问芯穹表示，Megrez-3B-Omni 是一个能力预览，接下来还将持续迭代 Megrez 系列，提升自动化水平至 "edge device use" 效果，让用户只需要给出简单的语音指令，就可完成端设备的設定或应用操作，并将它作为 " 端模型 + 端軟體 + 端 IP" 端上智能一体化解决方案的重要构成推向市场。目前，无问芯穹就该一体化方案已与多家知名智能设备和终端芯片厂商展开合作。