2GB 内存就能跑 ChatGPT！這個國產「小鋼炮」，要讓華為 OV 們的 AI 體驗突破瓶頸

今天小編分享的科技經驗：2GB 内存就能跑 ChatGPT！這個國產「小鋼炮」，要讓華為 OV 們的 AI 體驗突破瓶頸，歡迎閲讀。

在這波 AI 浪潮中，面壁智能是國内少有選擇 All In 端側模型的頭部大模型廠商。

自從面壁智能 2 月份發布性能小鋼炮 1.0 後，接連幾月陸續迭代更新，其中後續推出的開源模型 MiniCPM-Llama3-V 2.5 更是因為強悍的實力遭到了斯坦福 AI 團隊的抄襲。

四月份，面壁智能 CTO 曾國洋還曾預言，GPT-3.5 級别的模型将在一兩年内就能在移動設備上運行。

好消息是，不用再等一到兩年了，因為今天發布的 MiniCPM 3.0 實現了初代小鋼炮發布時立下的 Flag：今年内讓 GPT-3.5 水平的模型在端側跑起來。

僅 4B 參數，以小博大，性能超越 GPT-3.5，MiniCPM 3.0 也标志着「端側 ChatGPT」時刻的到來。

簡單來説就是，MiniCPM 3.0 的面世意味着用户未來能體驗到快速、安全、且功能豐富的本地 AI 服務，無需依賴雲端處理，以及獲得更流暢、更私密的智能互動體驗。

從官方分享的基準測試來看，MiniCPM 3.0 在 CMMLU、CEVAL 等考究中文能力的基準測試中一騎絕塵，輕松碾壓 Phi-3.5、以及 GPT-3.5 等模型。

而即便是對上了 8B、9B 等國内優秀的大模型，MiniCPM 3.0 的表現同樣相當出眾。

簡單總結一下 MiniCPM 3.0 的特點：

無限長文本，榜單性能超越 Kimi

端側最強 Function call，性能比肩 GPT-4o

超強的 RAG 外挂三件套，中文檢索、中英跨語言第一

無限長文本，性能超越 Kimi

小而強、小而全，或許是 MiniCPM 3.0 最貼切的形容詞。

上下文長度是衡量大模型基礎能力的一項重要特性，更長的上下文長度意味着模型能夠存儲和回憶更多的信息，從而有助于模型更準确地理解和生成語言。

舉例來説，更長的上下文長度能夠讓一個 AI 寫作工具根據用户之前寫的内容提供更相關的建議，或者根據更多的背景信息創作出更復雜、更引人入勝的故事。

為此，面壁提出了 LLMxMapReduce 長本文分幀處理技術。

這是一種通過将長上下文切分為多個片段，讓模型并行處理，并從不同片段中提取關鍵信息，匯總最終答案，實現無限長文本。

據悉，這一技術普遍增強了模型處理長文本的能力，且在文本不斷加長的情況，仍保持穩定性能、減少長文本随加長掉分情況。

▲ LLMxMapReduce 技術框架圖

從 32K 到 512K，MiniCPM 3.0 能夠打破大模型記憶的限制，将上下文長度無限穩定拓展，用面壁官方的話來説就是「想多長就多長」。

從大模型長文本的基準測試 InfiniteBench 結果來看，随着文本長度的增加，4B 參數的 MiniCPM 3.0 的性能優勢反而愈發明顯。

InfiniteBench Zh.QA 評測結果顯示，4B 參數的 MiniCPM 3.0 整體性能優于 Kimi，在更長的文本上顯示出相對更強的穩定性。

端側最強 Function call，性能比肩 GPT-4o

在接受 APPSO 等媒體的采訪時，曾國洋也表示，MiniCPM 3.0 針對用户關注的一些能力進行了提升，比如加入了完整的 system prompt Function Calling 和 code interpreter 等能力。

其中 Function Calling（函數調用）能夠将用户模糊化的輸入語義轉換為機器可以精确理解執行的結構化指令，并讓大模型連接外部工具和系統。

具體來説，通過語音在手機上調用日歷、天氣、郵件、浏覽器等 APP 或相冊、檔案等本地數據庫，從而打開終端設備 Agent 應用的無限可能，也讓人機互動更加自然和方便。

據介紹，MiniCPM 3.0 宣稱擁有端側最強 Function Calling 性能，在 Berkeley Function-Calling Leaderboard 榜單上，其性能接近 GPT-4o，并超越 Llama 3.1-8B、Qwen-2-7B、GLM-4-9B 等眾多模型。

曾國洋表示，現有的開源模型在這些能力上的覆蓋并不全面，通常只有一些雲端的大型模型能夠完全覆蓋這些能力。現在，MiniCPM 3.0 也實現了一些相應的功能。

以 RAG（檢索增強生成）為例，這是一種結合了信息檢索（IR）和自然語言生成（NLG）的技術。

它通過從大規模文檔庫中檢索相關信息來指導文本的生成過程，能夠提升模型在回答問題、生成文本等任務中的準确性和可靠性，減少大模型的幻覺問題。

對于法律、醫療等依賴專業知識庫、對大模型幻覺容忍度極低的垂直行業來説，大模型 +RAG 在行業中尤其實用。

MiniCPM 3.0 一口氣上線了 RAG 三件套：檢索模型，重排序模型和面向 RAG 場景的 LoRA 插件。

MiniCPM-Embedding（檢索模型）中英跨語言檢索取得 SOTA 性能，在評估模型文本嵌入能力的 MTEB 的檢索榜單上中文第一、英文第十三。

MiniCPM-Reranker（重排序模型）在中文、英文、中英跨語言測試上取得 SOTA 性能。

經過針對 RAG 場景的 LoRA 訓練後，MiniCPM 3.0-RAG-LoRA 在開放網域問答（NQ、TQA、MARCO）、多跳問答（HotpotQA）、對話（WoW）、事實核查（FEVER）和信息填充（T-REx）等多項任務上的性能表現，超越 Llama3-8B 和 Baichuan2-13B 等業内優秀模型。

模型應用落地，先跑起來再説

在接受 APPSO 等媒體的采訪時，面壁智能 CEO 李大海提到，能跑起來和真正流暢地去做應用是兩個不同的概念。

而經過優化後的 MiniCPM 3.0 對端側設備的資源需求很低，量化後僅需 2.2 G 内存，iPad 端側推理也能達到 18-20 tokens/s。

對于 iPad 這樣的移動設備來説，每秒能夠處理 18-20 個 token 的速度已經意味着模型能夠實時處理自然語言輸入。

比如在語音識别或實時翻譯應用中，用户基本不會感受到明顯的延遲，享受到相對流暢的互動體驗。

另外，相較于雲端模型，作為端側模型的面壁小鋼炮 MiniCPM 系列模型還天然具有弱網、斷網可用、超低時延、數據隐私安全等本地優勢。