今天小編分享的科學經驗：1元=1700000tokens！清華系發布國產Mistral僅2B，老手機都帶得動，GitHub一天斬獲300+星，歡迎閲讀。
一個體量僅為 2B 的大模型，能有什麼用？
答案可能超出你的想象。
因為若是用四個字來概括，那就是" 多、快、好、省 "：
多：它是業界第一個在端側部署多模态的大模型。
快：一張 1080Ti 可高效微調、一台機器可以持續訓練。
好：性能跟體量極具反差感，在多項成績中超越了一眾主流 " 大體量 " 大模型。
省：1 元 =1700000 tokens，成本為 Mistral-Medium 百分之一
那麼，這個能夠" 以小博大 "，頗有四兩撥千斤意味的大模型，到底什麼來頭？
不賣關子，它正是由清華系初創公司面壁智能最新發布的旗艦終端大模型——MiniCPM。
并且團隊還給它起了個别具一格的昵稱——小鋼炮。
而在眾多亮點之間，最令人意外的還是小鋼炮用 2B 的 " 姿勢 " 所表現出來的性能。
例如與同樣是采用 " 以小博大 " 路數的大模型标杆之作 Mistral-7B 做比較，小鋼炮多項标準測試成績均勝出：
再把與小鋼炮同 " 體量 " 的選手拉出來，大部分能力依舊是處于領先，并且英文能力還是較為出眾的那種：
即使把 Mistral-7B 更大的模型拉進來同台比擂，例如 Llama2-13B、MPT-13B、Falcon 40B，多項成績較為出眾的仍是小鋼炮：
若不論大模型的尺寸，把主流的全部囊括進來，在最接近人評的測試集 MT-Bench 中比較，小鋼炮也取得了較為不錯的成績：
不僅如此，根據面壁智能 CEO李大海的介紹：
int4 量化版小鋼炮，可以在閃存應用壓縮 75% 的情況下，性能可以做到基本無損耗。
有一説一，成績和榜單是大模型能力的一方面，但更重要的還是要看大模型在實際應用中的效果。
2B" 小鋼炮 " 效果一覽
老規矩，我們還是從不同維度來看下小鋼炮的實際應用效果。
中英夾雜提問，精準翻譯成法語
讓大模型在兩種語言之間做翻譯已然是件常見的事情。
團隊在現場給小鋼炮的翻譯任務加了一把難度，中英混合提問，并要求把整句翻譯成法語：
Translate this sentence into French: "I am a fresh man on Chinese, do you know how this sentence is translated: 如何用 Python 創建一個簡單的網頁爬蟲？"
從翻譯結果來看，小鋼炮準确地理解了中英混合的表述，并按照要求給出了精準的法語翻譯。
如果讓人類給一句話添加 emoji，那麼過程大致是要先理解這句話，然後再在恰當的位置塞進 emoji 表情。
那麼這個任務小鋼炮是否能 hold 住呢？
請看結果：
生日是要的，和也精準塞進了恰當位置，最重要是小鋼炮理解到了這句話是表達愛意。
再如 " 山東省最高的山是那座山，它比黃山高還是矮？差距多少？" 這樣的問題，小鋼炮也是輕松應對：
小鋼炮給自己寫代碼
大模型對給定的任務寫代碼現在也是司空見慣了。
如果讓大模型給自己寫段代碼呢？請聽題：
編寫一個 Python 程式來實現一個 MiniCPM 模型（Transformer 結構，40 層，每層維度為 2304，詞表大小為 122753）。
小鋼炮在接收到任務之後，随即開始 " 自己給自己寫代碼 "，并且每一步的步驟内容也是非常清晰：導入所需庫→定義模型結構→定義訓練和評估函數→訓練模型→評估模型性能。
多模态首次上手機
正如我們剛才提到的，小鋼炮的亮點之一就是它是業界第一個在端側部署多模态的大模型。
在現場，李大海也對此做了相應的展示。
例如先 " 喂 " 給手機裏的小鋼炮一張圖，并提問 " 這個蘑菇的名字是什麼？有毒麼 "，小鋼炮就會先看圖再作答：
這根蘑菇的名稱是 " 蠅鵝膏 "。它有毒，可以引起惡心、嘔吐和腹瀉等症狀。
當然，連續追問、上下文對話也是不在話下：
據了解，上面展示的這些能力都是在量化版小鋼炮 +OPPO 手機 + 骁龍 855 芯片這個配置之下完成的。
之所以如此，是因為團隊想要展示小鋼炮是一個" 省錢的大模型 "。
怎麼理解？
剛才手機裏 GPU 的成本大約 600 元，每秒 7.5tokens，假設運行 5 年報廢，共計 170 萬 tokens，則其推理成本僅為 1 元。
如此，便可以得到一個成本公式：
1 元 =1700000tokens。
相比 GPT-4 的推理成本，1 元 =4700tokens，可以説是指數級的把價格打下去。
即便是與 Mistral-medium 相比，成本也是其 1/100。
這次也同步開源了一個更大也更好展示多模态能力的OmniLMM-12B，玩法就變得更多了。
例如舉着手機，在攝像頭下方比劃石頭、剪刀、布，并向小鋼炮提問：
我現在玩的可能是什麼遊戲？
小鋼炮看完之後，在理解基礎上便會開始作答：
你可能在玩的遊戲是石頭剪刀布。
然後繼續給小鋼炮看一眼 " 拳頭 "，并發問：
手勢在遊戲中是什麼意思？
繼續給小鋼炮看一眼 " 拳頭 "，并發問：
如何在遊戲中赢我？
小鋼炮思考片刻後，給出了正确答案：
要在遊戲中獲勝，另一玩家需要出布。
值得一提的是，從上面的演示中，我們可以看到小鋼炮在處理過程中是有一段時間的延遲。
現場也有人調侃説 " 我看這個視頻演示沒有加美顏 "（指加速處理）。
對此，面壁智能聯合創始人、清華大學副教授劉知遠回答説：
沒錯，我們不加 " 美顏 "，比較樸實。
而且小鋼炮在多模态這塊還是提高的空間的。
怎麼做到的？
整體來看，面壁智能在技術路線上一直高舉 " 高效 " 大旗，主要是從 AI 的三大要素作為突破口，即算力、算法和數據。
在算力層面上，面壁智能認為 "Infra 是大模型創業護城河 "，Infra 可以決定一家創業公司的技術上限。
若是沒有一個足夠 " 能打 " 的 Infra，即使短期内能夠打造較好的模型，但越往後、越深入時會發現很快就會遇到技術瓶頸。
因此，在早年前，團隊便在業内較早地提出了 BMTrain，一個分布式的高效訓練框架。
有了它，很深入地優化工作就可以快速地結合 Infra 落地實現。
除此之外，團隊陸續還推出了高效推理框架 BMInf、高效壓縮框架 BMCook，以及高效微調框架 BMTune 等等。
有這些具體的工具，便形成了面壁智能在算力層面的殺手锏——面壁 ModelForce，全流程優化加速套件平台。
在算法層面上，面壁智能在技術發展過程中所積累出來的利器則是面壁模型沙盒（Model Sandbox）。
這實則也是一種方法論，可以将大模型從過去的煉丹形式變成了一種實驗科學。
而在歷經上千次的模型沙盒實驗之後，團隊在算法中的各種細節上也得到了一系列業界最優配置。
例如最優批次大小（batch size），可以大幅節省大模型訓練時的 token 量；再如所有尺寸的模型可以通過最優的超參數的配制，保證訓練任意大小的模型取得最好的效果等等。
最後在數據層面上，優秀的數據也決定了大模型最後性能的成敗。
而這次小鋼炮的誕生，面壁智能僅僅是用了所積累的優質數據中，通過方法論所精選出來的 1T。
值得一提的是，為了行業更好的交流和發展，面壁智能開源了訓練、退火兩個階段來的數據配方來供參考。
除此之外，與小鋼炮相關的更多技術細節以及如何在手機上部署的教程等，均已經在 GitHub 中開源。
感興趣的小夥伴，可以在文末鏈接處了解更多詳情 ~
不過最後，還有一個問題值得讨論來一波：
大模型，為什麼往 " 小 " 了搞？
其實在 2023 年，在大模型以小博大方面，便已經開始有了苗頭。
最為典型的，就是小鋼炮此次對标的 Mistral-7B。
在它剛剛出道之際，便以更小的 " 姿勢 " 擊敗了更大體量的 Llama2-13B、Llama 1（34B）等一眾大模型。
這就為 " 比大更大 " 内卷下的模型圈帶來了一定啓發。
不過在此背後，大模型往 " 小 " 了做，所體現的是一種更大的趨勢。
一方面，從大模型從 2022 年底爆火至今，一個非常明顯的變化就是從專注訓練，逐漸轉向推理。
這是一個技術發展必然的結果，要從比性能和結果，到比誰的大模型更好用；而這個 " 用 "，最好、最直接的體現就應當是在端側誰可以更 " 多快好省 " 地運行。
對此，李大海表示：
站在大模型時代之下，我們都在提的一個概念便是 "AI 原生應用 "；這個時代需要的全新作業系統，就是 AI 原生應用 +AI 原生硬體。
而其中的 AI 原生硬體，其實很簡單，就是只要能在端側運行大模型的硬體就是原生硬體。
因此，端側的大模型就顯得格外重要。
另一方面，市場的表現也是印證大模型往 " 小 " 發展的一點。
自從去年 7 月開始，非常明顯的一點是，眾多主流手機廠商、PC、汽車品牌，陸續在宣布接入大模型。
手機廠商例如華為、小米、榮耀、OPPO、Vivo、三星等；車企包括小鵬、蔚來、理想、吉利等等。
需求之大，可見一斑。
值得一提的是，從小鋼炮在 GitHub 開源的内容來看，目前它已經在眾多品牌的老機型上做了部署實驗。
因此，老手機上跑大模型也成為了一種可能。
不過細心的朋友也注意到了，面壁智能其實從成立至今，也僅有短短一年的時間。
這就不禁讓人發問：一年時間是如何在技術上做到的這般突破？
其實在此背後，更多的是清華系成員們在公司成立之前，長久以來在技術上的積累與跟進。
早在 2018 年，面壁智能的核心技術團隊在 BERT 發布之後，便聚焦在清華 NLP 實驗的相關工作，發布過全球首個知識指導的預訓練模型 ERNIE。
随後在 2020 年，他們也作為 " 悟道 " 大模型首發主力陣容發布了全球第一個 20 億級中文開源大模型 CPM 1，也持續參與了之後的 CPM 2 和 CPM 3。
除此之外，在 2022 年，在開源相關工作中，面壁智能核心成員也參與到了 OpenBMB 開源社區的成立與運作。
由此可見，面壁智能的核心技術成員是屬于中國最早進行大模型研究的那一批。
正是基于這樣的技術積累，也就不難理解面壁智能為何能夠在短短一年時間内交出如此之多的 " 作業 " 了：
據了解，截至目前，面壁智能擁有 100 多人的科研團隊。
雖然平均年齡僅為 28 歲，但清北含量高達 80%，也有來自阿裏、字節、百度等國内外知名大廠的工程團隊。
加上團隊還主打一個 " 雙 CP" 組合，即大将裏的 " 小哥哥 "+" 小鮮肉 " 裏的大将，這種經驗與創新的碰撞，或許也是推動發展進程的原動力之一。
誠然，開年小鋼炮的發布給大模型帶來了不少驚豔，但也正如團隊所説，相關工作還有許多需要改進之處。
因此面壁智能在接下來的新進展，是值得關注的。
One More Thing
在小鋼炮發布現場，一張五道口大模型 Valley圖格外吸睛。
用李大海的話來説：
這是全中國大模型最密集的地區。
嗯，五道口，不愧是 " 宇宙中心 "。
開源地址（内含技術報告）：
MiniCPM GitHub：
https://github.com/OpenBMB/MiniCPM
OmniLMM GitHub：
https://github.com/OpenBMB/OmniLMM
— 完 —
點這裏關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
