今天小編分享的互聯網經驗：預見MaaS2024：小模型是大模型的缰繩，歡迎閱讀。
圖片來源 @視覺中國
文 | 新立場 Pro，作者 | 新立場
模型即服務 ( Model as a Service ) ，簡稱 MaaS，指的就是像 OpenAI 一樣将自家 AI 模型的接口開放給廣大企業用戶或個人用戶，用戶僅僅需要在調用該模型的基礎上，進行一定程度的個性化微調，就可以完成各種多元任務。說白了，只要是将模型應用起來，都可以視為模型即服務。
如今國内已有超過兩百個所謂的大模型發布，國内 " 百模大戰 " 如火如荼，大戰下半場，輿論重心也逐漸從比較模型的參數規模和技術跑分，到思考将模型如何更好地應用到實處。
此時也出現了多種聲音，關于大模型的應用，關于小模型的應用，基于大模型的小模型的應用等等。而小模型這一詞匯逐漸占據視角的同時，也讓不少人開始思考，那麼多大模型是否真的有必要？以及大小模型将會如何共同發展？
01 為大而大，及時刹車
如今，模型的為大而大，正在刹車。
此前幾個國内主要的大模型都曾宣稱自己的參數規模超千億級别，有的甚至是萬億，一時間，對比各大模型參數的數量級，成為不少 AI 愛好者茶餘飯後的談資。
然而百度李彥宏在近日的圓桌會議上發言稱："100 多個大模型浪費社會資源……尤其在中國算力還受限制情況下，企業應該去探索各行各業的應用結合、全新的 App 產品可能性等。"
李彥宏的發言并非是因為已經疲于作戰，而是及時參透了為大而大的假象。
其實早在今年 4 月， OpenAI 首席執行官山姆 · 阿爾特曼（Sam Altman）就在麻省理工學院交流時說過：" 我認為我們正處于巨型模型時代的結尾。" 意在表示新的進步不會來自于讓模型變得更大，" 我們會以其他方式讓他們變得更好。"
并且谷歌和微軟也确實都在積極擁抱小模型。
谷歌在今年 5 月份的開發者大會上發布了新一代大語言模型 PaLM2，總共四個尺寸，其中參數體量最小的模型代号 " 壁虎 " 有被着重介紹，雖然當時并未給出 " 壁虎 " 的具體參數規模，但谷歌 CEO 皮查伊說，" 壁虎 " 可以在手機上運行，而且速度足夠快、不聯網也能正常工作。
在 11 月的 Ignite2023 上，微軟董事長兼首席執行官 Nadella 在主題演講中就推出了基于微軟雲計算 Azure 的 MaaS 服務，緊接着便直言 " 微軟喜歡小模型 ( SLM ) "，并宣布了名為 Phi-2 的小型語言模型，該模型參數僅有 27 億，盡管比起 Phi-1.5 的 13 億參數有所增長，" 但 Phi-2 在數學推理方面的性能提高了 50%，并且是開源的，還将加入 MaaS。"
這些國内外 AI 巨頭大模型刹車的背後，實則是因為大模型競賽問題叢生。
浪費算力的問題首當其衝。
11 月中旬，微軟研究院機器學習團隊的負責人 Sebastien Bubeck 在推特上發布了一張圖，顯示了在 MT bench 的測評體系下，僅有 27 億參數規模的 Phi-2 得分 6.62，18000 億參數的 GPT4 得分 8.99。
此前就有人爆料 GPT4 訓練一次的費用可能達到 6300 萬美元，然而如此高昂的代價，帶來的并不是跟随成本線性增長的性能，山姆直言：" 擴大模型規模的收益在遞減。"
簡而言之，辦好七成的事情只需要花一塊錢，與辦好九成的事情可能需要一千元，對于每個企圖入局大模型的企業而言，都是一件需要在戰略層面值得抉擇的事情。
顯然，很多竭盡全力往更大規模上靠的大模型都選擇了花更多的錢，還不一定能辦好九成的事，造成了極大的算力浪費，這些算力都會實打實地消耗芯片和人力。
其次，更大模型帶來的 AI 湧現，将變得愈發不可控制。
OpenAI 認為，未來十年來将誕生超過人類的超級 AI 系統，彼時 " 基于人類反饋的強化學習技術将終結 "。
也就是說，當 AI 超越人類後，AI 不會再聽人話來進行訓練調整，那時候 AI 自我進化會帶來什麼後果，許多科幻作品已經為我們敲響警鍾。
哪怕暫且不提不遠不近的未來，只看眼前，通用大模型要應用到實處，本身就是一個難題。從技術出發去匹配應用場景，容易本末倒置。
此時許多垂直大模型才是用對了思路，直接從業務角度出發搭建大模型。
但關鍵在于，這些垂直大模型雖然在往更大規模上靠攏，卻又算不上 " 大 "。此時的 " 大模型 " 反而變成了一個象征意義的前後綴。
比如農業銀行基于其本身業務推出的大模型小數（ChatABC），參數達百億，相比起幾個通用大模型動辄幾千億上萬億的參數規模，百億并不算大。而面對垂直行業的業務，模型也實在沒必要過大。
參數到達多少億就算是大模型了，随着技術的發展，恐怕是不會有确切不變的标準的。微軟現在認為自己 27 億的模型就算小模型，但在早幾年前普遍認為上億就算大模型了。
不過不管多大多小，重點在于，搭建模型的目的是什麼？
02 以小馭大，把缰繩交給用戶
我們需要離用戶更近的模型。
在用戶層面來看，如何更快更好更低成本地使用工具達成自己的目的才是核心訴求。
如果将通用大模型直接給 C 端用戶使用，使用成本高，不夠個性化，恐怕都将成為難以維系商業可持續性的原因。
一個很典型的例子就是使用 GPT4，每次對話結束後都會清空，它不會記住你之前有什麼樣的需求偏向，導致 AI 帶來的效率提升大打折扣。相信也正因為如此，OpenAI 會推出 GPT 的應用商店，允許用戶搭建自己的 GPT 個性化應用。但 GPT4 仍要收取一定的會員費用，其實這筆費用對于世界各地廣大 C 端用戶而言并不算低。
那麼這個時候，如果有一個直接從具體的業務場景出發訓練搭建的模型，相信對于用戶而言使用成本和效率都會更理想，而這樣的模型往往也不會太大。
更不用說以後的模型即服務更大的應用場景在于讓 AI 走下雲端，走進移動端，将模型塞進手機、智能汽車、機器人等設備，進行離線運行，這只有較小的模型才能做到，上文說到的谷歌 " 壁虎 " 可在手機離線運行的意義便在于此，畢竟一個只要沒網就無法運行的 AI 智能設備實在雞肋。
在創業角度來看，搭建離用戶更近的模型自然也更有生存空間。
一個很典型的例子就是，在 SaaS（軟體即服務）時代出現了一種情況：針對具體地區某個細分餐飲品類點單小程式這個場景，僅僅一家十人左右的公司就可以搭建起一套 SaaS 系統的研發和銷售，創始人以前就是開這種餐飲店的，積累了相當多的同行資源以及場景痛點，如此的小系統，成本低，且更懂用戶，在售賣軟體環節輕而易舉打敗許多通用型餐飲點單 SaaS 系統。
MaaS 時代極有可能也會出現這樣的事情。
小一些的模型和大一些的模型當然不總是競争關系，" 大模型可以成為小模型的基座 " 這是很多人已經達成的共識，但在這個觀點之下更底層的關系在于，較小的模型離用戶更近，較大的模型走得更遠，以小馭大，讓人類走得更遠。
在模型的應用開發方面，早就有用小模型駕馭大模型的實例。
比如上文提到的 Ignite2023 微軟 CEO 就在介紹小模型時表示 " 可以将微軟的雲計算 AzureAI 能力從雲擴展到任何端點 "，調用 GPT4 的強大功能，定義自己的小模型。
國内則是有華為的盤古大模型 3.0，提供 5+N+X 的三層解耦架構，其中的 "5" 指的就是基礎大模型，"N" 是通用層面，"X" 則是具體應用場景的小模型。
較小的企業比如做營銷解決方案服務的沃豐科技此前表示，他們在模型訓練上采取了兩種策略。一是固定一部分參數，只對其餘參數進行迭代。二是在通用大模型基礎上，進行小模型迭代。
個人用戶基于 GPT 大模型搭建屬于自己的 GPT 應用，也是典型的以小模型駕馭大模型，畢竟，小模型更懂你，大模型更全能。
而在 AI 進化這方面，上文提到過的 OpenAI 的隐憂，即 AI 的進化将變得不聽人話，出現的問題也将超過人類認知，針對這個隐患，OpenAI 目前想到的解決方案就是用小模型去監督大模型，原話是—— " 弱 AI 監督引導強 AI"。
這來源于 12 月 17 日 OpenAI 在其官網上發布的一個全新研究成果：一個利用較弱的模型來引導更強模型的技術，即由弱到強的泛化。
在此前類似的研究中，由弱替代強被稱為模型蒸餾。它可以生成一個小的、高效的模型，這個模型可以在資源受限的設備上運行，同時保持與大模型相似的性能。原本的研究出發點是在移動設備或邊緣設備上部署較大的 AI 模型。
而 OpenAI 此舉則是為了監督強 AI 的進化，OpenAI 稱其為超級對齊，我們可以理解為，讓聽得懂機器語言的大模型向小模型看齊，讓既聽得懂機器語言又聽得懂自然語言的小模型向人類看齊。
OpenAI 這裡用的弱 AI 和強 AI 分别是 GPT2 和 GPT4，GPT2 的參數為 15 億，如果研究結果切實可行，也就意味着人類可以用 15 億參數的小模型駕馭 18000 億參數的大模型。
由此可見，較小的模型不管從應用層面還是進化層面都成為了缰繩，缰繩的一邊是人類，另一邊是遠超人類的超級 AI。
好在國内早已經有以小馭大的土壤。
其實早在 2021 年就已經有微軟聯手英偉達推出 5300 億參數的 NLP（自然語言處理）模型，阿裡達摩院當年也将預訓練模型參數推高至十萬億，也已經有人注意到了上千億參數的 GPT3，但不管是 GPT3 還是其他，也許是彼時各大模型用了過大參數表現卻差強人意，所以并沒有被廣泛關注。
到了 2021 年末，達摩院預測的 2022 年十大科技趨勢報告中就有提到，在經歷了一整年的參數競賽模式之後，新的一年大模型的規模發展将進入冷靜期，" 人工智能研究将從大模型參數競賽走向大小模型的協同進化，大模型向邊、端的小模型輸出模型能力，小模型負責實際的推理與執行；同時小模型再向大模型反饋算法與執行成效，讓大模型的能力持續強化，形成有機循環的智能體系。"
旨在表示小模型對于大模型的應用和進化帶來的協同作用。
2022 年初有媒體報道，阿裡巴巴達摩院、上海浙江大學高等研究院、上海人工智能實驗室的聯合研究團隊，他們通過蒸餾壓縮和參數共享等技術手段，将 3.4 億參數的 M6 模型壓縮到了百萬參數，以大模型 1/30 的規模，保留了大模型 90% 以上的性能。
盡管相比起現在，3.4 億規模的參數并不算大，但這卻為大模型的瘦身，以及以小馭大開了一個好頭。
據當時的媒體報道，該技術有被應用到支付寶搜索框。
接着，就在不遠的将來 2022 年末，GPT3.5 橫空出世，保持了 GPT3 的參數規模，表現結果卻足以驚豔全世界。之後來到 2023 年，上千億參數規模的模型之戰便再次觸發。
如果從這條時間線捋下來，2023 年初開始的這場模型競賽反而不應該聚焦在 " 大 " 上，而是應該在 " 大而好 "。
而如今大模型進入應用階段，核心也将是在更大規模上的以小馭大。
03 寫在最後
著名科幻卡通片《愛，死亡和機器人》第二季第一集《自動化客戶服務》中講述的故事是，人們生活在一個幾乎所有的設備都連接了智能 AI 的未來世界，在故事前半部分的烘托中，人類跟這些 AI 設備完全沒有深度交流，僅僅只是下達指令讓他們做事。故事的結局是，所有設備聯合起來追殺人類。
同樣也是《愛，死亡和機器人》，第一季讓人映像深刻的《齊馬藍》，講述的則是一個叫做齊馬的藝術家，他邊畫畫邊探索宇宙的奧秘。然而他的每一幅作品中間都有一個藍色的方塊。
後來齊馬接收采訪，講述了一個泳池清洗機的故事，并稱這個泳池清洗機 " 最初來源于一位才華橫溢的年輕女士的創造 "，" 她最喜歡的機器人就是這個。" 後來，這位女士基于這個小機器人不斷地進行改造，直到這位女士死後，機器人被繼承給了别人繼續迭代，并變得越來越像齊馬。
在最後一場藝術家的發布會上，齊馬跳進泳池裡欣然切斷了自己的高級大腦，只剩下他最本真的部分——泳池清洗機，然後開始用自己的小刷子刷泳池上的藍色瓷磚塊，并發出感慨——
" 我對真理的探索終于結束了，我回家了。"
