今天小編分享的互聯網經驗:百度決定把大模型的定義權交給客户,歡迎閲讀。
在路易斯 · V · 格斯納(Lou Gerstner)到來之前,IBM 困在自己的技術陷阱裏整整 10 年。
20 世紀 80 年代,個人電腦興起以及市場的快速變化開始對 IBM 構成挑戰。這個市場份額最高曾經達到 80% 的硬體巨頭,在進入 90 年代後随着個人電腦的普及和小型化,大型機市場萎縮,瀕臨解體邊緣。這時候已經很少有人在意正是這家公司第一次把個人電腦帶到世界上。
1993 年 3 月 25 日,格斯納和 IBM 的 50 人核心管理團隊見了面,其中的一句話擲地有聲—— " 市場決定我們的一切行為 "。
這可能是 IBM 歷史上最重要的 45 分鍾,格斯納成為 IBM CEO 後,這家公司開始抛下那個技術自我,開始從一家技術驅動型公司轉變為市場和客户導向型公司。它也從單純的硬體制造商轉變為服務和解決方案提供商,咨詢、系統集成、IT 服務和軟體在内的全面服務開始提上日程。
如果説那場 IBM 的革命是一場從硬體引領的軟硬體革命,那眼下這場從 OpenAI 開始的革命,軟體已經成了卷起一切的暴風眼。
ChatGPT 讓 OpenAI 從硅谷的一個笑話變成了新浪潮的領袖,随後 GPT-3.5 進化到 GPT-4,Meta 的 Llama、Anthropic 的 Claude 緊随其後;而随着 2023 年 3 月百度發布文心一言,這場大模型競争在國内迅速演變成一場超過 200 個模型的臃腫樣子。
現在 IBM 已經不再是那樣重要的一家公司。但 IBM 式的困境一直在不斷重演。無數大模型企業投入大量研發人員,但拿着精心打磨好的錘子找不到釘子。
在初期高調入場的百度,此時沒有保持沉默。
在 2023 年百度發布文心一言後的第一個動作,就是推出企業級大模型平台——千帆。一年之後,百度副總裁謝廣軍站在百度智能雲千帆產品發布會上公布了一組新的數據——截至 2024 年 3 月,千帆大模型平台累計服務客户數超過 8w,累計精調了 1.3w 個模型,開發應用數達到 16w。
在企業業務這個外部看來略顯沉悶的賽道上,市場将決定大模型廠商的一切行為,而随着模型基礎性能的提升,市場的需求開始進一步顯化成對于產業應用的需求,換句話説,苦尋而不得的對于大模型能力的定義,定義權最終在客户手上。
在這個層面,百度是觀察中國大模型產業整體性趨勢一個很好的視角。而這家公司也正在迎來自己的 " 格斯納 " 時刻。
" 我并不需要一個 AGI 那樣的通用人工智能 "
一位新消費行業的客户從去年下半年逐漸确定了和百度在大模型上的合作。智能客服和數據庫是新消費行業普遍亟需用大模型改造的地方,最早這家客户也嘗試過國内市場上比較主流的開源模型,但效果并不理想。
這家客户最終選了百度 ERNIE 系列的輕量級大模型,其技術負責人告訴硅星人,百度這款模型落到具體場景上的效果要比其他試用過的模型好很多,并且這種能力能夠以一個較低的成本獲取,從長遠看成本是可控的,這點很重要。
" 某些場景滿足需求就足夠了,我并不需要一個 AGI 那樣的通用人工智能。" 這位技術負責人説。
這也是當性能拉滿的千億參數模型真的落到具體生產環境裏所面臨的錯位感,絕對的技術能力最終要進入效率和成本的參考框架。企業——或許在未來很長一段時間内——并不是在找 Sora,也不是在找 GPT-4。他們需要的是一個真正适合自己用起來的模型。
——換句話説," 效價比 " 足夠好的模型。
前述新消費客户用的是 ERNIE Speed。ERNIE Speed 是百度最新推出的大語言模型,專為高效處理特定場景問題而設計。這款模型以其優異的通用能力和出色的推理性能,成為精調的理想基座。ERNIE Speed 支持推理上下文最高 128K 的規模,确保了在多樣化任務中的适應性和高效性。
圖源:百度智能雲
百度的研發團隊通過 ERNIE Speed,成功打造了一個精調後的角色扮演模型,以經典影視作品《武林外傳》為背景,展示了其在特定場景下的卓越表現。在與 GPT-4 和文心 4.0 的對比中,經過精調的 ERNIE Speed 不僅在效果上毫不遜色,更在成本效益上展現了顯著優勢。在相同的輸入輸出條件下,基于 ERNIE Speed 精調後推理成本實現了 96% 的降幅。
目前,ERNIE Speed 已在多個行業場景中得到應用,包括在線教育、智能辦公、電商導購和數據分析等,均顯示出其強大的實用性和效果。
包括 ERNIE Speed 在内,千帆大模型平台發布了三款輕量模型。如果 ERNIE Speed 的定位是 " 一個最好的适合精調的基座模型 " 那麼在成本上做到極致的,則是 ERNIE Tiny。
ERNIE Tiny 的推理成本為 0.001 元 / 千 Tokens。在這種低成本下,ERNIE Tiny 并沒有失去性能。ERNIE Tiny 是百度為推薦、搜索、意圖理解等大量高并發低延時場景提供的解法。這些場景中大量存在兩種類型的調用需求,一種是大批量同質化的需求,另一種則是需要非常快的響應速度——而在這樣的場景中,需求本身的難度往往并不那麼高。比如社交產品後台對同時湧入的大量互動内容的整理,或者金融行業對于海量數據的即時收集。
在一項測試中,包括 ERNIE 4.0、ERNIE Speed 和 ERNIE Tiny 在内的五款模型來分别完成對一家在線零售公司的產品評論進行情感分類的任務,結果顯示 ERNIE Tiny 只需要 1.4 個小時就完成了。
ERNIE Tiny 也是百度目前最适合 C 端的一款大模型。" 比如高并發的推薦場景,對效果要求沒有那麼苛刻,但是一樣需要用大模型的邏輯推理能力、上下文的理解能力。這樣的情況下 Tiny 有價格及性能優勢,產業用户也更容易用起來。" 百度智能雲 AI 平台副總經理李景秋表示。
在 ERNIE Speed 和 ERNIE Tiny 之間,百度也另外設計了一個折衷方案 ERNIE Lite。ERNIE Lite 比 ERNIE Speed 更輕,比起 ERNIE Tiny 有着更高的模型性能上限。兼顧優異的模型效果與推理性能,适合低算力加速卡推理使用。推理價格達到 0.006 元 / 千 Tokens,也在另外二者之間。
圖源:百度智能雲
從 2023 年至今,關于大模型的的共識在不到 15 個月裏幾經轉折。生成式 AI 在 C 端的殺手級應用還在等待時機,但在 ToB 市場,生成式 AI 與企業的共生關系正在形成,而在這個過程中,模型參數從千億向幾十至幾百億的區間回歸,後者逐漸成為企業在成本與性能之間取得平衡的甜點位。
但模型參數的降級往往也意味着性能的坍塌。ERNIE Speed、ERNIE Lite 以及 ERNIE Tiny 的特殊也在這裏,大量企業客户的反饋顯示,這些輕量級大模型能夠在某些特定場景達到大參數量級模型的性能。而謝廣軍對此的理解是,最終這些小模型背後,文心大模型這個基座模型本身的性能和效率是決勝的地方。
某種程度上,大模型的競争中 " 市場決定我們的一切行為 " 最終勢必再次回歸到技術競争上。
產業大模型所面對的場景復雜多變,需要的模型能力和訓練方向也南轅北轍。百度在這片戰場上的勝負手也注定不會是任何一個具體的模型,而是在這個模型群背後,以文心大模型的能力為底色來制造模型的千帆大模型平台。
答案在 8 萬家企業裏
百度智能雲在 3 月推出了千帆大模型平台,這是當時全球首個一站式的企業級大模型平台。6 個月之後,平台中的月活企業數已近萬家,随着 67 個國内外主流大模型以及 47 個高質量行業特色數據集的預置,千帆大模型平台完成從 1.0 向 2.0 的迭代,更完善的工具鏈以及大模型安全方案也在逐漸形成。
在此次百度智能雲千帆產品發布會上,謝廣軍透露的數字是,平台企業客户數已經到達 8 萬家。
在一個具備通識能力的大模型上做精調,正在密集變成企業對于大模型的一種常規需求,千帆大模型平台下一步的計劃是将精調過程流程化,并且開放出來。
謝廣軍表示,大模型在快速上升階段,目前還是直接調用基座模型的用户更多。随着應用深入,企業會基于基座模型,進一步結合自己的數據去做精調,提升模型效果或者構建行業大模型," 認為精調需求增長會比較大。當然,企業精調完模型後仍然要做推理,因為推理才是和應用最相關的,因此推理的需求也将有很大的漲幅 "。
這也是在服務大量客户之後才能察覺到的企業痛點——大參數模型的效率問題或許是最直接的一點——但客户踩過的坑遠不止這一個。
有些客户已經非常明确掌握了模型精調和訓練的方法,但可能苦于只有他自己的業務場景,缺少一些通用的數據,導致整個精調過程中,大模型的通識又遺忘了;或者在模型迭代方面,客户自身的業務數據是在不斷變化的,比如之前調好的 prompt,或者之前精調好的模型,到下個月企業業态發生變化後,效果需要一個持續不斷的更新過程。
精調過程流程化的答案沉澱在千帆大模型平台的工具鏈裏。
首先,千帆 ModelBuilder 支持數據回流,支持自動化分析、判别,比如告訴你的客户點贊了哪些,拉踩了哪些,我們把針對性拉踩的數據再去做一輪優化,使得你的業務場景持續打造一個效果更好,同時成本可控的應用方案。
千帆大模型平台也開放了通用的數據,讓模型能夠保持對 " 常識 " 的不遺忘。同時在這個過程中,比如數據清洗的算子、數據增強的算子、數據洞察的方案,千帆大模型平台會提供樣本洞察分析處理的一站式工具鏈,幫助用户更快、更簡單的去達到最佳的精調效果。
8 萬家企業客户所形成的產業生态,也為百度帶來了一種更有説服力的視角,千帆大模型平台可以開始做一些更具體的工作。
在三款輕量模型之外,瞄準目前大模型與企業交集最深的問答互動和智能助理場景,此次千帆大模型平台發布了兩款垂直場景模型 ERNIE Character 和 ERNIE Functions。
ERNIE Character 專為打造具有鮮明人設風格和一致性的對話角色而設計。這一模型在遊戲 NPC、客服對話以及角色扮演等應用場景中表現出色,得益于其強大的指令遵循能力和對個性化人設的精準把握。通過支持精調功能,ERNIE Character 能夠根據特定場景和需求,進一步優化對話體驗和角色表現。
ERNIE Character 已經開始落入產業。一家智能硬體廠商利用該模型開發了一款智能助理,不僅在維持角色人設的一致性方面取得了突破,還有效激發并提升了用户的聊天興趣。
這樣的對話和問答場景依賴于大模型與外部系統或服務的互動能力。ERNIE Functions 則是針對對話和問答場景中的功能調用優化的大模型。它通過強化結構化回答的合成能力,确保在調用外部工具和執行業務函數時輸出結果的準确性和穩定性。在旅遊出行類 APP 的實際應用中,ERNIE Functions 支持智能客服助手執行訂票、查詢班機等操作,準确率高達 92%。
圖源:百度千帆大模型平台官網
這其中的另一個趨勢是,對于大模型的期望正在經歷一場從上遊模型本身向下遊的 AI 原生應用轉移。這種注意力的變化也體現在千帆大模型平台的客户分布上。平台上超過 8 萬的客户中有直接調用文心 4.0、文心 3.5 或基于輕量大模型做模型精調,另一部分是在 AppBuilder 去開發應用。
如果 ModelBuilder 的概念是生產平台,提供整個模型訓練的工具鏈,讓模型推理、精調變得更簡單。那麼 AppBuilder 的角色就是為了有效降低應用開發門檻。
從模型到 AI 原生應用
據風險投資公司 a16z 一個分析報告顯示,排名前 50 外部端的 AI 原生公司中有 22 個,超過 40% 都是新的 AI 原生應用公司。
2024 年是 AI 原生應用元年,這逐漸成為一種共識。而在產業當中,新的 AI 原生應用并不會是無源之水。許多場景本身已經非常成熟,在 AI 能力出現之前,數字化的痛點也早已經顯露出來。從這個角度來説,產業所期待的 AI 原生應用,更傾向于在模型能力進一步成熟後,對現有已經存在的工具和應用的改造。
"2023 年在中國大家主要是在做訓練——相當于在煉丹——現在這個丹藥煉的差不多了,你得用上。" 謝廣軍説。
在千帆大模型平台上開發的應用數現在已經超過了 16 萬。這個數字非常可觀,并且已經足夠大到可以看出在目前 AI 原生應用大量湧現的初期,兩類最主要的人群畫像。
" 一種是代碼态,基于現有的應用去做智能化改造,這種是大 B 端的場景下的典型客户畫像;另一種是零代碼态,以小企業、個人開發者為主,一般是做全新的、獨立的、toC 的應用。" 謝廣軍表示," 從人群比例分布上來説,個人開發者數量更多,但從使用深度上看,企業專業的開發者團隊使用更為深入。"
這也會是 AI 原生應用可預期的兩種設計動機。針對兩種不同的路線,AppBuilder 開始形成代碼态和零代碼态兩種使用形态,并且開始了一場全面更新。
為進一步提高開發體驗和效果, AppBuilder 将工具組件擴增至 55 個,包括數十個大模型能力組件、AI 能力組件以及第三方 API 等,為開發者提供了更加豐富、便捷的開發工具。
圖源:百度智能雲
同時,AppBuilder 上線了 Agent 自主任務規劃與工作流編排,只需三步即可完成應用創建與發布,僅需用自然語言提出問題,即可自動創建相應應用,無需寫復雜的需求和代碼。這意味着對于非代碼背景的開發人群來説,開發門檻進一步降低了。
謝廣軍表示,目前 AppBuilder 已經構建起了一個企業級全鏈路檢索增強應用框架,即提供面向企業級應用場景的全鏈路知識檢索增強,結合行業數據調優的多項能力組件。包含非結構化文檔解析、語義向量計算、語義匹配、問題拆解、多輪改寫、幻覺檢測、閲讀理解問答、文檔表格問答等。
除了檢索增強框架和豐富的組件工具,AppBuilder 另一個核心優勢在于開放易用。
在這個產業級 AI 原生應用開發平台上,現在基本能夠覆蓋當下主流場景的組件工具以及豐富的應用示例,并且組件具備靈活編排的開放性。而包括 RAG SDK 在内的豐富開源 SDK 支持開發者的二次開發,此次百度千帆大模型也全新發布了開源的 Agent SDK。
除此之外,對于開發者來説如何把做出來的應用帶到更多人面前是新的問題。AppBuilder 在分發渠道上也做了進一步打通。AppBuilder 平台上生產出的應用現在可以實現包括微信公眾号、微信客服、web 端、H5、百度靈境矩陣等多渠道一鍵發布。
從 ModelBuilder 到 AppBuilder,大模型如何走向場景的具體道路,已經在百度内部顯現出來了。