今天小編分享的财經經驗：大模型服務：千錘“百煉”，得其筋骨，歡迎閲讀。
本文摘自《雲栖戰略參考》，這本刊物由阿裏雲與钛媒體聯合策劃。目的是為了把各個行業先行者的技術探索、業務實踐呈現出來，與思考同樣問題的 " 數字先行者 " 共同探讨、碰撞，希望這些内容能讓你有所啓發。
本文根據作者與通義實驗室創新業務中心負責人陳海青的對話整理
可以説，" 百模大戰 " 的開始有多喧嚣，結束就有多潦草。行業公認的是，基礎預訓練大模型最終将收斂到少數幾家。更激進的觀點是，當下百模大戰已經結束，中國市場真正有實力留存下來做基礎模型的廠商，或許不超過 10 家，未來随着市場競争，這一數字可能還會進一步減少。
下一輪 AI，接棒基礎大模型熱度的是大模型應用，美國市場當下以 GPT 和 Llama 為主導的閉源與開源大模型兩大陣營已基本成型。所以在美國市場大家都開始卷應用，基本上沒人再去卷基礎模型，這也将成為中國市場接下來的發展方向。
對于企業而言，應用場景的技術能力迭代極快，對于降本提效有着更高的要求。靈活、便捷、低門檻便成為大模型應用開發的必備條件。在 2023 年雲栖大會上，阿裏雲 CTO 周靖人發布了一站式大模型應用開發平台——阿裏雲百煉。
該平台集成了國内外主流優質大模型，提供模型選型、微調訓練、安全套件、模型部署等服務和全鏈路的應用開發工具，為用户簡化了底層算力部署、模型預訓練、工具開發等復雜工作。開發者可在 5 分鍾内開發一款大模型應用，幾小時即可 " 煉 " 出一個企業專屬模型，開發者可把更多精力專注于應用創新。
一款大模型應用，是如何千錘 " 百煉 " 而來 ?
AI Agent，從基礎模型到大應用的橋梁
大模型時代，所有 APP 都值得被重做一遍。
舉個例子，假設一家金融公司做一個應用，原來的工作流模式是在垂直領網域構建從算法、工程、產品到業務的閉環，從金融業收集數據，組建算法團隊、產品團隊，面向這個領網域做分類，采用監督、無監督、半監督等深度學習的方法，構建金融領網域的垂直分類應用。
大模型時代，基礎模型或 SFT ( Supervised Fine-tuning ) 模型自身在不斷的修煉更新過程中已經具備了垂直領網域的基本認知。企業只需要微調模型，甚至是不調模型，通過 Prompt Engineering，再結合 Plugin 的方式完成一個 APP。節約下來的精力，可以讓企業更專注于專業網域的差異化競争力。
從底層邏輯來看，大模型其實改變了社會生產力和生產關系，它所展現出來的效率效果不可同日而語。大家會發現基于大模型，小而美的東西越來越多，像原來構建一個業務場景，過去少説也得二三十個人，現在可能幾個人的公司就可以做類似的場景，這是生產關系和生產力上的變化。
在大模型之下，不是在一個個垂直領網域解決問題，而是用 All-in-one 的模型解決某個垂直行業多個下遊任務的模型和應用場景，帶來體系化的解決方案，用户體驗和效率就有極大提升，這也是這一代技術相較上一代技術的巨大變化，值得每一個開發者關注。
對于不同的企業，開發大模型應用主要有兩種需求。
第一種，中小企業更聚焦在應用場景，這種場景可能不需要做模型的任何調優，而是基于平台已有的應用場景 Agent，或者通過基礎模型加上 Prompts 就能直接應用。此時開發者只需要兩步工作，第一步，選擇合适的模型 ; 第二步，在模型上面加上 Prompts 或者去構建流程和 Agent; 再簡單一點，也可以直接從阿裏雲應用廣場選擇合适的 Agent 使用，需要更改的僅是本身應用實時接口和能力對接。
第二種，對于中大型企業或者行業生态合作夥伴，需要基于更加專精的下遊任務進行調優。前面的步驟和中小企業基本相同，只會多一步流程，即結合已有标注數據，選擇模型去做模型的 SFT 和微調評測。
AI Agent 将會是業界内外更加關注的環節。在 OpenAI 發布 GPTs 之前，海青就堅定認為，Agent 一定是從基礎大模型銜接深層次行業應用的重要橋梁。在他看來，未來可能沒有 APP Store，而會變成 Ability Store，也就是變成了各行各業的能力。
AI Agent 到底是什麼 ?
從應用角度出發，數據的最終場景是 AI，AI 的最終場景需要通過 Agent 觸達。從技術角度出發，Agent 通過 API 實現大模型的實時調用，灌注場景數據集結為更專注的存儲記憶 ( Memory ) 與上下文理解能力，從而靈活應對并解決具體的下遊實際任務場景和需求。這些集成與增強的能力可以統稱為 Ability。
APP 與 Ability 的區别在于，APP 通常是指針對特定需求設計的軟體應用，其邏輯遵循從專業領網域的垂直工程、特定算法的應用到數據的完整閉環。例如淘寶 APP 就是一個專門為線上購物打造的垂直應用場景。
相較之下，Ability 則代表了一種從傳統的垂直領網域構建，轉向更為綜合、一體化的模型發展趨勢。這種變化得益于基礎模型深度增強，不再局限于單一場景，而是從垂直領網域的構建方式變成了一個 All-in-one 的模型。通過這樣的基礎模型，我們能夠輕松構建跨越多個領網域的應用程式。随着這種趨勢的發展，未來各個領網域的應用創新和成長就會變得更加便捷和高效。
所以，在大模型上長出眾多 Ability 的過程中，Agent 扮演着至關重要的角色，其不僅是能力的承載者，也是實現這些能力與具體應用場景連接的橋梁。
百煉，" 煉 " 了什麼
大模型的應用與傳統依賴 CPU 為核心的應用有所不同，它轉向對高性能 GPU、高速網絡和高效存儲的強依賴，但并不是所有企業都有能力自行構建和維護這樣的基礎設施。因此，大模型的興起正推動應用逐漸轉移到雲端。真實案例顯示，許多以前傾向于專有化部署的企業，如今也開始探索将應用遷移到公共雲，從而進一步推動了公共雲上應用和安全技術的發展。
通義千問在今年 4 月 11 日進行了全面發布，其實早在 2 月底，阿裏雲就已經着手相應功能的研發。那時 " 百煉 " 還不叫 " 百煉平台 "，其最初定位是一個產品，是圍繞大模型提供一系列面向開發者或者企業的模型工具，是以流程編排為主的工具。
随着百模大戰興起，大模型競争逐漸升温，企業面臨着怎麼用及如何用好大模型的挑戰。首先，企業需要對模型進行精細調整 ( Fine-tune ) ，确保企業能夠與其本身所在的行業需求及企業的下遊任務緊密對齊。這就映射到模型該怎麼做微調，甚至做持續訓練。
其次，在應用層面不可能只依賴一個靜态的 API 或者能力，無論是特定領網域的 SFT 模型還是通用的基礎模型，都需要去思考如何通過搜索增強的生成方式，或結合插件 API 的方式和能力等一系列應用工具，與企業真實的場景和實時數據接軌。
第三，數據安全也是一大挑戰。大模型應用不僅要符合中國的法律法規，還要确保遵循輿論安全、文本安全、安全部署等一系列規則。
基于這些考量，阿裏雲圍繞離線訓練、在線工具，再加上安全等功能内測，在 2023 年雲栖大會上，" 阿裏雲百煉 " 正式亮相。
同時，阿裏雲也有了新的思考。百煉作為阿裏雲的大模型應用開發平台，不能只支持通義大模型系列。業界還有大量優秀的基礎大模型、SFT 模型和行業模型，它們同樣需要基于雲的基礎設施做工具和場景，形成多模型、統一化、可視化的平台能力，成為面向開發者的一站式應用開發平台。
百煉的出現，也預示着在大模型時代，類似百煉這種大模型應用開發平台會成為未來大模型軟體開發的主導角色。所有的國内廠商應該會與美國市場一樣，更關注于大模型應用，而不是再去卷基礎模型。
對于大模型應用開發者而言，不管是什麼開發平台，目前的核心都不是軟體本身，而是成本。本質上客户選擇的不是大模型開發平台，而是基于雲計算基礎設施和能力，從而獲得更高的性價比和投資回報率 ( ROI ) 。
以一個簡單例子來闡述，企業和開發者所關注的焦點在于 : 基于阿裏雲百煉平台深化大模型應用 ( 實質上是利用阿裏雲的基礎設施所構建的模型 ) 是否能夠實現更高效率和成本效益 ( 即 " 多快好省 " ) ; 大模型能否與具體的下遊場景和業務領網域有效結合，以打造出符合行業需求的定制模型或者專屬模型 ; 以及平台提供的 Agent 是否足以強化應用。當企業聚焦于特定的下遊場景時，他們更希望通過模板化、流程化、系統化、配置化的方式簡化對下遊任務的構建和 API 的調用。
目前，百煉平台上的軟體工具全免費，用户在百煉平台上選擇模型之後，将根據模型的離線和在線使用量支付費用，這也就是所謂的 token 計費方式。如果客户進行了特定領網域的微調 ( SFT ) ，或選擇在公共雲上進行 VPC 的獨立部署，這類模型将采用安全網域内的部署方式，這種情況下，就會基于硬體加模型的綜合使用來制定定價策略。
随着應用需求的不斷演進，阿裏雲百煉平台的未來發展将持續擴展。今天的百煉已經實現了從無到有的跨越，打造成為了一個覆蓋從基礎模型研發到應用部署的全面平台。結合未來大模型在應用化的發展，百煉平台有三個大的發展方向 :
首先，對于離線特定領網域微調 ( SFT ) 而言，更多還是把配置化的能力和參數開放出來，致力于提供更為直觀、易操作的工具，例如提供 SFT 模板和能力，幫助客户快速搭建滿足下遊任務的場景。此外，對于離線模板化、評測工具的更新和效能提升也是關鍵點。
第二個方向是圍繞 Agent 概念建立應用平台。百煉預計将推出以 Agent 為核心的平台能力，這将極大的助力開發者和企業快速開發和部署應用。換句話説，就是在百煉上，基于基礎模型或者行業模型開發出更多的 Agent 模板，或者構建 Agent 工具，打造一個 Agent 構建能力和 Agent 模板體系。
第三個方向是數據安全。随着企業和開發者不斷增加，面向數據安全網域的平台化能力将持續更新，從而進一步保障客户的 API 數據和上傳數據的整體安全，甚至會推出基于 VPC 的數據安全網域的部署模式，以此構建一個大模型應用安全體系。
被大模型改造的應用
一個大模型應用是如何被改造的 ? 以天貓精靈為例，天貓精靈是一個天然的個人助理類產品和場景，從主鏈路來講，上一代模型是以意圖為識别，基于檢索或者知識匹配的邏輯，這也造成了過去的天貓精靈對世界知識的了解比較窄，這也是第一個改造部分。天貓精靈通過大模型增強了知識網域的寬度，原來很多無法回答的問題現在有了新的答案。
第二個改造部分就涉及很多與内容場景的連接，比如查天氣情況、訂機票，甚至做淘寶的退款。天貓精靈原來的做法是通過一個任務流程的配置系統 AliGenie 實現，現在是通過大模型 COT ( Chain-of-thought，思維鏈 ) 的插件能力，來做整體的融合和更新。如此，使得天貓精靈調用每個 API 變得更加語義化和場景化。
第三部分，随着大模型向多模态領網域拓展，我們開始見證它在文本生成影像 ( 文生圖 ) 和語音處理方面的發展。這些進展對于天貓精靈來講，具備多模态能力的天貓精靈能夠顯著擴展其業務場景的邊界。比如通過帶螢幕的硬體，天貓精靈就能做到更多内容銜接以外的核心能力，在教育場景、音樂場景等有更好的沉浸式體驗。
早期阿裏雲百煉平台上的客户，更多還是阿裏雲上的企業用户。随着時間的推移，百煉平台湧入了非常多的開發者，給阿裏雲提出了各種各樣的需求，例如更好的 Prompt Engineering 模板，更好的模型校正或者模型的使用方式等。
開發者也對百煉平台的大模型評測提供了很多的意見，一個模型評測的構建很重要，百煉與各大廠商有一個很大的區别，評測做的特别綜合，從單獨的評測标注到多輪評測，結合 Elo 評測，甚至還有一張表，列舉出各個模型在世界知識、推理、代碼、數學的表現，百煉平台需要幫助客户更好地評測他構建的模型，以及提供選擇模型的參考。
開發者使用百煉的過程中，也加速了百煉平台以及大模型應用的發展。從百煉平台可以觀察到，搜索增強類應用異軍突起，而且是現在企業或者個人應用最廣泛的應用。數據分析類應用排名靠前，将自然語言轉換為機器語言，去比較不同的數據和查詢，甚至做深度的數據分析，這會成為一個主流趨勢。
另外就是綜合性 NLP ( Natural Language Processing，自然語言處理 ) 的發展，原來基礎 NLP 會抽成文本分類、文本摘要、實體識别、情感分類等領網域，現在很多客户用一個大模型同時完成基礎 NLP 的多個任務，幫助他做整體的數據結構化。此外泛寫作類，如新聞寫作、公文寫作也有很大的應用數量。
大模型應用的表象炫人眼目，但内裏卻早已發生了巨變，通過千錘 " 百煉 "，得其筋骨，大模型應用才能一步步豐滿起來。
本文摘自《雲栖戰略參考》總第 15 期
掃碼限時申領紙質版
↓↓
