今天小編分享的科技經驗：堅持做行業大模型，竹間智能給大模型造了一座「模型工廠」，歡迎閱讀。
機器之心原創
作者：吳昕
企業被放在了開往大模型時代列車的駕駛座上。
從 2 月份起，我們就被絡繹不絕的大模型發布和各種 AI 新品轟炸。風暴眼當然是 ChatGPT。
除了極少數瞄準通用底層的野心，一眾以 AIGC、NLP 技術為名的創業公司後台接入基礎大模型底座，前端做 UI 設計，上架應用商店。
還有一些 AI 公司沒有通用底層的抱負，但也不滿足于 API 式創新，而是瞄準了中間層與應用層的戰略價值。他們往往沒有參數規模的執念，更關心行業落地的效率。
竹間智能就是其中一員。八年前，前微軟（亞洲）互聯網工程院副院長簡仁賢堅定看好對話機器人在企業級市場的潛力，離開微軟創業。最近，竹間智能也官宣了自己大模型產品矩陣「1+4」，希望解決大模型落地行業「最後一公裡問題」。
「實際上大部分企業場景不需要 AGI（通用人工智能）來滿足，在合理的成本下選擇合适的模型才是企業客戶需要思考的。」公司 CEO 簡仁賢在接受機器之心專訪時談道。
這套「1+4」產品的邏輯關系，簡明清晰。
「1」指 EmotiBrain ，一個大模型微調訓練平台，專注降低大模型訓練的成本，提供從模型選擇、微調訓練、評測、部署到最後接入企業應用的一站式服務。
定制好的模型只是一台強大的發動機，沒辦法直接上路。為此，竹間智能又推出四款裝配先進發動機的「車型」。
如果你體驗過微軟 Office Copilot ，超級助手 KKbot 的功能幾乎與之無異。 Magic Writer 是大模型 AIGC 能力最典型的應用，除了文本生成，還可以文生圖。 Emoti Coach 是由大語言模型和生成式 AI 驅動的「教練」，培訓效果完勝被動式的 e-learning。
至于 Knowledge Factory 、Bot Factory+，顧名思義，肯定與批量生產有關。
背靠大模型， Bot Factory 能力更新，以更低成本、更高效率批量生產對話機器人。 Knowledge Factory 協助企業在私網域數據必須「足不出戶」的限制下，更好管理内部知識數據，也為穩定大模型的輸出質量打好基礎，讓知識與模型形成閉環。
一、「中間層」的價值
企業要想享受到大模型的神奇能力，一般有三個辦法。
像谷歌、Meta、OpenAI 一樣從零開始、全量訓練基礎大模型。但巨額開發成本（動辄百萬甚至千萬美金）和頂尖人才（據說全球不過百人）稀缺注定這是一條「少有人走的路」。
第二個辦法是在開源預訓練模型上面做微調 ( Fine-Tuning ) 。 Vicuna、Alpaca 、Guanaco 羊駝系列預訓練模型都是在最初的 LLaMA 上做了微調。目前，大部分國產大模型也是在 GPT、LLaMA 的框架上進行訓練與微調，并在此基礎上為客戶定制行業模型。
「還有一個辦法是在與訓練好的模型上用 embedding 與 vectorization 做預檢索給企業提供私有數據的大模型。」簡仁賢說。
這個辦法做起來很方便，但弊端也很明顯。檢索依賴檢索的 indexing 及語義匹配效果來獲得比較好的輸出，如果 indexing 的檢索、ranking、語義相似與理解的匹配能力不夠，給到大模型的數據也會有誤差，這些技術 NLP 廠商相對的做的更好。
在他看來，通過在預訓練模型上微調獲得定制化行業模型（也就是第二個辦法）最适合中國國情，不過成本比只用 embedding 的方式高，技術與數據的門檻也比較高。
「生成式 AI 有一個很重要的特點，它是根據訓練數據生成的，所以大模型在中國落地面臨的最大挑戰就是數據安全，模型安全。」簡仁賢認為。
企業不可能把内部數據上傳，比如產品設計、技術架構、核心代碼、制造工藝、配方、客戶隐私，會議紀要，戰略文檔，業務規劃，商業邏輯等，一定要保留在内部，尤其是對于國央企、金融、能源、大型集團企業、先進制造等數據敏感性較高的行業而言。所以，「未來一定是企業擁有自己專屬的、定制化、場景化的大模型。」
從成本上來看，在模型微調階段，可以依據不同任務 ( Task ) 來微調訓練大模型，訓練數據的多少，模型參數大小以及能力涵蓋的範圍，如果能有高效的訓練方式以及自動化的訓練量產，可以達到規模化的低成本，絕大多數中型以上企業足以負擔。
國金證券曾做過初步測算，由 8 塊 A100 組成的 AI 伺服器可為規模達 2,000 人的中大型企業提供 AI 服務，離線部署方案每年的推理算力成本約為 33.2 萬元，若采用雲計算方案則每年需花費約 66 萬元算力成本。
不過，企業負擔得起成本是一回事，工程技術上能不能靠自己搞定完全是另一碼事。
中國 IT 應用開發的成熟度不像美國那麼發達。很多企業有 IT 團隊，規模也不小，但主要是在維護内部的業務系統，沒有人懂得模型如何落地，外部合格的人才也缺乏。
也許你會說，直接賣給他們模型不就好了？但中國軟體和算法領網域環境，跟美國差别很大。中國企業會花 2000 萬買很多伺服器，但很難買一個軟體。
「将模型當作一個商品（commodity）賣給企業，就像賣代碼一樣，不太現實。」簡仁賢有過多年的中美從業經驗，美國企業能用 SaaS 就用 SaaS，中國企業更喜歡 own （擁有）、control（把控）這個東西。「但如果你能給到一個 total solution ，企業更容易買單。」
這也是竹間智能過去一直堅持「授人以漁」的根本原因。借由他們提供的機器人「工廠」（BotFactory），銀行、證券、保險、能源、制造、消費等行業七、八百家客戶已經定制出無數個私有的行業模型、特殊任務模型，包括情感分析在内。
現在大語言模型可以做很多不需要再用代碼做的事情。未來代碼量會越來越少，模型數會越來越多，「模型就是代碼」。簡仁賢一直強調這一點。
而另一方面，海量場景又需要不斷切換和更新、訓練、運維模型，那麼，中間層會變得很重。「管理數據，管理模型、訓練模型、微調模型，評測模型，推理運維，讓模型持續迭代就會成為一個非常重要的產業。」他認為。
「這就像蓋房子并不難，但要蓋一個豪宅還是平民住宅，那就不一樣了。」
二、EmotiBrain 如何實現可定制？
有了 EmotiBrain 「金剛鑽」，幾乎可以解決企業攬下「瓷器活兒」過程中 70% 的問題。
企業只用勾選基礎模型、訓練數據和微調（Fine-Tuning ）方法，然後交給平台自動訓練。根據結果評測，選出最适合業務的模型，直接接入企業應用即可。
EmotiBrain 是一個企業定制化大模型的流水線平台，所有復雜微調流程都被封裝在裡面，内置多個參數高效微調技術 ( Parameter-Efficient Fine Tuning ) 與驗證過的訓練數據集，包括竹間積累七年的行業訓練數據集，透過簡單 UI 設計，有「basic understanding 」的人就能馬上上手。
當然，「你至少要了解什麼樣數據合适，還有一些 Fine-Tuning 基本知識，但不需要知道很多細節。」簡仁賢補充道。
EmotiBrain 由三個核心部分組成。
一個是訓練大模型的地方，Model Factory。工廠裡，企業可以同時訓練二十多個甚至上百個大模型，包括非常前沿的開源 LLM。比如，羊駝系列 ( LLaMA ) 。
「2019 年我們的模型做到了 3.4 億的參數量，也已開發 Transformer 的模型」，據簡仁賢透露，「現在已經訓練出來、可用的有 70 億、130 億的參數規模，下一步是 330 億參數與 650 億參數的模型，650 億參數的模型微調時間比較久一點，但新的高效方法如 QLoRA 提速了不少。」
模型選好後，就要選擇訓練數據集，比如指令數據集，法律領網域數據集、中醫西醫領網域數據集、醫藥的數據集、财經類數據集，汽車，電商，企業私有數據。
AI 大模型實現高性能，數據質量比數據體量更重要。因此，竹間智能将過去七年積累下的行業訓練語料（包括中英文訓練數據）做了優化，放到了平台。
選好訓練數據集後，就來到最具挑戰的環節——對預訓練的模型展開微調。 「現在大模型還有一個非常大的缺點，你要會寫提示（prompt）才能把大模型用得好，這可不是任何人都能寫得好的。」簡仁賢說。
讓大模型變得聰明起來的辦法很多，無論是 Instruct learning、in context learning、Chain of Thought ( CoT ) ，門檻都比較高，模型工程師也要懂得很多技術細節。竹間智能将八年來 NLP 模型訓練的 know-how，再加上大語言模型訓練的 know-how，以及包括最前沿、最新微調技術在内的許多微調方法（比如 DeepSpeed、LoRA、QLoRA、P-Tuning 等），都做到了模型工廠裡，變成幫助企業的工具。即使用戶不用懂技術細節，也可以做微調。
用戶還可以用 RLHF（Human Feedback Reinforcement Learning）的 Fine-Tuning 方式進行微調，等于賦予企業以「指令微調定制」的方式滿足自己的個性化需求。
例如，選出某個模型，詢問相關問題，看看輸出結果怎麼樣，給它做标注。以少量标注的高質量模板數據，對模型的輸出進行誘導與限制，讓模型的輸出更加符合企業業務的喜好，同時減少模型的有害輸出。
簡仁賢反復強調，EmotiBrain 可以幫你構建的，從來不是一個模型，而是同時訓練多個模型。例如，當用戶選擇三個預訓練模型進行微調時，又分别選擇了三組測試數據、三種微調方法，最後會得到 27 個定制化模型。
如何從多個模型裡面選出最合适的？這就離不開平台的第二個核心要件 Benchmark System。在這裡，每個模型就像一個個被多維度評分系統加以評估的小朋友，每個人都有自己的一套得分：比如平均分數、推理分數、知識分數、對話分數、上下文，文本生成分數等。每個模型的長處、短板和綜合實力，一目了然。
最後，用戶可透過平台将選定的定制化模型部署到自己的伺服器，或者跑在企業私有雲，當然，也支持對接所有廠商的雲計算平台。系統會自動產生 API，與既有的企業應用做結合，企業馬上就能用起來。
EmotiBrain DEMO 視頻
總之，Model factory、Benchmark System 加上 Chat Search，一個大模型驅動的語義搜索引擎，三大要素緊密聯動，使 EmotiBrain 可敏捷應用于復雜及多變的場景中，并給予強大靈活的支持。
「EmotiBrain 可以在幾天甚至幾個小時内幫你選出最适合的大模型，通常需要一個模型工程師花好幾個月才能做到，甚至因缺少人才或 know-how 都無法完成可用的模型，白白浪費的資源。」簡仁賢說。
另外，EmotiBrain 還有一個非常好用的 GPU 資源調度功能，自動幫你調度雲資源或本地 GPU 資源。這樣，一般不懂 IT 業務的人員也可以用這個微調平台來訓練自己的模型，「他只要需要知道數據從哪來的。」
三、如何可控？四步應對模型幻覺
可定制化實現後，還有一個問題。許多創始人對在他們的產品和工作流程中實施大模型持謹慎态度，因為這些模型有時就像小孩子——會編造事情，對幻想與現實沒有牢固的把握。有媒體報道，美國律師使用 ChatGPT 提交法庭簡報，結果引用的 6 個案例都是 ChatGPT 編造的虛假案例。
「產生幻覺，其實是生成式 AI 的一個特點。」簡仁賢認為，創造力是知識生成的一個主要來源，如果百分百避免幻覺，模型也會失去創造力。不過，EmotiBrain 也有辦法幫助企業更好控制模型的輸出。
例如，在模型推理階段，用戶可以根據不同業務需求，調整「temperature」的數值，低溫度可以生成更加專注、保守和一致的回答。這種方式在營銷人員需要準确、精确的答案或者遵循特定格式或品牌指南的信息時非常有用。
中溫度的話，能夠在創造力和一致性之間取得平衡。這種設定非常适用于一般内容生成，因為需要準确性和創新的結合。高溫度可以生成更具創意、多樣化和出人意料的輸出。營銷人員可能會在頭腦風暴創新的活動想法、制作引人入勝的社交媒體内容或尋求對某個主題的新鮮視角時更喜歡使用這種設定。
除此之外，模型可控能不能做到 100% 還取決于微調過程。
就企業私網域問答部分來說，完全可以做到可控。企業可以花大量精力做好知識準備、知識清洗和審核。訓練後，還可以用人類對齊（alignment ）的方式控制輸出質量。
比如，你可以給輸出的答案做标注，告訴模型哪個是對的、哪個是錯的，用基于人類反饋的強化學習的方法（RLHF）進行再訓練，模型就知道對與錯，自動減少胡言亂語的回答，但是 RLHF 要做得好，對使用數據與标準數量和質量就有要求。
值得一提的是， EmotiBrain 還提供審核機制——「用大模型去做 reflection ，把 reflection 放到大模型裡」，讓大模型擁有自我檢視的能力。
「這個咖啡很難喝」，在講出這句話之前，人們會先問自己這句話對嗎？是不是符合商業規範或道德标準？有沒有人身攻擊？有沒有牽扯到政治？
「所有這些環節，一個前面的大模型反思模型、加上基于人類反饋的強化學習、私網域數據的掌控，還有 temperature 也可以調。我們都會提供工具和評測去幫助他們做好這些控制。」簡仁賢總結道。
四、KKBot 的想象力
除了 EmotiBrain，安裝了這台發動機四款「車型」中，最值得關注、也最具想象力的是 KKBot ，你可以将它視為國内版本的 Office Copilot，可以存在任何地方。
它可以是一個浏覽器插件，根據你浏覽網頁的内容，答問題、做總結，任何 web application，KKBot 都是 Copilot。「Chrome 能用，我們現在準備适配 IE 浏覽器。」簡仁賢告訴我們。
它還會出現在常用企業軟體裡（例如網頁版的辦公軟體、竹間智能的產品），根據你的 query 自動生成想要的總結、圖片、統計表格、數據分析等。在他看來，「傳統的 BI 可能會被大模型颠覆掉。」
它甚至可以在企業 DIY 大模型過程中，充當助手。如果企業将自己的私網域數據放到 Knowledge Factory ，那麼，KK bot 可以在 Knowledge Factory 的文檔與知識庫裡，找出大模型生成的一些令人生疑的回答的來源。如果找不到某句回答出處，大概率是模型在亂講。
KKBot DEMO 視頻
最有意思的是在 KKBot 加持下，公司最暢銷的 Bot Factory 脫胎換骨，更新到 Plus。
竹間智能早在 2017 年就推出了 Bot Factory，企業客戶可以在這個工廠裡做各種機器人——智能客服、對話機器人、問診機器人、故障排除機器人、專家機器人等。有些企業甚至用 Bot Factory 在企業内部做了 1000 多個機器人。
現在，這些經過行業驗證和打磨的產品又成為竹間智能部署在客戶側的「尖兵」，也是接入底層大模型能力的關鍵入口。如果可以幫助企業輕松定制自己的模型并嵌入到這些入口，無需帶着新品教育市場，竹間智能就能将新的底層能力出售出去。
以前我們用小模型去訓練可能需要花兩天的時間。現在，機器人的問答跟知識全部由大模型生成，只要兩個小時，運營成本降低了 90% 以上。簡仁賢解釋道。
KKBot 可以幫你生成知識，幫你對齊知識。比如，你給它輸入《保險法》，輸入完以後，它自動從《保險法》裡抽出來所有的知識跟所有的問答，抽出來之後，自動訓練 Bot Factory+ 的對話機器人，兩個小時可以回答上千個問題，95% 以上準确率。
整個過程都是自動的，無需人為幹預。跑完以後，再由人工測試。如果對輸出結果滿意，就能發布上線。
Bot Factory+ DEMO 視頻
KKBot 作為 Copilot，還有一個很大的優點。簡仁賢強調說，「它不是一個模型的 Copilot，而是多個不同模型的 Copilot，可以跟所有模型去兼容，當企業不同部門或項目組有多個模型在運行時，KKBot 可以選擇不同模型來回答，完全不受單一模型限制。」
比如，可以接竹間大模型魔力寫作與 ChatLLM，華為盤古大模型的 API，海外用戶可以去接 GPT-4 或 GPT3.5 Turbo 的 API，甚至包括企業自己訓練出來放到 EmotiBrain 裡的大模型。
「切換不同的大模型，展現出來的能力也不一樣。」
五、「租」得起：99 萬包年
竹間智能的目标是将人工智能平民化，讓所有的企業都有自己的大模型，都能負擔得起的大模型。「工廠（factory）」就是實現這一目标的技術手段。
現在，從「工廠（factory）租金」來看，根據所需 GPU 的數量不同，「1+4」PaaS 年訂閱服務的費用也有兩個等級。
如果僅需 1-8 個 GPU，一年訂閱價格 99 萬。超過 8 個 GPU，一年的套餐價格 149 萬。具體情況，依據不同行業、不同企業部門要求不同。
例如，訓練一個比較復雜的模型，假設 330 億參數，用一塊 GPU 可能需要 1-5 天。很多時候，在預算有限的情況下，99 萬的套餐也就夠用了。當然，如果預算比較富裕，企業也希望數小時就能訓練好，8 個 GPU 可能不夠用，可以更新到 149 萬元的套餐。
「相比花 2000 萬買個行業大模型，還冒着走彎路的風險，我們的產品用起來比較安心」，簡仁賢認為，「你只用花 99 萬，就可以定制出适合你的模型，而且沒有限制模型數量，并可以立刻在現實應用中看到它的價值，也不受雲計算廠商的限制，不用綁定任何雲計算資源。」
這些工具都是免費更新，而且做出來的模型都屬于客戶，「我們不 own 這個模型，我們也不賣模型，我們只是把這個 PaaS 租給你用，讓人去定制模型。」他補充說，「也就是說，我租給你的是一個模型工廠。」
其實，OpenAI 這樣的公司只是給我們指明了一個方向。開源社區會根據這個方向做出更創新的東西，進而成為企業落地大模型的主流。
簡仁賢預測，未來 6-12 個月，開源社區也會出現更多新的前沿訓練和微調技術，不斷降低大模型對内存、GPU 依賴，降低微調和訓練成本，不斷提升訓練速度。更新的模型框架也會出現，更多的具備通用能力的指令集也會問世，更多的不同語言的訓練集也會在各國地區的努力下開源出來，全球範圍内的大模型應用會更加廣泛，進而加速 Generative AI 與 LLM 技術的快速迭代。
這個大模型就是每個企業應用的「腦」。未來，每隔一段時間，與「腦」有關的技術都會取得重要進展，比如更好的模型、訓練方式、更高質量的數據。
這個時候，大模型的管理和迭代就顯得更加重要。他說，有了工廠流水線，換「腦」就變得很容易。
© THE END
投稿或尋求報道：[email protected]
