今天小編分享的科學經驗:騰訊雲祭出行業大模型平台:鵝廠開搞「量體裁衣」,花小成本用大模型,歡迎閲讀。
大模型浪潮,鵝廠給出了第一波明确回應。
昨天,騰訊雲帶着行業大模型平台,掀開騰訊大模型戰略的一角。
切入方向十分明确——服務產業界。
在騰訊雲舉辦的行業大模型及智能應用技術峰會上,所有疑問和好奇,都在現場演示中有了解答。
該行業大模型平台,技術底座來自騰訊全棧能力,提供高性能計算集群 HCC、高性能網絡、向量數據庫等基礎設施。
依托騰訊雲 TI 平台,将能力對外輸出,向產業界用户提供 MaaS(Model as a service)服務。
平台的能力,已同步支持騰訊自家業務,如騰訊會議、騰訊企點等。
當下,ChatGPT 方興未艾,面對轉瞬即逝的機會,沒有哪家雲廠商能坐視不理,騰訊雲自然也不例外。
在這場異常激烈的競争中,騰訊雲的策略是什麼?背後動因如何?又有哪些亮點值得關注?
騰訊雲行業大模型平台是什麼?
要回答上述問題,就要先感知騰訊雲行業大模型平台的廬山真面目。
騰訊雲行業大模型平台,顧名思義,功能是以不同產業需求場景出發,提供 MaaS 一站式服務,讓千行百業使用大模型的門檻往低了降。
這是騰訊雲在圍繞行業大模型平台的快速布局中,從一開始就有的精準目标:解決千行百業 " 想用大模型而用不上 " 這個痛點。
也是無數行業在大模型時代的焦慮來源。
畢竟面對大模型貪婪汲取的算力,企業和機構或缺乏,或根本沒有,無法進行訓練和推理,不得不将求助的目光投向雲廠商。而打造一個大模型所需的數據,需要進行搜集、整理、清晰洗、标注等層層加工,繁雜的步驟和專業需求無疑是雪上加霜。
再者説,為确保業務使用的效果和可持續性,自研大模型的成本對企業和機構來説已是天文數字,更别提難以邁出的第一步——計算資源、網絡帶寬、安全性等方面的經驗和人才,都不是各個行業本身所擅長的。
于是引出騰訊雲為行業大模型平台提出的基本理念:量體裁衣、普惠适用。
換一句更好理解的通俗説法,騰訊雲想做和正在做的事,是把大模型能力放在一個平台上向外花式輸出。需要大模型提供支持的行業面對騰訊雲行業大模型平台時,就像在面對一個貨架擺滿、品類豐富的精選商店。
按需挑選,需要什麼,就拿什麼。
活動現場,騰訊雲副總裁、騰訊雲智能負責人、優圖實驗室負責人吳運聲進行了實時演示,以證明 " 量體裁衣 " 後的模型對擁有不同場景的企業來説更加好用。
端午節小長假在即,吳運聲抛出了一個很貼生活的問題,讓大模型規劃行程,要求是:
我和孩子都是歷史人文愛好者,端午想去上海周邊,預算在 5000 以内,最好每天去 2 個不同的景點玩。
通用大模型很快給出了 3 天假期的大致規劃。
感受下來,能為出行做大方向的參考,但相對簡略,不是最理想的保姆級出行指南。
于是,吳運聲加入了一些旅遊相關的行業場景數據,給模型喂了 2 個江浙滬旅遊攻略,及 1 份蘇州旅遊攻略。
而後面對同樣的提問,大模型給出的端午旅遊規劃就細致了許多,不僅有每天的旅程安排,還含有旅遊景點的相關簡介。
如果接入旅遊領網域企業用户的 API 呢?
除了出行的交通方式和景點安排,所涉及景點的實時票價,提問人也能及時在大模型規劃的行程中獲得了。
而且此模式(騰訊雲稱之為 " 大模型精調 ")中,大模型還開啓了上網檢索功能,查詢酒店特色、房價等消息是小菜一碟。
能夠感知到,此時的大模型給出的建議服務更加人性化," 實現了服務到商業的閉環 "。
現場演示僅針對旅遊行業一家而言,但這樣的需求并不局限在旅遊場景中。
針對差異化需求應運而生後,所有有使用大模型需求的行業伸出一只援手。
如騰訊集團高級執行副總裁雲與智慧產業事業群 CEO湯道生所説,實際生活中,騰訊雲行業大模型平台已經把產業場景當作了大模型的最佳練兵場。
目前,騰訊雲行業大模型平台已經涵蓋金融、傳媒、文旅、政務、教育等 10 多個行業場景,提供 50+ 大模型解決方案。
所以具體來看,騰訊雲提出的行業大模型平台,将如何幫助他們解決面臨的這些問題?
輸出自家沉澱能力
總體來看,騰訊雲構建行業大模型平台的思路,是盡可能提供更加底層強大、覆蓋全面、落地便捷的能力。
而且誠意滿滿,一次性掏出了騰訊雲及騰訊積累多年的技術能力、工程經驗及創新成果,并已率先在自家業務上落地應用。
技術方面,騰訊雲行業大模型平台的亮點可分為三部分:
模型層面
平台工具
流程方法、配套裝務、安全保障
首先來看底層模型,這也是大模型平台的核心。
騰訊雲 TI 平台支持企業用户直接結合自身場景數據按需定制精調模型,或者按照所需開展多模型訓練任務,讓企業用户能更加靈活地調用大模型能力。
平台上内置了多個行業大模型,可以滿足金融、傳媒、文旅、政務、教育等領網域的需求。
在模型層的具體能力上,騰訊雲 TI 平台還在降本增效和簡單易用上提出了四大亮點:
第一是低成本訓練和推理,這也是企業用户在使用大模型時首要關心的事。騰訊雲 TI 平台實現了在少量算力基礎上,可提升特定任務的效果;并選擇專注產業場景,降低訓練成本、縮短訓練周期。
第二是無需配置對話 + 支持 API 調用。快速接入調用產業用户 API 接口,能夠端到端高質量完成多輪服務。
第三是高效觸達網絡知識。這也是大模型的發展趨勢,如 ChatGPT 已經推出聯網插件,回答體驗立馬提升。騰訊雲 TI 平台通過搜索引擎獲取網絡知識,更廣泛和實時的信息,能有效提高回答的多樣性和相關性。
第四是高時效、快速更新。目前階段大模型能獲取和理解多少信息,會直接影響它的表現。在這方面,騰訊雲建立了實時更新的大模型向量數據庫,讓大模型閲讀理解的長度從 2k 字增長到 8k,翻了 4 倍。
其次來看平台工具方面。
TI-ONE 平台提供了完善的大模型工具鏈,覆蓋數據标注、訓練、評估、測試和部署等。同時具備多機多卡訓練加速能力,能快速進行一站式大模型微調。
△騰訊雲 TI 平台行業大模型精調解決方案流程圖
在算力方面,騰訊雲今年 4 月發布了面向大模型訓練的新一代 HCC(High-Performance Computing Cluster)高性能計算集群,具備 3.2Tbps 業界最高互聯網帶寬,算力性能提升 3 倍。
它采用最新一代騰訊雲星海自研伺服器,結合多層加速的高性能存儲系統,加上高帶寬、低延遲的網絡傳輸。
數據方面,上面提到的實時更新騰訊雲向量數據庫(Tecent Cloud Vector DB),是騰訊自研、基于内部多年運營積累的分布式向量數據庫,已經過騰訊海量業務場景驗證,日均處理向量檢索千億次,支持标量 + 向量的混合檢索,具有高性能、大容量等特點,支持全内存索引。
與此同時,TI-ONE 平台還提供了多個單點工具。
TI-ONE 訓練平台是為 AI 工程師打造的一站式機器學習平台,提供從數據接入、模型訓練、模型管理到模型服務的全流程開發支持,内置多種訓練方式和算法框架。
TI-DataTruth 數據标注平台面向 AI 數據服務商提供數據标注作業、數據眾包管理、場景數據挖掘等智能數據生產服務。
TI-Matrix 應用平台支持快速接入各種數據、算法和智能設備,并提供可視化編排工具,進行模型服務和資源的管理及調度,進一步通過 AI 服務組建集成和标準化接口開放,降低 AI 應用開發成本。
值得一提的是,騰訊雲 TI-ACC 更新為太極 Angel,能提供更強大的訓練和推理加速能力。通過異步調度優化、顯存優化、計算優化等方式,相較于行業常用方案提升 30%+。
此外,基于騰訊雲 IaaS 層產品服務(計算集群、對象存儲、網絡加速等),可支持豐富的訓練需求和推理應用場景。
騰訊雲還聯合中國信通院、客户,共建了行業大模型的标準體系及能力架構。包括 1 套 ILMOps 方法論、60+ 的能力建設指标、覆蓋主觀和客觀的能力要求、細化超過 200+ 能力驗證指标。覆蓋金融、政務、傳媒、教育、文旅等各大行業,涵蓋模型行業能力、模型工程化性能、模型算力網絡、模型安全可靠等方面。
最後,騰訊雲行業大模型平台還提供了一系列成熟的配套裝務。
提供行業大模型全生命周期一體化的完整方法論,覆蓋 " 模型選型 - 訓練共建 - 部署應用 " 全流程,包括 " 業務分析 - 數據分析 - 數據清洗 - 數據标注 - 大模型選擇 - 訓練加速 - 模型評測 - 應用落地 " 等,同時支持 MLOps 的體系及工具,保障需求順利交付。
在配套裝務方面,騰訊雲提供本地化的訓練、落地及陪跑優化服務;針對客户需求,提供私有化部署、公有雲托管、混合雲部署等靈活部署方案。
安全方面,騰訊雲在問題側、模型側、答案側三個層面進行敏感信息的過濾和規避,讓最終的答案符合安全、規範的要求。同時,依托騰訊二十餘年的安全經驗和天御風控能力,提供 AIGC 全鏈路内容合規解決方案,确保大模型可信、可靠、可用。
那麼,平台能力如此強大,實際能夠帶來怎樣的效果?
這可以從騰訊自家的業務看起。如騰訊會議的 AI 會議助手、騰訊雲 AI 代碼助手、騰訊企點新一代智能客服等,都在基于這一次底層平台能力進行加速開發。
據介紹,騰訊會議 · AI 會議助手将能夠基于簡單的文本指令,基于對會議内容的理解,快速提取信息、分析内容等,并且能自動生成智能總結。
騰訊雲新一代 AI 代碼助手将支持多種編程語言、主流開發框架和常用 IDE。具備代碼補全、生成單元測試、代碼糾錯等能力,加速程式員日常開發。其能力将覆蓋溝通、編碼、評審等關節環節。
騰訊企點的新一代智能客服在接入行業大模型平台能力後,将覆蓋單輪知識問答、復雜知識問答、業務辦理等核心場景,從冷啓動 7 天以上更新至分鍾級 / 小時級啓動,準确率提升 30%。
當然,騰訊雲大模型平台的能力已經向外輸出。
比如在金融客服場景,基于騰訊雲金融行業大模型能力,客户結合自身場景數據 + 騰訊雲 TI 平台精調實現,構建了專屬的金融客服大模型,并進行私有化部署。
在銀行投資、财富管理、綠色金融等業務方面,提供智能咨詢、輔助分析、決策等服務。
再比如多年下來積累了海量的音視頻、圖片、文稿等信息資源的領網域——傳媒。
央視就已經基于騰訊雲智能媒體 AI 中台,部署 TI 平台原生模型服務,打造 AI 開放平台,通過引入自研 " 标籤權重引擎 ",讓内容标籤顆粒度更細、理解度更深、泛化性更高。
進一步的,結合傳媒行業需要,重新構建了細分場景的标籤體系,包括新聞、綜藝、融媒體、影視劇等;同時通過跨模态的文本 - 影像理解模型,實現跨模态檢索。
總之,騰訊雲行業大模型平台,是有充分準備而來。
為什麼做行業大模型平台?
ChatGPT 掀起新一輪 AI 浪潮後,各方勢力搶灘登陸。
但在一場新的技術革命周期下,一味求快顯然不是上上策,明确身位後精準出擊,更容易站上潮頭。
所以,騰訊雲亮出了在大模型熱潮下的第一張牌:基于騰訊雲 TI 平台打造模型精選商店,提供 MaaS 一站式服務,以 " 產業助手 " 的身份向外輸出大模型能力。
為什麼瞄準這一身位?
從外到内,有兩方面因素驅動。
一方面是外因,也是直接原因:行業亟需 MaaS 服務。
很長一段時間以來,大模型都被認為只有科技巨頭、大廠才能玩得起。因為它對算力、算法都提出極高要求,不僅燒錢而且需要頂尖技術團隊開發維護。
但大模型的好處有目共睹,它強大的泛化能力可以解決行業應用場景碎片化、AI" 手工作坊式 " 開發等問題,能推動企業更快完成智能化更新、降本增效。
加之如今新趨勢到來,各行各業都開始意識到,如果不搭上 AI 這班快車,就有被時代淘汰的風險。
由此,MaaS 服務被推至台前。
另一方面是受到騰訊自身的影響。
一直以來,騰訊在產業互聯網中的定位都是做產業的 "數字化助手",騰訊雲智能則是實現這一目标的重要抓手。
具體技術能力上,AI 方面,騰訊在 AI 大模型領網域有多年積累。内部騰訊優圖實驗室、騰訊 AI Lab 等都是產業内 " 明星 " 實驗室,在 NLP、CV 等熱門領網域已積累豐富的學術成果和產業落地經驗。
雲能力上,騰訊雲是中國雲市場的頭部廠商之一,提供混合雲服務。
基于騰訊全棧能力,騰訊雲智能目前形成了四級加速框架,為產業輸出從底層算力支撐到 AI 開發平台、到 AI 產品解決方案、再到頂層數智化轉型方法的四級全鏈條服務,覆蓋金融、教育、工業、傳媒、交通等領網域。
由此也就不難理解,為何騰訊雲要推出行業大模型平台,并選擇在此時此刻登場亮相。
當下,ChatGPT 扇動翅膀,引發的 AI 龍卷風正在快速席卷各行各業,勢不可擋。
正如互聯網浪潮對工業、電子商務、媒體、傳播等領網域的重塑與變革,最新一輪 AI 趨勢也勢必會颠覆眾多行業領網域的運作方式、推動智能化更新更快發生。
AI 行業、雲廠商等身處變革風暴核心,肩負推動技術更快向外圈輻射、影響千行百業的使命,如今已最先起跑,合力拉開變革的序幕。
接下來還會有哪些行業緊跟趨勢,還不确定,值得期待。
而可以确定的是,以大模型、AI 為圓點,這場變革輻射圈的半徑,還在加速擴展。
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>