今天小編分享的科技經驗:騰訊,終于入局大模型,歡迎閱讀。
大模型時代,騰訊用自己的方式,邁出了第一步。
6 月 19 日下午,騰訊雲召開發布會。首次正式公布行業大模型研發進展,并發布面向 B 端客戶的騰訊雲 MaaS(Model-as-a-service,模型即服務)服務解決方案。
值得注意的是,騰訊雲并沒有像此前的谷歌、微軟,或者國内的百度、阿裡等大廠一樣,公布一個基礎的通用大模型。騰訊雲 MaaS 的技術底座是一系列的行業大模型,包括金融、政府、文旅、傳媒、教育等。基于這些基礎模型,騰訊雲的客戶只要加入自己的場景數據,就可以生成契合自身業務需要的「專屬模型」。
國内通用大模型的研發進程受算力緊張、起步較晚等因素制約,客觀來說與 OpenAI 等全球領先的團隊相比還有一定差距。但大模型在國内落地的需求卻已刻不容緩,為了解決落地問題,推出更有針對性的行業大模型,并利用數據精調來滿足業務需要,已經成為國内雲服務商曲線解決當下困境的一種選擇。
這背後的邏輯是:重要的是解決具體場景的需求,只要產品的效果夠好,用戶并不會關注技術底座到底是通用大模型還是行業大模型。
顯然,騰訊雲做出了相當務實的選擇。會上,高管們介紹了一系列騰訊雲 MaaS 的應用案例,其中既有針對騰訊企業端 SaaS 產品的智能化更新,也有與央視等外部合作夥伴一起探索的應用案例。
01
騰訊雲 MaaS:
行業大模型精選店
騰訊雲 MaaS 全景圖
會上,騰訊首次公布騰訊雲 MaaS 服務解決方案。
騰訊集團高級執行副總裁、雲與智慧產業事業群 CEO 湯道生介紹,騰訊雲 MaaS 是基于 TI 平台打造的行業精選模型商店,覆蓋金融、文旅、政務、傳媒、教育等 10 大行業,提供超過 50 個解決方案。在這些能力模型的基礎上,客戶只需要加入自己獨有的場景數據,就可以快速生成自己的「專屬模型」。
比如,騰訊雲已經和國内某頭部在線旅遊公司,基于「文旅大模型」打造了機器人客服,後者可以自動判斷用戶意圖,并調用相應的 API,高質量完成用戶咨詢及服務。
如果一個用戶問,「節假日有哪些比較經濟的旅遊景點推薦?」基于通用大模型的客服機器人,只能給出一些簡單的景點介紹和路線規劃。但是當使用大量有針對性的行業數據來做模型精調之後,客服機器人的回答就變得更加細致,能夠規劃出每天的交通、景點安排,給出經濟實惠的定制化推薦方案。
除了提供基礎的行業模型,數據方面,騰訊雲同時推出了基于騰訊雲 TI 平台的行業大模型精調解決方案。
精調行業大模型是為了幫助模型開發者與算法工程師,解決數據的處理問題,高效率、高品質、低成本地創建和使用大模型。此外通過 TI 平台以及模型的私有化部署、權限管控和數據加密等方式,騰訊雲還希望幫助開發者和企業客戶解決數據安全和隐私方面的擔憂。
比如騰訊雲與中央電視台打造的「央視人工智能開放平台」。開發過程中也面臨數據量龐大、形态復雜的問題,導致傳統的數據标籤體系都無法達标。
為此,雙方重新構建了一套傳媒專屬的數據标籤體系,同時也研發了創新的「标籤權重引擎」,讓數據标籤顆粒度更細,并按照核心度排序。在這樣的數據标籤體系支撐下,視頻編輯用自然語言就能實現跨模态檢索。比如,輸入「居民消費力」,系統可自動提供商場、超市相關素材,再搭配智能剪輯,就能快速生成視頻。
最後是關于大模型持續運轉的燃料——算力。在大模型的訓練和使用過程中,需要大量異構算力的支持,對網絡速度與穩定性要求也很高,加上 GPU 伺服器比一般伺服器穩定性更低一些,伺服器的運維、問題的排查更頻繁,整體運維的難度與工作量會高很多。
對此,騰訊雲打造了面向模型訓練的新一代 HCC(High-Performance Computing Cluster)高性能計算集群,搭載最新次代 GPU,結合多層加速的高性能存儲系統,加上高帶寬、低延遲的網絡傳輸,整體性能比過去提升了 3 倍。湯道生表示,HCC 獲得了很多客戶的高度認可,幾家 AI 獨角獸都與騰訊雲展開了合作。
除了計算集群,騰訊雲還公布了更适合 AI 運算的「軟能力」——向量數據庫,它能更高效地處理影像、音頻和文本等非結構化數據,支持單索引 10 億級規模,比單機插件式檢索規模提升 10 倍,數據接入 AI 的效率,也比傳統方案提升 10 倍。
02
行業大模型加持,
騰訊三大 SaaS 產品更新
騰訊雲的行業大模型解決方案發布較晚,但這段時間他們也沒有閒着。
會上,騰訊雲介紹了一系列已經落地到產品的大模型應用案例,其中大部分都是對騰訊已有的 SaaS 產品進行智能化更新,包括騰訊會議、騰訊企點智能客服、AI 代碼助手。
整體來看,騰訊智能化更新的核心是智能助手,不論是騰訊會議的智能助手,騰訊企點的智能客服,還是輔助生成代碼的 AI 助手,本質上都是針對不同場景下的 AI 助手。
這種思路與微軟有相似之處。微軟在今年 5 月的 Build 大會上宣布,将把基于通用大模型打造的智能助手 Copilot 融入到自己的各個 ToB、ToC 產品服務體系,包括 Windows、GitHub、Bing 搜索、Azure 雲等。
騰訊會議
在過去的兩年裡,騰訊會議一直試圖為用戶提供更好的會前、會中、會後服務,但騰訊雲副總裁、騰訊會議負責人吳祖榕也坦然承認「說實話收效甚微」。
比如,在會議開始前詢問對方能否聽清自己的聲音是一個常見的場景,但這一問題過去一直沒能被解決,直到此次騰訊會議推出的覆蓋會議全流程場景的 AI 小助手。在 AI 小助手的幫助下,用戶開麥後就能接收到自己的聲音狀況是否良好的提示,以此減少彼此詢問造成的時間損耗。
上述場景只是一個很細節的點,除此之外,騰訊會議 AI 小助手還能在會前、會中、會後分别提供給用戶全流程的服務。
眾所周知,對于一線員工而言,會前約各位參會人員的時間是一個非常「痛苦」的過程,涉及到很多人員的時間協調,但是通過 AI 小助手,就可以将非常「痛苦」地反復詢問和修改變成一個完全數字化的過程。
在會議過程中,即便你因為某些原因錯過了部分會議内容,只需打開 AI 小助手輕輕一點,此前的會議内容就能盡收眼底。與此同時,參會者還可以通過 AI 助手針對性地在會議中查看某位成員的發言并進行互動。
會議結束後,AI 助手對于會議的記錄提煉,也不只是簡單的轉寫,而是會分段落、分層次地總結出整場會議的主要内容。通過将會議時間線劃分為不同段落,AI 助手能夠更方便用戶依據「章節」「發言者」「話題」快速定位到相關内容。此前,會後智能錄制已經在 5 月份小批量開放給會員和企業客戶試用,在此次大會上,騰訊也表示将正式向所有付費用戶開放智能錄制功能。
智能客服
在傳統的運營模式中,團隊經常面臨兩大困擾:一個是官網用戶的運營分析復雜瑣碎,另一個就是官網的客服成本居高不下。針對這兩點,騰訊企點嘗試用企點智能分析和企點智能客服提供更加高效和精準的全流程管理服務。會上,騰訊企點以「騰訊雲官網」為例,介紹了騰訊企點的全新產品,以及行業大模型将如何幫助運營團隊解決實際問題。
首先,依托于騰訊雲行業大模型以及騰訊在分析領網域的積累,企點分析 AI 助手擁有五大核心能力,分别是:數據的理解,指标的拆解,語言的查詢,AI 的推理,結論的提煉。
在五大能力的加持之下,銷售人員只要問一句「哪個產品賣的最好」,就可以實現準确的商業分析,不需要花費大量的時間,學習復雜的軟體、制作看板。運營人員還可以将 AI 助手生成的分析結果保存至官網購買專業分析看板中,後續運營人員就能夠在該面板中監控官網的核心購買數據。更便捷的是,AI 分析助手還提供了「一鍵報告生成」功能,通過此功能運營人員可以立刻獲得官網購買頁專題分析的周報信息。
其次,在客戶感知力更強的客服領網域,傳統的客服機器人往往會在幫助企業降本增效的同時損失部分用戶體驗,而新一代的騰訊企點智能客服,基于行業模型,結合客戶業務需求進行訓練與精調,可以提供更精準、更詳細的回答,甚至調用業務系統來提供實時數據。對比上一代智能客服的機械回答,用戶體驗有很大的提升。
代碼助手
騰訊雲 AI 代碼助手是此次大會上推出的又一款基于騰訊雲行業模型的新產品。據介紹,借助騰訊雲新一代 AI 代碼助手,程式員可以在溝通、編碼、排錯、評審、調優等環節提升生產力。
AI 代碼助手在全環節的功能包括:
在溝通環節,可以通過上下文推理可以幫助程式開發者加快理解代碼邏輯;
在編碼環節,可以根據當前代碼類型對代碼進行補全,并反向生成注釋和單元測試;
在排錯環節,可以定位錯誤問題并生成修改建議;
在評審環節,針對開發者提交的變更列表,可以幫助開發者生成評審建議和提交信息;
在調優環節,可以通過自然語言指令快速修改代碼,實現效果調優。
騰訊 AI 代碼助手支持 C/C + +、 JavaScript、Go、Python 等多種變現語言和常用開放的框架,以及 VS Code 等主流 IDE。同時基于正負反饋,AI 代碼助手可以持續進行訓練調優,實現工具的持續改進。目前,騰訊 AI 代碼助手已經在騰訊内部團隊展開試點,數據發現,AI 代碼助手對開發者提高效率有接近 50% 的提升。
其他第三方應用案例
除了騰訊自身的 B 端產品,騰訊雲還在會上公布了一些與第三方合作的案例。
1、文旅:智能客服大模型應用
在文旅領網域,一家線上旅遊 OTA 公司。其傳統智能客服需要人工進行對話配置,知識維護量大、耗時長,且涉及訂單等復雜業務場景,在無配置的情況下,無法通過機器人閉環解決問題。精調後的客戶專屬模型,無需配置對話流程,即可實現端到端解決業務問題。提升任務完成率,降低整體成本。
2、金融:OCR 大模型及智能客服場景
在金融領網域,騰訊與客戶探索了 OCR 大模型在銀行單據處理場景中的應用。傳統的 OCR 深度學習模型不具備閱讀理解和推理能力、模型指标上限低,不同場景下模型能力無法復制,定制成本高。騰訊雲聯合一家頭部銀行,基于 OCR 大模型,上線了 4 類票據的自動化識别流程,信息錄入準确率提升 50%。
3、政務:政務咨詢場景
政務領網域,騰訊雲與福建大數據集團合作,基于大語言模型能力打造了首個智慧政務平台。其構建的小閩助手是福建政務領網域首個互動式大模型應用,可以為市民提供 7X24 智能咨詢服務,譬如辦事指南、政策咨詢、數據查詢等。
4、教育:教育行業大模型
上海大學結合自身場景數據,通過騰訊雲 TI 平台進行精調,構建了專屬的教育行業大模型,計劃覆蓋包括在校生、畢業生全生命周期,提供咨詢和問答内容,首個場景聚焦招生專業咨詢和規章制度咨詢。其他使用場景還包括教學助手、大模型人才培養、招生助手、作業批改。
5、傳媒:媒資管理場景
央視多年積累了海量的音視頻、圖片、文稿等信息資源,但過去由于缺少智能的技術手段,人工編輯整理的投入成本大,但檢索效率低,難以滿足媒體采編存管播發全流程的時效性、高質量需求。對此,基于行業大模型能力,騰訊雲幫助央視加強智能标籤的理解、泛化能力,同時提升媒資檢索能力,支持使用自然語言描述的方式精準檢索視頻、圖片素材,跨越了模态屏障。
03
國内 MaaS 混戰開啟,
騰訊雲要怎麼做?
随着騰訊雲正式宣布入局大模型,國内雲服務市場排名靠前的幾家,包括阿裡雲、華為雲、騰訊雲、百度雲等都已加入這場大模型混戰,國内 MaaS 的競争已經拉開序幕。
在海外市場,大模型的到來在很短時間内就對雲服務市場的格局產生了衝擊,快速增長的微軟雲正在挑戰亞馬遜的霸主地位。而在國内尚沒有明顯的大模型領先者,各家雲廠商在入局後,需要找到自己在這場競賽中的定位。
今天大模型落地痛點,簡單用一句話總結,就是行業需要更好用的模型,能用更低的成本部署,得到更好的效果。而騰訊的優勢主要是其過去積累的龐大的業務數據和算力基礎設施,今天騰訊雲的解決方案,就是基于這些過去的積累,解決大模型應用落地的痛點。
首先,騰訊旗下有多個不同的業務板塊,多年來在金融、傳媒、文旅、工業等不同領網域積累了大量的數據和經驗。以此為養料,騰訊雲才能構建起一系列針對不同行業的行業大模型,同時針對一些特定的任務進行優化,比如對客服等場景中的「對話問答」、「相似問生成」等,從而确保使用時僅需少了數據就可以達到較好的精調效果。
此外,大模型訓練的基礎是算力。騰訊雲在大模型算力方面擁有領先優勢。早在今年 4 月,騰訊雲便發布了面向大模型訓練的新一代 HCC 高性能計算集群,采用最新一代騰訊雲星海自研伺服器,結合多層加速的高性能存儲系統,具備 3.2Tbps 業界最高互聯帶寬,算力性能提升 3 倍。
騰訊還有自己的更新框架加速能力太極 Angel,可以提供更優的訓練和推理加速能力。在傳統 CV、NLP 算法模型的基礎上,新增了對大模型的訓練和推理加速能力,通過異步調度優化、顯存優化、計算優化等方式,相比行業常用方案性能提升超過 30%。
針對成本高、落地難的問題,騰訊雲 TI 平台實現針對行業場景的低成本落地。在少量算力的基礎上,提升特定任務的效果,比如智能客服場景,訓練性能可提升 10 倍,訓練成本下降 90%。
除了針對 B 端客戶的解決方案,騰訊雲也在嘗試建立行業大模型的标準體系。騰訊雲在會上公布,正在聯合中國信通院,共同構建行業大模型的标準體系及能力架構,包括 1 套 ILMOps 方法論、60 多項能力建設指标。這個标準體系覆蓋多個行業,涵蓋模型行業能力、模型工程化性能、模型算力網絡、模型安全可靠等方面。
>