今天小編分享的科學經驗：揭秘騰訊混元大模型：400+場景落地，協作SaaS產品全面接入，歡迎閱讀。
進入 2024，大模型的風向變了。
當初 " 百模大戰 " 時，只要簡單粗暴拿個 Demo 搞 MaaS（模型即服務），也就是讓用戶直接和大模型互動就足以上牌桌。
但現在，精耕細作搞應用，無論是原生 AI 應用，還是在已有產品上整合 AI 功能，成了最新潮流趨勢。
就連一向低調神秘的騰訊混元大模型團隊，也對外公布了應用落地進展：
騰訊混元大模型已經支持内部超過 400 個業務和場景接入，并通過騰訊雲，面向企業和個人開發者全面開放。
這裡面有很多為人熟知的 " 國民級 "App，如企業微信、騰訊文檔、騰訊會議，都已經被 AI 全副武裝。
還有更多騰訊雲 SaaS 產品，如企業知識學習平台騰訊樂享、電子合同管理工具騰訊電子籤等，也都有了 AI 加持。
騰訊混元大模型去年 9 月才首次亮相，是否有意在加速趕進度？
面對這個問題，騰訊混元大模型應用負責人張鋒的回答就有點 " 凡爾賽 " 了：
我們只是按照正常的節奏，而且不光是接入大模型這麼簡單，已經進入打磨用戶體驗階段。
在國内大模型廠商中，騰訊為何走出這樣一條獨特的路線？我們與張鋒深入聊了聊。
騰訊 AI 產品，已經在打磨用戶體驗了
騰訊這麼多年來一直以產品見長，AI 時代也延續了這種風格。
就拿大模型的門面騰訊混元助手來說，" 已經在打磨用戶體驗了 " 還真不是一句空話。
比如讓它做一道簡單的數學題，就可以發現 AI 在分析思路時非常流暢，還判斷出題目中缺少條件，但最後給出結果前卻稍有停頓。
這并不符合大模型預測下一個 token 的運作原理，反倒像是真的在計算。
張鋒揭秘，背後其實是AI 先寫了一段代碼，在後端執行再返回結果。
不得不說，這是一種解決大模型計算不準确問題的巧妙思路。但為什麼不像 GPT-4 代碼解釋器版一樣，把代碼在前台顯示出來？
騰訊混元助手一個重要場景是在微信小程式裡使用，移動端展示代碼就會顯得特别長。張鋒認為，現在的策略更符合用戶體驗習慣。
產品策略有了，但實現起來并不是一件簡單的事。首先需要大模型明白當前用戶需求需要精準計算，接着要生成合适的代碼，最後還要成功通過函數調用來執行代碼。
像這樣從細節出發，打磨用戶體驗的例子還有很多。
比如大家很熟悉的騰訊會議，比起簡單的 AI 語音轉寫和會議紀要總結，也做了不少差異化功能。
人的口頭表達免不了停頓磕絆，騰訊會議 AI 在轉寫時把 " 嗯嗯啊啊 " 這樣的部分智能規整，讓會後文字記錄看起來更整潔。
騰訊會議正在思考的另一個問題是，AI 生成的會議總結格式應該根據會議類型做出适當調整。
有明确主題和議程的會議，與大家暢所欲言的頭腦風暴會議，需要的總結的格式就截然不同。因此，除了按時間分章節生成會議紀要外，騰訊會議也将推出按發言人 / 主題生成會議紀要的功能。
騰訊樂享，作為企業知識協作平台，在 AI 問答功能中就做到了識别提問者身份，做到回答千人千面。
如果是企業 HR 問 AI 有關薪酬結構的問題，就可以得到正面回答，其他崗位問同樣的問題 AI 會拒絕提供。做到在便利的同時還非常安全。
湖南的律師事務所曠真接入了樂享助手去做 AI 知識庫， 員工調研顯示，對典型問題的 AI 回答滿意度高達 93 分，端到端問題準确率達 91%。
騰訊電子籤，利用 AI 智能檔案審查系統，識别合同風險條款，便于企業把控合同風險。企業對合同的風險控制需求各不相同。騰訊電子籤還利用大模型和 few-shot 技術訓練适合客戶行業的垂類小模型，實現低成本運行。同時，通過混合雲的模式，支持數據、模型的私有化部署，解決效率問題的同時保證合規。
總計 400+ 的應用場景中，像這樣的例子還比比皆是，這裡不再贅述。
值得探讨的下一個問題是，騰訊如何做到在短時間内把 AI 產品打磨成熟的。
應用落地完整流程已跑通
在騰訊，大模型研發和業務應用是 " 雙向奔赴 " 的。
根據張鋒介紹，騰訊混元大模型研發過程中迭代速度很快，基本一個月就有四到五個版本。
這種速度就來自于和業務應用團隊的高效合作，業務團隊提出需求并貢獻微調數據，研發團隊就能有針對性的加強大模型的能力。上線測試過程中不斷發現 Bad case，也能迅速為大模型補齊短板。
在這種研發時就考慮到實際應用需求的模式下，騰訊混元大模型定位成了 " 實用級通用大模型 "。
在國内大模型中，騰訊混元率先完成 MoE（Mix of Experts，專家混合）架構更新，也就是從單個稠密模型更新到多個專家組成的稀疏模型。
MoE 架構在激活參數不變情況下，總參數量加大，可以吞吐更多的 token，同時，得益于較小的實際激活量，可顯著降低訓推成本。
這種路線的快速轉型，也得益于與早期就了解了業務應用一方需求。
在與業務應用相互打磨的過程中，騰訊混元着重提升了通用模型的三個能力：
指令跟随能力，提出各種各樣復雜的結構化長指令，騰訊混元都能按要求執行。
網頁及文檔理解能力，滿足用戶經常需要 AI 來總結長文本内容、減輕認知負的需求。
函數調用能力，也是騰訊混元團隊判斷大模型下一階段的趨勢之一。
通用大模型只是一個開始。
張鋒介紹，在實際應用中，除了 MoE 主模型，如果調用量很大，從性價比的角度，各業務可以考慮使用不同尺寸的小模型，或者采用根據業務數據微調後的垂直小模型。
微調（Fine-Tuning）是學術界通用叫法，在騰訊内部更願意用" 精調 "。
從數據管理到自研 AngelPTM 訓練框架、AngelHCF 推理框架，再到模型評測、部署都有一股精耕細作的勁兒。
那麼，面對如今 400+ 場景，以及未來更多業務都要上大模型的情況，研發團隊顯然無法分出精力逐個精調，如何解決這個問題呢？
答案是通過混元一站式平台，許多需求業務團隊自己就能輕松搞定。
混元一站式平台不僅支持通過 API 接口直接調用混元大模型服務，還把大模型從訓練到部署的很多流程都做到可視化，不用寫代碼只需滑鼠點點就能快速完成。
有了混元一站式平台很多 AI 工程師都不怎麼去折騰代碼了，而不精通機器學習的業務工程師也能輕松上手操作。
接下來根據一個完整的模型精調到上線的過程，來了解混元一站式平台的能力。
首先是模型方面，平台提供了各種尺寸的基座模型矩陣。又分為通用模型、針對典型場景的優化模型、針對更垂直領網域任務的子模型三個層次。
通用模型前面已經介紹過，場景優化模型可以舉兩個例子：開發 Agent 類應用，就可以用到強化了函數調用能力的模型來做；在知識密度高的場景，則可以選擇優化摘要能力的模型。
如果不光有垂直的應用場景，還有垂直的數據集，混元一站式平台上就可以完成針對私有數據集的二次訓練，讓垂直子模型不僅有很好的通用理解能力，也很擅長專業領網域的知識也很擅長。
接下來便要說到靠混元一站式平台的數據處理能力。
對于來自不同來源、質量參差的數據，從數據清洗流程如質檢、去重，到統計調配不同主題數據的比例，再到更困難的數據價值觀對齊，去除其中包含的偏見，都能靠自動化手段高效完成。
即使模型上線之後，再發現由于某類數據缺失造成模型某方面能力不強，也能迅速把補充數據投入到持續訓練，支持模型的快速迭代。
有了基座模型和數據，就能通過精調來按需求打造專屬模型。無論是速度快成本低的 Lora 精調，還是全參數深度精調都能在混元一站式平台完成。
精調後模型的評測、部署上線也都做到了自動化，特别是部署可以做到一鍵發布，是混元一站式平台的核心技術之一。
總結來看，相較于傳統的機器學習平台，混元一站式平台的最大特點在于：提供預訓練好的基座模型、自動化優化數據處理流程，以及精簡高效的模型精調和應用集成工作流。該平台通過自動化和智能工具應對海量訓練數據、模型定制和部署等挑戰，極大地降低了業務接入大模型的門檻，實現了速度快、效果好、接入方式多樣的目标。
一言以蔽之：已跑通從模型研發到應用落地的完整流程。
内部流程徹底跑通、并經過 400+ 場景驗證，外部開發者和企業可以通過騰訊雲上 API 直接調用騰訊混元能力，接下來就要在助力合作夥伴業務智能化更新上發力了。
One More Thing
在這次交流的最後，量子位把在測試騰訊混元助手過程中發現的，模型仍無法很好解決的問題提交給了團隊。
結束後已經是北京時間晚上 6 點多，比原定的結束時間推遲了近 2 個小時。
騰訊混元團隊大部抽成員都準備動身去往機場，要趕回深圳研發總部。
張鋒沒有與大家一同離開會議室。
簡單告别後，他又一屁股坐回沙發上，一心沉醉到琢磨怎麼改進 Bad case 的世界裡了。
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
