今天小編分享的互聯網經驗:AI Agent浪潮下,昇騰與科大訊飛攜手開辟AI落地“新航路”,歡迎閲讀。
昇騰與科大訊飛等行業領跑者,正在各個維度開放合作,驗證大模型的落地應用進程,持續向千行百業輸出新質生產力,有望形成 " 模型越強、落地越多、用户越廣、算力越大 " 的增長飛輪,掀起一股不可逆的產業革命。
撰文|顧青雲
編輯|沈菲菲
過去兩個月裏,大模型產業出現了兩個現象級熱點:
一個是 DeepSeek 催生的大模型開源浪潮,用工程創新和技術平權的方式加速了 AI 普惠化的進程。
另一個是 AI Agent 產品的出圈,讓 AI 從被動響應走向主動規劃和執行,甚至是跨場景的復雜任務。
傳遞到產業端,"2025 年将是 AI Agent 元年 " 的説法漸漸成為共識,業界對于大模型落地的态度從 " 觀望 " 轉向了行動。同時也在深度影響產業的競争邏輯,進入到了技術摸高和落地應用的并行模式。
在不久前落幕的昇騰人工智能夥伴峰會上,一直走在 AI 產業最前沿的昇騰與科大訊飛強強聯手,為 AI 在千行萬業的加速落地開辟出一條 " 新航路 "。
01.
跨越落地鴻溝,首先要懂大模型
大模型的產業圖景不可謂不誘人,但和業務場景之間仍存在一條鴻溝。
根據 Gartner、埃森哲、波士頓咨詢等權威咨詢機構的報告:當前僅有 25% 的 AI 試點項目能夠規模化推廣、60% 的企業在 AI 項目中技術與實際場景需求脱節、60% 的中型企業因算力不足或雲服務成本過高,無法支撐模型訓練……這些問題不被解決,大模型的落地應用就無從談起。
首先需要厘清的是:為什麼會存在落地鴻溝?
可以找到的答案似乎有很多。對大模型認識不全面乃至有認識誤區,難以挖掘出對大模型的應用需求;由于保密、隐私保護等需要,缺少高質量的行業數據;接入大模型需要對現有系統進行改造,增加了實施的復雜性;将大模型融入現有業務流程和系統架構,涉及大量的開發和測試工作……
原因不一而足,但指向了同一個症結:對許多企業來説,大模型還是一個陌生的 " 新物種 "。這為大模型產業中的賦能者們提出了一個基本要求——想做 " 擺渡人 ",首先要懂大模型。
而昇騰和科大訊飛恰恰是其中的佼佼者。
在昇騰人工智能夥伴峰會上,科大訊飛副總裁婁超深度解讀了雙方從模型訓練到推理過程中攻克的一個又一個技術難題。
比如 2023 年 10 月發布的首個國產智能算力集群 " 飛星一号 ",就解決了大規模集群訓練的諸多 " 疑難雜症 "。特别是在超大規模集群網絡通信帶寬利用率方面,昇騰和科大訊飛的聯合突破瓶頸,讓 " 飛星一号 " 的網絡通信帶寬利用率達到了 95%,有效提升了大模型訓練過程中卡間數據和模型權重傳輸的效率。
當長思考能力将 scaling 延展到推理,Tokens 已經成為衡量推理系統的唯一标準,集群推理成為大模型推理系統的标配,系統既要确保用户的低時延響應,又需要提高整體吞吐,以最大化推理的經濟價值。
為了實現大模型推理的極致效率,昇騰從算子到推理系統全面創新。針對 MoE 架構,國内首創大規模專家并行方案,通過将 MoE 模型的多專家權重數據分散部署到更多的卡上,降低單卡權重加載時延,讓模型解碼輸出更快,同時解決了吞吐性能、通信開銷等挑戰。
2025 年 3 月中旬,昇騰與科大訊飛率先實現了 MoE 模型的大規模專家并行集群推理,将深度推理類模型端到端的訓練效率提升了 30%,超大規模集群網絡通信帶寬的利用率提升至 95%,單卡靜态内存占用僅為雙機部署的 1/4,推理吞吐性能提升了 3.2 倍,端到端時延降低了 50%。
窺一斑而知全豹。
作為國内為數不多走完了大模型訓練到落地全流程的企業,昇騰和科大訊飛踩過了大模型訓練到推理部署的每一個坑,積累了從數據清洗到算力調度,再到高效部署、推理加速的全流程經驗,趟出了一條從技術創新到場景融合的新路線。
02.
場景化一體機:讓落地更加便捷
對于中小型企業而言,可能沒有訓練行業大模型的需求,怎麼才能拉近他們和新質生產力的距離呢?
時間回到 2025 年 2 月末,科大訊飛聯合昇騰發布了全新更新的訓推一體機和推理一體機,可兼容訊飛星火和 DeepSeek 雙模型,同時内置了模型微調工具鏈、知識蒸餾工具鏈、精品智能體等工具,進一步縮短了大模型的落地流程,加速了大模型能力到產業生產力的轉化。
對比其他落地方式,大模型一體機提供的是 " 開箱即用 " 的選項,無需花費大量時間精力配置和優化硬體環境,無需深入了解底層的算法和框架細節,無需擔憂 " 數據上雲 " 帶來的安全問題……在很大程度上縮短了部署周期、降低了落地門檻。
不過問題也出現了,大模型和場景的融合,不是簡單部署一套大模型就可以了,而是要明确場景,把數據用好。往往因缺少模型選型、場景落地的經驗,企業在大模型實際落地應用中常常會遇到 " 最後一公裏 " 的障礙。
昇騰和科大訊飛深谙其中的道理,解題的思路可以歸納為一句話——圍繞目标場景需求做創新、做產品。
聚焦政務辦公場景,科大訊飛和昇騰創合作推出的 AI 政務辦公一體機,内置公文寫作、政策檔案解讀、數據分析、中英互譯等 4 種大模型場景應用,目前已經在安徽、湖北等地落地應用;AI 政務綜窗一體機内置了超過 4500 個辦事項語料、2000 個辦事相關政策法規,事項推薦準确率高達 90%,咨詢回答準确率高達 95%,大幅提升了政務效率。
面向法院的庭審場景,科大訊飛和昇騰聯合推出了星火法律筆錄精簡一體機,學習了數萬書記員的筆錄資料,并基于海量法律數據訓練模型,打造了集智能筆錄規整、語義理解、自動校對、重點提取的一站式解決方案。截至目前,星火法律筆錄精簡一體機已經在全國 100 多個法院試點,合作深化庭審場景的深度應用。
不只是對單一場景的滿足,還有城市級的綜合解決方案。
面向城市 AI 應用的訊飛星火塔式一體機,通過訊飛星火、DeepSeek 和 Qwen 三擎模型驅動,依托行業大模型解決方案,可滿足政務、警務、司法、社工等城市智能應用需求;集行業模型 " 資源池 "、生态場景 " 集聚地 "、大模型開發 " 服務站 "、產業供需 " 鏈接器 " 于一體的城市人工智能公共服務平台,深入賦能城市產業的發展。
正如科大訊飛董事長劉慶峰多次在公開場合提及的:" 無論大模型如何演進,最後一公裏的產品體驗和應用落地,才是真正的挑戰。"
就結果來看,昇騰和科大訊飛已然找到了解決路徑,從雲端的大模型服務到打造行業大模型的全套工具鏈,再到面向不同場景的一體機,大模型正在深入解放生產力、解放每一家企業的想象力。
03.
寫在最後
傑弗裏 · 摩爾在《跨越鴻溝》中将 " 技術采用生命周期 " 的客户群體抽成了五類,分别是創新者、早期采用者、早期大眾、後期大眾和落後者。
目前的大模型正處于從早期采用者向早期多數過渡的階段,也就是 " 鴻溝 " 所在的階段。相較于模型層的你追我趕,一場更重要的博弈在于怎麼将創新迅速 " 擴散 " 到產業中,乃至可以説比創新更重要的,是創新的擴散。
樂觀的是,昇騰、科大訊飛等行業領跑者,正在各個維度開放合作,驗證大模型的落地應用進程,持續向千行百業輸出新質生產力,有望形成 " 模型越強、落地越多、用户越廣、算力越大 " 的增長飛輪,掀起一股不可逆的產業革命。
主理人 | 張賀飛(Alter)
前媒體人、公關,現專職科技自媒體
钛媒體、36kr、創業邦、福布斯中國等專欄作者
轉載、商務、開白以及讀者交流,請聯系個人微信「imhefei」