今天小編分享的互聯網經驗:大模型落地征程:興奮、現實和難題,歡迎閲讀。
文|武靜靜
編輯|蘇建勳
大模型落地有多火,從業者吳炳坤深有體會。
"2023 年只有十幾個項目,2024 年,上半年還沒結束,已經在服務100 多個項目。" 眾數信科創始人兼 CEO 吳炳坤告訴 36 氪。
2021 年創業時,吳炳坤選擇的方向是智慧城市相關,2023 年,看到了大模型技術帶來的機會,吳炳坤迅速轉型,借助原有的數據能力積累,瞄準大模型輕量化和本地化落地方向。
距離 ChatGPT 初現已有一年多,吳炳坤能感受到,更多企業在真正看到大模型發展對于自身業務價值的價值,也願意親自上手試試。
吳炳坤有一家客户是某個地方的食品加工生產商,以前,他們只能依靠人工,按照食品監管要求,審核產品的成分、引導語、規範警示用語等信息,如今,上了大模型之後,審核員只需要和 AI 對話,提出問題,就可以批量作業,效率大大提升。
更多企業方在用開放的姿态擁抱大模型。中國 " 鞋王 " 百麗時尚集團正在把大模型融入貨品管理、銷售、客服等各個環節,讓 AI 不僅深度參與到調貨、管理,還成為獨當一面的數字員工。
比如,在 " 補貨 " 這個業務場景。以前,百麗内部需要人員自己填表格、發郵件、找審批等環節,費時耗力,至少要花 3 天多的實踐,有了大模型之後,在百麗時尚與釘釘合作打造 " 補貨群 ",補貨全流程可以實時反饋,随機應變,效率明顯提升。
這種大模型帶來效率提升的案例比比皆是,已有數據表明,大模型技術正在帶來一次生產力水平的大躍遷——在紅杉美國發布的 Generative AI 研究報告中,這波生成式 AI 為代表的大模型技術在出現後的一年時間,創造了近30 億美元的總收入 ,其中還不包括科技巨頭和雲廠商間接通過 AI 產生的收入,這是SaaS 行業花了近 10 年時間才達到的水平。
AI 和 SaaS 收入增速對比,摘自 2024 年紅杉合夥人 Pat Grady 的分享
紅杉認為," 未來,AI 的一大機遇将是軟體替代服務。如果能夠實現這一變革,AI 的市場潛力将不是數千億美元,而是數十萬億美元級别。"
巨大的機會前景誘惑着每一家科技公司。關于 " 落地 " 的讨論無處不在,幾乎出現在在每一次投資人、企業、產品經理關于大模型的讨論中,有人甚至将 2024 年稱為大模型落地元年。
吳炳坤和百麗屬于技術的樂觀派,他們願意 " 嘗鮮 " 新技術,認為大模型是實現 " 提質降本增效 " 的新利器。
但放眼市場各方的态度,還有更多企業對大模型的态度是復雜的,有興奮,但也有更多的疑慮和擔憂。
36 氪探訪發現,有的企業一直在觀望,不敢下場,認為大模型技術尚不成熟,且在細分行業落地面臨數據、成本等重重挑戰;有的企業雖然持有很開放的态度,但是對于大模型落地形式疑問重重——大模型和場景結合的產品長什麼樣?在什麼場景先落?技術可靠性如何解決?——這些都讓他們對大模型望而卻步,或只願意在小範圍内測試部分邊緣產品。
共識尚未形成,各類觀點和話題在持續發酵,大模型落地的風正在起勢,AI 的觸角也正在從產業的某個單點延伸到更廣的範疇。
本文将從三個主要問題展開,讨論大模型落地當下的機會和挑戰:
大模型落地誰先受益?因何受益?
企業對大模型的疑慮和隐憂有哪些?
什麼是大模型落地的關鍵挑戰?
1. 最先從大模型受益的人
從落地實踐來看,企業對大模型的需求不只局限在某個固定場景,而是在研發、銷售等方方面面。
目前大模型落地呈現了一幅 " 廣撒網 " 的圖景:大模型正在沿着行業軸和場景軸雙線并行,和不同的領網域和環節產生新的化學反應——在行業端,融入金融、教育、醫療、制造、零售等領網域,在場景端,融入研發、生產、财務、人力、營銷、等各個環節,用技術改造舊模式,撬動新增量。
目前使用大模型技術的主要場景,圖源:a16z
降本提質增效是第一波使用大模型的人嘗到的新甜頭。
首先是金融行業,行業大模型成為标配。目前,行業誕生了至少 18 個 10 億參數以上的金融行業大模型。銀行、券商、保險公司等金融機構紛紛參與其中,度小滿、恒生電子、螞蟻集團等金融科技公司紛紛入局,工商銀行、農業銀行、中國銀行、交通銀行、招商銀行等 9 家銀行正在研發大模型的應用。
大模型落地金融行業全景圖,摘自騰訊研究院
恒生電子首席科學家、大模型產品總監白碩告訴 36 氪," 調研 100 多家金融機構使用大模型的進度發現,到 2023 年 12 月,大模型應用情況為,10% 已在上線階段,25% 在立項階段,25% 在測試階段,40% 還處于調研階段。"
目前基金公司、金融機構、保險公司對大模型的需求優先級集中在三類:基于機構自有數據庫和知識庫的問答;智能投顧投研 Chat 助手;針對文檔的挖掘和問答。目前,恒生電子的大模型產品當中,落地最多的就是智能投研平台 WarrenQ。
風控安全的質量提升是金融行業剛需。在風控的環節,大模型可以更好地識别風險、預警風險與控制風險。比如騰訊雲的金融風控大模型,整體的反欺詐效果比通用模型提升了 20% 左右準确度。也将傳統的樣本收集、模型訓練到部署上線的建模時間,從以前的 2 周縮短到僅需 2 天。
降本增效也是金融客服場景看中大模型能發揮價值的地方。在金融智能客服板塊,大模型技術能夠有效降低成本,提高服務質量,容聯雲告訴 36 氪,他們的容犀 Copilot 就落地在銀行中,與傳統 AI 相比,大模型将客服對客户意圖理解的準确度從 68% 提高到 91%。通過精準定制回復話術,大模型能幫助人工客服節省 80% 的時間成本。
從這些實踐可以看出,大模型和行業、場景的化學反應也首先從知識密集度更高的地方展開,大模型充當的是降本提質增效的利器,可以直接創作文章、圖片、視頻和音頻,也可以是獨當一面的員工,回答各種問題。
同樣,在法律行業,大模型改變了合同智能審核的技術路徑,不僅提高服務質量和效率。同時,大模型也為這些 to B 公司帶來的新的商業化空間——讓他們從周期長、人力成本高的定制化項目中解脱出來,服務更多的用户。
以幂律智能的合同審核產品為例,此前公司服務對象是大型企業的法務部門。引入大模型之前,不同企業合同信息差别太大,公司需要針對不同企業,做定制化,跑通梳理審查需求 - 合同數據收集 - 數據标注 - 小模型訓練 - 審查點實現等全流程,内部團隊也要親自參與到數據标注、小模型訓練等環節。
如今,由于法律大模型出色的文本理解能力,可以直接對合同進行理解分析,原先的數據标注和小模型訓練等環節被法律大模型直接替代,只需要通過提示詞的方式就可以完成審查點定制。
幂律智能智能合同審核案例
" 在一些場景效率提升了十倍以上。" 幂律智能 CEO 塗存超告訴 36 氪。
他提到,此前一個審查點就需要标注大量合同數據、訓練小模型,平均一個審查點定制需要 10 人天(人工工作日)的人力成本。現在單個審核點只需要花半天時間,時間周期大大縮短,也進一步降低了定制化項目過程中人力成本。
2. 更多需求端的現實拷問:ROI、產品、效果
與技術樂觀派截然不同,對技術的新鮮感過後,如今,還有很多企業在考察大模型技術時,開始用更現實主義的目光來 " 審視 "這項新技術的價值。
" 企業想要的不是大模型這項技術,而是能否在增收、降本、增效上做的更好。" 紀元 AI 創始人梁軍告訴 36 氪。
榜單多少分,排名多少,參數量多大,這些都不是企業真正關心的問題。在前期考察中,大模型會面臨一個個現實的拷問:"ROI 怎麼算?"" 能不能增收 "" 產品能不能解決我目前的痛點?"
企業用創收、節省、效率和準确性提高等多維度衡量大模型投入產出比,圖源:a16z
現實主義的其中一面反應在願意花多少真金白銀上大模型,"用户想要一個定制化的大模型,花費都在大幾百萬以上,市面上用户可接受的成本則在 5 萬到 200 萬之間。" 一位從業者告訴 36 氪。最終讓步的一定是技術方,目前,市面上大模型部署的成本已經卷到幾十萬。
一名法律科技公司員工表示,各地基層法院每年的總預算通常只有百萬級别,不可能全部花在大模型項目上,因此他們在開發上優先追求 " 小而美 ",即使用大模型對一些已有功能進行更新迭代,再進行封裝,以幾十萬元的價格售賣給法院。
在醫療、法律等領網域,對大模型的成本有一個更簡單直觀的考量:如果聘請一個實習生(比如實習醫生或實習律師),就能完成大模型現階段能幹的事情,而且人力比大模型更安全、不出風險,那麼企業有什麼動力花重金購置一個大模型呢?
直接調用 API 是更标準化,成本相對較低的解決方案,但是對于很多手握行業專有數據的企業而言,API 接口難以滿足垂直場景用户需求,且出于信息安全等考量,他們更希望用私有化的方式,把數據把控在自己手中。
此外,數據也是一個關鍵因素。針對特定企業任務和應用的數據,實際上掌握在企業自己手中。許多大型企業不願意将自己的領網域數據公開,金融行業就是典型,它們對私有化部署的需求更高,涉及的項目周期長,導致大模型落地的整個時間周期和成本都很長。
對企業來説,這些都是巨大的現實難題,除非企業高層決心要發展大模型,才可能幹成這件事。但更多人在搖擺和觀望。去年 2 月初,一家運營商公司找某頭部 AI 公司了解大模型,那會許多人都不了解大模型,國内連文心一言都未發布。然而直到年底,這家運營商還沒真正開始推進,原因是公司老板一直在猶豫,沒有确定到底由誰負責,該如何去做。
現實主義的另一面最終還是回歸到 B 端應用本身。
" 企業會為先進的技術鼓掌,但是只會為靠譜的產品買單。" 紀元 AI 創始人梁軍説。
由于大模型落地仍處在 " 拿錘子找釘子 " 的階段。如果對具體的產品沒有思考,就需要技術方和企業方共同經歷漫長的探索期。或者只能選擇從自身外圍的一些業務場景開始,逐步滲透到核心業務。有人笑稱,這無異于 "用大炮打蚊子 "。
另一個落地的難點在于通用大模型和真正的行業應用之間有着巨大的鴻溝。梁軍認為,直接調用基礎的大型模型并不能滿足特定的需求。例如,在智能投放領網域,不同品類的運營需要解決的專業問題各不相同,如果不對特定領網域的數據進行專門處理,就無法實現有效的應用。
如何解決底層的基礎大模型和上層具體應用之間的鴻溝,不同公司解法不一。
有的大模型公司選擇自己做,跑通端到端的全流程服務,有的選擇和第三方公司合作。梁軍的答案是 Agent 作為中間層來彌合底層模型和上層應用,提升大模型在具體任務召回率、準确率等應用領網域的能力。
" 這個中間層應該是一個 Agent 平台,不僅可以支撐 Agent 在某個場景的應用,還可以支持大規模生產和部署 AI Agent,以滿足不同行業和場景的企業需求。" 梁軍説。
不同的觀點在持續交鋒,技術和應用之間,這是一片空白地。一切都還在摸索中。
3. 更大的挑戰:數字化基礎是天然屏障
大模型在帶來更有想象空間的未來,但現階段,在中國的本土實踐中,更多企業面臨的現實是,大模型不是空中浮木,需要借助數字化的土壤才能在企業内部扎根生長。
" 在數字化基礎建設不足的情況下,大模型起不到任何作用。"一位 CIO 告訴 36 氪。
在他看來,數字化基礎是大模型技術在場景中發揮價值的一道天然屏障。有了數字化基礎,大模型不僅能夠提質增效,創造一些全新的,大模型原生的新體驗和新應用。這個背後的邏輯是:AI 的功能越強,覆蓋的業務環節越多,閉環越完整,發揮的效能越大。不僅能在企業工作流中 " 打輔助 ",還可以獨當一面。
最明顯的就是在零售行業,大模型出現之後,誕生了一個個數字員工,他們可以做直播、做導購,還能成為數據中樞 " 管家 ",指導采購、銷售、企業管理。
百麗時尚就推出了供門店店員使用的 AI 助理。店員通過與 AI 對話的方式,快速進行貨品查詢、調貨、管理庫存等,服務顧客的效率進一步提高。這些背後都是由于此前集團已經建立一整套數字化體系,能夠做到對數據的随取随用。
相反,如果一家沒有任何數字化基礎的企業想要用大模型,不僅成本高昂,且見效會極慢。
一位工程師告訴 36 氪,此前在給一家建築國企做數字化時,由于該公司體量龐大,且不重視企業數據,導致大模型落地的第一步要從頭梳理數據、分類匯總管理數據,再搭建專有雲,這樣初步達到數字化至少要花兩三年時間。
一位正在為國内某頂級醫院開發輔助診療系統的醫療從業者告訴 36 氪,他發現,打造醫療大模型過程中,獲取數據是最大的難點。
" 醫院有大量的數據,但都在内部,要想調用非常費勁。" 他舉例,有次為了拿到一批國家傳染病數據中心的數據,他需要打各種申請,籤各種保密協定,花了很長時間。
他認為," 做醫療大模型,最核心的問題就是你的數據從哪兒來,如果搞不定這件事,模型效果就很難保證。"
這不僅是技術方需要解決的難題,也是使用大模型的場景方自己需要完善的功課。
" 即便 AI 技術再先進,它也僅是眾多應用中的一種。" 前述 CIO 提到,多年的數字化實踐中,他總結的經驗是,在借助大模型等數字化工具的同時,企業需要做好基本功。
" 信息化建設是一個逐步構建的過程,需要從基礎層面一層層地進行。如果沒有扎實的信息化邏輯或數據化邏輯作為支撐,僅僅依靠單一的功能來滿足所有用途或應用是不現實的。" 這才是屬于企業自身的内功,也是技術無法觸達的深水區。
由此可見,大模型最終的源頭,還是回歸到數字化本身。對于所有的公司而言,數字化的建設并非一朝一夕之事,而要讓大模型發揮其潛力,必須日積月累,先培養好數字化基礎的土壤,才能讓技術真正扎根于企業之中。