今天小編分享的科學經驗:博鳌熱議AI大模型,人民網報告梳理產業機遇:端雲結合、芯片、開源,歡迎閲讀。
中國大模型產業該怎麼看?
最新權威參考來了。
博鳌亞洲論壇 2024 年年會期間,人民網正式發布《2024 年中國 AI 大模型產業發展報告》。
報告系統性分析了 AI 大模型產業發展背景、現狀、典型案例、挑戰以及未來趨勢。旨在給政府部門、行業從業者、社會公眾提供價值參考。
大模型熱潮中,關于技術解讀分析的報告不少,但是由人民網主導發布的不多。而且還選在博鳌這樣的重要時間節點上發布,足見其意義非凡。
更深層傳遞出的信息是,大模型產業發展轟轟烈烈,轉瞬即逝的機會點會出現在哪裏?
報告給出了初步判斷。
AI 大模型產業當下如何?
報告重點關注了 AI 大模型的當下與未來。
當下階段,一方面,在大眾、廠商、政府等共同推動下,過去一年多時間裏,大模型產業發展突飛猛進。
聚焦到中國市場,推動產業發展主要有三大驅動力:
政策驅動力
技術驅動力
市場驅動力
其中,語言大模型技術演進給產業帶來本源動力。經典 Transformer 架構是技術趨勢最核心主幹,基于人類反饋強化學習(RLHF)、指令微調、模型提示等重點技術,進一步提升語言大模型能力。
市場驅動力以實際存在的廣泛需求為主,報告重點提到了辦公、制造、金融、醫療、政務等場景。大模型能帶來的影響主要體現在降本增效、生產自動化、降低風險、提高診斷準确率、提高政務服務效率等。
政策方面,從去年年初大模型趨勢發生以來,北京、深圳、杭州、成都、福建、安徽、上海、廣東等地均發布了關于 AI 大模型的相關政策,加快各地產業持續發展。
在多方因素影響下," 百模大戰 " 一觸即發,并将 " 戰火 " 延續至今。
按照部署方式劃分,已發布模型可分為雲端大模型和端側大模型。雲端大模型可進一步分為通用大模型和行業大模型,端側大模型主要分為手機大模型和 PC 大模型。
目前,每一個分類中都湧現出了代表玩家和代表案例。深入落地場景包括金融、醫療、政務等。
可以看到,通用大模型代表玩家主要是互聯網大廠、初創企業;行業大模型代表玩家以具備專業數據、行業知識壁壘的場景玩家為主;端雲協同大模型代表廠商則是終端廠家。
值得一提的是,端雲協同是大模型部署方面熱議的方向,也是公認的未來趨勢,當下正搶先在手機行業落地應用。
報告中以 vivo 藍心大模型為例,展開介紹端雲結合大模型的特點。
vivo 藍心大模型是行業首個在手機端運行的開源自研大模型,包含十億、百億、千億三個參數數量級,共 5 款自研大模型(10 億、70 億、700 億、1300 億和 1750)。
通過不同參數量級、多種部署方式,矩陣化大模型能夠在帶來 AIGC 功能同時,實現低時延推理、低内存占用。
1B 和 7B 的端側模型,出詞更快、内存占用小、安全性高、無網弱網條件都能使用。同時模型具備扎實底座,可實現精準的指令跟随,保持正确的價值觀取向。
70B 模型是面向雲端服務的主力,主要針對角色扮演、知識問答等場景,能兼顧成本和性能。130B 和 175B 兩款千億參數模型專門針對復雜任務。
△圖片來源:vivo 官網(注:榜單信息為 23 年 11 月數據)
而作為内嵌于手機内、和廣大手機用户直接互動的大模型,藍心大模型在底層算法上還強調了 3 方面:基礎能力、指令跟随和價值觀取向。
預訓練階段,vivo 在 Transformer 架構上改良了注意力機制、位置編碼等模塊,采用混合精度訓練以及梯度縮放策略縮短訓練周期。采用 "target only loss" 方法,通過聚類分析對指令進行适應性處理,能實現更精準、均衡的指令跟随。
并且專門建立了 300 人規模的專業審核團隊,制定 200 餘項安全審查機制,對模型輸出進行篩查和标注,确保模型價值觀正确。離線采樣策略和雙重獎勵模型等策略,還進一步提升了模型的安全性。
由此,端雲結合大模型能直接以手機為載體,在設備上提供離線 / 在線 AIGC 功能。
vivo 大模型已經支持了兩款應用:
藍心小 V 是 vivo OriginOS 4 上搭載的一款全局智能輔助功能,可提供超能語義搜索(利用自然語言搜索手機照片文檔日程等)、超能問答(快速總結文檔、基于文檔回答問題)、AI 路人消除、智能識屏等能力。
藍心千詢則是一個 AI 私人小幫手 APP。它無需付費,支持 AI 對話和 AI 靈感兩大能力,帶來更多生產力功能,如 PPT 大綱生成、文案創作等。
以上是過去一年裏,大模型產業落地取得的成績。
但從另一面來看,随着趨勢演進,大模型產業落地也浮現出更多復雜問題。
報告關注了四方面問題:
算力短缺
主流架構存在局限
高質量訓練集需要擴展
爆款應用尚未出現
首先,最具代表性的問題體現在算力方面。
大模型規模呈指數級增長,其訓練速度、產出質量都和算力直接相關。一萬塊英偉達 A100,是公認的 AI 大模型算力門檻。但國内能擁有萬卡規模的企業少之又少,相反缺卡才是絕大多數玩家的現狀。哪怕是閹割版的英偉達 A800,也出現了嚴重缺貨和溢價的情況。
我國本土高性能芯片雖在奮力追趕,但與國際領先水平仍存在較大差距。
其次在架構上,主流 Transformer 本身對算力資源消耗就很大,目前提升模型智能化水平主要靠擴大參數規模,動辄千億參數規模意味着消耗巨量的算力資源。而且 Transformer 架構的大模型對存儲設備要求也更高,如 1000 億個參數的 Transformer 模型,存儲這些參數就需要 400GB 的空間。
并且國内的 AI 大模型數據存在質量不高、體量嚴重不足、缺乏數據源調用等問題。行業需要構建高質量訓練數據集。
如悟道語料庫,其包括文本、圖文和對話數據集,最大的僅 5TB,其中開源的文本部分僅為 200GB。作為對比,GPT-3 的訓練數據達到 45TB。訓練數據來源主要來自互聯網、電商、社交、搜索等渠道,存在數據類型不全面、信息可信度不高等問題。以及可供大模型訓練的有效數據源呈現碎片化分散狀态,導致大模型聯網無法直接調用的情況(如微信公眾号文章僅在搜狗引擎支持調用)。
最後,國内大模型領網域仍未出現爆款應用。
報告提出,相比于 ChatGPT 而言,國内爆款大模型應用打造還任重道遠,主要原因在于尚未找到商業化思路,缺乏滿足客户需求的個性化應用。
我國大模型產業要推出爆款級應用,勢必要在應用領網域做深做細,讓每一個用户都可以充分享受到大模型所帶來的的真正便利。
大模型產業通往何處去?
相比于當前,更為關鍵的是大模型產業發展下一步該怎麼走。
尤其是對于中國大模型領網域,產業該如何最大化發揮自身優勢?需要把握住哪些命脈?這關乎中國 AI 在全球格局下的站位。
報告認為,目前我國大模型產業可以從四個方向洞見未來:
端雲大模型滿足不同需求,C 端用户成為端側主要客群。
模型趨于通用化和專用化,垂直行業将成為主戰場。
大模型将廣泛開源,小型開發者可調用大模型提高開發效率。
AI 高性能芯片不斷更新,大模型產業生态體系不斷完善。
第一點,端側大模型成為把握 C 端用户的主力。
原因在于端側大模型成本低、移動性強、更能保障數據安全,主要應用在手機、PC 等終端設備上。
端側大模型接入個人終端設備後,能提供更加個性化的專屬服務。同時還将雲上計算分攤到了終端芯片上,大大降低伺服器成本。
瑞銀預計生成式 AI 智能手機出貨量将從 2023 年的 5000 萬部增長到 2027 年的 5.83 億部,到 2027 年收入将達 5130 億美元。未來面向廣大 C 端用户的端側大模型市場前景廣闊。
第二點,行業大模型将成為主戰場。
報告認為,未來大模型真正的價值體現在更多行業及企業的應用落地層面。
一方面,行業大模型将通用大模型用于形成多領網域能力的資源集中于特定領網域,模型參數相對較小,對于企業落地而言具有顯著的成本優勢。
另一方面,行業大模型結合企業或機構内部數據,為 B 端用户的實際經營場景提供服務,能更加體現模型對于機構的降本增效作用。
第三點,大模型将廣泛開源。
閉源 or 開源是大模型領網域争論已久的話題。報告認為,開源能降低大模型開發者的使用門檻,同時提高算法的透明度和可信度。目前如 GLM、Baichuan、Qwen 等都在開源領網域取得了不錯進展。
小型開發者是推動 AI 應用落地的關鍵力量之一。開源則能進一步提高小型開發者的開發效率。
第四點,高性能芯片不斷更新、產業生态不斷完善。
芯片方面,英偉達作為市場主導還在不斷迭代架構。可以預見未來芯片性能還會不斷更新。
產業生态方面,我國已經初步建成包括算力基礎設施、大模型服務平台、數據平台、大模型及應用場景等層面在内的體系。
各個層級都有代表玩家,如算力基礎設施層面的華為昇騰、服務平台方面的百度千帆、大模型層面的百度、阿裏、科大訊飛、vivo 等。
綜上四個方面,概括了當下對于大模型趨勢的主要展望。
它們最終都指向了一個方面 "大模型接下來将朝着影響更多人的方向發展"。
對 C 端用户的影響、開源、垂直領網域滲透等,都是大模型的逐步破圈。
而且這種大趨勢,其實已經開始發生了。代表性事件就是國内外手機廠商紛紛擁抱大模型。
具體數據可以參考 vivo 的最新披露,目前藍心大模型已經覆蓋了超過 2000 萬用户,實現了2761 萬次高質量問答、畫了1757 萬張畫,寫了649 萬份報告,去掉了85 萬個路人。
同時對于模型本身,手機廠商也在不斷更新、繼續驗證端雲協同趨勢。藍心大模型整體數據量已更新到 " 端側 7B"+" 雲側 70B" 的超大組合,能帶來更好的大模型體驗。
vivo 副總裁、vivo AI 全球研究院院長周圍表示,從產業趨勢來看,投入基礎模型訓練的公司可能會大幅減少,轉而更多的公司去尋找應用場景和爆款應用。
手機正是目前場景落地中,推進比較快的領網域。由此他們也為更多玩家提供了一定參考。
之所以能在手機行業快速形成大模型落地終端趨勢,有以下幾方面優勢:
其一,有設備本身的優勢。
手機現在是覆蓋人群最為廣泛、最為便攜、日常使用次數最多的一塊螢幕。在手機上引入大模型,能最快讓大眾感受到先進 AI 能力;同時作為智能終端,手機本身也需要向着更便捷、智能、專屬化的方向發展,這和大模型的特性不謀而合。
其二,有落地形式帶來的優勢。
手機想要落地大模型,只調用雲端大模型無法全面覆蓋使用場景,端雲協同是一種必然。這一形式對于算力的處理方式,加速了大模型應用落地。
其三,有手機廠商本身帶來的優勢。
在大模型趨勢裏,手機廠商屬于場景玩家隊列,目前業界已經達成共識,在大模型應用落地過程中,場景玩家基于多年對行業的理解,能夠更快速形成閉環,正向推動落地進程。加之大模型應用開發需要遵循人機加互動基本邏輯,手機廠商對于互動的深刻理解,也能為大模型落地個人終端提供更多經驗參考。
總之,對于我國大模型產業而言,機會正在不斷湧現,手機行業已經搶先得到驗證。
大模型 +,未來已來
來到 2024 年,行業内外默默達成共識,這會是更 AI 化的一年。
如今,随着人民網在博鳌亞洲論壇上發布《2024 年中國 AI 大模型產業發展報告》,正式為這一趨勢帶來了官方定調。
這一動作,不僅能推動 AI 大模型向更多行業滲透,更是對當下大模型產業的肯定。它給產業帶來信心、鼓勵生态圈内各層玩家繼續向前,更從宏觀層面給出了發展建議,為下一階段集中資源解決核心問題提供綱領建議。
更關鍵的是,普羅大眾在 2024 年的春天收到了明确信号:
歡迎來到大模型 + 萬物時代。
報告獲取地址:
http://finance.people.com.cn/n1/2024/0326/c1004-40203918.html
— 完 —
點這裏關注我,記得标星哦~
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>