今天小編分享的互聯網經驗:大模型競賽,賽點在哪?,歡迎閲讀。
AI 浪潮的席卷速度,超過了以往任何一場技術革命。
OpenAI 剛剛成立的時候,AGI(通用人工智能)仍是一個不切實際的理想。不少學者認為,與其花精力去研究一個如人類般通用的人工智能,不如去琢磨琢磨永動機,後者可能更現實點。
當時,連 OpenAI 的首席科學家伊利亞,都不敢和人聊這個話題,因為會在圈子裏低人一等 [ 1 ] 。
僅僅過去了不到 10 年,AGI 已經成為了一種共識。前些天,奧特曼與黃仁勳都不約而同地表達了同一個觀點:AGI 很有可能在 5 年内成為現實。
而在眼下的 2024 年,AI 将進一步加快重塑社會的腳步。
最後一道障礙
在中國的科技叙事中,AI 并不是一個新詞。
2016 年,谷歌 AlphaGO 戰勝李世石,登上了全球新聞媒體的頭條,國内的創業者開始蠢蠢欲動。第二年,谷歌又跑來烏鎮與柯潔下了場棋。
在這短短一年時間内,國内湧現了 528 家 AI 企業、371 起 AI 投融資、9000 多項 AI 專利 [ 2 ] 。
當年的互聯網大會上,官方發表了一份題為 " 烏鎮指數 " 的報告,方方面面介紹了人工智能創業的盛況。然而,人工智能熱潮只持續了三四年,便偃旗息鼓。
因為在當時,AI 多為參數量較小的小模型,只能處理定制化任務。
面對某個具體任務,科技公司需要先收集并标注對應的數據,再用這些數據去訓練,從而讓 AI 獲得特定的能力。
舉個例子,許多中式快餐店,都有自動識别菜品并計算金額的 AI。為了打造這一系統,科技公司需要先收集小炒肉、番茄炒蛋等菜品的影像,并給每張圖示注好菜名與價格,再用這些數據去訓練 AI。
盡管小模型的技術含量不低,落地方式卻和施工隊無異,這讓 AI 失去了光環。
而打破這一瓶頸的,正是誕生于 2017 年的 Transformer 算法。
它最大的變革,是解決了過往的 RNN 等算法,難以處理大規模參數的問題,從而打造出具備通用能力的 AI。至此,大模型一詞開始登上歷史舞台。
随着底層技術取得突破,科技公司的大模型迭代,呈現出了一條非常陡峭的曲線。
外界對于大模型的認知,多始于 2022 年底發布的 ChatGPT。但在水面之下,相關研究早已如火如荼。
例如 2019 年,一批清華知識工程實驗室的技術人員,走出象牙塔創辦了智譜 AI。
從第二年開始,智譜 AI 開始專注于研究國產全自研、自主可控基座大模型,是國内第一批研究大模型算法的公司。
2021 年,智譜 AI 的 7 位研究員,共同發表了論文《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》,提出了一種不同于谷歌 BERT、OpenAI 的 GPT 的預訓練架構 GLM。
在自然語言理解、無條件生成、條件生成這三個主要任務上,GLM 表現優異。
以 GLM 架構為基礎,智譜 AI 于 2021 年發布了第一款模型 GLM-10B。此後三年間,GLM 又歷經多次技術迭代。
2024 年 1 月,智譜 AI 推出了新一代基座大模型 GLM-4,在基礎能力、指令跟随能力、中文對齊能力等方面全面看齊 GPT-4,模型能力實現質的飛躍。
不僅如此,GLM-4 還擁有強大的上下文能力,可以在 128k 文本長度内做到百分之百精準召回,并具備多模态的能力。
當然,智譜 AI 只是國内大模型研究的一個切面。
這些年,幾乎全世界的科技公司都撸起了袖子大搞創新,OpenAI 的研究員甚至自發高強度内卷,每天研究到凌晨到 1 點多。
2024 年初,北京市人工智能產業投資基金參與智譜 AI 的新一輪融資,進一步加速大模型發展。
AGI 改變社會,不再是将來時,而是進行時。
造鐵路更重要
縱觀歷史可以發現,波瀾壯闊的技術革命,往往有這樣一條規律:
技術革命的最大受益者,通常不是率先做出突破的開拓者,而是那些率先将技術擴散出去的一方。
當年的工業革命尤為明顯:
許多創新都始于歐洲,然而美國卻一躍成為工業強國;最重要的原因,莫過于美國率先建立起了龐大的鐵路網絡,将工業成果落地。
在 1870 年到 1900 年的短短三十年間,美國新造了 17 萬英裏的鐵路,将原本的鐵路系統延長了近 3 倍。
這一規律,在 AGI 時代同樣适用。
去年,著名計算機科學家吳恩達曾在斯坦福做過一場題演講。他同樣認為,AI 其實和電力、互聯網一樣,是一項通用技術;更多的機會,在于大規模應用落地 [ 4 ] 。
然而,當下整個行業對于 " 造鐵路 " 的探索,其實仍處于較淺層的階段。
主流的聊天機器人產品,更多只是簡單給通用大模型套了個殼兒,并沒有與市場需求深度貼合。
這就導致大模型已經火了近一年半,但對普通人生活的影響,并沒有想象中那麼翻天覆地。
因此,以智譜為代表的 AI 公司,開始在商業化落地上做出更多嘗試。
過去一年時間,智譜 AI 的 GLM 大模型,已經在智能汽車、金融、咨詢等領網域取得了一定成果。目前,智譜對于大模型落地的探索,大致可以拆抽成三個方向:
一是革新傳統的互動方式。
在消費電子、汽車等行業,對話互動并不是一個新物種,被廣泛應用于智能音響、新能源汽車等產品上。
然而,傳統的對話互動并不好用,其回復内容多根據給定的模板生成,較為生硬,且對于語音指令的理解率也較低。
因此,智己汽車嘗試在車機系統中,部署了智譜 AI 的 GLM 大模型。
新版的對話互動功能,不僅大大提升了指令識别的能力,同時還能實現更多趣味性對話,例如切換聊天人設等等。
二是降低知識流動的邊際成本。
眾所周知,營養師、律師等專業人才的培養,需要耗費非常多時間成本,導致知識流動的邊際成本較高。
相比之下,擁有大量知識儲備的通用大模型,可以加速知識的流動。
例如蒙牛與智譜 AI 合作,打造了一個 AI 營養師助手,實現了健康測評、營養計劃制定、運動計劃制定等功能,仿佛一個貼身營養師。
三是減少重復性腦力勞作。
事實上,腦力勞動中有大量重復性勞作,例如整理會議紀要、PPT 排版等。
因此,WPS 與智譜 AI 合作,推出了智能辦公助⼿產 WPS AI。
針對文字編輯、PPT 演示文檔等場景,提供一系列輔助功能,例如生成會議紀要、公文等等,從而讓更多人專注于創造性工作中。
智譜 AI 在 " 造鐵路 " 上的探索,給業界提供了一個可供參考的模板。
過去幾個月,不論是中國還是美國的 AI 公司,都加快了 " 造鐵路 " 的腳步。
目前,業界已取得了一些階段性成果。然而,商業落地只是技術革命的 A 面;水面之下,創新生态的建設同樣重要。
誰來造鐵路?
2016 年,谷歌大腦團隊率先将深度學習技術應用于翻譯軟體中,在中英文翻譯上取得了巨大突破。
彼時,谷歌能夠在 " 造鐵路 " 上先行一步,背後其實是一整套創新生态在發揮作用。
當時谷歌翻譯的理論基礎,來自于人工智能泰鬥辛頓的學生、現 OpenAI 首席科學家伊利亞的研究成果。
彼時,他在論文中介紹了改良版的 RNN 算法,并展示出了它在翻譯等 NLP 任務上的潛力。
而這篇論文,發布于 2014 年的 NIPS 大會——它是全球最頂級的 AI 學術會議,許多創新都誕生于此。
在美國,高校、頂級學術會議、產業等環節,彼此高度相關,構成了一個活躍的創新生态。而在工業革命期間,美國能夠更快建設起鐵路,也是因為當時的創新氛圍,培養了大批活躍的工程師。
事實證明,想要把 " 鐵路 " 造好,光靠個人努力顯然不夠,需要發動更多人一起參與創新。
當下,智譜等科技公司也深知不能閉門造車,在大模型產業生态圈建設上付出了不少努力。從 2022 年開始,智譜開始着手于開源生态的建設。
這一年,智譜首次開源了具有 1300 億參數的雙語雙向稠密模型 GLM-130B,深受開源社區歡迎。
自 8 月發布以來,GLM-130B 模型已經收到了來自 70 餘個國家、1000 餘個研究機構的使用需求。
開源的意義,在于 " 眾人拾柴火焰高 ",是推動技術創新的一種重要方式。
因此,智譜繼續延續了這一做法,開源了單卡版模型 ChatGLM-6B,對學術研究完全開放,企業在登記獲得授權後,也可免費商業使用。
在這基礎上,智譜 AI 也在努力構建學術生态,不僅贊助了包括 NIPS 在内的全球頂級學術會議,并且與 CCF(中國計算機學會),以及國内各大高校展開了合作,設立首屆 CCF- 智譜大模型基金等贊助計劃。
除此之外,智譜 AI 也鼓勵更多創業者加入到大模型浪潮之中。
智譜 AI 推出了 ChatGLM 金融大模型挑戰賽、大模型開源基金等扶持項目,共同建設繁榮的國產大模型生态圈。
建設創新生态,是一個打地基的過程,其實相當重要——畢竟,這直接關乎了 " 造鐵路 " 的速度。
尾聲
" 造鐵路 " 這件事,其實并沒有看上去那麼簡單。
去年 9 月,紅杉資本曾發表過一篇文章,認為 AI 浪潮正轉向 " 第二幕 ",即利用新技術端到端地解決現實社會中的問題。
但當時的紅杉認為,進展效果并不理想,大模型仍需要證明價值 [ 5 ] 。
智譜 AI 在商業化落地的初期中,還遇到了不少現實問題。例如,國内的 SaaS 產業本就沒有海外發達、不同公司對模型部署以及數據合規有不同的要求等等。
幸運的是,智譜 AI 很早就開始了商業化的探索,并找到了一條行之有效的解法。
3 月 14 日的智譜 AI 發布會上,公司 CEO 張鵬介紹了過去一年的商業化成果:2000+ 生态合作夥伴、1000+ 大模型規模化應用、與 200 多家企業深度共創。
智譜 AI CEO 張鵬
真正意義上的 "AI 第二幕 ",如今正以超乎預期的速度鋪開。
某種意義上,眼下的盛況,其實與 19 世紀末的美國其實頗為相似,越來越多地人都開始投身于 " 造鐵路 " 的事業當中。
如何将 " 鐵路 " 造得又快又好,已是當下 AI 行業最重要的議題。因為将關系到未來中國的科技公司,能夠在人工智能的產業分工中,掌握多少話語權。
參考資料
[ 1 ] 深度學習革命,凱德 · 梅茨
[ 2 ] 烏鎮指數:全球人工智能發展報告(2017)
[ 3 ] The Key To Winning The Global AI Race,NOEMA
[ 4 ] Andrew Ng: Opportunities in AI - 2023,Stanford Online
[ 5 ] Generative AI ’ s Act Two,Sequoia
作者:陳彬
>