今天小編分享的科技經驗:中國大模型到底什麼水平?,歡迎閱讀。
圖片來源 @視覺中國
文 | 白馬商評
" 都快成紅海了。" 當我和一個創業者聊起大模型的時候,他直接甩了這句話給我。
去年 11 月,OpenAI 發布基于 GPT-3.5 的 ChatGPT,瞬間引爆大模型的熱潮。半年多的時間,中國出現了 " 百模大戰 " 的局面,BAT 等頭部互聯網公司和人工智能公司基本都對外宣布了自己的大模型。
5 月初,360 掌門人周鴻祎對外稱," 如果不經過兩年的模仿和抄襲,上來就說自己能超越,那才叫吹牛呢。" 僅僅一個月後,周鴻祎就表示," 我原來說國内大模型跟國外差距兩年,我收回這句話,今天已經接近國際水平。"
有人感慨,半年就追上 ChatGPT 了,大模型似乎也不難。那麼,大模型的核心壁壘是什麼?中國大模型到底什麼水平?大模型在應用層面最先突圍的方向是什麼?
沈為(化名)是某知名 985 高校教授,多年從事機器學習研究,還曾擔任過某頭部券商首席分析師,我們和他聊了聊,試圖揭開大模型的迷霧。
GPT 路徑跑通了,所以有了 " 百模大戰 "
白馬商評:能不能用最通俗簡單的語言解釋一下大模型,大模型是什麼?和以往的 AI 模型有什麼區别?
沈為:所謂大模型就是指模型的參數量大,但學術界并沒有一個清晰明确的定義界定到底多大參數叫 " 大 ",還在快速研究發展階段,一般來講大模型的參數量達到 1 億以上。
其實深度學習的發展大致經歷了三個階段。第一個階段是 2012-2017 年,以影像分割 yolo、影像分類 ResNet 這種特定領網域的小模型為代表,參數量占内存最多也就幾百 MB。
2017 年,Transformer 的問世讓深度學習可以并行化計算,效率更高,意味着可以做大模型的運算,随後產生了 OpenAI GPT 和谷歌 Bert 這類自然語言大模型。這一階段誕生的是特定任務的大模型,模型參數突破了 1 億。
到了 2020 年前後,深度學習進入通用模型階段,它的輸入就是一句帶空格的話,模型的作用就是 " 填空 ",以前是模型适配下遊應用,現在是下遊應用适配模型。這一階段的模型代表包括自然語言領網域的 GPT 3.5、GPT 4 以及影像領網域的 Clip、DALLE、Stable Diffusion、Midjourney 等等。這一階段模型參數可以達到百億、千億級别。
白馬商評:你了解到最早研究大模型是哪家企業或機構?有哪些成果?
沈為:最早是高校和科研機構做相關的研究,我了解比較早的是北京智源人工智能研究院的悟道、鵬程實驗室的腦海,現在產業界的研究也很同步了。學術界的研究有一些成果,但性能沒有 ChatGPT 那麼驚豔。
白馬商評:短短幾個月的時間,國内出現了 " 百模大戰 " 的局面,推出大模型的公司已經數不過來了,你怎麼看待這種現象?
沈為:大模型肯定是趨勢,也一直有人在研究。之前很多公司可能會小範圍投入,做一些淺嘗辄止的研究;現在突然出現了 ChatGPT 這樣一個好產品,大家看到了明确的商業方向,于是都開始加大投入。
另一方面,很多公司面臨商業競争的壓力,不做大模型可能就掉隊了,所以必須上馬大模型項目。
白馬商評:周鴻祎最近說他收回 " 國内大模型跟國外差距兩年 " 這句話,他認為今天已經接近國際水平。這才過去幾個月的時間,大模型好像也不難嘛。你覺得差距有多少?
沈為:差距看跟誰對标吧,我目前沒有體驗過 360 智腦的產品,不太好評價。但是國内有些生成式 AI 產品,我體驗以後感覺跟 ChatGPT 還是有差距的,國内的大模型還需要努力。
重資本投入下,只有頭部公司有機會?
白馬商評:研發大模型的核心壁壘是什麼?
沈為:大模型的核心壁壘包括數據、算力、算法。
從算力上看,訓練 ChatGPT 這樣的生成式 AI 需要至少 1 萬張英偉達 A100 顯卡,單張顯卡的價格目前是六七萬,性能更優的 V100 單價 8 萬元人民币,也就是說光算力投入至少就要達到六七個億以上,只有少數頭部公司和機構能承擔得起。對于商業機構而言,花幾個億買一堆顯卡,還不一定能產出成果,這是必須要思考的問題。
接下來是數據和算法,算法比較好理解,比如框架開發、算法優化。數據方面,中國不缺數據,甚至互聯網數據比美國還要多,但是選擇哪些數據去訓練、采用什麼樣的方式處理,這些都是核心的壁壘。
白馬商評:你平時會跟企業交流嗎?非營利性的研究機構和企業在研究上有什麼區别?
沈為:我們會跟企業的研究部門有一些交流。跟企業交流我們會更加了解實際的業務需求,有時候我們做的學術研究會更關注技術前瞻性,對落地性要求不那麼高;但企業一般更強調落地性。
白馬商評:你有沒有研究過國内的大模型?最看好哪家?
沈為:可能還是頭部公司能跑出來吧。一是重資本的投入,只有頭部公司有實力;二是幾家頭部公司手裡的數據更豐富;三是在人工智能領網域已經有了一段時間的技術積累。
白馬商評:你最看好的大模型應用是什麼?
沈為:從技術角度看,最先應用的應該是自然語言處理和影像領網域,語音識别可能要晚一些。
大家看到比較多的用 ChatGPT 來寫文案,這類内容創作的應用越來越多,其他我覺得像智能客服這種應用應該也會比較快。現在的一些智能客服很多時候理解不了用戶的需求,解決不了實際問題,如果讓用戶區分不出到底是人還是機器人,體驗就會改善很多;包括遊戲中的 NPC,以前的對話是 " 寫死 " 的,現在漸漸可以互動了,玩家體驗也會更好。
白馬商評:你原來做過頭部券商的首席分析師,從投資角度看,你覺得大模型有哪些機會?
沈為:資金炒作的邏輯是從應用到算法、模型,再到算力;產業的邏輯反而是相反的,算力是有明确的增長預期的,所以英偉達最近上漲很快、很多。投資者現在也明白了,誰家的大模型能跑出來、能變現還需要驗證,但是增加的資本投入大部分都投到了算力。經過反復炒作,普漲行情應該已經告一段落,後面需要邏輯驗證和業績兌現。
我原來主要看傳媒互聯網行業,比如前段時間比較強勢的遊戲板塊,資本的邏輯一是應用大模型提升研發效率、降低成本;二是大模型帶來更好的體驗,NPC 角色更智能,最後用戶的粘性提升、UP 值提升。當然,最終可能還需要業績驗證。
人類無法左右 AI,甚至無法左右自己的命運?
白馬商評:我們看到包括奧特曼、馬斯克都對人工智能的安全性問題提出過擔憂,現在我們只知道通過大模型訓練出現了智能化的結果,但訓練過程像一個黑箱,其實挺可怕的。你怎麼看待安全問題?
沈為:在安全方面,首先我觀察到幾個反常的現象。第一個是今年 3 月包括馬斯克、蘋果公司聯合創始人史蒂夫 · 沃茲尼亞克在内的 1000 多人籤署了一份公開信,呼籲暫停訓練比 GPT-4 更強大的 AI 系統。
第二個是,今年 5 月谷歌首席科學家、已經 75 歲的 "AI 教父 " 傑弗裡 · 辛頓辭職,他離開谷歌的直接原因是擔憂人工智能的危險,甚至對自己一生從事的工作感到後悔。
第三個是近兩年學術領網域訓練大模型新增了倫理讨論。
目前來看,我覺得大模型還是可控的,沒有大的問題;但是技術發展太快了,出圈以來短短幾個月的時間,GPT 就又經歷了幾次迭代,發展速度太快,越來越智能,會不會產生自主意識,不再聽人類的 " 使喚 ",走向失控?這個問題是大家擔心的。
白馬商評:你覺得 AI 會不會造成大量失業?在 AI 面前,普通人怎麼保住工作?
沈為:從宏觀上看我不覺得 AI 會造成大量的失業,人類總會有工作的,只是說人的工作内容會發生轉變。當然,從個體角度看肯定會出現結構性的失業,我們只能不斷學習。
白馬商評:之前很多人說機器沒有感情、缺乏想象力,取代不了人類;現在既然人類大腦可以通過 AI 模拟出來,那人類的情欲、性欲是不是未來也可以模拟,荷爾蒙、多巴胺這些不過是一種生物學的獎勵機制嘛。
沈為:機器沒有感情是當前的假設,人工智能越來越接近人的思考模式,那是不是就會產生類似于人類的 " 感情 "?只是他們和人類生活在不同的空間維度,就像《流浪地球》裡圖恒宇的女兒。人工智能可能會產生自己世界類似于人類的生物學意義上獎勵機制。
白馬商評:如果一切都可以計算、規劃、設定,是不是有點無趣?
沈為:AI 的行為并不是人類預測和規劃的,而是他自我強化、自我訓練的結果,《流浪地球》裡 MOSS 的決策是自己做的,而不是服從人類給的指令。
白馬商評:矽基文明取代碳基文明是不是确定性的方向?
沈為:這個問題超綱了。按照目前的發展趨勢可能是這樣的,就像《流浪地球》裡真正主宰人類命運的是 MOSS,而不是人類;但現實中也有可能技術會停滞在某個階段,跨不過去,畢竟技術發展不是線性的。
更多精彩内容,關注钛媒體微信号(ID:taimeiti),或者下載钛媒體 App