今天小編分享的科技經驗:大模型半年記:海選結束,正賽開始,歡迎閱讀。
這可能是人工智能概念提出 70 年來,最魔幻的半年——上半段各路大神下場卡位,互聯網傳奇回歸,廣發英雄帖 " 搶人 ";下半段潮水漸退,人們迅速意識到,大模型不是神,落地才是它的終極歸宿。
華為輪值董事長胡厚崑概括出了當下入局大模型的企業在做的兩件大事,做大模型以及做大模型在不同行業的應用,所謂 "AI for science,AI for industry"。拓爾思總裁施水才直言,大模型的較量已經從比參數、拼算力、秀牛人過渡到了講落地、謀收入、求價值。
" 局中人 " 那些分享裡,有對大模型帶來革命性變革的興奮,也有對技術、安全、基礎設施等的冷靜思考。但這些并不妨礙諸多共識的達成,比如大模型絕不是一場華麗的煙花秀,它可能會重塑每一個行業,未來基礎大模型和行業大模型将實現錯位互補。
找行業,找場景,找價值,圍觀為期三天的世界人工智能大會,這一點變得越發明确。我們通過各種機會各種場合「對話局中人」,既為近距離觀察大模型提供了一個切口,也足以意識到,大模型 " 落入俗套 " 的開始,或許也正是人工智能真正賦能生產力的開始。
百度集團科技與社會研究中心主任餘歡:做大模型不是為了 " 打榜 "
ChatGPT 剛推出的前幾個月,包括文心一言與大家見面的時候,人們确實存在各種各樣的甚至有些不切實際的期待。但經歷了一段時期的發展,人們在嘗試将其落地的過程中,也發現一些原本認為大有可為的事情可能短期内很難實現,于是逐漸放棄了一些不合理的幻想。這就回到了最現實也最原始的問題,即我們要拿大模型做什麼以及能不能做成,這個過程自然 " 擠掉 " 了一些新技術剛出現時帶出的泡沫。
至于 " 買預期 " 的資本市場,本身就會存在一定的泡沫。任何一種新技術的出現都會伴随泡沫的產生。泡沫代表着期待與未來,我們與其關注泡沫的大小,不如關注泡沫是會砰地一下爆炸,還是會逐漸收縮後實現良性發展。
從長期來看,這一波 AI 的确定性非常高,只是無法一蹴而就的跨越式發展,一些場景的落地可能還需要更長時間的打磨。事實上,大模型的 To B 產業落地并不是那麼功利性的,也不像 C 端應用,會在極短時間内膨脹成一個 " 爆款 "。最重要的是,我們要給大模型更多的耐心,給它一定的時間去發展。
雖然現在看起來大模型發展飛速,但整體上來說還處于剛剛通過 " 預賽 " 階段。也就是說我們要在全球範圍内參與競争,首先要有上牌桌的能力,當下只能說是第一波海選結束了,一些選手突圍,可以參與後面更見實力的競争了。
從這個意義上說,正賽階段可能也只是剛開始。以 ChatGPT、文心一言為代表的大模型,只是通用人工智能這個大方向的一個起點,讓大家看到了一些可能性,即便是 " 中點 " 也相去甚遠,畢竟全球範圍内 AI 原生應用都尚未大規模落地。
下一個階段,拼的就是體系化的實力了。未來,作出千億級參數的模型可能并沒有那麼高的門檻,但做大模型不只是為了比賽 " 打榜 ",最終的目的仍然是要與產業相結合,這樣才能體現出價值。實現這一目标,要拼技術,但也不能只拼技術,更需要看行業理解、服務能力和生态繁榮度。
九章雲極 DataCanvas 聯合創始人尚明棟:未來半年會有更多垂類模型落地并形成标杆示範
大模型的行業應用落地正處于起步階段,這個階段既充滿了挑戰,又充滿了機遇。一方面,企業需要準備算力、數據以及基礎軟體設施的更新,以适應大模型的需求;另一方面,大模型作為一種新事物,需要找到最容易體現其價值的業務場景結合點。
目前,大模型仍然面臨着算力成本高的問題。通識模型至少需要擁有千億參數規模以上,而垂類大模型的參數規模在 70 億 -300 億之間已經足夠勝任。同時,随着 AI 基礎軟體的算力調度和優化以及訓練數據集質量的提升,大模型的訓練、推理和管理成本正在逐步降低。
當我們真正将大模型的能力應用于各行各業時,大模型必然已經具備了低成本、便攜性以及自主可控等條件。垂類模型的行業落地需要一個快速嘗試、驗證、調整、再迭代的過程。未來的半年将會有更多與行業結合的場景落地,從而形成行業的标杆示範。
這些先行行業往往是那些已經具備了一定小模型基礎的企業,因此在大模型時代可以更加緊湊地将模型與業務結合起來,加速迭代過程。如果說 0-1 階段是像小馬過河般的探索階段,那麼基于現有的數據、算力以及 AI 基礎軟體等基礎設施,1-10 階段将會是一個更加快速的普及過程。
雲天勵飛副總裁、AI 技術平台總經理肖嵘:可以考慮制定評測标準考驗大模型 " 三觀 "
傳統的模型是訓練一個模型只能做一件事,但生成式模型的特點是可以做通用性的應用,優點是通用,缺點就是準确性偏低,所以也就造成了生成式模型 " 幻覺 " 等情況的出現。
而且大模型的邏輯性也很弱,這就導致大模型在文生圖、翻譯、會議摘要等對準确性要求不高的場景中展現的能力還不錯,但在一些對精度要求比較高的場景,如決策等方面的能力,依然還比較有限。
這就需要解決四個問題。首先是事實确認和引用,需要确保事實能夠有效溯源。第二是工具的使用和外部知識整合,讓語言模型知道什麼時候調用什麼樣的工具、怎樣調用工具、返回結果後又怎樣整合到回復中。第三是邏輯推理,我們需要研究是否有更系統性的方法針對性地提升這方面能力。
第四就是持續學習,現在大模型結束一輪對話後,再開啟新的對話,可能就會遺忘之前的内容。這種遺忘更多不是技術上要求的必須遺忘,而是我們并沒有很好地解決這種學習問題,仍要擔心大模型被 " 帶跑偏 "。但其實學習能力是很重要的一件事,如果在一個新的問題上,通用智能的能力與人類還差一大截,那一定不能稱為真正的智能。所以大模型就需要擁有持續學習的能力,并且能夠在場景中提升這種能力,最終趕上人類或者超過人類,才能使模型真正具有價值。
而且大模型也會存在一定的安全問題,我們在訓練模型後,這些數據都有洩露的風險。而且大模型在學習的過程中,如果 " 喂 " 的數據帶有偏見,大模型也會對此進行吸收,進而形成自己的世界觀、價值觀,如果數據有問題的話,學出來的東西自然就是有問題的。為了解決這種安全問題,可以考慮通過制定評測标準、設定準入機制等,去考驗大模型的 " 三觀 " 是否有害。
英偉達中國區首席技術官賴俊傑:将任務負載從 CPU 移至 GPU,整體能耗将節省更多
過去 6-10 個月,我們觀察到全球數據中心在計算問題上呈現出了兩個重要的趨勢,第一是以 ChatGPT 為代表的應用大大提升了人們對人機互動能達到的高度的期待,并在全球產學研等領網域引發了巨大浪潮,也引發了人們對于通用人工智能更多的思考和讨論。
第二點就是很多大型公司,特别是大型互聯網公司,在面對越來越多的業務需求、用戶請求時,逐漸遭遇功耗瓶頸。也就是說數據中心計算任務裡面,人工智能大模型、AIGC 應用占比越來越高,對算力的要求也日漸提升,而算力也在一定程度上意味着更多能耗的投入。
針對第二個趨勢,英偉達認為,在支撐同樣多用戶請求的前提下,如果能夠将更多任務負載從 CPU 移植到 GPU 上,整體能耗将會節省很多。
當然這也不意味着 GPU 适合所有類型的工作負載。GPU 設計之初主要面向并發度比較高或者計算密集度比較高的并行類應用程式,我們仍然需要利用 CPU 去進行一般問題的解決。而且最近還出現一種趨勢,即為了能夠讓 CPU、GPU 不同類型處理器之間高效且安全地傳輸數據,數據中心内部還需要一類新的處理器 DPU。
以前程式員在程式設計的時候,大多數時候只是抽象出一台計算機,擴充編程目标更多面向的一個 CPU。但随着人工智能、機器學習,特别是大模型在不同行業的應用,程式員在做分布式訓練等任務的時候,要考慮的就不僅僅是一台計算機或者一顆 CPU 那麼簡單,而是要考慮整個數據中心如何高效利用起來,也就是說,數據中心越來越成為新的計算單元。
螞蟻集團機器智能部副總經理、螞蟻安全天筭實驗室主任張天翼:大模型的風險解決沒有靈丹妙藥
大模型帶來的長遠價值已經成為一種共識,在算力、數據等方面,一些大公司可能會有先發優勢,但大模型同時帶來的也是全生态的機會,一些很小的企業也可能在下遊應用上迅速打開局面。在這種背景下,未來做大模型的門檻可能更需要從風險和風控的角度來理解。
大模型更廣泛的應用帶來了很多風險隐患,比如内容安全、隐私、合規、倫理等難以界定的問題,一旦一個廠商提供這樣深層次的内容服務時,必然會在行業自律或者監管角度面臨更高要求,也就是說風險自律及本身可控生成的能力,會成為未來大模型實力水平很重要的門檻。
具體而言,大模型的風險可以劃分為三類,第一技術類風險,模型本身是否會被攻擊、突破和劫持,第二是產業風險,是否會帶來壟斷和勞動替代,第三是社會内容類風險。
大模型的風險要如何解決,這不是一顆靈丹妙藥就能立刻解決的問題,而是一個長期對抗和博弈發展的過程。一個例子是,現在安全行業有一個很直接的應用,就是利用大模型來對抗更多大模型當中的風險,這可能也會是一個用魔法打敗魔法的必然方向。
北京商報記者 楊月涵