今天小編分享的科技經驗：狂奔一年後，面壁者決心“破壁”，歡迎閱讀。
出品 | 虎嗅科技組
作者 | 王欣
編輯 | 苗正卿
頭圖 |《奧本海默》
" 世界上不需要超過 5 個或是幾個大模型，我覺得這完全跟當年 IBM 的董事長的論調——世界不需要超過 5 台計算機是一模一樣，是非常短視的。" 面壁首席科學家、清華⼤學長聘副教授劉知遠對虎嗅表示，" 我認為未來的大模型就像是 CPU 一樣，無處不在。所以我們首先要做的是降低成本，讓每個人有屬于自己的若幹個大模型來支持生活、學習和工作。"
這是近期中關村初冬的早晨。2024 中國人工智能大會 ( CCAI 2024 ) 像呈燎原之勢的大模型產業切片，匯集了 AI 新銳企業和學者。此時距離劉知遠在 CCAI 2024 端側專題論壇發表 Densing Law 主題演講，不足一小時。
在眾多 AI 企業中，面壁從路線、模式甚至名字，都顯得又些另類。當劉知遠坐在我面前，這些另類似乎都找到了答案源頭——他的身上，學者的儒雅和接地氣的一面達到了奇妙的平衡比例。
巧合的是，在交流的前一天，llya 發表了預訓練時代将會終結的判斷，又撼動了一些從業者對于大模型和 AGI 的信心。
劉知遠也觀察到，目前國内已經有大模型公司放棄預訓練。" 這種事情在歷史任何時刻都會存在 "，就像 2000 年互聯網泡沫破滅時，不堅定的參與者批量離場，"很多人看到大模型這個方向火，然後加入進來，這樣的人，他一定會在遇到挫折的時候率先退場 。"
" 數據差不多耗盡了，接下來的确會面臨，模型可持續訓練的未來的發展瓶頸 "，但劉知遠認為：" 通過強化學習或者合成數據依然可以制造更多數據，明年仍然還是快速發展的階段。"
這一瓶頸是劉知遠在一年前就預判到的問題：" 半年之後，國内一定有五六家可以把 GPT-4 水平的模型做出來，那還有必要做這個事情嗎？"
從商業上考慮 " 投入了幾千萬，市面上五六個同類型的模型，你怎麼能确保你的模型能賣得的比别人都好？"
因此一年前，脫胎于清華 NLP 實驗室的面壁智能，就開始專注端側模型的路線。
交流結束後，劉知遠上台分享了近期團隊的研究成果。正是 Scaling Law 遇到瓶頸後的 " 破壁之法 "，預測大模型發展的另一視角——大模型密度定律（Densing Law）—— 模型能力密度随時間呈指數級增長。
就像摩爾定律背後的核心其實是有效地提升芯片上的電路密度，而不是簡簡單單的芯片尺寸。大模型行業也有着和摩爾定律相似的規律，和芯片的電路密度類似，大模型的能力 " 密度 " 也在提升，這意味我們能用更少的參數實現相同的智能水平。
模型能力密度提升意味着——如果一個 4B 的模型能實現 40B 模型的效果，那麼它能搭載運行的終端範圍會大大拓寬，比如原來伺服器上的模型，就可以直接在手機上運行，它的應用範圍也就拓寬了。
以下為虎嗅與劉知遠一對一交流實錄：
虎嗅：最近半年你關心的問題是什麼？
劉知遠：現在算力浪費現象嚴重，導致模型訓練成本過高。歷史上，IBM 曾預測全球僅需 5 台大型計算機，但如今我們有 13 億台 PC、70 億部手機和數百億聯網設備，以及 2000 億個 CPU 在運行。有種說法是世界上不需要超過 5 個或是幾個大模型，我覺得這完全跟當年 IBM 的董事長的論調一模一樣，是非常短視的。我認為未來大模型應像 CPU 一樣普及，讓每個人都能擁有大模型來改善生活、學習和工作。因此，降低成本是關鍵，來讓大模型達到信息革命 PC 機的時刻。（虎嗅注：密度定律表明，達到相同能力的模型參數指數遞減，2023 年以來每 3.3 個月減少一半，相應模型推理速度提升一倍。例如，GPT-3.5 級模型在過去 20 月内 API 價格下降至 1/266.7，約 2.5 個月下降一倍。）
虎嗅：llya 最近表示預訓練毫無疑問将會終結，訓練模型需要的海量數據即将枯竭。你如何看待他的觀點？
劉知遠：我覺得他說了一部分的這個正确的事情，現在數據差不多耗盡了，可能接下來的确會面臨，模型可持續訓練的未來的發展瓶頸。因為所謂的 Scaling Law 有兩個基本的支撐點，數據和算力。llya 主要還是強調的數據問題，但是其實我們會認為算力也是關鍵問題，随着這個模型變得越來越大，訓練算力成本有限。如何支撐這個模型可以去有效 scale？所以我們會認為 llya 提出來的是合時宜的，解決方案還要探讨。
其實我們在去年的時候就意識到這個問題。
虎嗅：目前國内有公司已經陸續放棄預訓練，你怎麼看？
劉知遠：大模型是去年才開始火的。所以我們會認為，很多看到這個方向火然後就加入進來，這樣的人，他一定會在遇到挫折的時候率先退場。這是必然的。因為在歷史上的任何的時刻都會存在這樣的事情，就跟千禧年互聯網興起的時候，也有很多人被吸引想要參與，但是互聯網泡沫破滅時，就會主動地或者被動地退出。
虎嗅：這可能跟明年哪些新的趨勢有關系？ 你對明年大模型發展的預判是什麼？
劉知遠：可以看到就是的，不管是比如說這個推理，還是說 Agent，還是說别的強化學習等等，就是包括 o1 他提到的各種各樣，其實回歸到本質的話，其實無非就是要想到某種辦法，然後能夠為這個模型來提供更多數據。
比如 AlphaGo 先從人類積累的數據來學習下起，所有的基礎都學完後，就出現 AlphaZero 讓下圍棋的 Agent 跟自己下棋，來產生更多數據。
如果我們控制這個模型的參數規模不變，我們可以随着技術的發展，把更多能力放進去。也就是說模型的規模不變，但是模型的這個知識量密度在增加。所以我覺得面向未來其實仍然大有可為，明年一定還是快速發展的階段。
這個過程其實就像是，科學技術的發展，來對抗這個世界的熵增的過程，就像芯片是要通過技術進步，來改善算力密集度，以更高的質量，更低的價格來達到相同的能力。
虎嗅：一年前是如何提前預判到行業目前現狀的？為什麼那時開始專注端側？
劉知遠：這個涉及到對技術的預判。就是在去年初的時候，ChatGPT 的橫空出世，其實是讓很多人震驚。因為大家都還不知道這個東西到底是怎麼訓練出來的。但是經過大家快速的研判和探索，實際上在去年的大概到 4 月份，已經大致找到了到底如何達到相同水平的路徑。
我們那次判斷是：國内是到 2023 年 12 月實現 GPT-3.5 水準的模型能力，差不多需要一年的時間。
事實證明我們的判斷是對的，因此 2023 年 4 月份 GPT-4 發布時，我們預計國内一定會在 2024 年的六月份前做出 GPT-4 水平模型。
所以我現在想問你，如果你是我們這個團隊的決策者，你發現一年後國内一定有五六家可以把 GPT-4 水平的模型做出來，那還有必要做這個事情嗎？問題是在于 GPT-4 的模型能力，至少需要幾千萬美元的算力。
當然，技術上是可以做的，但你做出來之後，你怎麼把這個錢給賺回來？你投了幾千萬。但市面上有五六個同類型的模型，你怎麼能确保你的模型能賣的比别人都好？
也就是說在我們确保技術上可行的時候，得去看這件事情在商業是不是值回成本的一件事情。
所以我們會認為應該更加重視的是極大地去降低訓練模型的成本，極大地提升用相同的成本訓練出來的模型品質，所以那個時候我們堅持的是這樣的事情。這件事情其實事前我們并沒有那麼多信心一定是對的，當然事後的話證明我們是對的。
虎嗅：你怎麼看現在有公司也開始轉向端側了？
劉知遠：是的，我覺得這是好事。這是理性的決定。因為你不走向端側，那就說明你還沒有做出理性的決定。
虎嗅：你覺得未來這樣公司會越來越多嗎？
劉知遠：一定會。
虎嗅：經歷過這一年之後，你的感受是什麼？
劉知遠：我覺得學到好多事情。因為我是作為清華的老師，去參與創業。我覺得這的确是一個大的時代，一定要抽身參與其中，但是這裡面其實對我來講有很多新鮮感受。
我們最近幾個月其實一直在嘗試着去總結說我們到底怎麼辦？後面的路怎麼走？因為這件事情是充滿不确定的。
llya 的判斷出來後，很多人對 AGI 信心又撼動了。是不是 llya 說的就一定是對的？或是我說的就一定是對的？
這個世界本身就是充滿非共識的。真正創新的東西才是推動科學發展的力量，所以其實我覺得還是要能夠去尋找，歷史上的一些蛛絲馬迹的規律，來指導着我們往前走的方向。
我一直跟實驗室的同學說要實事求是。不要因為你在這方向上取得了優勢和一些積累，你就會認為這個方向就一直是對的。
我們團隊其實從 2010 年開始，就在做自然語言處理，然後再到 2018 年從深度學習到大模型，其實我們應該算是最早做這個事情的。原因在于我會認為就是這個世界的趨勢，它不以個人意志為轉移，不會說因為你覺得這個技術有缺點，它就不會發展。該發生的一定會發生，我們要做的事情就是要去順應事實，而且我們看得更前瞻，更前沿去做一下。
虎嗅：之前被斯坦福抄襲時，你的感受是什麼？如何看待中美大模型發展差異？
劉知遠：我覺得它可能算是一個偶然事件，本身對面也相當于只是一個學生團隊，我個人傾向于不太會把這件事情當成有深刻含義的一件事情，我覺得如果放在宏大的歷史上來去講，就像是黃仁宇的《萬歷十五年》，就是通過那一個年份，來叙述整個明朝的衰敗，所以其實眾多的 case，會匯聚成一個大的趨勢。
我們其實能清晰地看到，中國在過去的這十年、二十年的發展，其實是非常快速地在去成為這個世界上的，從追趕者到去原始創新的一個角色。
20 年前，大家都在說 copy to China。那又過了十年，到 2010 年的時候，那時中國的 AI 論文發表已經在國際上能夠數得着，已經算是嶄露頭角，那個時候其實大家一般就很少說 copy to China，而是說，中國好像不太善于做技術創建，善于做模式的創建。
現在又過了十年。我們會看到國際的頂級會議，國人的身影已經占了一半 ，所以我會認為我們現在已經有足夠多的高水平青年學者。現在我們也像歷史上的任何一個強國一樣，能夠實現技術超車，這就跟 Densing Law 所指向的那個趨勢一定會發生。
