今天小編分享的科技經驗：口述全球大模型這一年，歡迎閱讀。
「⼈類的千億美元 AI bet
開啟新摩爾時代。」
《張小珺 Jùn｜商業訪談錄》推出跨年特輯。我邀請拾象創始人和 CEO 李廣密口述全球大模型這一年——當頂級商業領袖、頂尖科學家這些最聰明的腦袋，手握數以千萬計的資本狂卷一年，2023 年全球大模型卷出了什麼？
廣密今年一整年全身心泡在大模型，一大半時間肉身在矽谷，參與相關投資。這集播客信息量非常密集。
他提到，人類這場以大模型為名的千億美金級豪賭實驗，能否将世界帶到新的摩爾時代？簡單說，模型發展規律會不會極類似于半導體與芯片：未來，模型能力每 1-2 年提升一代，模型訓練成本每 18 個月是原來的 1/4、推理成本每 18 個月是原來的 1/10。
以下是我們的聊天 bullets：
（文字是節選，完整版本請移步 podcast）
1、過去一年，大模型的 secret 在矽谷，矽谷大模型的 secret 藏在這三家公司：OpenAI、Anthropic、Google。
2、回顧 2023 定義大模型產業的關鍵時刻：
to C 流量端：
ChatGPT 發布後，Chat=ChatGPT 占住⽤⼾⼼智，很快突破 100 萬⽤⼾、1 億⽤⼾，現在穩定 2 億左右 MAU，10 億美元 ARR（年度經常性收入）。
從模型能⼒看：
3 ⽉發布 GPT-4 是關鍵分⽔嶺，GPT-4 代表 SOTA 最佳模型，誰能再復刻 GPT-4 是關鍵節點：
- Anthropic 是 7 ⽉發布 Claude-2，幾乎復刻 GPT-4；
- Google 是 12 ⽉發布 Gemini 1.0 pro 版本和⼿機 nano 版本，pro 對标 GPT-3.5，對标 GPT-4 的 Ultra 版本下個⽉發布，也可以說 Google 追上了 GPT-4；
也就是說，OpenAI ⼀年前做出 GPT-4，Anthropic 半年前做出 GPT-4，Google 在下個⽉做出 GPT-4，全球其他團隊可能還需要 6-12 個⽉。
開源：
開源最佳模型就出⾃ Llama（Meta 推出）和 Mistral（一家歐洲公司）。
多模态：
- Midjourney 從 V1-V6 影像⽣成的效果快速提升；
- Runway/Pika 視頻⽣成的效果突然大幅提升，這是開端，可以預期，明年視頻⽣成效果能像今年⽂⽣圖⼀樣迅速提升；
- Google Gemini 發的是多模态模型，⼏個模态數據從頭訓練，難度很⼤，GPT-4V 還不是。2024 年肯定卷多模态叙事，Google Gemini 打了一個新的開端。
3、矽⾕⼤模型的融資已經是巨頭定價和主導了。如，AWS、Google ⼜給 Anthropic 投了 60 億美元，⻢斯克的 X.AI 也要融⼏⼗億美元。錢有限，卡有限，第⼆、第三梯隊會很困難。
4、關于 Anthropic：它有點像老大哥，裡面核心的 7-30 個人做出了 GPT-2、GPT-3，而且是核心 lead。OpenAI 很多人尊重他們。他們的 research 能力我覺得是全球最強，思考的問題比較本質。創始人 Dario Amodei 是極少數信仰 Scaling Law（規模定律），加上他發明了 RLHF（基于人類反饋的強化學習，Reinforcement Learning from Human Feedback）。
他們比 OpenAI 更早做出了 Cloud，是類似 ChatGPT 的產品，但沒發布。一度他們的模型比 OpenAI 好，去年這個時候 ChatGPT 發布，有了巨強的心智。所以，大家可能只知道 OpenAI，沒有太了解 Anthropic。這兩個團隊的 overlap 和技術路徑接近。
OpenAI 正在以 1000 億美元估值融資，Anthropic 正在以 200 億 -250 億美元估值融資。我認為，全球大模型的前兩名就是它們，Google 排第三。
5、矽谷 VC（風險投資）幾乎都錯過了大模型投資，也同樣都錯過了 SpaceX 和 Tesla 的投資。這是非常重的投入，沒有商業模式，風險很大。大模型的投入可能跟 VC 這個產品不 match，應該由另一個金融產品來支持。
在我看來，買單方就是巨頭。巨頭搶奪什麼？入口。
Answer 的形式可能會把互聯網滲透率大幅拉升，以前大量長尾問題沒被解決，現在可以被解決了。總體說這是新技術刺激新的消費需求。
6、2023 年全球大模型狂卷一年，卷出了什麼？
OpenAI ⼀年内做到 10 多億美元 ARR，明年可能 50-60 億美元 ARR，或許是歷史上增⻓最快的公司；
但整個市場其他⼤模型 native 產品 ARR，全部加起來不到 10 億美元，不如 OpenAI ⼀家；
DAU 穩定在 200 萬以上的大模型 native 產品是 ChatGPT 和 Character.AI；
企業級業務探索⼤模型的 use case 特别成功的不多，微軟 copilot 和 Adobe 較激進。
⼤模型還在早期階段，⼤家别着急。⼤模型就像芯⽚，能⼒和成本還得再卷 2-3 代，上⾯的消費電⼦應⽤才會⼤爆發。明年這時候你會覺得 GPT-4 特别傻，做不了太多事情，但今年已經代表未來⻩⾦ 10 年的開端。
7、復刻 GPT-4 ⽐年初預期難。Google 舉全公司之⼒搞了這⼀年也才勉強接近。如果把復現 GPT-4 視作進入決賽圈，今年跑下來⾸輪模型競賽決出前三名：OpenAI/Anthropic/Gemini，全球範圍僅有這三家公司做出了 GPT-4 能⼒的模型。
8、⼀線模型公司今天的核⼼是提升智能 capability，還不是做產品和應⽤的時候。capability 只有⼀個北極星指标：Reasoning 推理能⼒。之後最重要的要素依次是：成本、可靠性、多模态，其他是⼩事。
接下來有很多 research 問題，重點 focus：Reasoning 推理能⼒是長期重要也是最難的、Mulltimodal 多模态、Coding 代碼能⼒、數學 Math&Science 如何發現新定律、SyntheticData 合成數據、Reliability 可靠性，包括怎麼做 post-training，怎麼做 RL，怎麼做模型 evaluation，還挺難的。
北極星只有⼀個：Reasoning 推理能⼒。GPT ⻓期就是⼀個推理引擎。
很多模型公司是基于 LLaMa 底座改，⼜把⼀些公開測評的數據做了 SFT，看着跑分⾼，⻓期意義不⼤。
9、⼤模型行業有很強的天才科學家的人才聚集效應。
⼀群天才科學家⽤ "GPU+Data+Power" 幫⼈類做科學發現，天才科學家們⽜⼈相吸——全球⼤概只有 200-300 位天才 researchers 能做出實際⼤的貢獻，其中 100 多⼈集中在 OpenAI/Anthropic，20-30 ⼈在 Google，Meta/AWS/Nvidia ⾥⼏乎沒有。其他科技巨頭自己做也難。
即便在矽⾕，真正接近核⼼秘密的⼈也很少。
GPT-4 短期壁壘在 data secret，尤其是 pre-training 和 post-training 階段的數據。全球範圍也只有 200-300 ⼈知道 GPT-4 data secret，也⼏乎都在前三家模型公司，想搞清楚這個 secret，⾄少得有⼏百上千個重要實驗要做完，還有很多 research 問題要做，⽐如 pre-training 數據配⽐，代碼⽤多少和怎麼⽤，怎麼做 Tokenizer，怎麼做 RL 等等。是少不了⼩⼏萬張卡做充⾜實驗的。
10、目前，這個行業還有很多科學問題沒有解決。比如，Scaling Law 是不是能繼續 work，能走多遠？可能這是大模型走下去最關鍵的問題。如果不能繼續 scale up，那可能就停在這一代、下一代。所有人都無法回答，要繼續做實驗。
OpenAI 的 research lab 文化很強。這個數據有什麼用？那個架構有什麼用？最後帶來什麼效果？他們有不知疲倦探索實驗的精神，大量的實驗，大量的試錯。在 OpenAI，researcher 的卡是無限的——大家低估了前期做實驗用的卡的數量，如果看 " 人均 research 用卡量 "，可能是非常高的數字。
11、行業發展的核心變量是，大家是不是信仰、能不能做到 Scaling Law。極少數天才科學家信仰 Scaling Law，如 Noam Shazeer ( Character.AI CEO ) 、Dario Amodei ( Anthropic CEO ) 、Ilya Sutskever ( OpenAI 首席科學家 ) ，他們三位對 Scaling Law 貢獻最⼤、信仰最強——這很像由極少數科學家推動的 " 登⽉時刻 "。
如果是這樣，全球只有極少數⼏家公司能參與 " 登⽉競賽 "。如果要保持在全球第⼀梯隊，⾄少需要準備 100 億美元的模型訓練成本，未來 3-5 年花出去。
12、2024 年是決定⻓期格局的最關鍵的⼀年，格局形成後很難再改變。明年 Q1 的 Claude-3 和 GPT-4.5、Q2 的 Google Gemini-2.0 陸續推出，僅上半年⼜會把模型能⼒抬升⼀個台階。
明年是多模态叙事。明年 6 ⽉再推出 GPT-4 能⼒的模型已經不算第⼀梯隊，要麼就今天直接做下⼀代多模态模型。
2024 年跑完基本上會決定⼤概的格局，窗⼝就在未來 12 個⽉。如果未來 12 個⽉追不上去，後⾯再翻轉很難。
13、對全球大模型終局的猜想：模型競賽很殘酷，最後格局很像芯⽚或 SpaceX，理想化的格局可能只會剩⼀家，最領先的模型能⼒⼜強⼜便宜，讓後⾯的玩家很難存活，赢家通吃。
但因 " 陣營 " 抗衡微軟 OpenAI 之外是⼀個聯盟，AWS/Google 的雲都和微軟競争，他們肯定要有或扶持，Tesla/Apple ⼜是端側很強，所以⼜不會赢家通吃——最終全球來說⼤概會 2-3 家（從矽谷輻射南美、東南亞、歐洲市場，可能輻射不到中國）。
中國會更分散，技術辨識度低，今天不知道誰最好，資⾦和⼈才會湧⼊多家。
14、矽谷巨頭和它們分裂的大模型陣營：
1）最領先的是微軟和 OpenAI。
2）其次是亞馬遜和 Google 支持了 Anthropic。（為什麼亞馬遜和 Google 要一起支持 Anthropic？為什麼不是一個巨頭支持一個？敵人的對手就是朋友。）
3）第三個又是 Google，它自成一派。
4）還有一個關鍵的是 Apple 和 Tesla。大模型最相關的三個生意——第一波是芯片（英偉達）；第二波是公有雲（微軟和亞馬遜的雲），這兩個是最大的生意，可能未來模型都要跑在雲上，雲廠商拿未來每年營收 3-5 個點去投模型公司完全 make sense；第三波是終端，一個是手機的端，一個是車的端。
Apple 和 Tesla 會是一個更關鍵的陣營，明年 Apple 到底支持誰？
Tesla 有 X.AI，X.AI 現在晚了 6-12 個月，能不能 catch up？很關鍵。X.AI 的人才質量很高，速度也很快，（追上來）概率大于 50%。
手機又是一個非常重要的端，如果手機内存未來兩年能提升 4-5 倍，端側是能承載非常多的，AI 公司成本結構也會發生很大變化，端離用戶更近。手機肯定會繼續變強非常多。
Apple 從 Google 挖了很多人，我的感覺是他們追到 GPT-4 很有壓力。如果做不出來，就只能投一家或收購一家。（可以選擇誰？）Anthropic？因為 OpenAI 被微軟獨家鎖定，不能跟其他人合作，這是最大的 bug。
5）怎麼看 Meta？Meta 推出了 LLAMA，對開源世界貢獻大，開源有可能未來就等于 Meta。但 LLAMA 團隊我不覺得有所謂天才 researcher，人才 quality 比 OpenAI 和 Anthropic 落後。Meta 不一定是大模型公司，它是用大模型做好自身業務的公司，甚至 Google 也是。
最強模型要不要開源出來？這是一個很大的 question。
15、如果都可以復現 GPT-4，更早復現或更晚復現 GPT-4 又怎麼樣？
1）更早復現 GPT-4，⽣成的數據質量很⾼，有⻜輪。
2）更早達到能吸引⼈才和資⾦。⼤家只會 bet on 前三家，後⾯的 4/5/6 名意義不⼤，融資窗⼝關閉了。
3）當你 12 個⽉後到達 GPT-4，OpenAI 已經經歷了多模态的 GPT-4.5，以及更強⼤的 GPT-5（預計 2024 年會出現 GPT-5），會發現 GPT-4 頂多是實習⽣，GPT-5 是你最強的同事⽔平，可能沒⼈再⽤ GPT-4 ——模型訓練很殘酷，價值持續毀滅，OpenAI 訓練好下⼀代模型，如果能把成本降下來，前⾯的模型⼤概率也⽤不多了。
4）模型公司壁壘，很像台積電和 SpaceX，有規模效應和先發優勢。但⽬前看不到很強的⽹絡效應和像搜索和推薦⼀樣的數據反饋的⻜輪，⾄于未來靠什麼效應維持⻓期壁壘，現在還不好判斷。（今天 ChatGPT 很像消費品）
5）有⼀個壁壘很現實——沒有 100 億美元模型訓練的儲備，是沒辦法在全球第⼀梯隊持續競争的，這是硬标準，這個壁壘就是資源。另外⼼智上，Chat=ChatGPT，OpenAI=AGI，開發者和⽤⼾⾸選 GPT，強⼊⼝效應。
16、⼤模型往後⾛，最核⼼要關注兩條主線，也可以說是 " 新摩爾定律 "：
1）⼀條主線是智能的 Capability。智能⽔平 / 參數量 /Data/GPU 持續 scale 很多年，每 1-2 年模型⽔平提升 1-2 代，陸續跨越臨界點解鎖新應⽤場景。今天 GPT-4 能做的事情有限，還在很早期，如果 GPT 達到接⼊⼿機 Siri 的⽔平，⼊⼝效應會有很⼤變化。
2）另⼀條被⼤家忽視的是 Cost，成本是隐形最核⼼競争⼒。模型訓練成本過去 18 個⽉已經除以 4-5 倍，推理成本過去 18 個⽉除以 10 倍，成本優化再往下迭代好⼏輪沒問題，意味着同樣能⼒的模型推理成本還能除以 100。所以，最聰明的模型還最便宜。
這兩條主線決定應⽤⼤爆發幅度，native 應⽤今天還沒到⼤爆發的時候。
17、成本問題：
模型的訓練成本分兩部分，⼀部分是實驗成本，⼀部分是最終⼤規模訓練的成本。⼀年當中⾄少 9 個⽉做實驗，試驗是⼩尺⼨模型的訓練，做⾜實驗後留 3 個⽉做⼀次⼤的訓練，就像⼀次⼤的⽕箭發射，所以 3/4 成本⾄少在實驗，1/4 在最終⼤的訓練。
GPT-4 ⼤概是 2.5 萬張 A100 訓練了 100 天，這個是⼀年半之前，這個純⼤訓練的成本 6000 多萬美元。但模型最⼤的成本還不是這⼀次訓練，⽽是前期做實驗。可能得做⼏百上千個實驗，各種數據各種架構都要探索，⾜夠的實驗量和試錯率。假如你有 2.5 萬張 A100，你花 9 個⽉做⾜了實驗，準備 3 個⽉做⼀次⼤的訓練，萬⼀⼤的訓練失敗了還得重來。⼤模型訓練的失敗率是很⾼的。
另一點，模型參數量在 70B 是個分界點，70B 以内能容忍很多錯誤，在 70B 及以上每擴⼤⼀倍遇到的難度指數級提升。模型越⼤，越容易出錯，訓練越⼤參數量模型失敗率就越⾼。
還有⼀點容易被⼤家忽視，OpenAI 的成本優化能⼒極強。訓練完成 GPT-4 後，他們⼜重新訓練了 GPT-3.5，只⽤了 1000-2000 張卡，主要是成本考慮，能把成本降低很多。你看開發者⼤會⼜推出了 GPT-4turbo，也是是重頭訓練，不是蒸餾，能⼒⽐ GPT-4 要好⼀些，訓練成本⾄少降低了 4-5 倍，因為改了架構，inference cost 相⽐ GPT-4 只是也降了 10x。
下⼀代模型，就是多模态模型，各種模态的數據要從頭 pre-train 進去。你看視頻數據 pre-train 數據格式是⽐⽂本 token 復雜很多，需要⾼出⼀個量級的 GPU 資源，我覺得相⽐ GPT-4 在訓練成本上要⾼ 4-5 倍，⼤概訓練時候要 2-3 億美元。這個還是考慮到具備極強優化能⼒。到 2025 年訓練⼀代模型，應該 10-30 億美元不⽌。
現在訓練都是 H100 了，H100 ⼤概實際跑下來是 A100 的 1.5-2 倍之間。
18、全球重注 AI，搏的是什麼？據估算，全球今年總計向⼤模型領網域下注多少？
OpenAI 今年買卡我瞎猜就有 30 億美元，還不算⼈才和股票激勵，全球範圍⾄少 x5 倍，那就是 150 億美元？
未來⼏年 OpenAI 僅訓練模型⾄少還得 200-300 億美元，Google200-300 億美元，Anthropic100-200 億美元，算下來未來⼏年⾄少投⼊ 1000 億美元純粹⽤到訓練⼤模型。
賭的是什麼？⼤模型今天還處在實驗科學階段，就像⼈類對⼤腦的理解也很有限，更像是 " 探索發現 " ⽽⾮ " 發明創造 "，提升模型智能⽔平的路徑⽬前只有⼀條：Scaling Law，⽐如每⼀代模型⾄少擴⼤⼀倍的參數 +Data+ 數倍 GPU 等等，是否有其他路徑不知道。⾄于 Scaling Law 本⾝，今天也沒有理論⽀撐，就是⼤量實驗和試錯的經驗總結，也很難準确判斷下⼀代模型能⼒湧現如何、什麼時候 Scaling Law 就不奏效了。
⼤模型就是⼈類的千億美元 AI bet，這個千億豪賭的投⼊會給⼈類帶來什麼？⽐如你是否相信這波 AI 能助推未來 15 年 double global GDP? 也有⼈說能讓美國 GDPx3？對全球地緣政治格局也有影響。
19、大模型公司要抓緊時間 " 抱大腿 "。
模型的商業模式不清晰。⼤模型公司獨⽴ IPO 也很難，被收購的概率是更⾼的。絕⼤多數都是要抱⼤腿的。
OpenAI 有缺點，我感受有兩點：1）ChatGPT 并沒有像搜索和推薦⼀樣具備很強的數據⻜輪效應；2）OpenAI 并不是⼀家以⽤⼾為導向的公司，⽽是以 AGI 和研究為導向的公司。
國内在基礎 fundamental 研究投⼊很⼩，培養了⼀⼤批產品⼈才，有利有弊，可能只能在應⽤產品側突破？未來也有機會拿⾛更⼤勝利果實的。
（國内公司應該）提前抱⼤腿啊，⽐如阿⾥，有阿⾥雲和釘釘，業務場景好，很像微軟。
20、開源模型和閉源模型 / 大模型和小模型：
開源模型追不上閉源模型，差距會越拉越⼤，這個很像芯⽚和 SpaceX 航空航天，他不是傳統意義的軟體開源，模型不可編碼，不可解釋，⼤家沒辦法⼀起做貢獻。包括 GPU 要在⼀個集群訓練效率才更⾼。
但開源模型的價值挺⼤，開源模型的使命不是最智能的模型，⽽是承接先進模型能⼒的溢出，做⺠主化，因為需求是分層的，可能有相當⼤⽐例的需求是通過⼀定能⼒模型覆蓋的，這⾥優先考慮的是成本問題。
開源模型在 2024 年内追到 GPT-4 有不少挑戰。當然不能低估技術開源和⼈才擴散的⼒量，有可能明年整個⾏業⼤進步。
未來⼤模型覆蓋⼩模型是必然，⼤模型是⼩模型⽣成器。OpenAI 順⼿ train ⼩尺⼨模型只是時間和優先級問題，所以像之前 Mistral 融資我們也挺難下決定。下⼀個開源模型重要⽅向是端側⼩模型，可以幫助模型公司分攤部分雲端的算⼒成本。
⻓期格局，有兩種可能，⼀個是⼤模型公司向下覆蓋，你可以理解 SpaceX 往下做了波⾳空客的市場，還做了 Tesla 私家⻋交通出⾏市場。另外⼀直可能就是分層的。
21、矽谷一部分 VC 也很 suffer。
矽谷 VC 未來最⼤競争壓⼒來⾃微軟和 OpenAI。他們之前投 SaaS ⼯具很舒服，後⾯微軟和 OpenAI ⼤概率會把傳統 SaaS 形态都吃掉。
我也在想，傳統 VC 這個⾦融產品在 AI 領網域是不是不太 work，你看絕⼤多數 VC 都錯過了⼤模型投資，同樣也都錯過了 SpaceX/Tesla，都是重投⼊，看不清商業模式，失敗⻛險還很⾼。這種就類似科學探索和發現的投⼊，有點像 " 曼哈頓計劃 "，适合另外的⾦融產品，微軟像是美國的國央企，他們來投⼊ make sense。
矽谷 VC 也不知道未來⾛向，都是模糊的，真正⼿上拿到船票的也不多。情緒相對樂觀。
如果從 VC 評估标準看，矽⾕好項⽬還是很多，但估值很⾼，要承認短期是 overhype 了，我們過去半年也沒新的出⼿。
我最欣賞的是 Nat Friedman，他是 GitHub 前 CEO。他最早期就投了 Character.AI 和 perplexity，在這波 AI 裡标的質量高，position 比很多傳統矽谷 VC 要好。他是個人的錢投資。
22、關于 OpenAI 的一點小八卦：
如果我是 OpenAI 的員工，我肯定也跟着 Sam Altaman ( OpenAI CEO ) ，如果 Sam 不在了，努⼒⼏年的股票都要⻩了。微軟這邊合作全都是 Sam 主導，微軟 CTO Kevin Scot 也是賭上職業⽣涯相信 Sam。為什麼 700 多良将都跟着 Sam？是利益問題。
⾄于 Sam 為什麼被開掉，⾄今還沒有正式解釋，陰謀論⼀點說，肯定做了⾮常過激的事情，但⼜不能對外說。而且這件事可能跟微軟有關。
起碼 OpenAI 沒有人員流失，AGI 只耽誤了四五天。
我很好奇 Ilya Sutskever ( OpenAI 首席科學家 ) 後面會怎麼樣，他現在好像不怎麼在辦公室出現了。我們肯定希望 Ilya 留下來。
有意思的是，Sam Altaman 好像和喬布斯、馬斯克不是一類人。喬布斯、馬斯克在矽谷沒有朋友。Sam 在矽谷所有人都是朋友。你看 Sam 去國會問詢的時候，國會的議員都是朋友。
我感覺 Sam 很像政客。如果 AGI 實現了，他還有他那個發的 Worldcoin 的币，你說 Sam 會是一個新形态的總統嗎？
