今天小編分享的科技經驗:王小川:大模型創業100天,我确認找到了屬于我的「無人區」,歡迎閲讀。
4 月,王小川宣布下場,成立大模型公司「百川智能」。
6 月,百川智能發布 70 億參數開源大模型,Baichuan-7B。
7 月,百川智能發布 130 億參數開源大模型,Baichuan-13B。
兩款模型在各種測評上都有不錯的表現,也收獲了國内外大量用户的認可。
「開源很簡單,大家可以拿着自己用的,這不是你自己吹牛吹出來的。」
他動作很快,比大多數人想象得都快。就連他自己也很意外:下場動手開始做以後,進度會比預期快很多。
在 AGI Playground 大會上,王小川透露,百川智能的開源模型能力一定會超越 Llama 2。按照計劃,之後百川智能将發布幾百億,千億級閉源大模型。
幾個月前,王小川要「做中國的 OpenAI」登上各種媒體的頭條。
這是一句大眾愛聽的口号,但未必是一句準确的描述。
王小川究竟想做什麼?他要怎麼做?三個月的實踐,取得階段性成果之後,他對大模型時代的創業有哪些一手認知?
以下内容來自極客公園創始人 & 總裁張鵬與百川智能創始人 & CEO 王小川在 AGI Playground 大會上的訪談,經 Founder Park 編輯。
開源
OpenAI沒做到的
張鵬:
大家可能最感興趣的,還是你創業之後這段時間動作很快,發了兩個模型:一個7B,一個 13B,而且反饋都很好。
大家都很好奇,因為一開始都認為你要做一個中國的OpenAI,但是看到你做了開源的東西,那開源是一個技術階段,還是本身它就是未來你思考的新模型?
王小川:
開源,我們覺得是一個技術階段,其實做中國的 OpenAI 并不代表着完全要復制它完整的路徑。在硅谷跟 OpenAI 交流的時候,他們在理想上是走得非常遠的,比如説他們現在做 GPT-4 的時候是需要 2 萬多張卡做計算,國内都沒見過這麼大的規模。
他們很自豪地説他們在設計把 1000 萬張 GPU 連在一塊做計算模型。
1000 萬張卡什麼概念?英偉達一年的產量是 100 萬張。1000 萬張就完全是可以登月(moonshot)的這麼一種計劃。
另外,在怎麼去做應用、做產品上,甚至做一些更廣義的技術上,這可能是OpenAI的短板,或者是他們現在不是特别關注的事情。
所以在中國做OpenAI跟美國的生态環境會非常的不一樣。
最近開源的 Llama 2發 布之後,在國内引起一個狂潮,大家覺得它會重新改變格局,這是 OpenAI 沒做到的地方。很遺憾這個不是 Google ,而是 Facebook(Meta) 做的, Google 還是繼續缺席的位置。但國内的話我們就提前看到這件事情了,我們認為未來開源和閉源會有一個并行的狀态。
張鵬:
開源和閉源會是并行的狀态。
王小川:
并行就有點像現在既有蘋果的系統,也有安卓的系統。甚至在更多的公司要參與進來的時候,光用閉源的API調用是不夠的,也需要這個開源模型提供 80%的服務,最後靠閉源來給大家提供服務剩下的 20%會有大量開源的需求。而之前美國沒有,中國更沒有類似的模型。因此Llama 一旦宣布的話,對美國是很大的震動,但中國也有熱潮跟着在走。事實上,嚴肅的技術評測包括幾種主流的像SuperClue的評測,以及一些大廠和公司的對比, Llama 和百川對比的話,明顯我們現在在中文領網域裏面是遠超 Llama 的品質。
在中國的開源模型領網域,就像我們的手機行業一樣,最早也是用美國的,後來就自己追上了。
張鵬:
你覺得 Llama 2 最近這麼熱,百川會比它們做得好?
王小川:
Llama 是有Llama 1 和 2。
首先,我們今年在 6 月份發布了第一個 7B 參數的模型, 7 月份發布 13B 參數的模型。在英文的指标裏面,最重要的一個指标是 MMLU (Massive Multitask Language Understanding),這個關鍵指标我們的兩個模型是優于 Llama(1)的,在中文裏面大幅度領先。
我們知道 Llama 其實對中文的處理部分其實是不足的,跟Llama(1)相比,百川的英文是能夠部分對标,關鍵指标是超過的,然後中文是明顯是做得更好,很多人在對 Llama進行中文改造,但還是沒有本土的百川好用。
Llama 2 發布之後,我們也能看到技術報告,裏面大概有 9 個技術創新點,其中有 6 個在我們正在研發的模型裏已經做到了。
跟國内其他模型相比,我們這邊的思路是目前最接近的,有 6 個點我們已經做了,然後有 2 個我們沒想到,有一個我們這是無效的,所以在跟 Llama2 對比的時候,我們在技術的思考裏不是簡單的抄襲借鑑,我們是有自己的思考的。我們認為在這個道路裏面後面會有我們的機會。
今天我也呼籲,在國内大家在用的時候不要只想着國外很好,OpenAI 現在來講離距離确實更遠,年底能夠達到 GPT-3.5 或者接近的水準需要時間,但在開源大模型裏面我們現在已經很接近了,在中文領網域現在就可以替代,也許未來還能超過 Llama,我覺得是可以做到的,我們應該有這樣的自信。
張鵬:
所以你的下一個開源模型,你認為會比 Llama 2 更好?
王小川:
至少是在中文。在中文領網域,現在已經是超越了。再往下是在全球市場的開源領網域去發出中國的聲音。
張鵬:
英文和中文都要達到比Llama2好,這件事對你是看得見、可實現的。
王小川:
我覺得有機會,在可預測未來是可能會發生的。
張鵬:
所以你的觀點是:今天不能簡單的説我們未來大模型就是走向OpenAI——閉源的中心化的模型。開源實際上是具備着很大的可能性。所以也就意味着一方面在于實踐技術,展示技術能力,但它也确實有可能藴含着商業模式和價值。
同時,開源的基礎之上,中國做一個全球最好的中文模型還是一個讓人可以期待的事。
王小川:
總結得非常準确。
搜索的經驗
是壞的慣性,還是好的資產?
張鵬:
之前很多投資人認為,用搞搜索的經驗做大模型肯定成不了。經過這幾個月的實踐,你是否驗證了你當初的與他們不同的判斷?搜索的積累和能力對大模型有什麼幫助?
王小川:
因為今天(AI的)這個成就是OpenAI做到的,Google沒做到,所以投資人的第一個想法就是這個新的技術正好是搜索的反面。他們很難分清到底是技術還是組織管理的原因。
導致這種聲音的原因,一個是不理解搜索技術和AI的關系,第二個是認為搜索背景的認知會帶來負向的效果。
因為搜索公司主要就是百度和Google,不太需要對外融資,也不會給投資人講搜索是什麼。尤其是上一波AI熱潮更多是通過影像帶起來的,大家對搜索裏的NLP等技術内涵是陌生的。
從結果上來説,我們6月份發布了第一個模型。最早有競争對手告訴投資人,百川最早第一個模型要用半年時間,其實我們只用了1/3時間就做到了,然後又發了第二個。而且不久的将來,我們會發布一個閉源大模型。
百川從第一天開始就是自研的,而且冷啓動非常非常快。這背後的原因是什麼呢?
今天我們知道高質量數據是大模型的基礎,那什麼公司對語言數據有廣泛的理解呢?那其實搜索公司幹20年,每天都在思考怎麼找到這種高質量數據。比如説首先從1萬億個網頁中找到100個高質量的網站,然後再做頁面分析,包括信息抽取、去重、反垃圾,甚至按段落級别來提取内容。
這種工作,搜狗、百度和Google已經做了很久。
第二點,從人才儲備來説,既要有算法能力,又要有以搜索能力為主的工程能力,這種人基本也在搜索公司。現在字節跳動做模型就是用的搜索的團隊,百度的進度也非常快,包括沈向洋在做的模型也是Bing的VP過去做的。
做大模型還有一件事情就是評測。評測大模型好不好其實是一個痛苦的問題,包括推理的問題、精準問答的問題、創作的問題……有的變好,有的變差,怎麼評價?所以這種評價體系也是搜索公司長期積累的一個能力,用評價來帶動後續算法的迭代。
另外創業公司又比大廠的組織效率要高很多,有非常且靈活的決策體系,所有效率就會得到最大化的體現。
張鵬:
所以當年認為搜索幹不好大模型的那個投資人,後來你跟他聊過嗎?
王小川:
名字打上叉除名了,都不知道是誰了。這種只看商業不看技術的,還有特别喜歡美國回來創業的小鮮肉的,這些投資人就直接劃出來不聊了。
老王説得對
「小創新靠大廠,大創新靠小廠」
張鵬:
你覺得創業者在未來這波技術變革中會有足夠大的機會嗎?還是説主體仍然由巨頭把控?創業者該如何抓住屬于自己的機會?
王小川:
王慧文雖然對技術沒那麼懂,但他有一句話我覺得説的特别對:小創新靠大廠,大創新靠小廠。
雖然大廠有很多人、錢、資源的優勢,但組織壯大後反而會有很多很内部問題,組織效率收到了嚴重限制。
如果我們堅定認為 AGI 的到來,那麼一定會爆發出巨大的新物種。這些事情對創業公司來説有巨大發揮作用的機會。這個從歷史推演就能論證,所以只要有AGI,未來就有新的機遇。
中間的難點在哪呢?
OpenAI 是一個以研究導向為主,在現實世界落地產品的公司。你跟着它走,研究領網域可以有非常耀眼的成就。但是今天怎麼做應用,不管是 OpenAI 還是硅谷以技術驅動公司都還不是太擅長這個。我有自信中國在應用落地上比美國強很多。
全世界都到了一個轉捩點,現在技術已經就位,這是第一個難點。應用和需求方面是第二個難點,這一塊叫做 model service(模型服務)。所以現在的挑戰是,第一,你有模型了嗎?第二,有了模型就等于有了服務嗎?
張鵬:
兜售 API 屬于服務的範疇嗎?
王小川:
我覺得不是。
就像你有了無人駕駛的技術,但你真的就能造輛車了嗎?顯然不是。其中還需要許多技術的融合。
現在美國對于應用層比較迷茫,中國現在的問題是模型能力不足。今天很多做模型的創業公司,也是把自己的視角局限在大模型上,對其它技術棧沒那麼了解。
講個最簡單的例子,做模型肯定會遇到幻覺問題,時效性問題。幻覺和時效性都是光靠大模型本身能解決的。有人用擴大參數,擴大到萬億,十萬億來解決幻覺;或者用強化學習。但其實最直接的做法就是把搜索和信息檢索帶進去。大模型和這些結合在一塊,才能形成一個更完整的技術棧。
這個技術提出後,已經有點苗頭了。比如現在有一個叫做向量數據庫的東西,它其實就是搜索的變通,主要應用在 toB 裏面。
搜索方面,在 2018 年有了 Transformer 技術後,已經具備了語義搜索的能力。大家可能聽過倒排索引,就是把這種符号網絡索引起來。
在 2018 年之後,不管是我們、百度還是字節的向量都已經轉向了語義搜索,背後支持這種技術的是三個巨大的向量數據庫。這些技術棧和大模型結合在一起,才能讓大模型有更大的發展。大家可以看到,搜索的團隊經驗對于做模型是有優勢的。
第二個方面,現在大模型技術逐漸實用化。然後在所謂的知識計算中,還需要加入向量數據庫和搜索,才能形成更完整的技術和產品。在這個問題上,大家正在逐步形成共識。
今天來講 ChatGPT 的流量,大家開始擔心是否能夠持續爆發。
因此大家還需要更多探索。
我們認為在娛樂行業,在人物角色扮演方面有廣闊前景,但這件事情需要中國公司進入才能做得更好。
另外一件事是如何将大模型和搜索如何結合在一起,Perplexity AI 現在做得挺好,我們則處于被動的地位,美國有機會,投資人就會找中國的對照公司。
如果這家公司,一沒有大模型,只是在調用API;二沒有搜索技術,只能依賴 Google,Bing 這些公司的技術,這樣并不理想。
張鵬:
剛才你説,ChatGPT 這類的用户量在下滑,就是讓大家感覺新範式未必能夠一下子打穿。這是不是對創業者做應用的挑戰很大?
因為根據你剛才所講,創業者在一個技術不成熟的環境下,本身創業探索的代價就很大。而如果創業者只是拿别人的API做個應用範式的變化,其實沒有特别亮眼。
王小川:
前兩天 OpenAI 剛更新了 code interpreter,然後又更新了 custom instruction。對創業公司來説又形成了巨大的壓力。
美國投資人也在擔心,在焦慮其中還有沒有機會創業公司能超過巨頭,會不會做一半就被大公司取代了。
在中國的話,我覺得走大模型路線的還沒有像OpenAI那樣有一個占據頂端的公司出現。現在還處于"百模大戰"的階段。今天做大模型的公司有沒有能力做應用,這件事中國比美國有很多看點。
追趕GPT-4?
一味追求模型代際提升很危險
張鵬:
這也引發了一個問題,就是接下來中國誰會追到GPT-3.5,甚至GPT-4的水平
也有另一種聲音説GPT-3已經足夠企業去解決一些垂直場景問題。
我感覺小川你們還是致力于去追GPT-3.5,GPT-4。這個追的過程難不難?你們為什麼説一定要追到GPT-4的程度?
王小川:
我覺得這是兩個事情。
首先是技術的跨代進步,可能對後續產品生态產生碾壓式的影響。無論從理想的角度來看,想象一個遙不可及的未來,就像戰鬥機的三代、四代、五代一樣,在這其中每一代都可能發揮重要作用。所以在這個時候,大家應該争取在競争激烈的領網域中尋求優勢。
但是在争奪優勢的過程中,大家可能會面臨新的困惑:到哪一代才能真正實現超級應用?GPT-3.5在美國至今尚未形成超級應用,訓練一次大約需要5000萬人民币,這還不包括前期準備和實驗之類的成本。GPT-4訓練一次可能需要5億人民币。到GPT-4.5代,成本可能會達5億美元。
因此,如果沒有超級應用,單純追求技術提升也是非常危險的。所以我們需要在這個領網域同時追求第四代和第五代技術能力的提升,同時要有超級應用。否則,我們可能會突然面臨兩個方面的更新壓力,這兩者都需要同時更新才能取得成功。
張鵬:
所以每一波型的技術裏都應該能夠誕生有價值的應用。
王小川:
你剛才説的很對。
在B端裏面GPT- 3 基本就已經能用了,在C端沒有能用的原因我認為還是時間太短。
加之大家把目光太過聚焦在OpenAI上,它不是一個產品公司,不是一個能做超級應用的公司。
能做超級應用不僅需要技術追趕,也要對產品有一個足夠的理解。這件事我覺得年底是水落石出的時候。
「小川适合做大模型」
「做了20年搜索,沒人説我适合做搜索」
張鵬:
大家有沒有可能高估了OpenAI?或者説我們認為OpenAI很難被超越的一點就是因為它有數據飛輪,你如何理解這個,數據飛輪是真實存在的嗎?
王小川:
今年年初在提數據飛輪的事情,當時特别恐慌。用户的請求給了它,它知道用户要什麼,然後就更好地去更新模型。
在目前看的話,這個問題并不嚴重。
像 Llama 2 推出之後,大家看到在微調階段,數據要精而少,而不是精而多,現在大家開始逐步形成共識,技術的秘密不是在飛輪裏面,還是時間的技術積累。
像 Claude 的公司 Anthropic 的技術實力也漲的很快,OpenAI 遠遠它用户多,這也證明了數據飛輪的概念被證偽了。
張鵬:
或者説有可能它裏邊真正有價值的數據都體現在跟人對話的技巧上,我記得最早的時候,它的對話方式就挺"木讷"的,但現在就感覺更有人性。
王小川:
這個東西感覺都不多,更多還是在于它的數據集裏面,不管在 Pre-training階段還是在微調階段,怎麼去搞優質的數據?如何去配比等,這是它的核心的能力。尤其是我聽他們聊天説,一方面 GPT-4 在訓練 GPT-3.5 ,讓 3.5 更高效的工作,同時用 GPT-4 去生產 GPT-5 所需要的部分數據,在做迭代過程的優化。它的迭代在内部是使在線服務更好,同時生成未來的部分數據,我覺得這是是内部的一個飛輪。
張鵬:
所以如果 從Llama 的角度去看,通過開源也有可能能夠去 deliver 一個不斷在提升技術水平的模型。但如果要從 OpenAI 的這個視角,可能在某個階段也需要有足夠的用户和數據。
王小川:
開源的、閉源的,還有應用,事實上今天大家都還在鋪開來做,跟現在美國西部一樣還在擴張的階段。
張鵬:
所以今天對于一個創業公司,比如像百川,就不會輕易的只是説我只配合了某一個方向,我要保持戰略模糊也好,或者叫可能性的豐富也好,就這些維度可能都會下注。
王小川:
對。我這次創業比較有意思,很多人説小川你特别适合做大模型,我做了 20 年搜索,從來沒一個人説過小川你特别适合做搜索。
在國内做搜索,比百度晚了3年,這種追趕是非常艱難的。而今天這個積累和經驗放過來一看,前面都是沒人的。原來想的很難,已經晚了好幾年了,但今天在我看起來處處都是機會。因此只要我們有足夠多的能力,我們處處都可以在裏面試,也看看今天是否能夠改變大家原搜狗的這種印象。
不要盲目崇拜
中美會有不同的 AI 故事
張鵬
小川説的這點我還挺有感觸的。你終于站到了一個無人區。
大模型這件事,可能很多人覺得要學習、追趕 OpenAI。但當你真幹了這件事,才會真的找到距離和路徑。
王小川:
對,不用那麼崇拜。
我記得 2016 年 AlphaGo 之後,我當時提了兩點,第一,如果(AI)能夠預測下一幀視頻,那就是 AGI 的到來。
但是説完之後就過了,你也沒有能力去做,動力、能力、條件都沒有。後來説如果機器掌握語言,那麼強人工智能也會到來。現在其實已經開始驗證。
所以我覺得我們自己有很多想法,并不是走在後面的。只是原來各種時機、條件不成熟。這就像,一個學霸説這件事已經可以解了,你這個學霸,也不是説一定要把作業給你抄對吧?
别人告訴你可解,甚至大的思路給你了,我覺得我們自己就會做了,不需要盯着别人的作業打小抄。
張鵬:
所以這裏面你真正的樂趣不是實現和復刻了别人,而是在這個無人區裏在探索出一些大家還沒有抓到的東西。
王小川:
是的,我覺得這次有機會在部分領網域做到領先。
張鵬:
是有這種可能性的,所以中國和美國,百川和 OpenAI,可能它并不是一樣的故事。
王小川:
确實會不一樣。中美本來就不是一種制度,一種體系、文化,所以最後長出來的,不管是技術問題還是應用問題,都會不一樣。
主要工作:和同事聊天
百川智能剛剛突破 100 人
張鵬:
你平常的工作都怎麼安排?你的時間怎麼分配?很多人都説,算力重要、人才重要,但我覺得只有真正創業的人才知道什麼東西最重要。所以我就想問問你時間花最多的地方在哪?
王小川:
我現在時間花最多的,是跟我們的同事聊天。
張鵬:
聊天?
王小川:
對,這聊天在過程當中的時候,其實是一個不斷形成共識的過程,就是把大家的這種認知、養分、外面信息匯聚,使大家形成同一個大腦。
因為我們知道Top-Down可能會走偏。比如説這個 Google 為什麼沒做成?第一個 Google 本部做的時候有它慣性。數據拿不到,上了線之後成本提升,沒有具體用户收益,所以有創業的窘境。
Google Brain的話,它是Button-Up的。它的研究員很自由,什麼都幹,或者匯成一個力量,所以他們其實很多看到了大模型,但是沒法集中一塊做,力量是分散的。那Deepmind是自頂向下的,公司要求做什麼,大家做什麼。它做了AlphaGo,AlphaZero,AlphaFold,現在開始走向了氫能源、核聚變、量子計算,但是離大部分已經遠了。
在今天其實Top-Down、Button-Up做起來叫上下同欲,使大家從這種理想上到技術上、認知上充分地對齊,變成一個事兒。所以我認為跟大家更多日常的交流,會使這個大家變成一個大腦,這是我最重要的工作。
張鵬:
嗯,有意思。所以一個小的團隊去發揮它最大的能量,反而是所有人能夠同喜同悲、同欲同求 。
王小川:
這很重要,今天也不講組織管理了,就是大家變成像一個人做。百川現在是 100 人,昨天剛到 100 人。
信心的變化
百川的進度比想象中更快
張鵬:
過去幾個月,投身大模型,你的熱情沒有變化,但是信心有變化嗎?跟你一開始的預期相比,是更難了?還是符合你的預期?
王小川:
如果講真話,發自内心的,我覺得比我想得更簡單。
預期就是,一開始都知道很多(困難),國外好幾年的積累,算力、伺服器......但是當你和同事在一起工作的時候,當大家在共創的時候,我們實際的進度、節奏都比預期要快。
原來我們預計是Q3 發一個 500 億的模型,然後 Q4 發布一個 1750億的。
但事實上,這些東西不會變,但過程中,應用的進展速度,模型開源的速度,都比預期快很多。
而且也更快地,今天我們可以開始説,不只是在國内做到最好,我在國際舞台上開源。
開源很簡單,大家可以拿着自己用的,這不是你自己吹牛吹出來的。開完之後,我們有信心能在國際舞台上拿到非常好的位置。
張鵬:
所以跳到水裏之前是不知道深淺的焦慮,真跳進去了,發現其實能踩到底了,就踏實了很多?這件事真的這麼簡單嗎?
王小川:
分人。
我是一個做事還比較謹慎的,我當時還在看,然後我們的聯創一腳把我踹進去,説開始幹。然後我説好吧,宣布下場開始幹。否則還可能更晚,才會覺得自己準備 ready 了。但一旦下場之後,會發現比自己想的時候,會跑得更快一些。
狂熱之後
最近關注的技術進展
張鵬:
你最近在關注大模型的那些技術進展?有哪些 paper 是讓你感到比較興奮的東西?
王小川:
第一,光看論文,今天其實已經不重要的。你看不完的。
基礎就那些東西。而且今天 OpenAI 已經不把好論文發出來了。發出來的都是信息量不大的論文,收獲是有限的。
同時大家因為之前進入狂熱(狀态),我們叫「度日如年」,每天過得更(技術進步)一年似的。
張鵬:
度日如年是因為它跑得快。
王小川:
對,不是枯燥。每天都太多新鮮事了。大家神經已經刺激到了一個高點,有一點疲軟的狀态。
説回來,最近有幾個技術進展,我覺得非常厲害的。
一個是,大概一周多前,OpenAI 推出了code interpreter,這是重大的一個突破,但在國内好像沒有形成新一輪的媒體狂潮。
之前的狂潮大家已經享受過了,這次的進度,code interpreter,我覺得是媒體沒有當量地去正視它報道它。
以及昨天的一個小更新,定制自己的 instruction。
代表了它從模型 LLM,開始走向 Agents。
裏面會描述説「我是誰,我有什麼特點」,你這個大模型會扮演一個怎樣的角色,有什麼特點?形成這樣一個關系,是從模型是不是 Agent(角度來看的)。
這兩個領網域,是今天大家關注報道不夠的。
創業的決定
終于等到「适合小川」的無人區
張鵬:
最後一個問題,你剛剛提到,你是被「踹」到這個創業的局裏。我也知道你很早就是AI的狂熱分子,從 AlphaGo 的時候就是。
最終下決心,成為一個 AGI 領網域、大模型領網域的創業者,老王(慧文)也好,中國這波浪潮也好,他們對你的決策產生了怎樣的影響?經歷了這樣一個過程,你内心發生了怎樣的變化?
王小川:
心路歷程其實挺長的。
在搜狗的時候,到後期。第一,錯失了推薦引擎,也跟騰訊做了戰略結盟,在這種情況下,沒有新的技術突破的話,發展上是非常受限的。當時把搜狗并給騰訊的時候,我在挑戰一個更有意思的事,就是把生命變成數學模型。就像我們説,牛頓是把物理變成數學模型。
之前在極客公園的平台上,我都在講向生命學習。
生命是什麼?這是我思考了20年的一件事。
怎麼把生命變成數學模型?這是我關心的。甚至在研究中醫,怎麼把生命變成數學模型,(後來)發現這條路不一定是能走通的。
怎麼在科學範式裏,對醫學有新的突破,這是我特别感興趣的事情。我讀醫學的論文比我讀計算機的論文多得多,我讀了上千篇醫學論文。
21年發生了什麼事呢?21年的時候大模型已經開始有一些機會。那時候我們做了百億模型,來解決搜索變問答的問題。
其實之前做輸入法,就已經在搞「預測下一個詞想説什麼」,然後怎麼改寫,搜索是變成問答。其實有摸到那個門,但是那時候技術是沒有突破的。
所以你知道把生命變成數學模型,我是很感興趣的,所以大模型這波到來之後,我第一想法不是做大模型,我想説,是不是今天可以在生命領網域做個Health ChatGPT?健康的 GPT,一個數字醫生?
張鵬:
你在從應用的、解決問題的角度思考。
王小川:
對,在思考這個問題。然後又想,如果你今天做一個垂直模型,它可能會被大模型幹掉。通用智能會幹掉專有智能,對吧?
但是這種情況下,我們發現,如果只做一種 HealthGPT,或者只做一個數字醫生,這是不夠的。
最後就説,還是要做大的模型。
(下場做大模型的決定)是轉了這麼一圈轉回來的,并不是覺得之前自己有積累之類的。
但是做大模型,發現其實(之前的積累)是挺相關的,比如語言相關的處理。
甚至極端一點説,ChatGPT 第三個把語言模型做成超級應用。前兩個,一個搜索,一個輸入法。
張鵬:
感覺你不把這個也幹了,對不起之前幹的那兩個。
王小川:
對,所以發現之前的積累在今天确實用得上,這是之前沒想到的。
因此我很感慨,老天對你很好,給了你一個機會。在搜索畫句号的時候,還有一次機會,把以前的經驗用來做一件原來做不到的事。
現在説,大家沒人説過「小川适合做搜索」,但都説「百川适合做大模型」,對我來講,是一件非常幸運的事。
張鵬:
這是你當初決定要做的原因。
現在幾個月下來,大家可能會覺得這件事很難,OpenAI都沒能變成一個超級賺錢的公司,硅谷很多人都質疑它的商業模式。所以大模型對創業者會有這方面的壓力,你感受到這個壓力了嗎?
王小川:
我都是很亢奮的。
因為以前都是在百度的陰影下工作,現在是無人區,這件事對我來講正好是我想做的事,而不是説前面有個領導者在裏面,然後你跟着追。對我來説,這是我喜歡的,一個新的探索。
張鵬:
特别感謝小川今天給我們做了走心的分享,也恭喜你終于迎來了屬于你的無人區,希望在這裏能看到更美的風景,掌聲獻給小川,加油!