今天小編分享的科技經驗:楊植麟定風波:最關心Kimi用户留存,無它,歡迎閲讀。
當一家創業公司開始有 " 敵人 " 的時候,這家公司會第一次呈現出它的氣質。
這種氣質也可以説是創始人的氣質。
在以一種近似都市傳説般的方式成為中國最被關注的大模型新公司、一年拿到幾十億美元融資、推出 Kimi 并獲得 3600 萬月活 C 端用户後,楊植麟和他的月之暗面開始遇到它反目成仇的敵人。
11 月 11 日傳出的報道稱,月之暗面創始人楊植麟、聯合創始人兼 CTO 張宇韬,被他們在此前創辦的循環智能的投資人提起仲裁,理由是,楊植麟等人在獲得這 5 家投資方的同意豁免書之前,就已啓動融資并創立月之暗面。
一切衝楊植麟而來。
在 2022 年 12 月之前,楊植麟是一名在硅谷闖蕩後回國的 90 後 AI 學者,在 CMU 讀博時發郵件推介自己的研究想法,就和一眾大佬共同發了多篇論文;讀書期間去 Meta 和 Google 等大廠實習,成為多個重要模型的核心成員;之後回到清華成為一名 1992 年出生的年輕教授,又同時和朋友一起創辦了一家 NLP 公司循環智能。
而在 2022 年 12 月之後,他迅速告别了此前的一切。
從他身邊的人的描述來看,他是一個在重要的事情發生後,可以比其他人更早意識到機會,并切中要害的人。在大模型的事上,這個特點再次體現。他很快認定這是大事。但彼時有這種 " 頓悟 " 的不只有他,一眾等待許久的科學家紛紛創業。只不過,與這些科學家前輩們不同的是,楊植麟快速用新的方式搶跑——
他沒有像很多創始人那樣在已經成立的公司裏做新的事,而是既往不戀,直接結束上一段創業。
13 年前,楊植麟高中畢業的時候在汕頭中學作為狀元致辭,他在開頭這樣寫道:"16 年前英國樂隊 The Verve 宣布解散,末了丢下一句拜倫的詩:"All farewells should be sudden." 翻譯成中文就是,所有的離别都是突然的。這話説得沒錯。"
All farewells should be sudden。他只不過是又幹了一次。
2024 年 11 月 16 日,我在月暗新的辦公室見到楊植麟。這是月暗的第二個辦公室,在創業之初,月暗在據此不遠的搜狐大廈,上一家公司循環智能就在幾層樓之隔的腳下。沒有前台的辦公區,楊植麟就坐在靠近門口的位置,一頭亂發盯着筆記型電腦,彎着腰工作,也會時不時跟人站在門外電梯口低聲聊天。他把公司會議室全部用搖滾樂隊命名。而之後月暗的人在增加,估值在增長,他們搬進了另一個大樓,開發布會的地方也從 The verve 這樣的名字,換成了 " 青州 " 這樣的會議室。
和當初那個工位緊張,角落裏堆滿各種雜物的場景相比,現在寬敞明亮了許多,但他也不由得讓人覺得這家公司開始接近一些互聯網公司的樣子。
楊植麟穿着一身 Kimi 衞衣出現在發布會。這是外界最近難得的交流機會。在發布會開始,他先介紹了月之暗面最新的推理模型 k0-math。根據他的展示,k0-math 已經在數學基準測試上對标 OpenAI o1 系列,在一些測試題上更是超越了對方。與此同源的技術也在做着產品化,預計一兩周後會在 kimi 的探索版上應用。
楊植麟展示了多個例子。聽他發布產品,會讓人想到大學裏做課題作業的場景,他説話慢悠悠,語氣平緩。但你會發現,當他在介紹數學模型的技術意義時,開始有些不同,有點手舞足蹈。
" 我當時第一次看到這個時候,我笑了很長一段時間。" 楊植麟在介紹這個數學模型的 " 過度思考 " 案例時笑着説。
在當天對談的大部分時候,他會笑着跟你聊天。頭微微前傾,低着頭盯着你,然後認真回答。
但有時候,他也會警覺起來。
"Kimi 背後的模型被很多人讨論,它是用的開源模型還是自己做的?" 我問到。
" 我們自己做的。" 這是所有問題裏他回答最短的一個。且眼神變得犀利。
這次的數學模型是月之暗面少有的 " 發布 " 一個模型。k0 的名字也是第一次有屬于月之暗面的模型名字出現在大家眼前。相比于人們經常看到的其他家的模型系列,外界一直關心 Kimi 這個產品背後的模型。
但從楊植麟的各種思路來看,那種 " 原教旨 " 的對預訓練的痴迷似乎沒那麼重要了。熟悉這家公司的會發現,月之暗面在模型能力上對外講述的重點,此前是上下文,今天則是因 o1 而被重視的強化學習和它帶來的推理能力。這些都是 " 單點 " 的能力,它從沒有從一個基礎模型的 " 全貌 " 來介紹過自己的技術方案,更像是把預訓練這件事更務實的拆開來,哪部分重要,在現有的資源和能力的條件下可以去做,就做哪部分,講哪部分。
他只關注他認定是重要的事。
這其實與外界的想象不同。在 AGI 的光環下,他領導的月暗被寄予了諸多想象,但事實上,它的競争力并不來自于 OpenAI 那樣的某種 AGI 瘋狂信仰,而來自于方向明确後的快速執行。
他看起來對做一個像喬布斯那樣單手挑破舊世界的人不太感興趣,當舊的文化依然堅固,他不會去單槍匹馬觸碰它,但當巨大裂縫剛一出現,他會立刻動起來。2022 年底當他一晚上算出月暗需要的一切條件和時間視窗期時,是這樣;在 Kimi 上瞄準上下文去卷,也是這樣;今天在 o1 發布後,迅速轉向強化學習,并拿它徹底改造 kimi,還是這樣。
而保證這種快的方法是比其他人更好的判斷力,更好地做抽象。
在此前的一個采訪裏,楊植麟曾提到他在谷歌的最大收獲是,明白了 AI 這件事上不應該一直痴迷于雕花,而要做抽象。現在看來他把這個方法用在了一切重要的事情上:
比如 AI 最重要的兩個事情是足夠通用,和可以規模化,那麼只要滿足這兩個條件,無論你是不是那個 " 開創者 ",一切都會朝你而來;比如拿融資和與大佬一起發論文,本質就是雙赢,你能努力做到讓對方覺得跟你一起他也可以 " 赢 ",一切就會朝你而來;比如做產品,就要用户的 scaling,通過任何方式制造出來這樣的聲勢,一切也就會朝你而來;比如做公司,就要用一個偉大颠覆性的願景把資本和人才這兩個生產要素拿到,否則,一切沒有意義。
這樣的抽象有時候需要一個人不去關心其他的事,而只關注自己的事,哪怕是訴訟的争議,哪怕是 " 投流 " 的争論,哪怕是產品更新上看起來的相對緩慢。
這當然是一種過于理想化的心無旁骛。作為一個聰明的晚生觀察一個現有系統的運行機制、然後加以利用的階段,這一切都運轉良好。但當自己直接成為一個新的錯綜復雜系統裏的一環時,用精确的計算來謀求資源的方法也變得復雜,因為自己也成為了更多精明高手們計算的對象,成了其中一個被争搶的資源。
" 我相信我們自己觀察的判斷,我們聚焦在我們認為上限最高的事情。" 楊植麟説。" 我也不會去過多關注競争本身。" 他依然只想他自己的事,而這可能會,也可能不會讓月之暗面實現它的登月目标,但可以肯定的是,它一定會繼續給月暗帶來更多的争議。
畢竟宏大思想裏沒有敵人,敵人來自于現實世界。
在這次難得的交流裏,楊植麟也回答了各種問題,以下是此次群訪的全文實錄。為閲讀體驗有所删減調整。
1)如何看待近期業内讨論的人才回流大廠的現象。
我感覺這個問題我們好像沒有遇到。(笑)
但可能有一些别的公司遇到,我覺得倒也正常,因為行業發展進入了一個新的階段,從一開始可能有很多很多公司在做,變成了可能現在少一點的公司在做。那接下來可能就是大家做的東西逐漸不一樣,我覺得這個是一個必然的規律。
2)Kimi 近期的人才流失,如何看待?
這個問題是先問是不是,再問為什麼。(笑)我們其實沒有什麼人才流失。這個問題和第一個問題相關。也和有一個提到聚焦 Kimi 的問題相關。就是我們其實主動選擇做了一些業務上的減法,因為我覺得這個還是很重要的。也是可能我們過去一年比較大的 lesson,就是你其實應該聚焦,把一些最重要的事情做好。然後我們做的還可以,比如我們始終保持在所有的大模型創業公司裏面,人數最少。我們始終保持卡和人的比例是最高的。我覺得這個非常關鍵,我們不希望把團隊擴得那麼大。那麼大其實對創新的影響是有致命性的傷害。但如果你想把團隊保持在一定的規模,那你其實最好的方式是業務上做一些減法。
3)產品上如何聚焦的?
我們一開始确實也嘗試過幾個產品一塊做,我覺得這個在一定的時期内有可能是有效的,但到後來你發現還是要聚焦,把一個產品做好,把它做到極致是最重要的。因為你砍業務等于本質上來説也是在控制人數,你不希望這個人數漲得特别猛。比如説我如果現在三個業務一起做,我就活生生把自己變成一個大廠,那我肯定是沒有任何的優勢。
然後很重要的另外一個點,我們也根據美國市場的情況去判斷,判斷哪個業務可能最後做的最大的概率是更高。你們問超級應用,我覺得其實已經出現了。 ChatGPT 現在有超過 5 億的月活,你説它是不是一個超級?我覺得至少是半個了。你有 5 億人每個月在用啊。所以我覺得這個東西已經很大程度上被驗證了。但比如説像是 Character.ai 這種產品,一開始它其實是用户量蠻多,但是後面可能很難破圈。
所以在這個過程中我們也根據可能美國市場情況,包括我們自己觀察到一些判斷,我們其實就是去聚焦在我們認為這個上限最高的這個事情,而且他可能跟我們 AGI 的這個 mission 匹配,所以通過這種方式去控制你的這個業務,就是不要就是過于過多,然後控制你的人數不要太多,然後你真正聚焦就是能把這個核心的這種創新能力去做好。是這樣的邏輯。
4)具體什麼時間做的聚焦 Kimi 的決定?
大概今年二三月份,三四月份,大概那個區間,一是基于美國市場判斷,二是基于我們自己的觀察。以及基于我們的 lesson 本身,做減法不是瘋狂的做加法。
5)談一談預訓練的情況?
我覺得預訓練還有空間,我覺得還有可能還有半代到一代模型的空間。這個空間基本上可能會在明年釋放出來。明年基本上領先的模型會把預訓練做到一個比較極致的階段。今天我們去看最好的模型,它可能還大概有空間可以去壓榨,但是我們判斷接下來可能最重點的東西還是會在強化學習。它的範式上可能會產生一些變化。
6)你好像沒談你們自己的預訓練,外界好奇你們是自己做還是開源。
我們自己在做。
7)像你這麼聰明的人,是不是已經有點被 scaling law 這樣的東西給限制住了。
Scaling law 會不會是一個天花板?其實我覺得這個我相對來説比較樂觀一點。核心就在于説原來你用靜态數據集,其實你是比較簡單粗暴的使用方式,那現在其實你用強化學習的方式,很多情況下是有人在參與這個過程,但是人他沒有辦法説給你标注那麼多數據,他不可能把每道題這個具體的思路,每一道都給你标出來。所以你其實是用 AI 本身去把人的東西加上一個杠杆,然後比如説你可能标 100 條數據,你就能產生非常大的作用,因為剩下它都是在自己思考。我覺得這個路線其實确定性是比較高的,很多時候它是一個真正把它調出來的過程。我覺得他上限是很高。
8)你們還做多模态麼。
我們也在做,在内測,已經有人已經用上。我是這樣看的,我覺得 AI 接下來可能最重要是思考和互動這兩個能力,然後我覺得思考重要性可能會遠大于互動。不是互動不重要,但思考決定上限。然後互動我覺得是一個必要條件。
9)怎麼看跟豆包的競争。
這個問題有意思。對我們來説,我們還是更希望是關注在怎麼給用户真的產生價值,我不希望我們可能過多的去關注競争本身,因為競争本身它并不產生價值,我覺得我們只有去迭代一個更好的技術和產品,然後給用户創造更大價值,這個可能才是我們現在最核心的問題,所以我們會更聚焦在怎麼去提升模型的思考能力,思考推理能力,然後通過這個東西給用户帶來更大的價值。要做正确的事,而不是專門做不一樣的事。(笑)
10)你們目前最核心的任務是什麼。
我覺得最核心的任務就是提升留存,當然,或者説把留存作為一個重要的衡量指标。因為我覺得它基本上和你的技術成熟度或者技術的水平也是一個正相關的過程。我覺得還有非常大的提升的空間。因為今天來看還是一個初級階段,每年都有大的進步。比如我剛才説的思考能力和互動,當我們把這些東西做得更好之後,我覺得留存也會進一步上升,就是這個產品的好處就是我覺得基本上你的模型能力跟你的產品只要是高度正相關的,所以他是可以統一的。
11)o1 轉換帶來範式改變,你們如何做的判斷和調整。
o1 的變化其實它是可以預測的,我們很早在説接下來推理占的比例會遠遠超過訓練,本質上説的是一個事情。因為它基本上是必然的,就你如果去分析底層原理,它是必然會出現的。你沒有那麼多數據訓練,你肯定是要生成數據,生成數據肯定是強化學習,本質是一樣的。我覺得這個是我們很早看到的。只不過在早期預訓練的很多紅利沒有被完全發揮出來,所以你可能很關注怎麼通過 Next — Token prediction 能壓縮出來更多的智能。但是我們更早的去鋪墊比如説在強化學習上我們能做什麼,不管是在人才上還是在技術的儲備上,更多的是這樣的一個過程。
12)你説的布局大概什麼時候開始。你要看不同的布局的程度。可能比如人才,像我們其實從去年就開始,然後中間其實你也會有不同的過程,比如一開始可能是 RLHF,但它上限可能沒有那麼高。需要不停去探索一些可能新的方式,更規模化的方式。
13)你之前説長文本是登月第一步,那這個數學模型是什麼。
第二步。(笑)
14)中美的差距有變化麼。
差距我覺得相對還是一個常數。
15)Kimi 的投流成本很高,你怎麼看,能做到良性的商業化麼。之前你提到抽成的方式。
适當的投放是需要的。我覺得有辦法,但現在對我們來説關鍵是留存。
16)留存到多少是你們的目标。
我覺得永無止境。
17)看起來你剛才説的意思是你對目前投放帶來留存并不是不太滿意。
我整體來看相對其他產品是有優勢的。我的意思是相對于這個產品的終極形态,我們在留存上還有很大空間。
18)Kimi 的出海怎麼想。
我覺得先聚焦,後全球化。要更耐心。