今天小編分享的科技經驗:剛剛,31歲的楊植麟回應一切,歡迎閲讀。
(圖片來源:钛媒體 App 編輯林志佳拍攝)
2023 年 11 月 16 日起,一款名為 Kimi 的 AI 應用產品在中國橫空出世、瞬間爆紅,在蘋果 App Store 應用商店的下載排名中,一度超越微信、抖音,衝到榜首。
被稱為 " 中國版 ChatGPT" 的免費 AI 應用 Kimi,能一口氣直接進行 200 萬字長文本處理,文筆比百度 " 文小言 "(文心一言)更加流暢自然,而且引發社交平台讨論,一度讓平台暫時 " 宕機 "。
今年 10 月,Kimi 智能助手月活超過 3600 萬人。
Kimi 智能助手背後的 " 締造者 ",來自一家創立約 579 天的 AI 公司 " 月之暗面 "(Moonshot AI),公司創始人、CEO 是一位 31 歲的連續創業者楊植麟。
楊植麟于清華大學計算機系畢業、美國卡内基美隆大學計算機博士,曾在 Meta AI 和 Google AI 研發團隊工作過,同時他也是 Transformer-XL 與 XLNet 兩篇重要論文的第一作者,兩者均涉及大語言模型領網域的核心技術,并且是中國 35 歲以下 NLP(自然語言處理)領網域引用量最高的研究者。回國後,他曾帶領團隊參與盤古大模型的核心技術研發,還帶領其聯合創立的 NLP 公司循環智能的產品研發。
随着 Kimi 智能助手爆火,過去 1 年多,無論是月之暗面,還是楊植麟本人,都面臨着巨大的争議與熱度。
首先,融資層面,月之暗面優異的 AI 技術、產品、應用和市場銷售能力,讓阿裏巴巴、騰訊、紅杉中國、美團、小紅書、招商局中國基金等機構一窩蜂搶投,數月前滿周歲時融資總額就已達數十億元人民币,公司估值已超過 200 億元。
其次,AI 大模型市場持續 " 狂飙 ",從 " 百模大戰 " 到 " 價格戰 "、落地應用競争、" 百變 AI 應用 " 等,大模型領網域競争加劇,MoE(混合專家)、AI 視頻、實時語音對話、多模态、開源閉源、端側模型等新技術新模式不斷湧現,而在此之前,Kimi 在部分產品功能層面是有所缺失的,而且在 Kimi 免費下,月之暗面每月大量投流和研發投入,導致市場開始懷疑其商業盈利能力和長期行業競争力。
最後,近期楊植麟 " 被仲裁風波 " 引發關注,金沙江創投等 5 家前投資人向媒體透露仲裁消息,讓更多人擔憂接下來公司的發展情況。
圍繞 " 昨天、今天和明天 " 話題,11 月 16 日下午,北京海澱京東科技大廈,閉關技術研發數月的楊植麟,在 Kimi Chat 全面開放一周年日,不僅發布了對标 o1 的全新 kimi 數學模型—— k0-math(未來一兩周内上線 kimi 探索版),并且與钛媒體 App 等對諸多話題進行溝通與回應。
談投放和成本:Kimi 留存率很重要,這與 AGI 有正相關作用
最近出現 AI 創業公司被收購、人才回流的現象,你怎麼看待當前 AI 發展現狀。
楊植麟:我們沒有遇到。我覺得也很正常,行業發展進入新的階段,之前有很多公司在做(大模型),現在有一些小公司在做,行業發展規律。
今年 2、3 月份開始,月之暗面開始聚焦和縮減(出海業務),我認為應該瘋狂做減法,更加聚焦。
提升留存率是很重要的,留存率和 AGI 是正相關過程,現在與 AGI 還有一定的距離,今天做的互動能力還很有限。
" 我們主動選擇做了業務的減法,應該聚焦把一個業務產品做好,大模型公司裏面人數最少,算力卡和人的比例做的最高,公司人員規模做的不會做的很大,業務做很多減法。你看,ChatGPT 有 5 億人次月活,已經是超級應用,當然也有其他應用很難‘破圈’,我們看到了美國市場的情況,選擇聚焦,跟 AGI 的未來發展有關,控制人數不要太多,而把更多聚焦到創新業務做好。"
此次公布的全新一代數學推理模型 k0-math。基準測試顯示,Kimi k0-math 的數學能力可對标全球領先的 OpenAI o1 系列可公開使用的兩個模型:o1-mini 和 o1-preview。在中考、高考、考研以及包含入門競賽題的 MATH 等 4 個數學基準測試中,k0-math 初代模型成績超過 o1-mini 和 o1-preview 模型。在兩個難度更大的競賽級别的數學題庫 OMNI-MATH 和 AIME 基準測試中,k0-math 初代模型的表現分别達到了 o1-mini 最高成績的 90% 和 83%。同時,Kimi 探索版也通過運用強化學習技術創新了搜索體驗,在意圖增強、信源分析和鏈式思考三大推理能力上實現突破。
Kimi 創始人楊植麟博士介紹,k0-math 模型和更強大的 Kimi 探索版,未來幾周将會分批陸續上線 Kimi 網頁版和 Kimi 智能助手 APP,幫助大家解決更有挑戰的數學和搜索調研類任務。
談與豆包競争:不應該關注競争本身
楊植麟:不應該更多關注競争本身,更多應該提升思考能力,用户很大價值,能夠解決 AGI 能力。投流不是當下考慮的重要問題。
當然,大模式推理成本問題也很重要,因此,kimi 未來考慮次數限制,一個模型問題,每個用户(100 次)有次數限制,讓用户自己去選擇。早期,kimi 認為需要分配、動态更優的算力,需要想多久,簡單問題想的時間很短,這是更優的。
如今,算力成本在不斷下降的過程,所以依然有很大的空間。
談多模态:我們在内測
楊植麟:關于多模态,我們在内測,我覺得 AI 接下來很重要是思考和互動這兩個問題,然後我覺得,思考方面可能沒有互動更重啊喲,就是説或者不是説互動不重要,我覺得思考會決定你的上限,然後互動我覺得是一個必要條件。
談算力和 Scaling Law 瓶頸:訓練明年會到天花板,但 Scaling Law 還有更多空間
楊植麟:我覺得訓練還有空間,我覺得可能還有半代到一代模型的空間,所以但是這個空間基本上我覺得可能會在明年釋放出來,明年基本上我覺得領先的模型會把必須能做到一個比較極致的階段。
我覺得今天,比如説我們去看最好的模型,它可能還大概有這樣的空間可以去 " 壓榨 ",但是我們判斷,接下來可能最重點的東西可能還是會在強化學習,他的範式上可能會產生一些變化,我并不是説他不用調,只是説你會通過不同的方式去 Scaling,這個是我們的判斷。
然後你説,scaling Law 會不會是一個天花板,或者像現在其實我覺得我還比較相對來説比較樂觀一點。然後核心就在于説原來你用靜态數據集,靜态數據集其實你是比較簡單粗暴的使用方式,現在就是説你其實理論強化學習的方式,很多情況下你是有人在參與這個過程,但是人他沒有辦法説給你标注那麼多數據,他不可能把每道題具體的思路每道都給你标出來,所以你其實是把用 AI 本身去把人的東西加上一個杠杆,然後比如説你可能标 100 條數據,你就能產生非常大的作用,因為剩下他都是在自己在思考。
談數據泛濫和錯誤率優化:整個行業會變好
楊植麟:對于強化學習來説,這是需要自己生成的,獎勵模型效果,減少盡可能錯誤的東西,因此需要訓練更多的數據,設定獎勵機制,才可能解決數據泛濫等問題。
關于數據、算力和算法平衡問題,這是一個 " 蕩秋千 " 的過程,來回切換,此前在 GPT-4 上算力不夠,因此需要做更多的工程,但現在需要做更多的數據清洗,做更好質量的數據,而且機制算法的改變,這是整個行業的問題,加多少卡解決不了,因此算法層面需要做更多的 scaling。
中美大模型差距:我覺得創新能力更重要
楊植麟:這是一個好事。中美沒有什麼變化或者説差距,本來我一直覺得還是(中美)相對是一個常數,一直會 Pre-Train,明年可能不可持續,一段時間内算力不是瓶頸,創新能力很重要,對我們來説可能是一件好事。
因為他并不因為本來你不做預訓練,你可能今年 1 億明年 10 億或者 100 億,你就是受不了,它不一定可持續,這個時候你可能更多的創新能力是(對于中美 AI 聯系)更重要。
(本文首發于钛媒體 App,作者|林志佳,編輯|胡潤峰)