今天小編分享的科技經驗:這道數學題,Kimi和豆包誰答對了?,歡迎閱讀。
出品|虎嗅科技組
作者|餘楊
編輯|苗正卿
頭圖|視覺中國
12 月 16 日下午,我照常使用 Kimi,突然發現 Kimi 數學版的和藹小眼鏡 logo 的眼鏡框變大了。
滑鼠移過去一看,"Kimi 數學版 " 已經正式改名為 "Kimi 視覺思考版 "。
這讓我想起上周為 Kimi 數學版寫的測評文章。原文如下:
11 月 26 日下午,Kimi 上線了 k0-math 模型驅動的 Kimi 數學版,官宣文非常簡單,一共 3 張圖,1 張主題,1 張入口,1 張能力測評,Kimi 用數據說話,直接對标了 Chatgpt 正當紅的 o1-mini 模型,主打一個 " 人狠話不多 "。
或許是為了面向更多的用戶,官方還提供了玩法思路:" 聽說 Kimi 數學版不只會數學,就像《生活大爆炸》裡的 Sheldon 一樣,它會用理科思維來解釋生活中的一切。你還可以試試讓它陪你玩 24 點遊戲。"
由于我的數學知識早已還給老師,數學水平和亟需 AI 提升教育屬性從而用來輔導孩子做作業的家長沒什麼區别,需要驗證 Kimi 做數學題到底行不行,這篇測評經歷了一些曲折,以至于還未發出。
Kimi 改版後,測評雖成明日黃花,但也有了審視兩個版本的 Kimi 差别的契機。
讓我們一起來看看,Kimi 做出了哪些改變。
前面提到,我的數學知識早已還給老師,因此,我想了一個辦法,用神話戰勝神話,讓 AI 給 AI 出題,看看 Kimi 在數學能力上表現得怎麼樣。
首先,我讓豆包幫我出一道經典數學難題考考它。豆包表示,讓 Kimi 證明一下任意大于 2 的偶數都可以表示為兩個質數之和。
這是一道尚未被完全證明的哥德巴赫猜想數學題。
豆包也是非常 " 厚道 ",但沒關系,AI 無情人有情,咱們換一道高中數學題試試水。
Kimi 數學版
第一問很快,大約 20 秒鍾 Kimi 就給出了答案,然而第二小問,Kimi 花了 33 秒。解答整道題一共 53 秒。
總的來說,這是一道常規題,Kimi 的表現也可圈可點。
接下來看第二小問。
在這個過程中,Kimi 還使用了 " 然而,我們不妨換個角度思考。" 和 " 然而,讓我們再仔細審視一番。" 等等非常人味兒的話,并認為自己的解答 " 無懈可擊 "。
豆包
轉而,我又把這道題扔回給豆包,讓豆包解答,對于自己出的題,豆包一共花了 40 秒,第一問的解答方法與 Kimi 無出二致。
但第二問,豆包給出的答案卻是:
哇~
我們一起來看看豆包的解題過程。
豆包被自己難倒了?
經人類審查,Kimi 和豆包的解法似乎都有點問題。
首先,第一小問沒有争議。
而在第二小問中,Kimi 的解題思路是沒有問題的,需要先解出 m 和 k 的關系。
但 Kimi 定點取來(h,k),取 h 沒問題 ,k 是直線斜率,所以不應該取 k,至少應該換個字母,比如(h,h1)。
我猜測,Kimi 是随便選取了兩個字母表示定點,而沒有注意到頂點縱坐标的字母 k 就是直線 l 的斜率。在這個錯誤的基礎之上,後續的推理都出現了問題。
通過這種方式得出了 " 直線 l 并不總是通過一個固定點 " 的結論後,Kimi 進一步提出 " 換個角度思考 " 的可能性。
然而,基于上面的錯誤,我們并不能夠确定 " 存在一個與 k 無關的固定點 " 中的 k 指向的是直線斜率 k,還是定點縱坐标 k,亦或是通過錯誤方法得到的關于 k 的表達式中的 k。
如果同樣的情況出現在人類解題過程中," 存在一個與 k 無關的固定點 " 更多地指向最後一種情況。但是 Kimi 的低級錯誤使得後續的讨論都無意義了。
再看豆包,豆包失誤程度與 Kimi 不相上下。
在最後一步的整理過程,當 x=0 時,豆包忽略了等式中 k 的存在,而得出了 y = pm sqrt{frac{4}{3}} 的結論。
事實上,y=。而因為 k 是變動的,所以不存在定點。
它被自己出的題難倒了。
總結
數學,原本就是解開宇宙萬物本源最為重要的鑰匙之一。早期人類通過結繩、刻字來計數,到後面算盤誕生,推動計算的演化與發展,人類的數學能力一直在以指數級提升。計算機首次實現規模演算,人類花費數千年才能推算出的結果躍然紙上,時至今日,這一棒交到了 AI 手上。
Kimi 數學版發布之際,月之暗面創始人楊植麟曾在媒體采訪中表示," 如果說長文本是月之暗面登月的第一步,那麼提升模型深度推理能力則是第二步。"
這套話語背後,映射的是曾經 " 百模大戰 " 的 AI 圈對 Scaling laws 不再深信不疑,所謂 Scaling laws 是相信 " 大力出奇迹 ",随着模型規模、訓練數據和計算資源的增加,模型性能會得到顯著提升。
但随着算力擴展到一定的規模,這時算力的增加很難再直接提升模型的質量。從 Claude 推出更高效的小模型開始,大模型 " 廠商 " 紛紛轉向尋找有效的方法來 Scale。
也就是說,這時的狀态是,再加更多的算力,并不一定能看到直接的提升。因為核心是沒有高質量的數據,小幾十 G 的 token 是人類互聯網積累了 20 多年的上限。于是,要通過算法的改變,來釋放 Scaling 的潛力。
對此,月之暗面選擇了強化學習的方法和思維鏈(ChAIn of Thought,簡稱 COT)技術,Kimi 數學版即由此出圈,這項技術使模型能夠像人類一樣進行邏輯推理和思考,從而在多個數學基準測試中超越了主流 AI 模型。
另外需要注意的是,為了 Kimi 數學版獲得更好的體驗,公式推薦使用 LaTeX 格式。不知道怎麼輸入的話,可以截圖或拍照給 Kimi 常規版,讓 Kimi 把圖片轉為 LaTeX 格式,然後復制題目給 Kimi 數學版,此次測評完全遵循說明。
Kimi 視覺思考版
今天,我找了歷史記錄,把之前 Kimi 解析的 LaTeX 格式數學題發給了 Kimi。
對于第一小問,Kimi 給出了如下解答。
首先,Kimi 的數學公式符号更加完善了,另外,它增加了驗算步驟。
這次 Kimi 的解題過程耗時 4 分半鍾,并且,在 3 分 10 秒左右的時候,Kimi 經過了一個大大的停頓,似乎因為 chat 的篇幅所限," 斷了 "。
上周測評時我曾寫到:" 但顯然從以上解題過程來看,‘像人類一樣進行邏輯推理和思考’似只停留在表面,這一宏偉構想還有一段路要走。"
從這周發布的 Kimi 視覺思考版看來,它似乎太 " 人類 " 了,它會說 " 我覺得我之前的展開可能有誤 ",還會說," 等等,還有一個想法 "。
更重要的是,到這裡,Kimi 的推演中斷了,由于給我提供了 " 接着說 " 按鈕,我猜測是之前的推演篇幅過長,Chat 的容量還需要調試。
我們先一起來看接下來的解題步驟。
内容還挺硬核,上次的測評,我請學數學的朋友看了看,人類的解題思路在上文了。
這一次,把評分交給大家。
看到這裡,你會想給 Kimi 點個贊嗎?