今天小編分享的科學經驗：DeepSeek R1遇難題142次“I give up”，研究還稱需增加推理時機控制機制，歡迎閱讀。
最新大語言模型推理測試引眾議，DeepSeek R1 常常在提供錯誤答案前就 " 我放棄 " 了？？
Cursor 剛剛參與了一項研究，他們基于 NPR 周日謎題挑戰（The Sunday Puzzle），構建了一個包含近 600 個問題新基準測試。
這些謎題特點是很好理解，不需要專業知識就能看懂，然鵝解決起來卻沒那麼容易。
舉個栗子：
想一個熟悉的五個字母、兩個音節的單詞。将中間字母改為字母表中該字母前面的字母，你将得到一個熟悉的五個字母、三個音節的單詞。這個單詞是什麼？
标準答案是alpha → aloha，很容易驗證。
但這樣的題，即便是在美國長大講英語的成年人，五天也很難解出來。
研究人員用此最新基準，對 OpenAI o1、OpenAI o3-mini、DeepSeek R1 和 Google Gemini Flash Thinking 等模型進行測試，結果發現這些最新一代的推理模型解決這樣的謎題也很具挑戰性。
他們還表示，研究揭示了一些新的模型 " 故障 " 模式，這在現有的基準測試中并不明顯。
比如 DeepSeek R1 會在推理過程中直接放棄，然後給一個它明知是錯誤的答案，有時還會陷入 " 無限思考 " 狀态。
具體來看看是怎麼回事。
周日謎題挑戰數據集
NPR Sunday Puzzle Challenge，是美國一檔廣播智力遊戲節目，自 1987 年以來一直在播，每周日聽眾都會收到一個簡短謎題。
這些謎題通常涉及字母遊戲，只需要普通的英語知識和美國文化常識就能理解。
不過每個謎題通常只有一個或極少數正确答案，題目難度各異，即便聽眾有整整五天的時間思考，有時最後也只有少數聽眾能想出正确答案。而當答案揭曉時，聽眾們都會恍然大悟覺得這個答案既正确又優雅。
最近，來自韋爾斯利學院、得克薩斯大學奧斯汀分校、查理大學、Cursor、歐柏林學院、美國東北大學的研究團隊，從網上抓取了 13 年的周日謎題挑戰記錄構建了一個數據集。
他們認為，目前一些最新基準測試用非常難的任務評估模型，比如大學級數學競賽問題、編程問題以及需要在學術領網域深入的領網域專業知識問題，這種設計不僅對人類來說難以解決，而且也非常難以理解和驗證。
也就是說，大多數人或無法檢查答案是否确實正确，或無法驗證模型在推理上是否正确且有效。
于是，他們從這個節目的 "off-air challenges" 中整理出了近 600 個問題作為測試數據集。
這些題目很好理解且便于驗證。
在整理過程中，他們補充了必要的上下文信息（時間、地點等），比如在一個關于電影名稱的謎題中，特意标注了具體年份，避免歧義。
電影 Wild Wild West 的首字母縮寫是三個 W。請問去年 2013 年哪部著名電影的首字母縮寫有兩個 W？
标準答案：The Wolf Of Wall Street
為确保每個問題的答案清晰明确，大多數挑戰都有一個或少數幾個獨特答案，像下面這樣嬸兒有許多答案的問題都被 pass 掉了：
然後團隊用該基準評估了一眾頂流推理模型，包括 OpenAI o1、o1-mini、o3-mini，DeepSeekR1、谷歌 Gemini 2.0 Flash Thinking Experimental01-21，作為對照，還測試了不具備推理功能的 GPT-4o 和 Claude Sonnet 3.5。
測試采用 zero-shot prompting，直接向模型提供問題，不給任何額外的格式說明或指導。
不過有些謎題題目本身自帶示例說明：
SWITZERLAND（瑞士）的字母可以重新排列成 LIZARD（蜥蜴）和 NEWTS（蝾螈）兩個單詞，LIZARD 是一個動物的單數形式，而 NEWTS 是復數形式。請再說出另一個具有相同特性的國家。即另一個其字母可以重新排列來拼寫兩種動物——一個單數和一個復數的國家。它是一個主要國家。這個國家是哪一個？
标準答案：Mexico（墨西哥） → ox（牛），mice（老鼠）
團隊給出的最終測試結果卻出人意料。
根據下圖該基準的平均準确率，OpenAI o1 表現最優，準确率為 59%；然後是 o3-mini，準确率為 47%，DeepSeek R1 準确率為 35%。
不具備推理功能的 GPT-4o 和 Claude Sonnet 3.5 明顯不如推理模型。
出人意料的點在于，在博士級科學問題 GPQA 基準上，DeepSeek R1、OpenAI o1 和 o3-mini 的表現差距不大，然而在該基準上 o1 在通用知識方面卻顯示出明顯的優勢。
團隊還觀察到一些新的模型 " 故障 " 模式——推理半道 "I give up"。
這種放棄表現出兩種形式，一種是給出一個在推理過程中完全沒有出現過的" 憑空 " 答案。
另一種是明知違反問題約束但仍然給出答案，常發生在下面這種問題中：
想一個包含三個音節的八個字母的單詞，每個音節中都包含字母 "I"，但奇怪的是，沒有一個 "I" 發音，無論是長音還是短音。答案不是復數形式。這個單詞是什麼？
标準答案：Daiquiri
以 DeepSeek R1 為例，它給出了 "queueing" 這個答案，并直接表示這個答案 " 有點牽強 "，還解釋有些人可能會把 "queueing" 發音為 "kyoo-ee-ing"。
團隊表示，在 595 個測試問題中，DeepSeek R1 在 142 個問題上明确 " 放棄 "。
此外，他們還發現 R1 等會陷入 " 無限思考 " 的狀态，在達到 32768token 上下文輸出限制前無法完成推理，并沒有 </think>。
特别在以下兩個挑戰中 R1 表現不佳，在 10 次試驗中有 5 次未能完成推理。
即使将限制提高到 128K，這個問題仍然存在，由此，團隊認為 R1 需要某種推理時機控制機制，鼓勵模型在接近輸出 token 限制時結束推理。
研究人員還發現，這些推理模型有時會表現出異常的不确定性，可能會提出一個答案，馬上又收回，然後嘗試給出新答案。
在某些情況下，模型很早就找到了正确答案，但仍會繼續探索其它可能性。
最後團隊分析了推理長度與準确率的關系，發現在輸出約 10000 個 token 後，繼續推理對提升準确率的幫助不大。
對于 R1 來說，在輸出約 3000 token 時就開始超過 Gemini Thinking 的表現。
新基準引發網友熱議
這項研究發布後，在 Hacker News 上引起網友熱烈讨論。
其中最具争議的一個點在于，有網友認為這項研究并非傳統意義上的 " 推理 " 挑戰：
解決這些問題所需的核心技能似乎是知曉 " 流行品牌名 " 或 " 知名演員 " 等類别的所有已知名稱，檢查它們是否符合。
作為人類，你可能會因為不知道某個特别名稱而永遠無法回答某個問題，例如不是美國人，我不知道 "Citgo" 是什麼，我這輩子從未見過這個名。
網友表示這的确是一個 AI 系統原則上可能真正擅長的事情，但當測試内容過于側重 "記憶回憶" 時，把它稱為 " 推理 " 似乎很奇怪。
如果問題是多項選擇的，消除了讓候選答案浮現在腦海中的挑戰，那麼我會同意這是一個 " 推理 " 測試。
持此觀點的網友不在少數。
我有同樣的想法。這讓我想起解決 Project Euler 問題，通常存在一種明顯的簡單方法可以保證得出正确答案，但如果執行到完成，将消耗過多的内存 / 計算資源。如果提示模型制定一種有效解決這些挑戰的策略，而不是直接解決它們，模型的表現可能會好得多……這表明了一個潛在的改進方向。
另外，針對模型表現不一，也有網友提出能否确定這些謎題和答案沒被加到模型的訓練數據中的疑問。
聚焦到研究結果上，網友對研究中的發現很感興趣：
有趣的是，模型在推理中經常包含正确答案，但卻沒能意識到這一點。
數草莓問題中 "r" 這一問題也再被網友搬出，有網友認為模型表現不佳的關鍵還是在分詞器上。
對于這項研究你怎麼看？
論文鏈接：https://arxiv.org/abs/2502.01584
測試結果和數據集：https://huggingface.co/spaces/nuprl/verbal-reasoning-challenge
參考鏈接：https://news.ycombinator.com/item?id=42992336
