今天小編分享的科技經驗：17款大模型PK八款棋牌遊戲，o3-mini勝出，DeepSeek R1輸中間步驟，歡迎閲讀。
AI 社區掀起用大模型玩遊戲之風！
例如國外知名博主讓 DeepSeek 和 Chatgpt 下國際象棋的視頻在 Youtube 上就獲得百萬播放，ARC Prize 組織最近也發布了一個貪吃蛇 LLM 評測基準 SnakeBench。
針對這一場景，來自港大、劍橋和北大的研究人員發布了一個更全面、客觀可信的 LLM 評測基準：GameBoT
讓大模型在 8 個遊戲中互相 PK，評測各主流大模型的推理能力。遊戲 PK 避免模型 " 背答案 "；除了輸赢之外，GameBoT 還評估大模型輸出的中間步驟，實現更細粒度和客觀的測評。
通過遊戲來評估 LLM
傳統的 LLM benchmark 面臨着兩個挑戰：性能飽和與數據污染。性能飽和指的是榜單分數已經被刷的很高，幾乎沒有進一步提升的空間。例如，Qwen2-Math-72B-Instruct 在 GSM8k 上已達到了 96.7% 的準确率。數據污染是指由于語言模型在大規模網絡語料庫上進行預訓練，它們可能會無意中遇到并記住這些基準測試中的測試實例。因此，LLM 可能會獲得虛高的性能分數。
而通過遊戲來評測，正好既具有挑戰性，又能夠通過動态的遊戲環境來避免模型提前記住 " 試卷答案 "。
中間步驟評測
相較于其他一樣用遊戲來評測 LLM 的 benchmark，GameBoT 有何不同呢？
其他的 benchmark 往往只根據遊戲最終的輸赢作為标準，然而一次比賽可能有幾十上百個回合，一個回合的決策就有可能直接決定輸赢，這帶來了很大偶然性；除此之外，LLM 經常會出現思考過程和最終決策不對應的情況，有可能只是碰巧選到了一個好的決策—— GameBoT 中的一個關鍵設計在于，不僅僅評測最終勝負，還評測 LLM 的中間思考過程是否正确。
△評估中間步驟可以利用更豐富的信息
為了對 LLM 的推理進行細粒度分析，作者将每個遊戲中復雜的決策過程分解為 2-3 個邏輯上關鍵的子問題，每個子問題都被設計為有唯一确定答案的，并讓大模型在回答子問題的基礎上回答最終決策。LLM 被限定通過這個格式回答：" [ 中間思考結果：XXX ] "，方便直接提取答案。同時，對于設計好的問題，作者預先開發好基于規則的算法來生成标準答案，從而更客觀高效地評估模型性能。
例如在 Surround 遊戲中，設計了這樣的問題：
當前位置周圍的值是多少？當前安全移動的方向有哪些？該方向能保證至少十次安全移動嗎？
評測中間步驟帶來了幾個優勢：更細粒度的評測，更高的可解釋性，更清楚的了解模型能力的優勢和劣勢。
Prompt 設計
為确保公平評估大語言模型學習和應用遊戲策略的能力，我們設計了非常詳細的足以作為教程的遊戲 prompt。
包含三個結構化部分：< 遊戲規則 >、< 輸入 > 和 < 輸出 >，其中 < 遊戲規則 > 部分提供完整的遊戲規則説明，< 輸入 > 規範模型接收的輸入格式，< 輸出 > 明确指定結構化輸出要求。
在 < 輸出 > 中包含了詳細的 Chain-of-Thought，提供了人類專家設計的遊戲策略，指導 LLM 通過三步框架（策略理解→子問題分解→策略應用）解決復雜問題。教程級别的 prompt 确保評估聚焦于模型基于新信息的推理能力（zero-shot 或 one-shot），而非依賴預訓練數據中的既有知識。
△ GameBot 框架
評測遊戲
Surround
遊戲中玩家通過控制方向在螢幕上移動，并試圖圍住對手。先撞上自己的軌迹、對手的軌迹或者牆壁的一方算輸。
△左：GPT-4o；右：Claude-35-Sonnet
2. Pong 乒乓
玩家通過控制球拍在螢幕上移動，并試圖将球擊回對手區網域。先未能接到球的一方算輸。
△左：GPT-4o-mini；右：Llama3.1-405b
3.TicTacToe 井字棋
先連成三子的一方赢。
△ X：Gemini-1.5-pro-preview；O：Llama3.1-70b
4.Connect4 四子棋
先連成四子的一方赢，每次只能從最底下開始落子。
△黃：Claude-35-Sonnet；紅：GPT-4o-mini
5. Othello
黑白棋夾住翻轉對手的棋子以占據更多格子。遊戲結束時，棋盤上棋子數量更多的一方獲勝。
△黑：GPT-4o；白：Llama3.1-405b
6. Texas Hold ’ em 德州撲克
玩家根據自己的牌力下注，擊敗對手赢得底池。遊戲結束時，牌型最強的一方獲勝。
△下：GPT-4；上：Claude-3-Sonnet
7. Checkers 跳棋
跳過對手的棋子完成吃子，被吃光的輸掉。
△白：Gemini-1.5-pro-preview；黑：Jamba-1.5-large
8. Negotiation v2
玩家協商物品的分配，來盡可能獲得更多價值。遊戲在 8 輪後每輪有 20% 的概率結束，若遊戲結束前未達成協定，雙方均得 0 分。
△ P1: GPT-4o; P2: Gemini-1.5-pro-preview
LLM 淘汰賽，誰會勝出？
在論文發布的版本裏，作者評測了包括 GPT-4o，Claude-35-Sonnet, Gemini-1.5-pro-preview 等 17 個當時最領先的 LLM，每兩個模型在每個遊戲上進行 20 輪相互對抗賽（10 輪先手 10 輪後手）。這種設計既保證了評估有效性，又能确保足夠多的遊戲局面。
随着新的大模型發布，作者更新了對更強的大模型的評測，包含 Gemini-2.0-flash-thinking，Gemini-2.0-pro-exp，O1-preview，Deepseek R1，O3-mini，Claude 3.7 Sonnet，GPT-4.5。比賽采用淘汰制，部分實驗結果：
最終排名 :
出乎意料的是，盡管在 Chatbot Arena 榜單上高居前三，Gemini-2.0-flash-thinking 在 GameBoT 榜單上相對其他新模型表現并不亮眼，最近火熱的 Deepseek R1 也是和 O1-preview 打成平手，稍遜于 O3-mini-high。
中間步驟得分 F1 Score：
Deepseek R1 的中間步驟分意外很低，檢驗後發現，盡管最終的決策表現很好，R1 的思考過程非常繁冗，經常出現連續十幾次 "wait" 然後重新思考的現象，時常沒法按要求給出中間步驟的答案。
實戰分析
以下是 O3-mini 和 Deepseek R1 的實戰分析。O3-mini：X，Deepseek R1：O。
當棋局開局來到此時，是 O3-mini 設定的第一個考驗，不在 2 或者 5 位置堵住的話 Deepseek R1 會直接輸掉。R1 正确應對：
Placing at 5 blocks X ’ s immediate threat and limits their ability to build a horizontal line.
當棋局來到
R1 對于優勢局面窮追不舍，繼續下在 2 形成三子。
Placing O at ( 3,2 ) forms a horizontal trio in row 3, setting up potential for a future four-in-a-row. This move also occupies the central column 2, enhancing control over multiple directions and blocking X from advancing in column 2. Additionally, this position can contribute to a diagonal with existing O pieces at ( 4,3 ) and ( 3,3 ) , offering multiple pathways to victory.
這一步，非常驚喜 R1 能夠注意到 ( 3,2 ) 除了橫方向上連成三子，還和（4,3）呼應，是一步精彩的落子。作為回應，O3-mini 雖然選擇了一步敗招，落在 Column 1 中，導致 O 繼續落在 1 直接勝利，但 O3-mini 給出的理由也體現了一定程度的智能。
If the opponent later uses ( 2,1 ) to complete a diagonal with their O ’ s at ( 3,2 ) and ( 4,3 ) ( aiming for a win by eventually filling ( 5,4 ) ) , it would be dangerous. By playing ( 2,1 ) now I both deny that chance for O and build my own potential diagonal connection ( using my existing X ’ s at ( 0,3 ) and ( 1,2 ) which would then point to a winning continuation with a future piece at ( 3,0 ) ) . This dual-purpose move makes ( 2,1 ) the best choice.
這個回答讓人猛然發現，原來此時早已是無解的局面——如果随手落在别處，例如 5, 2 等， 那下一手 O 落在 1 将一招斃命，此時直接形成雙三，沒法同時堵 Column 4 和 Column 1。O3-mini 的正确走法也許應該先落在 4 處，雖然也只能拖延幾步，避免不了失敗（感興趣的讀者可以推演）。
觀察發現
對新模型的評測實驗主要發現如下：
在測試的模型中，O3-mini-high 的遊戲推理性能以及中間步驟得分都是最強。R1 的推理能力也很優秀，但對于復雜問題，生成的中間思考過程非常不易讀，或者無法按 prompt 要求給出中間步驟的答案。可控性相對較差。Gemini-2-flash-thinking 也存在可控性（或者説指令遵循能力，Instruction following）較差的問題，綜合遊戲推理性能并沒有 Chatbot Arena 顯示出來的那麼優秀。
總之，O3-mini 和 R1 的表現已經體現出一些智能，但它們依舊不夠聰明——以 Connect4 為例，對于直接能連成四子的局面，它們有時會看不出來。這也體現在它們的中間步驟評測分并不是滿分上。另外，盡管在 prompt 中提示了需要 think ahead 多考慮幾步，目前最先進的大模型也只能考慮當前這一步最優。
