今天小編分享的科學經驗：奧賽級AI基準來了：難倒所有模型，GPT-4o僅考34分，上海交大出品，歡迎閱讀。
為了進一步挑戰 AI 系統，大家已經開始研究一些最困難的競賽中的問題，特别是國際奧林匹克競賽和算法挑戰。
但目前尚無奧林匹克級别的、多學科的基準，能夠全面評估綜合解決問題的能力，以全面檢驗人工智能的綜合認知能力。
上海交通大學生成式人工智能實驗室 ( GAIR Lab ) 的研究團隊推出多學科認知推理基準 OlympicArena，即使是 GPT-4o 也只達到了 34.01% 的整體準确率，而其他開源模型的整體準确率也難以達到 20%。
這一鮮明的對比凸顯了他們基準測試的巨大難度和嚴謹性，證明了它在突破當前 AI 能力界限方面的有效性。
OlympicArena 不僅是一套題庫，還做了一些創新，比如為避免模型 " 刷題 "，團隊引入數據洩漏檢測技術，采用 N-gram 預測檢測數據洩露，确認 99.6% 的題目未被預訓練數據污染。
除此之外還提供了一套全面的資源來支持人工智能研究，包括基準數據集、開源注釋平台、詳細的評估工具和具有自動提交功能的排行榜。
OlympicArena 難度水平
OlympicArena 覆蓋數學、物理、化學、生物、地理、天文學、計算機科學 7 大領網域，細分 34 個分支（如數論、量子物理、有機化學）。題目來源包括國際數學奧賽（IMO）、國際物理奧賽（IPhO）等 62 項頂尖賽事，共11163 道雙語題目（中英對照），實際的難度如何。
AGI-Eval 大模型評測團隊基于此，做了 OlympicArena 題目的難度驗證，按照 14 個标杆模型（去除 Qwen2-72B-Chat）的結果對數據子集和數據集維度做難度分布，從圖中可以看到，OlympicArena 整體難度偏難，僅低于 AGI-Eval 團隊私有的兩個高中數學競賽題目。
AGI-Eval 評測模型榜單
" 奧賽題是檢驗 AI 科學思維的絕佳試金石。" 這類高難度題目不僅需要知識儲備，更考驗邏輯推導、空間想象、符号理解等綜合能力。在這場超級測試中，那擅長代碼、學科競賽的推理系模型表現如何？
AGI-Eval 大模型評測社區也做了新的模型評測，接入最新的推理系模型以及大語言标杆模型。
從整體表現上看 o1 和 DeepSeek-R1 的水平基本持平，但是在化學、生物學、天文學、物理上 o1 表現好于 DeepSeek-R1，特别是天文學上 o1 得分達 92.47%，但數學、地理方面 DeepSeek-R1 優于 o1。
推理系模型和新迭代的模型版本效果都有明顯提升，詳細排名及得分可上官網查看。
學術難度分析
從能力測試上可以看到模型在不同學科的表現水平不同，在天文學上 o1 得分高達 92.47%。是天文學很簡單嗎？基于此，團隊也做了相關的學科分析，從下面的箱合圖中可以看到（中位數越小越難）：
化學、生物、地理和天文為一檔，該檔模型中位數大于 0.6，從箱型大小可以得到構建優先級為：天文 > 化學 > 生物 > 地理
物理為單獨一檔，該檔模型中位數 0.5 附近，箱型大小較大
數學為單獨一檔，該檔模型中位數 0.3 附近，箱型大小極大
客觀來說，在數學物理上 R1、o1、o3-mini 表現能力更好，能力水平也會更穩定。
題型分析
除對模型進行能力評測外，AGI-Eval 大模型評測團隊也做了相關的題型分析，提煉出以下雷達圖，從圖中可以看到 1-5 排名的推理模型對其它模型產生了碾壓的态勢，特别是在非選擇題題型上，建議構建題目以單問的生成題為主。
△通用模型 6-10 難度分析
同時也對模型在面對不同難度題目做了分析，可以看到頭部模型在 Easy 難度基本已接近 100% 的準确率，且無區分度；Medium/Hard 難度是推理系模型拉開的主戰場，且 Meidum 難度已達到 90% 的準确率，後續模型評測建議只構建 Hard 難度的題目。
預測分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，可以得到如下圖（在 Ideal Fit 線上方的為超出預期，線下的為低于預期）。
O3-mini、O1、DeepSeek-R1 在 Hard 上已超越模型列表中的正常表現，但在 Medium 上略低于預期
平衡點：即 Easy、Medium、Hard 上分數為多少時三公式有解，說明模型表現均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897
結語
OlympicArena 的誕生，是對現有模型的試金石，更是對 AI 研發路徑的深刻啟示：僅靠數據堆砌無法實現真正的智能。未來的 AI 應該學會像奧賽選手一樣拆解問題、關聯知識、嚴謹推導。
當模型能力達到這樣的水平時，對模型的評測的題目難度及評測要求也越來越高，後續模型評測建議只構建 Hard 難度的題目。
基于此，AGI-Eval 大模型評測團隊創新性地提出了人機協作評測模式，并推出 10q 的全新玩法。待測模型需要在同一套 system prompt 下指導真實用戶學習一個知識點并完成 quiz，基于模型與用戶的高質量多輪對話數據，產出更加高置信度的評測結論。
在這種模式下，參與者可以與最新的大模型共同完成任務，既有助于提高任務完成度又便于建立更加直觀的區分度。
未來随着模型能力的不斷攀升，AI 還有更多能力值得發掘和探索，對模型能力的考察也仍有更對創新空間。
論文地址： https://arxiv.org/pdf/2406.12753
項目地址： https://gair-nlp.github.io/OlympicArena/
代碼地址： https://github.com/GAIR-NLP/OlympicArena
一鍵三連「點贊」「轉發」「小心心」
歡迎在評論區留下你的想法！
— 完 —
速搶席位！中國 AIGC 產業峰會觀眾報名通道已開啟 ♀️
首批嘉賓曝光啦 百度、無問芯穹、數勢科技、生數科技、像素綻放等十數位 AI 領網域創變者将齊聚峰會，讓更多人用上 AI、用好 AI，與 AI 一同加速成長～
4 月 16 日，就在北京，一起來深度求索 AI 怎麼用
一鍵星标
科技前沿進展每日見
