今天小编分享的科学经验：奥赛级AI基准来了：难倒所有模型，GPT-4o仅考34分，上海交大出品，欢迎阅读。
为了进一步挑战 AI 系统，大家已经开始研究一些最困难的竞赛中的问题，特别是国际奥林匹克竞赛和算法挑战。
但目前尚无奥林匹克级别的、多学科的基准，能够全面评估综合解决问题的能力，以全面检验人工智能的综合认知能力。
上海交通大学生成式人工智能实验室 ( GAIR Lab ) 的研究团队推出多学科认知推理基准 OlympicArena，即使是 GPT-4o 也只达到了 34.01% 的整体准确率，而其他开源模型的整体准确率也难以达到 20%。
这一鲜明的对比凸显了他们基准测试的巨大难度和严谨性，证明了它在突破当前 AI 能力界限方面的有效性。
OlympicArena 不仅是一套题库，还做了一些创新，比如为避免模型 " 刷题 "，团队引入数据泄漏检测技术，采用 N-gram 预测检测数据泄露，确认 99.6% 的题目未被预训练数据污染。
除此之外还提供了一套全面的资源来支持人工智能研究，包括基准数据集、开源注释平台、详细的评估工具和具有自动提交功能的排行榜。
OlympicArena 难度水平
OlympicArena 覆盖数学、物理、化学、生物、地理、天文学、计算机科学 7 大领網域，细分 34 个分支（如数论、量子物理、有机化学）。题目来源包括国际数学奥赛（IMO）、国际物理奥赛（IPhO）等 62 项顶尖赛事，共11163 道双语题目（中英对照），实际的难度如何。
AGI-Eval 大模型评测团队基于此，做了 OlympicArena 题目的难度验证，按照 14 个标杆模型（去除 Qwen2-72B-Chat）的结果对数据子集和数据集维度做难度分布，从图中可以看到，OlympicArena 整体难度偏难，仅低于 AGI-Eval 团队私有的两个高中数学竞赛题目。
AGI-Eval 评测模型榜单
" 奥赛题是检验 AI 科学思维的绝佳试金石。" 这类高难度题目不仅需要知识储备，更考验逻辑推导、空间想象、符号理解等综合能力。在这场超级测试中，那擅长代码、学科竞赛的推理系模型表现如何？
AGI-Eval 大模型评测社区也做了新的模型评测，接入最新的推理系模型以及大语言标杆模型。
从整体表现上看 o1 和 DeepSeek-R1 的水平基本持平，但是在化学、生物学、天文学、物理上 o1 表现好于 DeepSeek-R1，特别是天文学上 o1 得分达 92.47%，但数学、地理方面 DeepSeek-R1 优于 o1。
推理系模型和新迭代的模型版本效果都有明显提升，详细排名及得分可上官网查看。
学术难度分析
从能力测试上可以看到模型在不同学科的表现水平不同，在天文学上 o1 得分高达 92.47%。是天文学很简单吗？基于此，团队也做了相关的学科分析，从下面的箱合图中可以看到（中位数越小越难）：
化学、生物、地理和天文为一档，该档模型中位数大于 0.6，从箱型大小可以得到构建优先级为：天文 > 化学 > 生物 > 地理
物理为单独一档，该档模型中位数 0.5 附近，箱型大小较大
数学为单独一档，该档模型中位数 0.3 附近，箱型大小极大
客观来说，在数学物理上 R1、o1、o3-mini 表现能力更好，能力水平也会更稳定。
题型分析
除对模型进行能力评测外，AGI-Eval 大模型评测团队也做了相关的题型分析，提炼出以下雷达图，从图中可以看到 1-5 排名的推理模型对其它模型产生了碾压的态势，特别是在非选择题题型上，建议构建题目以单问的生成题为主。
△通用模型 6-10 难度分析
同时也对模型在面对不同难度题目做了分析，可以看到头部模型在 Easy 难度基本已接近 100% 的准确率，且无区分度；Medium/Hard 难度是推理系模型拉开的主战场，且 Meidum 难度已达到 90% 的准确率，后续模型评测建议只构建 Hard 难度的题目。
预测分析，用 Medium、Hard 拟合 Easy，Easy、Hard 拟合 Medium，以及 Easy、Medium 拟合 Hard，可以得到如下图（在 Ideal Fit 线上方的为超出预期，线下的为低于预期）。
O3-mini、O1、DeepSeek-R1 在 Hard 上已超越模型列表中的正常表现，但在 Medium 上略低于预期
平衡点：即 Easy、Medium、Hard 上分数为多少时三公式有解，说明模型表现均衡，Easy = 1, Medium = 0.6695, Hard = 0.1897
结语
OlympicArena 的诞生，是对现有模型的试金石，更是对 AI 研发路径的深刻启示：仅靠数据堆砌无法实现真正的智能。未来的 AI 应该学会像奥赛选手一样拆解问题、关联知识、严谨推导。
当模型能力达到这样的水平时，对模型的评测的题目难度及评测要求也越来越高，后续模型评测建议只构建 Hard 难度的题目。
基于此，AGI-Eval 大模型评测团队创新性地提出了人机协作评测模式，并推出 10q 的全新玩法。待测模型需要在同一套 system prompt 下指导真实用户学习一个知识点并完成 quiz，基于模型与用户的高质量多轮对话数据，产出更加高置信度的评测结论。
在这种模式下，参与者可以与最新的大模型共同完成任务，既有助于提高任务完成度又便于建立更加直观的区分度。
未来随着模型能力的不断攀升，AI 还有更多能力值得发掘和探索，对模型能力的考察也仍有更对创新空间。
论文地址： https://arxiv.org/pdf/2406.12753
项目地址： https://gair-nlp.github.io/OlympicArena/
代码地址： https://github.com/GAIR-NLP/OlympicArena
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
速抢席位！中国 AIGC 产业峰会观众报名通道已开启 ♀️
首批嘉宾曝光啦 百度、无问芯穹、数势科技、生数科技、像素绽放等十数位 AI 领網域创变者将齐聚峰会，让更多人用上 AI、用好 AI，与 AI 一同加速成长～
4 月 16 日，就在北京，一起来深度求索 AI 怎么用
一键星标
科技前沿进展每日见
