OpenAI宣布推出AI Agent评测基准PaperBench

今天小编分享的互联网经验：OpenAI宣布推出AI Agent评测基准PaperBench，欢迎阅读。

当地时间 4 月 2 日，美国开放人工智能研究中心（OpenAI）宣布推出 PaperBench ——一个评估 AI 智能体复现前沿 AI 研究能力的基准。智能体需从零开始复现 20 篇 ICML 2024 Spotlight 和 Oral 论文，包括理解论文贡献、开发代码库并成功执行实验。据介绍，在 PaperBench 上测试多个前沿模型后发现，表现最佳的智能体 Claude 3.5 Sonnet（新版）结合开源框架，平均复现得分为 21.0%。最终其招募顶尖机器学习博士尝试部分测试集，发现上述模型表现尚未超越人类基线。（界面）