今天小编分享的科学经验:o3来了!编程跻身人类全球前200,破解陶哲轩说难的数学测试,北大校友任泓宇现身直播间,欢迎阅读。
OpenAI 公布下一代模型,o1 之后直接o3!
" 双 12" 直播活动最后一天,终于来了个大的,奥特曼本人也再次现身直播间。
o3 相比 o1 最突出的成绩,一是顶尖程式员竞赛CodeForces分数超过 2700,人类超过这个分数的目前只有不到 200 个。
二是在为 AGI 准备的测试ARC-AGI上分数从 32% 跃升到了 75.7%、87.5%。
为什么有两个成绩呢?
因为 o3 支持低思考程度和高思考程度两种設定,高思考程度花费的算力(横轴)也直接拉满。
ARC-AGI 是 Keras 之父 Fran ç ois Chollet 发起的测试基准,典型题目为图形逻辑推理。
另一项测试是号称最难数学测试的EpochAI Frontier Math,包含最新未公开前沿题目。
此前陶哲轩对这项测试的第一印象是 " 可能难住 AI 好几年 "。
o3 在测试中比之前 SOTA 从 2 分提升到 25 分。
人类专业数学家解决其中一道题目也要花费数小时到数天,现在 o3 只需要思考几分钟了。
这次直播还公布了o3-mini,支持低中高三种思考程度設定。
主要展示了代码能力,低設定下 o3-mini 和 o1-mini 差不多,中高設定已经超过了 o1 正式版。
参与研究的北大校友任泓宇,现场展示了 o3-mini 的编程能力。
他使用了特殊版本的 ChatGPT,称为 ChatGPT α。
任务如下:
写一个 Python 脚本,在本地为一个带有大文本框的 HTML 檔案启动伺服器。当我在该框中输入文本并按下提交时,它应该将该代码请求发送到 OpenAl o3-mini API ,使用 medium reasoning_effort ,获取生成的代码,将其保存到桌面上的临时檔案中,然后在新的 Python 终端中执行该檔案。还有一些细节:
可以在 ~/api_key 中找到我的 API 密钥
请在向 API 的请求中添加一些额外的提示,指定它只应返回没有任何格式或 Markdown 的原始代码
你将在 Mac 筆記型電腦环境运行
o3-mini 的思考过程用了 38 秒,然后代码秒出,一次运行成功。
这个演示可能不太直观,但是看得没去现场的另一位 OpenAI 研究员 Aidan Clark 直出汗。
总结一下,就是 o3-mini 用 38 秒给自己写了一个 UI,通过 API 调用 " 自己 "。
后续演示中,任泓宇要求 o3-mini 在这个 UI 中编写并执行一个脚本,来评估 " 它自己 " 在低思考程度下、在 GPQA 数据集上的表现。
脚本正确运行了评估,返回结果数值 61.62%,与正式评估结果基本一致。
是不是有一点科幻的感觉了。
可惜呐~ o3 和 o3-mini 目前都是早期预览状态,只给看不给玩。
安全研究者可以在 OpenAI 官网申请早期访问权限。
北大校友、GPT-4o 核心开发者现身直播间
这场直播中另外值得关注的,就是新出场的北大校友任泓宇了(最左边)。
他去年刚加入 OpenAI 担任研究科学家,主要负责语言模型训练,是 GPT-4o 的核心开发者、GPT-Next 项目组成员。
直播中最新透露,九月份的 o1-mini 他也有参与,证实了此前传闻中 o1-mini 主要由三位华人负责(另两位是 Kevin Lu 和 Jiahui Yu)。
任泓宇博士毕业于斯坦福大学。加入 OpenAI 之前,他在 Apple、Google、NVIDIA 和 Microsoft 有大量研究实习经历。
One More Thing
笑死,最后一天顶着圣诞帽的 " 青蛙 " 直接被摆到了最前面:
其实,之前每一场它们都在,不过是被摆在了后面的架子上,而且数量随直播天数增加。
昨天是直播第 11 天,圣诞帽 " 青蛙 " 是酱婶儿的:
你数出来有多少圣诞 " 青蛙 " 了吗?
— 完 —
点这里关注我,记得标星哦~
一键三连「分享」、「点赞」和「在看」
科技前沿进展日日相见 ~
>