今天小编分享的科学经验:o1 Pro挑战最难本科数学考试,36分钟16秒交卷,欢迎阅读。
o1 Pro 挑战最难本科数学考试,人类要考 6 小时,AI 半小时交卷!
普特南数学竞赛(The Putnam exam),今年刚刚举行,卷子新鲜出炉就被拿来测试 AI 了。
这个比赛有多难呢?看了一下历年成绩,只能说令人咂舌——
通常由数学专业的大學生参加,满分 120 分,但平均分通常是 0 分或 1 分。
自 1938 年举办以来,截至 2021 年只有 5 人满分。
再看一组 2003 年的数据,在 3615 名参赛学生中,有 1024 人(28%)得分 10 分或以上,42 分就能进入前 1%。
最终,个人得分前五名的学生获得普特南学者称号。而经过这种难度的 " 磨炼 ",普特南学者中后来诞生了 3 位菲尔兹奖得主以及两位诺贝尔物理学奖得主。
总之一句话,即使对美国顶尖大学的顶尖数学学生来说,这个比赛的难度都堪称地狱级。
所以,o1 Pro 具体表现如何呢??
o1 Pro 挑战最难本科数学考试
普特南数学竞赛于每年 12 月的第一个周六举行,总共上下两场(每场 3 小时),每场 6 道题,每题 10 分,考查范围覆盖了本科数学中的高级概念,包括群论、集合论、图论、格论和数论等。
由于刚考完,官方还未正式公布今年的参考答案,所以下面我们先整体感受一下。
从时间来看,Pro 完成 12 道题用时36 分钟 16 秒,交卷速度非常快,平均每道用时 2~3 分钟。
完成的题也很复杂,随机挑一道康康。
比如这道A6,需要考生通过序列所生成的函数,来构建矩阵,并最终计算出这个矩阵的行列式。
这是一个典型的组合数学和线性代数的交叉问题。
最终,Pro 给出了一大堆让人头疼的数学公式进行解答。(非专业选手两眼一黑的程度)
为了进一步了解 Pro 的答题过程,我们再挑一道网友们都在 cue 的题——A1。
原题及 Dan Hendrycks 博士输入的提示词如下:
大意为,确定所有正整数,使得存在正整数,和满足下列方程。
Pro 的作答过程如下,并得出答案为 1:
结合网友们给出的评价,均提到 Pro 漏掉了 n=2 这种情况。
总之,从大家对 Pro 的打分来看,其回答质量仍有待进一步完善。
由于目前还没有标准答案,因此 AI 究竟做对了多少还要等等结果。
除此之外,首位全职提示词工程师 Riley Goodside 也对 o1 Pro 模式进行了其他诸多测试。
挑战指令跟随的极限
比如用它设计一个 7x7 的网格,网格的外围一圈填入 7 个字母的单词,这些单词代表 Fantastic Four(神奇四侠)中每个成员的昵称。每个单词的首尾字母需要重叠,以便可以顺时针方向连续阅读,形成闭环。
PS:Fantastic Four 包括漫威中的神奇先生(Mr. Fantastic)、隐形女(Invisible Woman)、霹雳火(Human Torch) 、石头人(The Thing)。
看完这个测试,有网友借机许愿:
是否能够根据每个玩家剩余的棋子列表,创建一个 checkmate(指另一方无法解围的情况,也称 " 将死 ")的棋盘。
受此启发,Riley Goodside 转头就测上了。
他用 Pro 摆出了一个 " 将军 " 格局——每位玩家只剩下两个兵和一个车,棋盘上其他格子都是空的。(布局是人为设计的)
就这,还是他一番努力尝试后的结果。他一开始用了两个兵、两个象和一个车的棋局,但在多次尝试中,Pro 出现了错误,或者返回了不符合的棋局。
不过他也提到,在 5 分 45 秒的时间内,Pro 生成了与答案大致一致的 COT 思维链解释。
总之,要问定价 200 美元的 Pro 到底值不值?
还是参考奥特曼的回答,绝大多数人用免费版或 20 美元版就足够了,Pro 版只适合很小一部分人,他们想要大量使用,且愿意为解决真正困难的问题付更多钱。
One More Thing
不过,如果你也心痒想要玩一玩,现在有个省钱的方法。根据网友提醒——
月底买 Pro,只需按比例支付了。
具体来说,如果你之前订阅了 ChatGPT Plus,如果在订阅接近结束时更新到 Pro 版,就可以在剩余时间内按照 200 美元的百分比支付。
参考链接:
[ 1 ] https://x.com/DanHendrycks/status/1865858756040704335
[ 2 ] https://x.com/goodside/status/1865844652428919121
[ 3 ] https://x.com/goodside/status/1865629150104404150
[ 4 ] https://x.com/goodside/status/1865514669697323290
[ 5 ] https://x.com/goodside/status/1865090104441672183
[ 6 ] https://x.com/SmokeAwayyy/status/1865441145788199051