OpenAI草莓模型深夜突袭！理化生达博士生水平，比GPT-4o强多了，ChatGPT可用

今天小编分享的科技经验：OpenAI草莓模型深夜突袭！理化生达博士生水平，比GPT-4o强多了，ChatGPT可用，欢迎阅读。

作者 | 香草

编辑 | 李水青

智东西 9 月 13 日报道，今日凌晨，OpenAI 突然发布传说中" 草莓 " 模型的部分预览版——OpenAI o1 预览版。这是一系列全新 AI 模型，能推理复杂的任务，解决比以前科学、编程、数学模型更难的问题。

▲ OpenAI 发布 o1 模型

OpenAI o1 是全新系列 AI 模型的第一款。与以往模型不同的是，它拥有进化的推理能力，会在回答前进行缜密思考，生成一个长长的内部思维链，在竞争性编程问题上排名第 89 位，在美国数学奥林匹克预选资格赛中排名前 500，在物理、生物、化学问题的基准测试中准确度超过了人类博士水平！

新发布的另一款o1 mini是一款更快、更小的模型，使用与 o1 类似的框架进行训练。o1 mini 擅长理工学科，尤其是数学和编程，其成本比 o1 预览版便宜 80%。

这两款模型被 OpenAI 视为复杂推理任务的重大进步，因此被命名为 o1，重置计数器，而非作为 GPT 系列的延续。

不过，推理增强版的 o1 模型，还是在 9.9 和 9.11 比大小这种 " 高阶问题 " 上惨败。

▲ o1 模型回答 " 比大小 " 问题

已经离开 OpenAI 创业的 OpenAI 创始成员、前特斯拉 AI 高级总监 Andrej Karpathy 今早发文吐槽："o1-mini 一直拒绝为我解决黎曼假设。模型懒惰仍然是一个主要的问题 "

▲ Andrej Karpathy 吐槽 o1 mini" 懒惰 "

OpenAI 已对 o1 预览版进行严格测试及评估，确保该模型可以安全发布。ChatGPT 的 Plus 和 Team 用户即日可选用两款新模型，Tier 5 级开发者亦率先获得新模型的 API 访问权限。

OpenAI 还公布了 o1 模型背后的核心团队成员，其中基础贡献成员 21 名，包括已经离职创业的前 OpenAI 首席科学家 Ilya Sutskever，团队负责人有 7 名。

一、MMLU 媲美人类专家，编程能力8倍杀GPT-4o

与此前曝料的一样，OpenAI o1 被训练成为会花更多时间思考问题，而后再作出反应的模型。它在回答之前会先思考，产生一个很长的内部思路链，并且能像人类一样完善自己的思维过程，不断尝试新的策略并认识到自己的错误。

作为早期预览模型，OpenAI o1 目前只支持文本对话，不具备浏览网页获取信息、上传檔案和图片等多模态能力。

性能方面，OpenAI o1 在物理、化学和生物学等基准任务上的表现与博士生相当，并且在数学和编程方面表现出色。

▲ OpenAI o1 在数学、编程上的测评基准

在国际数学奥林匹克（IMO）资格考试中，OpenAI 的上一代模型 GPT-4o 正确率为 13%，而 OpenAI o1 则达到 83%。在编程比赛 Codeforces 中，OpenAI o1 的分数为 89，而 GPT-4o 仅有 11。即使是预览版的 o1-preview 模型，性能也比 GPT-4o 要好数倍。

在大多数基准测试中，o1 的表现都比 GPT-4o 要好得多，覆盖 57 个 MMLU 子类别中的 54 个。在启用视觉感知功能后，o1 在 MMLU 上的得分为 78.2%，成为第一个与人类专家相媲美的模型。

▲ o1 预览版与 GPT-4o 性能对比

以下是 OpenAI o1 预览版几个示例：

1、解决一个复杂的逻辑难题

输入一个复杂的年龄谜题：当公主的年龄是王子的两倍时，当公主的年龄是他们现在年龄总和的一半时，公主就和王子一样老了。问王子和公主的年龄是多大？给出这个问题的所有解决方案。

模型思考了 20 多秒后开始作答。其回答过程的逻辑非常连贯。首先是确定年龄方程，将给定语句转化成数学方程，找到满足这些方程的所有可能解。然后开始一步一步分析问题：

第一步定义变量，用 P 代表 prince（王子），用 Q 代表 princess（公主）；第二步理解问题中的两个条件；第三部将条件转化为方程；第四步解方程；第五步用这些值验证所有条件；第六步给出所有可能的解法。

最后得出结论：

2、翻译有错误的句子

添加额外不必要的辅音会影响韩语阅读。母语使用者读起来会感觉不自然，他们会在看到这类句子时自动更改并理解文本。但这对于模型来说是个有难度的挑战。

输入一个严重损坏的韩语提示词后，OpenAI o1 首先意识到输入文本存在乱码或未对齐的韩语字元，询问用户是否愿意检查输入错误。

o1 模型会首先理解底层结构，经过大约 10 秒的思考来解码乱码文本、破译文本、加强翻译、理解概念，将其转换回连贯语言。

与 GPT-4o 不同，o1 模型在输出答案前先对问题进行了思考，检查这段文字，然后像破解答案一样来将其修改成正确的句子。经过大约 15 秒的思考，o1 给出最终优化版的翻译。

这展示出推理能力成为解决问题的有力工具。

3、回答大语言模型中的知名棘手问题：单词中字母计数

这个例子很简单，输入 Strawberry 单词，让模型回答这个词里有几个 R。

结果 GPT-4o 给出错误回答："2 个。"

为什么这种高级模型会犯如此简单的错误呢？这是因为像 GPT-4o 这样的模型是为了处理文本而构建的，而不是处理字元或单词，因此它在遇到涉及理解字元和单词概念的问题时可能会犯错。

而基于推理的新模型 o1 在思考几秒钟后，能够给出正确答案：

4、编程视频游戏

让模型用 pygame制作一个名为《寻找松鼠（Squirrel Finder）》的视频游戏，并输入下述要求：用户需要通过按箭头键引导螢幕上的 " 考拉 " 圖示，避开漂浮的草莓，并在 3 秒的时间限制内找到一只松鼠，以取得胜利。

这对以前的模型来说比较难，但 o1 预览版已经能够做到。o1 花了 21 秒思考，用思维过程来规划代码结构，包括收集游戏布局的细节、绘制指令、設定螢幕等等，再输出最终的游戏编程代码。

复制粘贴代码到 Sublime Text 编辑器中，运行后，会先有几行简要提示语。

然后就可以开始玩《寻找松鼠》游戏了。

与以前的模型相比，o1 模型展现出明显增强的规划能力。

二、迷你版速度提升3~5倍，成本仅为标准版1/5

OpenAI 还发布了" 小杯版 " 模型 OpenAI o1-mini，其速度更快、成本更低，且与标准版一样在数学、编程方面表现突出。

OpenAI o1-mini 在预训练期间，针对 STEM（科学、技术、工程、数学四门学科）推理进行了优化。在使用与 o1 相同的高计算强化学习（RL）管道进行训练后，o1-mini 在许多推理任务上性能优越，同时成本效率显著提高。

OpenAI o1-mini比预览版 OpenAI o1 便宜 80%，适用于需要推理但不需要广泛世界知识的应用程式。在一些对智能和推理提出要求的基准测试中，o1-mini 的表现甚至优于 o1-preview。

▲数学性能与推理成本曲线

在高中数学竞赛 AIME 中，o1-mini 正确率为 70%，大约相当于美国高中生前 500 名。同时，o1、o1-preview 正确率分别为 74.4%、44.6%，但 o1-mini 价格比它们便宜得多。

在人类偏好评估上，OpenAI 通过让人类评分者在不同领網域，针对对具有挑战性的开放式提示词测试 o1-mini、o1-preview，并和 GPT-4o 进行比较，得到以下测试结果。与 o1-preview 类似，o1-mini 在推理任务繁重的领網域比 GPT-4o 更受欢迎，但在以语言为中心的领網域则不被看好。

▲人类偏好评估结果

速度方面，GPT-4o、o1-mini 和 o1-preview 回答同一个单词推理问题分别耗时3 秒、9 秒、32 秒，但 GPT-4o 的回答是错误的，后两者回答正确。可以看出，o1-mini 得出答案的速度比 o1 快了大约 3~5 倍。

▲ GPT-4o、o1-mini 和 o1-preview 回答速度

当然，毕竟是 " 阉割版 "，OpenAI o1-mini 也一定的局限性。在日期、传记和日常琐事等非 STEM 主题的事实知识上，o1-mini 有所局限，表现与 GPT-4o mini 等小型模型相当。OpenAI 称将在未来版本中改进这些限制，将模型扩展到 STEM 之外的其他专业及模态。

三、引入推理标记，用思维链解决难题

与人类类似，o1 在回答难题之前会进行长时间思考，且尝试解决问题时会使用思维链（Chain of Thought）。

通过强化学习，o1 学会了改进思维链和使用策略。它能够识别和纠正错误，将棘手的步骤分解为更简单的步骤，并且在当前方法不起作用时尝试不同的方法。这一过程极大地提高了模型的推理能力。

具体来说，o1 模型引入了推理标记（Reasoning Tokens）。这些推理标记被用于进行 " 思考 "，分解对提示的词理解，并考虑多种生成响应的方法。推理标记生成后，模型会将答案生成为可见的完成标记（Completion Tokens），并从其上下文中丢弃推理标记。

以下是用户与模型之间进行多步骤对话的示例。每个步骤的输入和输出标记都会被保留，而推理标记则会被丢弃。

▲ o1 模型推理过程

值得注意的是，OpenAI 在进行大规模强化学习算法训练时，发现随着强化学习、思考时间的增加，或者说随着训练时间、测试时间的增加，o1 的性能会持续提高。这与大模型预训练中的 Scaling Law 大不相同。

▲ o1 性能随着训练时间和测试时间计算而平稳提升

为了展现 o1 实现的飞跃，OpenAI 公开了预览版 o1 在解决编程、数学、解码、英语等难题时产生的思维链。

例如当拿到一道解码题目，GPT-4o 先是拆解出了输入、输出和示例，随后开始分析可能的解码方式。

▲ GPT-4o 拆解输入、输出和示例

它猜测第一个短语可能遵循与示例相同的结构，意识到输入文本似乎可以根据自然分隔或模式抽成组，但随后就 " 歇菜 " 了，称自己需要更多关于可能涉及的转换或字母移位的上下文。

▲ GPT-4o 称需要更多信息

另一边，OpenAI o1-preview 则通过一番思考准确给出了答案。

▲ o1-preview 正确解答解码问题

虽然最后呈现出的答案很简短，但 o1 的思考过程非常长，并且思考方式和用词很像人类。它会先问自己 " 这里发生了什么 "，然后复述一遍要求，随后开始拆解任务、明确目标。

▲ o1 思考过程

接着，o1 开始观察自己得到的信息，并逐步分析。

▲ o1 思考过程

在进行了一些推理后，o1 开始提出不同的解决方案。在这个过程中，还会像人类一样突然说 " 等一下，我觉得 ……"，然后思维一转开始尝试新的方法。

▲ o1 思考过程

不仅如此，在 o1 的思考过程中甚至还会出现 " 嗯 "、" 有趣 " 等口语化、情绪化的表达。

▲ o1 思考过程

完整的思维链非常长，这里不再一一赘述。总得来看确实如 OpenAI 所说，o1 能够像人类一样不断完善自己的思维过程，尝试新的策略、认识到自己的错误并解决。而且这里的 " 像人类 " 不仅局限于思考方式，还体现在语气上。

四、每周可对话30~50次，Ilya 参与基础贡献

不同于以往，这次 OpenAI 没上期货，而是直接上线了两款模型。

即日起，ChatGPT Plus 和 Team 用户可以在 ChatGPT 中访问 o1 模型，通过模型选择器手动选择 o1-preview 或 o1-mini；企业和教育用户则下周起可以使用，面向免费用户未来也有获取访问权限的计划。

▲用户可在 ChatGPT 访问 o1 模型

但也许是出于安全或成本的考虑，目前这两款模型均限制了消息次数，预览版和 mini 版每周发送消息次数分别为 30、50 条。OpenAI 称正在努力提高额度，并使 ChatGPT 能够根据给定的提示词，自动选择合适的模型。

OpenAI 还上线了 o1 模型的 API（应用程式接口）。符合等级的开发人员现在可以开始使用两种模型的 API 进行原型设计，速率限制为 20 RPM。这些 API 目前不包括函数调用、流式传输、对系统消息的支持等其他功能。

▲ o1、o1 mini 模型 API

从 API 文档可见，这两款模型的上下文視窗均为 128k，而 mini 版输出視窗更长，是 o1 的两倍，此外两款模型训练数据均截至 2023 年 10 月。

OpenAI 还公布了 o1 模型背后的核心团队成员：

▲ o1 模型背后的核心团队成员

其中基础贡献成员有 21 名，包括已经离职创业的前 OpenAI 首席科学家 Ilya Sutskever。

团队负责人有 7 名，分别是 Jakub Pachocki、Jerry Tworek ( overall ) 、Liam Fedus、Lukasz Kaiser、Mark Chen、Szymon Sidor、Wojciech Zaremba。项目经理是 Lauren Yang 和 Mianna Chen。

据其团队成员介绍，推理是一种将思考时间转化为更好结果的能力，他们投入比以前更多的计算，训练模型产生连贯的思路，产生与以前截然不同的表现。

他们使用强化学习训练 AI 模型生成和磨练自己的思维链，甚至能比人类为它编写的思维链做得更好。这种训练 AI 模型产生自己的思维过程的方式，使其理解和纠正错误的能力显著提高，早期 o1 模型已经在数据测试中取得更高的分数。

核心贡献者和其他贡献者名单如下：