今天小编分享的互联网经验:OpenAI震撼发布里程碑式模型,代号o1:更强了,也更贵了,欢迎阅读。
文 | 虞景霖
编辑 | 苏建勋 邓咏仪
传闻已久、拖了又拖的 OpenAI 模型项目 " 草莓 ",终于现身了。
北京时间 9 月 13 日凌晨,Open AI 正式发布了其首款具有推理能力的模型,代号为 OpenAI o1,包括无所不能的大哥 o1-preview,和效率惊人的小弟 o1-mini。
OpenAI 的研究负责人 Jerry Tework 向 The Verge 透露:"o1 使用了一种全新的优化算法和为其量身定制的新训练数据集。" 也因此模型的命名并未延续 GPT 系列,而是 " 被命名为 o1,以表示‘将计数器重置回 1 ’。"
o1 的革命性意义也正在于此——这代表了大模型能力在推理这条道路上的人新起点,而不是简单地作为 GPT 系列的延续。
来源:OpenAI
传闻已久的 o1 一经上线,就在 X 引发广泛讨论:评论区网友拍手叫好,AI 圈网红 Jim Fan 依旧现身宣传。
并且 Jim Fan 还表示,o1 的发布里程碑意义在于,它验证了此前所说的 " 两条曲线协同工作 " 理论,展示了训练计算和测试计算如何共同影响模型的最终性能。
传统的模型训练强调在训练时投入大量计算资源。而 o1 模型代表了一种新的 AI 模型开发范式。它强调了测试时计算(或推理时计算)的重要性—— o1 通过增加在测试 / 推理时的计算资源显著提高了模型性能。
来源:X
" 休假中 " 的总裁 Brockman,同样现身打 Call 来源:X
如果说此前的模型是用 " 直觉 " 回答问题,那么 o1 给出的则是深思熟虑后的回答,这一改变来自于背后的 " 链式思考 "(Chain-of-thought)机制。
用 OpenAI 研究主管 Mark Chen 的话说就是:" 模型在学习自己思考,而不是试图模仿人类的思维方式。"
简单来说,o1 在给出回答前会在 " 腦子 " 里进行一场内部对话,还会使用 " 让我想想 "" 我在考虑 " 等短语来展示思考过程。
模拟思考过程:" 我很好奇 "" 我正在思考 "" 好的,让我看看 " 来源:OpenAI
o1 的表现究竟如何?用数据来说话:
数学方面,在 2024 年美国数学邀请赛(AIME)中,GPT-4o 的平均正确率为 12%(15 道题解决 1.8 题),o1 在首次尝试的平均正确率就达到了 74%。通过使用集体决策和高级评分策略,o1 的正确率最高可达 93%。这一成绩不仅让 o1 跻身全美前 500 名优秀学生之列,还超过了美国数学奥林匹克竞赛的入选分数线。
GPQA Diamond 是一项专门评估化学、物理和生物等领網域专业知识的测试。o1 不仅完成了这项测试,还超越了拥有超越了部分拥有相关领網域博士学位的人类专家,表明 AI 在特定专业领網域的能力已经达到了一个新高度。
编程方面,o1 在国际信息学奥林匹克竞赛(IOI)中也表现卓越,在和人类参赛者相同的条件下,o1 获得了 213 分的高分,位列参赛者的前 50%。当限制进一步放宽(每个问题的提交次数从 50 提高到 10000 次),o1 取得了 362.14 的高分,超越了金牌的获得门槛。
在模拟 Codeforces 平台的竞争性编程比赛中,o1 获得了 1807 的高分,超越了 93% 的人类竞争者,这一成绩远远超过了 GPT-4o(Elo 评分为 808,仅超过 11% 的人类竞争者)。
简单来说,o1 是一个非常善于思考、推理的大模型。并且,其运作机制与基于 scaling law 的大模型不同,这让它不必基于大量的计算消耗来提升性能,而是一个相当垂直的模型。
尽管 o1 模型展现出了卓越的能力,但仍然存在一些值得注意的局限性。
首先,在处理速度方面,o1 可能不如其他模型迅速。
Thomson Reuters 的副总裁 Pablo Arredondo:"o1 有时需要超过 10 秒才能回答一个问题,这在某些需要快速响应的场景中可能会成为一个问题。"
其次,相较于 GPT-4o,o1 在功能上还有一些欠缺——目前无法浏览网页,也不能处理檔案和影像。
此外,o1 不是一个多模态模型,这意味着它无法解析影像或音频输入。
在模型输出的质量方面,OpenAI 承认 o1 存在一些挑战。根据技术论文中的反馈,o1 似乎比 GPT-4o 更容易产生 " 幻觉 ",即生成看似合理但实际上并不准确的信息。同时,o1 似乎不如 GPT-4o 那样经常承认自己不知道答案,这可能会在某些情况下导致误导性的输出。
OpenAI 官方特别建议将 o1 用于解决以下领網域的复杂问题:科学、编码、数学和相关领網域。
即日起,ChatGPT Plus 和 Team 用户可以访问 o1-preview 和 o1-mini;企业用户和 Edu 用户将于下周获得访问权限。OpenAI 计划为所有 ChatGPT 免费用户提供 o1-mini 的访问权限,但尚未确定正式发布日期。
对于 API 访问,符合 API 使用等级 5(已经支付 1000 美元并且超过 30 天)的开发者可以使用 API 中的两个模型进行原型设计,当前的速率限制为 20 次请求 / 分钟。此外,当前的 API 版本还不支持一些高级功能,如函数调用、流式处理和系统消息支持等。
在定价方面,在 API 中,o1-preview 中每 100 万个 token 的输入价格为 15 美元,输出价格为 60 美元,较 GPT-4o 高出 3-4 倍。
扫码加入「智涌 AI 交流群」
来源:公众号【智能涌现】