OpenAI的先进模型遭遇瓶颈，堆数据做不成AGI

今天小编分享的科技经验：OpenAI的先进模型遭遇瓶颈，堆数据做不成AGI，欢迎阅读。

外界对于人工智能最初的 " 期待感 " 正在消退，这无疑是当下整个 AI 行业最大的痛点，因此继续支撑资本市场信心的似乎只剩下了 AGI（通用人工智能）。而 AGI 将在未来 5 年内实现，这也是 OpenAI CEO 阿特尔曼、特斯拉创始人马斯克、英伟达创始人黄仁勋等一众科技界大咖的预测。

从 ChatGPT 到 GPT-4 到 o1，从 LLama 1.0 到 3.0、Claude1 到 Claude3，如同打怪更新一般逐步实现 AGI，这是以 OpenAI 为代表的 AI 厂商试图描绘的未来图景。只是近日有消息显示，OpenAI 下一代旗舰模型 " 猎户座 "（Orion）的进步速度大幅放缓，合成数据越训越像旧模型、编码性能甚至还在退步。

其实不仅仅是 OpenAI，谷歌的 Gemini 2.0、Anthropic 的 Claude 3.5 Opus 等先进 AI 模型也被传出遇到了瓶颈，以至于业界开始讨论如今被奉为圭臬 Scaling law 即将失效。事实上，关于 Scaling law 的论战也是近期 X 平台的热点，从 OpenAI 的开发者到 NYU、OSU 等知名大学的教授都参与其中。

所谓 Scaling law，其实是 OpenAI 在 2020 年提出的一个关于基于 transformer 语言模型的规律，指的是大模型的最终性能主要与计算量、模型参数量和训练数据量三者的规模大小相关，与模型的具体结构基本无关。OpenAI 在发现了这个规律后，就搭建了拥有 200 亿参数的 GPT-3.5-Turbo，而 ChatGPT 正是在后者的基础上诞生。

要知道在过去相当长的一段时间里，机器学习研究领網域并没有把数据量作为主要研究对象，因为数据一般被认为是被动变量，大量的研究是集中在如何有效降低训练误差和控制模型复杂度上。客观来说，Scaling law 也是过去两年 AI 大模型赛道风起云涌的基础，因为它证明了通过预训练使用更多的数据和算力，能够让 AI 模型的性能暴涨。

Scaling law 在 AI 领網域的意义就如同摩尔定律之于半导体行业，用李开复博士在知乎上的回答就可以解释这条规律的重要性，"Scaling Law 的持续影响下，无论是硅谷还是国内，大模型赛道正在掀起一场 AI Infra 的‘军备竞赛’ "。

过去两年，OpenAI、微软、谷歌、Meta、Anthropic 等 AI 赛道的头部厂商其实都在做同一件事，即以巨额计算资源为赌注，来赌 Scaling Law 的收益递减未来能够得到解决。在这一趋势下，海量资金被用于购买算力芯片、筹建数据中心，以及购买数据。

而 Scaling Law 的存在也让整个业界弥漫着一股乐观情绪，仿佛购买更多的英伟达芯片、拿下更多的数据、获取更多的水电资源，AGI 似乎就是水到渠成的事情。对于 OpenAI 等大厂来说，实现 Scaling Law 需要的硬體资源和工程实践也是远胜于技术和思想的护城河。

那么为什么会出现 OpenAI Orion 越训练越像旧模型呢？因为 " 新的、未开发的高质量人类生成训练数据 " 正在成为稀缺资源。在过去几年里，大模型的迭代更新过程几乎已经把各种公开可用的数据集、网站、书籍，以及其他来源的数据耗尽，而合成数据的广泛使用，则会导致新模型在训练中变得与旧模型更贴近。

换而言之，如果解决了高质量训练数据的供给，业界就能继续在 Scaling law 这条道路上前进。问题在于高质量训练数据的产出跟不上大模型的 " 消耗 "，并且随着越来越多内容拥有者认识到了数据的价值，使得其变得越来越贵。这就意味着数据匮乏的问题不仅在 2024 年变得严峻，在未来还将变得更难以解决。

Scaling Law 的边际效应愈发凸显、AI 大模型撞上 " 数据墙 "，这对于整个 AI 行业无疑是一个危险的信号。著名美国认知科学家、AI 泡沫论支持者 Gary Marcus 就在社交平台上表示，整个 AI 行业相关公司的高估值是建立在模型能力不断增强，能够迅速达到 AGI 的预期之上。

所以一旦迭代速度放缓，行业就将进入价格战，这就意味着 AI 行业在找到自己的 " 现金牛 "、获得切实的业绩增长、回收基础设施上的庞大投入前，需要先进行残酷的消耗战。这对于投资者而言无疑是一个晴天霹雳，也很难不让他们联想到当年的互联网泡沫。

如果不想重蹈二十年前互联网泡沫破裂的覆辙，AI 公司就必须找到 Scaling Law 之外的新道路。目前，OpenAI 给出的解决方案是切换赛道，The Verge 日前就发文称， OpenAI 方面计划于 2025 年 1 月推出名为 "Operator" 的 AI 智能体，其能力类似于 Claude 3.5 Sonnet、主打能像人类一样操作电腦。

对此 OpenAI 首席产品官凯文・韦尔指出，2025 年可能是智能体进入主流市场的关键时间。其实智能体并不是什么新概念，早在一年前，比尔 · 盖茨就曾在博客文章中预言，AI 智能体将会成为继 Windows、iOS/Android 之后的下一个平台。在此之前，OpenAI、Anthropic、谷歌、Meta 等引流潮流的头部 AI 厂商之所以不做智能体，只是因为追逐 AGI 显然更有 " 钱景 "。