今天小编分享的互联网经验：Scaling Law递减，堆砌数据、算力拼AI模型已行不通？大厂正在找出路，欢迎阅读。
作者：赵雨荷
来源：硬 AI
迈向超级智能系统的 AI 实验室正意识到，可能需要改换道路。分析指出，相比传统的堆砌计算能力和数据的训练方法，被称为 " 测试时计算 "（Test-time Compute）的新方法更有助于提高 AI 模型的预测能力。
据 TechCrunch 报道，多位 AI 投资者、创始人和 CEO 透露，近年来 AI 实验室用于提升模型能力的 "AI 扩展定律 "（AI scaling laws）正显示出边际收益递减的迹象。他们的观点与近期的报告一致，这些报告表明顶尖 AI 实验室中的模型提升速度已不如以往。
现在，几乎所有人都开始承认，仅通过增加计算能力和数据量来预训练大型语言模型，并指望其变成某种全知全能模型的道路，是行不通的。这也许听起来显而易见，但扩展定律曾是开发 ChatGPT、提升其性能的关键因素，也可能影响了许多 CEO 大胆预测通用人工智能（AGI）将在几年内到来的信心。
OpenAI 和 Safe Super Intelligence 的联合创始人 Ilya Sutskever 上周对媒体表示，" 所有人都在寻找扩展 AI 模型的新方式 "。本月早些时候，Andreessen Horowitz 联合创始人 Marc Andreessen 在一档播客中提到，当前 AI 模型似乎都趋向于能力的上限。
不过，有 AI 领網域的 CEO、研究人员和投资者已经开始宣称，行业正进入扩展定律的新纪元：" 测试时计算 "（Test-time Compute）被认为是一项特别有前景的新方法，能够让 AI 模型在回答问题前，有更多时间和计算资源进行 " 思考 "。
" 我们正看到一种新扩展定律的出现，" 微软 CEO 纳德拉（Satya Nadella）周二在微软 Ignite 大会上说，他指的是支持 OpenAI o1 模型的测试时计算研究。
此外，Andreessen Horowitz 合伙人、Mistral 的董事会成员、曾是 Anthropic 天使投资人的 Anjney Midha 在接受媒体采访时表示，" 我们现在正处于扩展定律的第二纪元，也就是测试时扩展。"
AI 扩展定律失效？
自 2020 年以来，OpenAI、谷歌、Meta 和 Anthropic 等公司取得的 AI 模型快速进步，主要归功于一个关键判断：在 AI 模型的预训练阶段使用更多的计算资源和数据。
在这一阶段，AI 通过分析大量数据集中的模式来识别和存储信息。当研究人员为机器学习系统提供充足的资源时，模型通常在预测下一个词或短语方面表现更好。
第一代 AI 扩展定律让工程师通过增加 GPU 的数量和数据量来提升模型性能。尽管这种方法可能已经达到瓶颈，但它已经改变了整个行业的版图。几乎每家大型科技公司都押注 AI，而为这些公司提供 GPU 的英伟达如今已成为全球市值最高的上市公司。
然而，这些投资是基于扩展能够持续发展的预期而做出的。毕竟，扩展定律并不是自然、物理、数学或政府制定的法律，它并未被任何人或事物保证会以相同的速度继续下去。即便是著名的摩尔定律，也在运行了较长时间后逐渐失效。
Anyscale 联合创始人、前 CEO Robert Nishihara 在对媒体表示，
" 如果你只投入更多的计算资源和数据，模型越做越大，回报会逐渐递减，要维持扩展定律的运行并保持进步的速度，我们需要新思路。"
" 当你已经阅读了 100 万条 Yelp 评论，再读更多评论可能不会带来太大增益，但那是预训练。关于后训练的方法还相对不成熟，还有很大的改进空间。"
尽管如此，AI 模型开发者可能仍会继续追求更大的计算集群和更大的数据集进行预训练，而这些方法可能仍有一定的提升空间。例如，马斯克最近完成了一台拥有 10 万 GPU 的超级计算机 Colossus，用于训练 xAI 的下一代模型。
但趋势表明，仅通过现有策略使用更多 GPU 无法实现指数级增长，因此新的方法开始获得更多关注。
测试时计算：AI 行业的下一大赌注
当 OpenAI 发布其 o1 模型的预览版时，就宣布这属于独立于 GPT 的新系列模型。
OpenAI 主要通过传统的扩展定律（即在预训练阶段使用更多数据和更多计算能力）改进了其 GPT 模型。但据称，这种方法现在的增益已不再显著。o1 模型框架依赖于一个新概念——测试时计算（test-time compute），之所以这样命名，是因为计算资源是在接收到提示后（而不是之前）才使用的。分析认为，这种技术在神经网络背景下的探索还不多，但已经表现出潜力。
一些人已经将测试时计算视为扩展 AI 系统的下一种方法。
Andreessen Horowitz 的 Midha 表示，
许多实验表明，即使 " 预训练 " 的扩展定律可能正在放缓，" 测试时 " 扩展定律——即在推理过程中为模型提供更多计算资源——仍然可以显著提升性能。
著名 AI 研究员 Yoshua Bengio 则表示，
"OpenAI 的新‘ o 系列’进一步推动了 [ 连贯思维 ] ，需要更多计算资源，也因此需要更多能源，我们因此看到了一种新的计算扩展形式：不仅仅是更多的训练数据和更大的模型，还包括花费更多时间‘思考’答案。"
例如，在 10 到 30 秒的时间里，OpenAI 的 o1 模型会多次重新提示自己，将一个复杂的问题分解为一系列更小的问题。现负责 OpenAI o1 工作的 Noam Brown 尝试开发可以击败人类的扑克 AI 系统，在最近的一次演讲中，Brown 表示，他注意到人类扑克玩家在出牌前会花时间考虑不同的情景。2017 年，他引入了一种方法，让模型在出牌前 " 思考 "30 秒。在此期间，AI 会模拟不同的子游戏，推演不同场景可能的结果以确定最佳行动。最终，这种 AI 的预测表现比他以前的方法提升了 7 倍。
需要注意的是，Brown 在 2017 年的研究并未使用神经网络，因为当时它们尚未普及。然而，上周麻省理工学院的研究人员发表了一篇论文，表明测试时计算显著提高了 AI 模型在推理任务上的表现。
目前尚不清楚测试时计算如何大规模推广。这可能意味着 AI 系统在解决难题时需要非常长的 " 思考 " 时间，可能是数小时甚至数天。另一种方法可能是让 AI 模型同时在许多芯片上 " 思考 " 问题。
Midha 表示，如果测试时计算成为扩展 AI 系统的下一步，对专注于高速推理的 AI 芯片的需求可能会大幅增加，这对 Groq 或 Cerebras 等专注于快速 AI 推理芯片的初创公司来说是好消息。如果找到答案与训练模型同样需要大量计算资源，那么 AI 领網域的 " 挖掘工具 " 提供商将再次受益。
无论 AI 研究的前沿情况如何，用户可能在一段时间内感受不到这些变化的影响。不过，AI 开放商将不遗余力地继续快速推出更大、更智能、更快的模型，这意味着多家领先的科技公司可能会调整其推动 AI 边界的方法。
本文来自微信公众号 " 硬 AI"，关注更多 AI 前沿资讯请移步这里
>
