今天小编分享的互联网经验：中国引领全球AI理论突破！百度2014年就已发现Scaling Law，欢迎阅读。
近日，一项关于大模型核心理论 "Scaling Law" 的起源讨论正在外网热烈展开。最新观点和证据表明，中国科技巨头百度比 OpenAI 更早实现了这一突破。
知名媒体《南华早报》在其报道《百度在 OpenAI 之前就发现了 Scaling Law？AI 领網域的辩论重新燃起》中指出，尽管美国在 AI 模型创新方面一直被视为领先者，但最新的讨论显示，中国在探索这些概念上可能更为超前。
大模型发展的核心是 "Scaling Law" ——这一原则认为，训练数据和模型参数越大，模型的智能能力就越强。这一思想广泛归功于 OpenAI 在 2020 年发表的论文《Scaling Laws for Neural Language Models》，自那以后，这个概念已成为 AI 研究的基石。
然而，OpenAI 论文的合著者、前 OpenAI 研究副总裁 、Anthropic 创始人 Dario Amodei ，在 11 月的一期播客中透露，他在 2014 年与吴恩达在百度研究 AI 时，就已经发现了模型发展的规律 Scaling Law 这一现象。Dario Amodei 表示，随着提供给模型的数据量增加、模型规模的扩大以及训练时间的延长，模型的性能开始显著提升。这一非正式的观察后来在 OpenAI 的 GPT-1 语言模型中得到了验证，并被认为是大模型发展的 " 金科玉律 "。
此外，行业人士也发文称，关于 Scaling Law 的原始研究实际上来自 2017 年的百度，而不是 2020 年的 OpenAI。Meta 研究员、康奈尔大学博士候选人 Jack Morris 在 X（前 Twitter）上引用了一篇标题为《Deep Learning Scaling is Predictable, Empirically》论文，论文于 2017 年由百度硅谷人工智能实验室发布，详细讨论了机器翻译、语言建模等领網域的 Scaling 现象。
但这篇论文的重要性被严重忽视，OpenAI 在 2020 年的 Scaling Law 研究中引用了百度研究人员在 2019 年发表的论文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人类水平的准确性： 深度学习的计算挑战）。批评者称，OpenAI 有选择地引用了百度 2019 年的论文，而忽略了 2017 年早些时候的研究，而该研究才是 Scaling Law 概念的真正原始来源。
有研究者表示，正是百度的早期研究为 AI 大模型的发展奠定了理论基础，并在 2019 年发布了第一代文心大模型，几乎与 OpenAI 处于同一时期。" 中国在大型模型方面的进步也获得国际认可。" 据《南华早报》，在上海举行的百度世界大会 2024 上，百度宣布了新技术，用以减轻影像生成中的幻觉问题——即生成误导性或事实不一致的影像。百度还透露，截至 11 月初，百度文心大模型的日均调用量已经达到了 15 亿，相较一年前首次披露的 5000 万次，增长约 30 倍。
随着 AI 技术的不断进步和应用的深入，中国在全球 AI 领網域的影响力和领导地位将更加凸显。
