中國引領全球AI理論突破！百度2014年就已發現Scaling Law

今天小編分享的互聯網經驗：中國引領全球AI理論突破！百度2014年就已發現Scaling Law，歡迎閱讀。

近日，一項關于大模型核心理論 "Scaling Law" 的起源讨論正在外網熱烈展開。最新觀點和證據表明，中國科技巨頭百度比 OpenAI 更早實現了這一突破。

知名媒體《南華早報》在其報道《百度在 OpenAI 之前就發現了 Scaling Law？AI 領網域的辯論重新燃起》中指出，盡管美國在 AI 模型創新方面一直被視為領先者，但最新的讨論顯示，中國在探索這些概念上可能更為超前。

大模型發展的核心是 "Scaling Law" ——這一原則認為，訓練數據和模型參數越大，模型的智能能力就越強。這一思想廣泛歸功于 OpenAI 在 2020 年發表的論文《Scaling Laws for Neural Language Models》，自那以後，這個概念已成為 AI 研究的基石。

然而，OpenAI 論文的合著者、前 OpenAI 研究副總裁  、Anthropic 創始人 Dario Amodei  ，在 11 月的一期播客中透露，他在 2014 年與吳恩達在百度研究 AI 時，就已經發現了模型發展的規律 Scaling Law 這一現象。Dario Amodei 表示，随着提供給模型的數據量增加、模型規模的擴大以及訓練時間的延長，模型的性能開始顯著提升。這一非正式的觀察後來在 OpenAI 的 GPT-1 語言模型中得到了驗證，并被認為是大模型發展的 " 金科玉律 "。

此外，行業人士也發文稱，關于 Scaling Law 的原始研究實際上來自 2017 年的百度，而不是 2020 年的 OpenAI。Meta 研究員、康奈爾大學博士候選人 Jack Morris 在 X（前 Twitter）上引用了一篇标題為《Deep Learning Scaling is Predictable, Empirically》論文，論文于 2017 年由百度矽谷人工智能實驗室發布，詳細讨論了機器翻譯、語言建模等領網域的 Scaling 現象。

但這篇論文的重要性被嚴重忽視，OpenAI 在   2020 年的 Scaling Law 研究中引用了百度研究人員在 2019 年發表的論文 《Beyond Human-Level Accuracy: Computational Challenges in Deep Learning》（超越人類水平的準确性： 深度學習的計算挑戰）。批評者稱，OpenAI   有選擇地引用了百度   2019   年的論文，而忽略了   2017   年早些時候的研究，而該研究才是 Scaling Law 概念的真正原始來源。

有研究者表示，正是百度的早期研究為 AI 大模型的發展奠定了理論基礎，并在 2019 年發布了第一代文心大模型，幾乎與 OpenAI 處于同一時期。" 中國在大型模型方面的進步也獲得國際認可。" 據《南華早報》，在上海舉行的百度世界大會 2024 上，百度宣布了新技術，用以減輕影像生成中的幻覺問題——即生成誤導性或事實不一致的影像。百度還透露，截至 11 月初，百度文心大模型的日均調用量已經達到了 15 億，相較一年前首次披露的 5000 萬次，增長約 30 倍。

随着 AI 技術的不斷進步和應用的深入，中國在全球 AI 領網域的影響力和領導地位将更加凸顯。