今天小編分享的科學經驗：Ilya宣判：預訓練即将終結！NeurIPS現場沸騰，歡迎閱讀。
繼李飛飛、Bengio、何恺明之後，在剛剛的NeurIPS 2024中，Ilya Sutskever最新演講也來了。
雖然時長僅有 15 分鍾左右，但内容依舊看頭十足。
例如這一句：
Pre-training as we know it will end.
我們所熟知的預訓練即将終結。
而之于未來，Ilya 還預測道：
what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下來将是超級智能：代理、推理、理解和自我意識。
那麼為何會有如此？我們一起來看看完整演講。
回顧十年技術發展
Ilya 先是用一張十年前的 PPT 截圖開啟了這次演講，那時候深度學習還處于探索階段。
在 2014 年的蒙特利爾，他和團隊（還有 Oriol Vinyals 和 Quoc Le）首次提出了如今成為 AI 領網域基石的深度學習理念。
Ilya 展示了當時的一張 PPT，揭示了他和團隊的核心工作：自回歸模型、大型神經網絡和大數據集的結合。
在十年前，這些元素并不被廣泛看作成功的保證，而今天，它們已經成為人工智能領網域最重要的基礎。
例如在談到深度學習假設時，Ilya 強調了一個重要觀點：
如果有一個 10 層的大型神經網絡，它就能在一秒鍾内完成人類能做的任何事情。
他解釋說，深度學習的核心假設是人工神經元與生物神經元的相似性。
基于這一假設，如果人類能夠在一秒鍾内完成某項任務，那麼同樣的任務，一個訓練良好的 10 層神經網絡也能完成。
這一假設推動了深度學習的研究，并最終實現了當時看似大膽的目标。
Ilya 還介紹了自回歸模型的核心思想：通過訓練模型預測序列中的下一個 token，當模型預測得足夠準确時，它就能捕捉到整個序列的正确分布。
這一思想為後來的語言模型奠定了基礎，特别是在自然語言處理領網域的應用。
當然除了 " 押對寶 " 的技術之外，也有 " 押錯 " 的。
LSTM（長短期記憶網絡）就是其中之一。
Ilya 提到 LSTM 是深度學習研究者在 Transformer 之前的主要技術之一。
盡管 LSTM 在當時為神經網絡提供了強大的能力，但它的復雜性和局限性也顯而易見。
另一個便是并行化（parallelization）。
盡管現在我們知道 pipeline 并不是一個好主意，但當時他們通過在每個 GPU 上運行一層網絡，實現了 3.5 倍的速度提升。
Ilya 認為，規模假設（scaling hypothesis）是深度學習成功的關鍵。
這一假設表明，如果你有一個非常大的數據集，并訓練一個足夠大的神經網絡，那麼成功幾乎是可以預見的。
這個觀點已經成為今天深度學習領網域的核心法則。
Ilya 進一步闡述了連接主義的思想，認為人工神經元與生物神經元之間的相似性給了我們信心，認為即使不完全模仿人腦的結構，巨大的神經網絡也能完成與人類相似的任務。
預訓練時代即将結束
基于上述技術的發展，也讓我們迎來了預訓練的時代。
預訓練是推動所有進步的動力，包括大型神經網絡和大規模數據集。
但 Ilya 接下來預測說：
雖然計算能力在不斷增長，硬體和算法的進步使得神經網絡的訓練效率得到了提升，但數據的增長卻已接近瓶頸。
他認為，數據是 AI 的化石燃料，随着全球數據的限制，未來人工智能将面臨數據瓶頸。
雖然當前我們仍然可以使用現有數據進行有效訓練，但 Ilya 認為這一增長趨勢終将放緩，預訓練的時代也會逐步結束。
超級智能将是未來
在談到未來的發展方向時，Ilya 提到了"Agent" 和 " 合成數據 "的概念。
許多專家都在讨論這些話題，認為 Agent 系統和合成數據将是突破預訓練瓶頸的關鍵。
Agent 系統指的是能夠自主推理和決策的人工智能，而合成數據則可以通過模拟環境創造新的數據，彌補現實世界數據的不足。
Ilya 還引用了一個生物學上的例子，展示了哺乳動物身體與大腦大小的關系，暗示不同生物可能通過不同的 " 規模法則 " 進化出不同的智能表現。
這一思想為深度學習領網域的進一步擴展提供了啟示，表明人工智能也許可以通過不同的方式突破目前的規模限制。
Ilya 最後談到了超級智能的前景。
他指出，雖然當前的語言模型和 AI 系統在某些任務上表現出超人類的能力，但它們在推理時仍顯得不穩定和不可預測。
推理越多，系統變得越不可預測，這一點在一些復雜任務中表現得尤為突出。
他還提到：
目前的 AI 系統還不能真正理解和推理，雖然它們能模拟人類的直覺，但未來的 AI 将會在推理和決策方面展現出更加不可預測的能力。
Ilya 進一步推測，未來的 AI 将不僅僅是執行任務的工具，而會發展成 "Agent"，能夠自主進行推理和決策，甚至可能具備某種形式的自我意識。
這将是一個質的飛躍，AI 将不再是人類的延伸，而是一個具有獨立智能的存在。
參考鏈接：
https://x.com/vincentweisser/status/1867719020444889118
— 完 —
點這裡關注我，記得标星哦～
一鍵三連「分享」、「點贊」和「在看」
科技前沿進展日日相見 ~
>
