圖靈獎頒給強化學習師徒，一個造船改行寫代碼，一個痛批AI投身AGI

今天小編分享的科學經驗：圖靈獎頒給強化學習師徒，一個造船改行寫代碼，一個痛批AI投身AGI，歡迎閲讀。

計算機最高獎圖靈獎揭曉！

強化學習先驅 Andrew Barto 與 Richard Sutton 共同獲獎，他們被評價為" 引領基礎 AI 技術開發的研究人員 "。

值得一提的是，兩位是師徒關系，Richard Sutton 是 Andrew Barto 他第一位博士生。

兩人 1998 年合著的《強化學習：導論》，時至今日也是強化學習的标準教材，引用數接近 8 萬，尤其在最近五年也仍在持續攀升。

最近幾年來 AI 的重大進展，從 AlphaGo 到 ChatGPT，都與他們開創的強化學習技術密切相關。

師徒拉開了強化學習大門

先來看 Andrew Barto，是馬薩諸塞大學阿默斯特分校信息與計算機科學系榮譽教授，年紀在 76 歲左右。

他是 IEEE Fellow，曾獲馬薩諸塞大學神經科學終身成就獎、IJCAI 研究卓越獎（Research Excellence Award）和 IEEE 神經網絡學會先驅獎。

Barto 本科畢業于密歇根大學數學專業，此前他主修的是船舶建築與工程專業。在閲讀了邁克爾 · 阿比布、麥卡洛克和皮茨的著作後，他開始對使用計算機和數學來模拟大腦產生了興趣。

五年後，他以一篇關于細胞自動機的論文獲得了計算機的博士學位。

《細胞自動機作為自然系統的模型》

1977 年，他作為博士後研究助理在馬薩諸塞大學阿默斯特分校開始職業生涯，此後擔任過多個職位，包括副教授、教授和系主任。

任職期間，Barto 共同領導了自主學習實驗室（最初為自适應網絡實驗室），該實驗室提出了強化學習的幾個關鍵思想。

直到 Richard Sutton 來到他的實驗室，他們正式拉開了強化學習的大門。

2012 年他官宣退休，再也不再招收學生。

再來看看他的學生 Richard Sutton，時至今日仍然 AGI 探索積極分子。

目前，他是是阿爾伯塔大學計算機科學教授、Keen Technologies（一家總部位于德克薩斯州達拉斯的通用人工智能公司）的研究科學家，以及阿爾伯塔機器智能研究所（Amii）的首席科學顧問。

1978 年，他從斯坦福大學心理學專業畢業，随後在 Andrew Barto 的指導下，先後獲得了碩博學位。

他的博士論文《Temporal Credit Assignment in Reinforcement Learning》（強化學習中的時間學分分配），介紹了行為批判架構和時間學分分配，足足有 210 頁。

而要説興趣轉向強化學習的緣由，他是受到 Harry Klopf 在 20 世紀 70 年代的研究成果的影響，該成果提出監督學習不足以用于人工智能或解釋智能行為，而由" 行為的享樂方面 "驅動的試錯學習才是必要的。

Sutton 從 2017 年到 2023 年是 DeepMind 的傑出研究科學家。在加入阿爾伯塔大學之前，他曾于 1998 年至 2002 年在新澤西州 Florham Park 的 AT&T 香農實驗室人工智能部門擔任首席技術人員。

2019 年，他曾撰文《痛苦的教訓》痛批當前 AI 的發展，表示 " 未能吸取慘痛教訓，即從長遠來看，建立我們的思維方式是行不通的 "。

他認為 "70 年的人工智能研究表明，利用計算的通用方法最終是最有效的，而且領先優勢很大 "，打敗了在計算機視覺、語音識别、國際象棋或圍棋等特定領網域基于人類知識的努力。

2023 年，他官宣與 John Carmack 合作，共同開發 AGI，也就是 Keen Technologies。

圖靈獎官方科普強化學習強化學習的起源

強化學習是怎麼來的？圖靈獎官網在頒獎公告中介紹到：

人工智能（AI）領網域通常涉及構建智能體——即感知和行動的實體。

更強的智能體選擇更好行動方案。因此，人工智能的核心是某些行動方案比其他方案更好的觀念。獎勵——一個從心理學和神經科學借用的術語——表示提供給智能體與其實際行為質量相關的信号。強化學習（RL）是在此信号下學習如何更成功行為的進程。

獎勵學習的理念對動物培訓師來説已經存在了數千年。

後來，艾倫 · 圖靈在 1950 年的論文《Computing Machinery and Intelligence》中提出了 " 機器能思考嗎？" 的問題，并提出了基于獎勵和懲罰的機器學習方法。

雖然圖靈報告稱已經使用這種方法進行了一些初步實驗，且 Arthur Samuel 在 20 世紀 50 年代末開發了一個通過自我對弈學習的國際象棋程式，但在接下來的幾十年裏，人們在這條道路上進步甚微。

直到 20 世紀 80 年代初，Barto 和他的博士研究生 Sutton 受到心理學觀察的啓發，開始将強化學習構想為一個通用的問題框架。

他們借鑑了馬爾可夫決策過程（MDPs）提供的數學基礎。在馬爾可夫決策過程中，智能體在随機環境中做出決策，每次狀态轉移後都會收到一個獎勵信号，并旨在最大化其長期累積獎勵。标準的馬爾可夫決策過程理論假設智能體知曉關于馬爾可夫決策過程的一切信息，而強化學習框架則允許環境和獎勵未知。強化學習所需的最少信息，再加上馬爾可夫決策過程框架的通用性，使得強化學習算法能夠應用于廣泛的問題，如下文将進一步解釋。

Barto 和 Sutton 共同以及與其他人一起，開發了許多強化學習的基本算法方法。其中包括他們最重要的貢獻——時序差分學習（在解決獎勵預測問題上取得了重大進展），還有策略梯度方法以及将神經網絡用作表示學習函數的工具。

他們還提出了将學習與規劃相結合的智能體設計，展示了獲取環境知識作為規劃基礎的價值。

或許同樣具有影響力的是他們的教科書《Reinforcement Learning: An Introduction》（1998），這本書至今仍是該領網域的标準參考文獻，被引用次數超過 7.5 萬次。它讓數千名研究人員得以理解這一新興領網域并為之做出貢獻，直至今日仍激勵着計算機科學領網域許多重要的研究活動。