今天小編分享的科技經驗:最驚人又合理的諾貝爾物理學獎,頒給AI先驅Geoffrey Hinton和John Hopfield,歡迎閱讀。
諾貝爾物理學獎的獲獎者,竟頒給了看似和物理學毫不相關的 AI 科學家?
10 月 8 日,瑞典皇家科學院宣布,将 2024 年諾貝爾物理學獎授予約翰 · J · 霍普菲爾德(John J. Hopfield)和傑弗裡 · E · 辛頓(Geoffrey E. Hinton),表彰他們在使用人工神經網絡進行機器學習的基礎性發現和發明,他們将平分 1100 萬瑞典克朗(約合 745 萬元人民币)獎金。
這個結果一出,物理圈和 AI 圈都坐不住了。
有人搬出了《三體》中的名句:物理學不存在了,也有人戲稱這是 "Physical pain"。
甚至辛頓本人,都驚呆了。" 我大吃一驚,根本不知道發生了什麼 ",當諾貝爾委員會通過電話聯系到辛頓時,他正在加州的一個廉價旅館中,這裡網絡和信号都不好。77 歲的辛頓緩慢地說道:" 我今天計劃要去做核磁共振,現在看來我要取消了。"
震驚之餘,也讓人思考,究竟為什麼諾貝爾物理學獎給了 AI 科學家?
Why?
圈内圈外,所有人都對為什麼作此決定最為關注。
在諾貝爾獎官網的介紹中,短短的兩句獲獎理由并沒有明确地說明問題。
但從諾獎官網對于二者的介紹中,我們發現了物理學和 AI 的交叉點。
以下是二位獲獎者研究的介紹原文:
John Hopfield發明了一個網絡,它使用一種方法來保存和重新創建模式。我們可以将節點想象成像素。Hopfield 網絡利用物理學來描述材料的原子自旋特性,這種特性使每個原子都成為微小的磁鐵。整個網絡的描述方式相當于物理學中自旋系統中的能量,并通過查找節點之間的連接值進行訓練,以便保存的影像具有低能量。當 Hopfield 網絡收到失真或不完整的影像時,它會有條不紊地通過節點并更新它們的值,以便網絡的能量下降。因此,網絡逐步工作以找到與它所饋送的不完美影像最相似的已保存影像。
Geoffrey Hinton使用 Hopfield 網絡作為使用不同方法的新網絡的基礎:玻爾茲曼機。這可以學習識别給定數據類型中的特征元素。Hinton 使用了統計物理學中的工具,統計物理學是由許多類似組件構建的系統科學。通過向機器提供機器運行時極有可能出現的示例來訓練機器。玻爾茲曼機可用于對影像進行分類或創建訓練它的模式類型的新示例。Hinton 以這項工作為基礎,幫助啟動了當前機器學習的爆炸性發展。
簡單地說無論是霍普菲爾德還是辛頓,他們利用物理學的基本概念和方法,開發出了利用網絡結構處理信息的技術。
這種技術,被稱之為對應人類神經網絡,通過計算機模拟構建了人工神經網絡,從而重現大腦網絡的功能。
而在這個過程中,始終有一些問題沒有被解決,導致科學家對于神經網絡開始沮喪。比如說人類擁有記憶、懂得聯想,能夠通過信息碎片來組成全貌,以及對結果加以計算。
霍普菲爾德用物理學中的自旋能量來描述這個網絡的整體狀态:能量通過一個利用了所有節點的值和它們之間所有連接的強度的公式計算,通過計算結果的相似性來形成記憶,解決了無法存儲的難題。
然而,記住影像是一回事,理解影像的意思又是另一回事。
當霍普菲爾德發表關于聯想記憶的論文時,辛頓正在美國卡内基梅隆大學任職,當時他就思考:機器是否能像人類一樣學會處理模式,自行分類和解讀信息。辛頓與同事 Terrence Sejnowski 一起,從霍普菲爾德神經網絡出發,結合統計物理學的思想,擴展并構建了新的模型。
統計物理學可以分析各個組件能夠共同存在的各種狀态,并計算它們出現的概率。辛頓的模型通過識别信息中的關鍵特征進行關聯,從而推理出結果。
諾獎官網便寫道:在人工神經網絡中,大腦神經元由具有不同值的節點表示,今年的獲獎者從 20 世紀 80 年代起就開展了與物理學相關的人工神經網絡的重要工作,利用物理學工具構建了多種方法,為當今強大的機器學習奠定了基礎。
" 獲獎者的工作已經帶來了最大的好處。使用統計物理學的基本概念設計了人工神經網絡,這些網絡充當聯想記憶并在大型數據集中尋找模式,在物理學中,我們在廣泛的領網域使用人工神經網絡,例如開發具有特定特性的新材料。"諾貝爾物理委員會主席 Ellen Moons 在發布會現場進一步解釋道。
基于物理學的研究,實現了對人工智能的突破,最終能反哺物理學進步。
二位 AI 科學家,獲得諾貝爾物理學獎,可以說是實至名歸。
Who?
在兩位獲獎者中,熟悉 AI 的,一定對辛頓不陌生。
辛頓于 1947 年出生于英國倫敦,1978 年獲得愛丁堡大學人工智能博士學位,而後擔任加拿大多倫多大學教授。20 世紀 90 年代,許多研究人員對人工神經網絡失去了興趣,但辛頓一直在該領網域探索。
2006 年,他與同事 Simon Osindero、Yee Whye Teh 和 Ruslan Salakhutdinov 開發了一種使用一系列逐層疊加的玻爾茲曼機對網絡進行預訓練的方法。這種預訓練為網絡中的連接提供了更好的起點。
在 2012 年,欣頓及兩位學生 Alex Krizhevsky、Ilya Sutskever 發明的 AlexNet 在計算機視覺競賽 ImageNet 中以壓倒性優勢取得冠軍,創造了深度神經網絡發展的裡程碑,并激發了大量采用卷積神經網絡(CNN)和圖形處理器(GPU)加速深度學習的研究。
2013 年,他與上述兩名學生共同創立的 DNNResearch,遭到谷歌、蘋果和百度等科技巨頭的瘋搶,最終以 4400 萬美元的價格被谷歌收入囊中。2018 年,辛頓與 Yoshua Bengio 和 Yann LeCun 共同獲得圖靈獎,此後與二人并稱為 " 深度學習三巨頭 "、"AI 教父 " 。
一句話總結,辛頓的一生一直在持續不斷地為神經網絡和深度學習而努力,并階段性取得重要突破。
而另一位獲獎者,則是名副其實的物理學家,并通過物理學方向的研究為神經網絡的存儲獲得了範式的突破。
出生于 1933 年、現年 91 歲的霍普菲爾德是美國著名的物理學家、生物學家和神經科學家,他曾在 1958 年獲得康奈爾大學博士學位,後任普林斯頓大學教授。
公開資料顯示,在一次神經科學會議中,他接觸到了對大腦結構的研究,并開始思考簡單的神經網絡的動态。當神經元共同作用時,它們會產生新的強大特性,而這些特性對于只關注網絡各個組成部分的人來說是無法察覺的。
1980 年,霍普菲爾德離開了彼時就職的普林斯頓大學,接受了加州理工學院的化學與生物學教授職位。在那裡,他得以利用學校的計算機資源進行免費實驗,并發展他對神經網絡的構想。
1982 年發明了著名的霍普菲爾德神經網絡(霍普菲爾德 neural network),這是第一個能夠儲存多種模式,并具備記憶功能的神經網絡模型,是神經網絡發展早期的一座重要的裡程碑。霍普菲爾德神經網絡的誕生為遞歸神經網絡的發展鋪平了道路,其提出的能量最小化原理,對于解決優化問題產生了深遠影響。
同時,霍普菲爾德也持續在物理學方向進行不斷突破,通過研究神經元粒子間的相互作用關系,突破了從單圖存儲到多圖存儲,并通過網絡區分它們。
也就是說,辛頓所構建的預訓練方法、霍普菲爾德的新型存儲網絡,構建起了當今人工智能至關重要的兩塊基石。
2022 年,ChatGPT 的橫空出世,宣告着一個屬于 AI 新時代的到來,人類開始探索實現 AGI 的可能性,全民對 AI 關注度空前絕後的同時,也實實在在地看到了如同工業革命一般,人工智能正在引領更深層次的變革。
當我們站在碳基和矽基交棒的節點,看這份看似 " 荒誕 " 的獲獎名單,或許也是最合理的結果。