今天小编分享的科技经验:最惊人又合理的诺贝尔物理学奖,颁给AI先驱Geoffrey Hinton和John Hopfield,欢迎阅读。
诺贝尔物理学奖的获奖者,竟颁给了看似和物理学毫不相关的 AI 科学家?
10 月 8 日,瑞典皇家科学院宣布,将 2024 年诺贝尔物理学奖授予约翰 · J · 霍普菲尔德(John J. Hopfield)和杰弗里 · E · 辛顿(Geoffrey E. Hinton),表彰他们在使用人工神经网络进行机器学习的基础性发现和发明,他们将平分 1100 万瑞典克朗(约合 745 万元人民币)奖金。
这个结果一出,物理圈和 AI 圈都坐不住了。
有人搬出了《三体》中的名句:物理学不存在了,也有人戏称这是 "Physical pain"。
甚至辛顿本人,都惊呆了。" 我大吃一惊,根本不知道发生了什么 ",当诺贝尔委员会通过电话联系到辛顿时,他正在加州的一个廉价旅馆中,这里网络和信号都不好。77 岁的辛顿缓慢地说道:" 我今天计划要去做核磁共振,现在看来我要取消了。"
震惊之余,也让人思考,究竟为什么诺贝尔物理学奖给了 AI 科学家?
Why?
圈内圈外,所有人都对为什么作此决定最为关注。
在诺贝尔奖官网的介绍中,短短的两句获奖理由并没有明确地说明问题。
但从诺奖官网对于二者的介绍中,我们发现了物理学和 AI 的交叉点。
以下是二位获奖者研究的介绍原文:
John Hopfield发明了一个网络,它使用一种方法来保存和重新创建模式。我们可以将节点想象成像素。Hopfield 网络利用物理学来描述材料的原子自旋特性,这种特性使每个原子都成为微小的磁铁。整个网络的描述方式相当于物理学中自旋系统中的能量,并通过查找节点之间的连接值进行训练,以便保存的影像具有低能量。当 Hopfield 网络收到失真或不完整的影像时,它会有条不紊地通过节点并更新它们的值,以便网络的能量下降。因此,网络逐步工作以找到与它所馈送的不完美影像最相似的已保存影像。
Geoffrey Hinton使用 Hopfield 网络作为使用不同方法的新网络的基础:玻尔兹曼机。这可以学习识别给定数据类型中的特征元素。Hinton 使用了统计物理学中的工具,统计物理学是由许多类似组件构建的系统科学。通过向机器提供机器运行时极有可能出现的示例来训练机器。玻尔兹曼机可用于对影像进行分类或创建训练它的模式类型的新示例。Hinton 以这项工作为基础,帮助启动了当前机器学习的爆炸性发展。
简单地说无论是霍普菲尔德还是辛顿,他们利用物理学的基本概念和方法,开发出了利用网络结构处理信息的技术。
这种技术,被称之为对应人类神经网络,通过计算机模拟构建了人工神经网络,从而重现大腦网络的功能。
而在这个过程中,始终有一些问题没有被解决,导致科学家对于神经网络开始沮丧。比如说人类拥有记忆、懂得联想,能够通过信息碎片来组成全貌,以及对结果加以计算。
霍普菲尔德用物理学中的自旋能量来描述这个网络的整体状态:能量通过一个利用了所有节点的值和它们之间所有连接的强度的公式计算,通过计算结果的相似性来形成记忆,解决了无法存储的难题。
然而,记住影像是一回事,理解影像的意思又是另一回事。
当霍普菲尔德发表关于联想记忆的论文时,辛顿正在美国卡内基梅隆大学任职,当时他就思考:机器是否能像人类一样学会处理模式,自行分类和解读信息。辛顿与同事 Terrence Sejnowski 一起,从霍普菲尔德神经网络出发,结合统计物理学的思想,扩展并构建了新的模型。
统计物理学可以分析各个组件能够共同存在的各种状态,并计算它们出现的概率。辛顿的模型通过识别信息中的关键特征进行关联,从而推理出结果。
诺奖官网便写道:在人工神经网络中,大腦神经元由具有不同值的节点表示,今年的获奖者从 20 世纪 80 年代起就开展了与物理学相关的人工神经网络的重要工作,利用物理学工具构建了多种方法,为当今强大的机器学习奠定了基础。
" 获奖者的工作已经带来了最大的好处。使用统计物理学的基本概念设计了人工神经网络,这些网络充当联想记忆并在大型数据集中寻找模式,在物理学中,我们在广泛的领網域使用人工神经网络,例如开发具有特定特性的新材料。"诺贝尔物理委员会主席 Ellen Moons 在发布会现场进一步解释道。
基于物理学的研究,实现了对人工智能的突破,最终能反哺物理学进步。
二位 AI 科学家,获得诺贝尔物理学奖,可以说是实至名归。
Who?
在两位获奖者中,熟悉 AI 的,一定对辛顿不陌生。
辛顿于 1947 年出生于英国伦敦,1978 年获得爱丁堡大学人工智能博士学位,而后担任加拿大多伦多大学教授。20 世纪 90 年代,许多研究人员对人工神经网络失去了兴趣,但辛顿一直在该领網域探索。
2006 年,他与同事 Simon Osindero、Yee Whye Teh 和 Ruslan Salakhutdinov 开发了一种使用一系列逐层叠加的玻尔兹曼机对网络进行预训练的方法。这种预训练为网络中的连接提供了更好的起点。
在 2012 年,欣顿及两位学生 Alex Krizhevsky、Ilya Sutskever 发明的 AlexNet 在计算机视觉竞赛 ImageNet 中以压倒性优势取得冠军,创造了深度神经网络发展的里程碑,并激发了大量采用卷积神经网络(CNN)和图形处理器(GPU)加速深度学习的研究。
2013 年,他与上述两名学生共同创立的 DNNResearch,遭到谷歌、苹果和百度等科技巨头的疯抢,最终以 4400 万美元的价格被谷歌收入囊中。2018 年,辛顿与 Yoshua Bengio 和 Yann LeCun 共同获得图灵奖,此后与二人并称为 " 深度学习三巨头 "、"AI 教父 " 。
一句话总结,辛顿的一生一直在持续不断地为神经网络和深度学习而努力,并阶段性取得重要突破。
而另一位获奖者,则是名副其实的物理学家,并通过物理学方向的研究为神经网络的存储获得了范式的突破。
出生于 1933 年、现年 91 岁的霍普菲尔德是美国著名的物理学家、生物学家和神经科学家,他曾在 1958 年获得康奈尔大学博士学位,后任普林斯顿大学教授。
公开资料显示,在一次神经科学会议中,他接触到了对大腦结构的研究,并开始思考简单的神经网络的动态。当神经元共同作用时,它们会产生新的强大特性,而这些特性对于只关注网络各个组成部分的人来说是无法察觉的。
1980 年,霍普菲尔德离开了彼时就职的普林斯顿大学,接受了加州理工学院的化学与生物学教授职位。在那里,他得以利用学校的计算机资源进行免费实验,并发展他对神经网络的构想。
1982 年发明了著名的霍普菲尔德神经网络(霍普菲尔德 neural network),这是第一个能够储存多种模式,并具备记忆功能的神经网络模型,是神经网络发展早期的一座重要的里程碑。霍普菲尔德神经网络的诞生为递归神经网络的发展铺平了道路,其提出的能量最小化原理,对于解决优化问题产生了深远影响。
同时,霍普菲尔德也持续在物理学方向进行不断突破,通过研究神经元粒子间的相互作用关系,突破了从单图存储到多图存储,并通过网络区分它们。
也就是说,辛顿所构建的预训练方法、霍普菲尔德的新型存储网络,构建起了当今人工智能至关重要的两块基石。
2022 年,ChatGPT 的横空出世,宣告着一个属于 AI 新时代的到来,人类开始探索实现 AGI 的可能性,全民对 AI 关注度空前绝后的同时,也实实在在地看到了如同工业革命一般,人工智能正在引领更深层次的变革。
当我们站在碳基和硅基交棒的节点,看这份看似 " 荒诞 " 的获奖名单,或许也是最合理的结果。