逆天! 今年机器学习诺奖得主的引用量快破100万了！！！

凡是搞计量经济的，都关注这个号了

邮箱：econometrics666@126.com

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

2024年诺贝尔物理学奖授予了John Hopfield和Geoffrey Hinton，以表彰他们在通过人工神经网络实现机器学习的基础性发现和发明方面的杰出贡献。

那么，这两位AI世界中的教父到底做了啥开创性贡献呢？下面以一个经济学研究者能看得懂的方式讲一讲。

许多人已经体验过计算机在不同语言之间的翻译、图像识别，甚至进行流畅对话的能力。但可能鲜为人知的是，这些技术在研究领域也发挥着重要作用，尤其是在对海量数据进行分类和分析方面。在过去的十五到二十年里，机器学习技术经历了爆炸性的增长，这主要得益于一种名为人工神经网络的结构。如今，当我们提到人工智能时，通常指的就是这类技术。

尽管计算机本身不具备思考能力，但现代机器已经能够模拟记忆和学习等认知功能。今年的诺贝尔物理学奖得主在实现这些技术方面做出了重要贡献。他们运用物理学的基本原理和方法，开发出了一种利用网络结构来处理信息的技术。

与传统软件不同，机器学习的工作方式并非像食谱那样按部就班。传统软件接收数据后，会根据明确的指令进行处理，最终产生结果，这类似于按照食谱步骤收集食材并制作蛋糕的过程。而机器学习则让计算机通过实例学习，使其能够处理那些模糊且复杂的、无法通过简单步骤解决的问题，例如解释一张图片以识别其中的物体。

模仿大脑

人工神经网络通过其整个网络结构来处理信息。这种技术的灵感最初来源于对大脑工作机制的探索欲望。20世纪40年代，研究人员开始探索支撑大脑神经元和突触网络的数学原理。与此同时，心理学领域的研究也为这一领域提供了重要的补充，特别是神经科学家唐纳德·赫布（Donald Hebb）关于学习过程的假设，他提出当神经元协同工作时，它们之间的连接会得到加强。

这些开创性的想法随后催生了构建人工神经网络的尝试，目的是通过计算机模拟来重现大脑网络的功能。在这些模拟中，大脑中的神经元被模拟为具有不同值的节点，而突触（synapses）则通过节点之间的连接来表示，这些连接可以根据需要被加强或削弱。Hebb的假设至今仍是更新人工神经网络的基本规则之一，并通过一种称为“训练”的过程加以应用。

到了1960年代末，一些令人失望的理论结果使得许多研究人员开始怀疑这些神经网络是否真的有用。然而，人工神经网络的兴趣在1980年代重新被点燃，当时一些重要的理念产生了深远影响，其中就包括今年诺贝尔奖得主的贡献。

联想记忆

想象一下，你正努力回忆一个不常见的词汇，这个词你很少用到，比如描述电影院和讲堂中常见的倾斜地板的术语。你在心里搜索，想到了“ramp”……也许是“radial”？不对，想起来了，是“rake”！

这种在相似词汇中寻找正确词汇的过程，让人联想到物理学家约翰·霍普菲尔德（John Hopfield）在1982年提出的联想记忆理论。Hopfield网络能够存储信息模式，并具备一种重建这些模式的能力。当网络接收到一个不完整或略有偏差的信息模式时，它能够找到与之最相似的存储模式。

Hopfield最初利用他的物理学背景探索分子生物学中的理论问题。当他受邀参加一个神经科学领域的会议时，他接触到了有关大脑结构的研究，并对此产生了浓厚的兴趣。他开始思考简单神经网络的动态特性，发现当神经元协同工作时，它们能够产生一些新颖而强大的特性，而这些特性在单独观察网络的各个部分时是无法察觉的。

1980年，Hopfield离开了普林斯顿大学。由于他的研究兴趣已经超出了物理学同事们的研究范畴，他决定迁往美国大陆的另一端。他接受了位于加州理工学院（Caltech）的化学与生物学教授职位。在那里，他得以利用丰富的计算机资源自由地进行实验，并进一步发展了他对神经网络的理论构想。

网络在landscape中保存图像

Hopfield构建的网络由众多节点组成，这些节点通过不同强度的连接相互关联。每个节点能够存储一个单独的值——在Hopfield的早期研究中，这个值通常是0或1，类似于黑白图像中的像素。

Hopfield利用一个类似于物理学中自旋系统能量的概念来描述网络的整体状态；这种能量是通过一个特定的公式计算得出的，该公式考虑了所有节点的值以及它们之间连接的强度。Hopfield网络通过将图像输入到节点来进行编程，其中节点被赋予代表黑色（0）或白色（1）的值。随后，网络的连接会根据能量公式进行调整，以确保保存的图像具有较低的能量状态。

当一个新的模式被输入到网络中时，会有一个规则逐个检查每个节点，以判断如果改变该节点的值，是否能够降低网络的能量。如果发现将黑色像素变为白色能够降低能量，那么颜色就会发生改变。这个过程会持续进行，直到无法再找到进一步降低能量的方法。当达到这一点时，网络通常已经恢复到了其训练时所用的原始图像。

如果仅仅保存一个模式，这种方法可能看起来并不特别。你可能会想，为什么不直接保存图像本身，并将其与正在测试的另一幅图像进行比较呢？但Hopfield的方法的特别之处在于，它可以同时保存多幅图像，并且网络通常能够区分它们。

Hopfield将网络中的搜索状态比喻为在高低起伏的地形中滚动一个球，而摩擦力则减缓了球的移动。如果将球放置在某个特定位置，它会滚入最近的谷底并在那里停止。同样，如果网络接收到一个与已保存模式相似的模式，它会继续调整，直到最终到达能量最低的稳定状态，从而找到记忆中最接近的模式。Hopfield网络能够用来重建含有噪声或部分被损坏的数据。

Hopfield和其他研究人员继续完善Hopfield网络的功能细节，包括允许节点存储任意值，而不仅仅是0或1。如果将节点视作图像中的像素，那么它们可以呈现不同的颜色，而不仅仅是黑色或白色。这种改进的方法使得网络能够存储更多的图像，并且在这些图像相似时依然能够将它们区分开来。只要有足够的数据点，网络同样能够识别或重建任何信息。

利用十九世纪物理学进行分类

记住一个图像是一回事，但理解图像所描绘的内容则需要更多的认知能力。即使是很小的孩子也能指着不同的动物，并自信地说出这是狗、猫还是松鼠。他们可能会偶尔出错，但很快就能几乎总是准确地识别。孩子们即使没有看过任何图解，或者没有听过物种、哺乳动物等概念的解释，也能自然而然地学会这些知识。经过几次接触每种动物的例子，孩子们的脑海中就会形成不同的类别。

人们通过体验周围的环境来学习识别一只猫、理解一个词，或者走进一个房间并注意到某些变化。这种学习过程是自然而然发生的。

当Hopfield发表他的联想记忆理论文章时，杰弗里·辛顿（Geoffrey Hinton）正在美国匹兹堡的卡内基梅隆大学从事研究工作。他曾在英格兰和苏格兰学习实验心理学和人工智能，思考机器是否能够模仿人类的方式学习处理模式，寻找自己的分类方法来排序和解释信息。与同事特伦斯·塞贾诺夫斯基（Terrence Sejnowski）合作，Hinton在Hopfield网络的基础上，进一步扩展并构建了一种新模型，该模型运用了统计物理学的思想。

统计物理学专注于研究由许多相似元素构成的系统，例如气体中的分子。尽管追踪气体中每一个单独分子的运动几乎是不可能的任务，但我们可以通过宏观的视角来考虑整体，从而确定气体的宏观属性，如压力和温度。气体分子以不同的速度在空间中自由扩散，尽管它们的运动模式千差万别，但最终仍能形成一致的宏观特性。

统计物理学能够用来分析众多组件共同存在时的状态，并计算这些状态发生的概率。某些状态比其他状态更有可能发生，这种现象取决于系统中可用能量的多少，而这正是19世纪物理学家路德维希·玻尔兹曼（Ludwig Boltzmann）的方程所描述的内容。Hinton的网络正是基于这个方程构建的，他的方法在1985年被以引人注目的名称“玻尔兹曼机”（Boltzmann machine）发表。

识别同类的新实例

Boltzmann机通常包含两种不同类型的节点。信息被输入到一组称为“可见节点”的节点中，而另一组节点则构成了“隐藏层”。隐藏节点的值及其连接对整个网络的能量状态都有影响。

该机器通过逐个更新节点的值来运行。最终，它会达到一种状态，在这种状态下，尽管节点的模式可能发生变化，但整个网络的总体属性仍然保持稳定。每种可能的模式都有一个特定的概率，这个概率是根据网络的能量，通过Boltzmann方程来确定的。当机器停止运行时，它已经生成了一个新的模式，这使得Boltzmann机成为生成模型的早期代表之一。

Boltzmann机能够通过实例进行学习，它不是依赖于指令，而是通过训练数据来实现的。在训练过程中，机器通过调整网络连接中的权重值，使得在运行时，训练阶段输入的可见节点的示例模式更有可能被重现。如果某个模式在训练过程中多次出现，那么这个模式出现的概率就会相应提高。此外，训练过程还会影响输出新模式的概率，尤其是那些与训练样本相似的模式。

经过训练的Boltzmann机能够识别出之前未见过的、包含熟悉特征的信息。可以想象一下，当你见到朋友的兄弟姐妹时，你很快就能察觉到他们之间的血缘关系。类似地，Boltzmann机能够识别全新的示例，只要这些示例属于训练材料中的某个类别，并且能够将其与不相似的材料区分开来。

在其最初的形态中，Boltzmann机的效率并不高，寻找解决方案通常需要较长时间。随着技术的不断进步，情况开始变得有趣，而Hinton一直在探索改进的方向。后续的版本经过优化，移除了部分单元之间的连接，结果表明这样的调整可能使机器的运行更加高效。

在1990年代，许多研究人员对人工神经网络的兴趣逐渐减退，但Hinton却是少数坚持在该领域深耕的学者之一。他还引领了一系列激动人心的研究成果的涌现。2006年，Hinton与同事 Simon Osindero, Yee Whye Teh和Ruslan Salakhutdinov共同开发了一种通过逐层预训练一系列Boltzmann机来构建网络的方法。这种预训练技术为网络中的连接提供了一个更好的初始状态，从而优化了网络的训练过程，使其能够更准确地识别图像中的各种元素。

Boltzmann通常作为更大网络体系的一部分，它在推荐系统中尤为常见。例如，它可以基于观众的偏好推荐电影或电视剧。

机器学习——今天与明天

得益于Hopfield和Hinton自20世纪80年代以来的开创性工作，他们为2010年左右兴起的机器学习革命奠定了坚实的基础。

我们现在所见证的机器学习领域的飞速发展，得益于两个关键因素：一是可用于训练网络的海量数据，二是计算能力的巨大飞跃。如今的人工神经网络通常规模庞大，由多个层级构成，这种网络被称为“深度神经网络”。而训练这些网络的技术，我们称之为“深度学习”。

快速回顾一下Hopfield在1982年发表的关于联想记忆的文章，可以为我们理解这一领域的发展提供一些历史视角。在这篇文章中，他构建了一个包含30个节点的网络模型。如果这些节点之间全部相互连接，那么总共会有435个连接。每个节点都有其特定的值，而连接则具有不同的强度。总体来看，需要跟踪的参数数量不到500个。Hopfield还尝试过构建一个包含100个节点的网络，但考虑到当时所用计算机的处理能力，这样的网络显得过于复杂。我们可以将早期的尝试与当今的大型语言模型进行比较：这些模型作为深度网络构建，能够包含超过一万亿个参数，这个数字是一百万的百万倍。

目前，众多研究人员正在探索机器学习的应用领域，究竟哪些领域最具应用潜力尚待观察。同时，人们也在广泛讨论这一技术发展和应用过程中所涉及的伦理问题。

物理学为机器学习的发展提供了重要的工具，而反过来，观察物理学如何从人工神经网络中获益也颇具趣味。机器学习已经在我们的多个诺贝尔物理学奖获奖领域中得到了应用。例如，它被用于筛选和处理发现希格斯粒子所需的海量数据。其他应用还包括减少黑洞碰撞产生的引力波测量中的噪声，或寻找系外行星。

关于机器学习：1.机器学习之KNN分类算法介绍: Stata和R同步实现（附数据和代码），2.机器学习对经济学研究的影响研究进展综述，3.回顾与展望经济学研究中的机器学习，4.最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响! 5.Top, 机器学习是一种应用的计量经济学方法, 不懂将来面临淘汰危险！6.Top前沿: 农业和应用经济学中的机器学习, 其与计量经济学的比较, 不读不懂你就out了！7.前沿: 机器学习在金融和能源经济领域的应用分类总结，8.机器学习方法出现在AER, JPE, QJE等顶刊上了！9.机器学习第一书, 数据挖掘, 推理和预测，10.从线性回归到机器学习, 一张图帮你文献综述，11.11种与机器学习相关的多元变量分析方法汇总，12.机器学习和大数据计量经济学, 你必须阅读一下这篇，13.机器学习与Econometrics的书籍推荐, 值得拥有的经典，14.机器学习在微观计量的应用最新趋势: 大数据和因果推断，15.R语言函数最全总结, 机器学习从这里出发，16.机器学习在微观计量的应用最新趋势: 回归模型，17.机器学习对计量经济学的影响, AEA年会独家报道，18.回归、分类与聚类：三大方向剖解机器学习算法的优缺点（附Python和R实现），19. 关于机器学习的领悟与反思，20.机器学习，可异于数理统计，21.前沿: 比特币, 多少罪恶假汝之手? 机器学习测算加密货币资助的非法活动金额! 22.利用机器学习进行实证资产定价, 金融投资的前沿科学技术! 23.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣！24.用合成控制法, 机器学习和面板数据模型开展政策评估的论文！25.更精确的因果效应识别: 基于机器学习的视角，26.一本最新因果推断书籍, 包括了机器学习因果推断方法, 学习主流和前沿方法，27.如何用机器学习在中国股市赚钱呢? 顶刊文章告诉你方法！28.机器学习和经济学, 技术革命正在改变经济社会和学术研究，29.世界计量经济学院士新作“大数据和机器学习对计量建模与统计推断的挑战与机遇”，30.机器学习已经与政策评估方法, 例如事件研究法结合起来识别政策因果效应了！31.重磅! 汉森教授又修订了风靡世界的“计量经济学”教材, 为博士生们增加了DID, RDD, 机器学习等全新内容！32.几张有趣的图片, 各种类型的经济学, 机器学习, 科学论文像什么样子？33.机器学习已经用于微观数据调查和构建指标了, 比较前沿！34.两诺奖得主谈计量经济学发展进化, 机器学习的影响, 如何合作推动新想法！35.前沿, 双重机器学习方法DML用于因果推断, 实现它的code是什么？

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。