凡是搞计量经济的，都关注这个号了
邮箱：econometrics666@126.com
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
2024年诺贝尔物理学奖授予了John Hopfield和Geoffrey Hinton，以表彰他们在通过人工神经网络实现机器学习的基础性发现和发明方面的杰出贡献。这对经济学家来说同样具有重要意义，因为机器学习技术正日益融入经济学等学科的研究之中。那么，经济学家如何应用人工神经网络和机器学习技术呢？哈佛大学的Melissa Dell教授，以极快的速度在AEA的Journal of Economic Literature上发表了一篇经济学和商学学者必读的综述性文章：“Deep learning for economists”。
文章的主题是指导经济学家如何在机器学习时代利用深度学习技术（包括分类器、回归模型、生成性人工智能和嵌入模型）来增强经济学研究的能力。
她说：“深度学习的文献浩瀚如海，我在最初探索时，确实感到寻找与经济应用紧密相关的资料是一项挑战。我衷心希望这篇文章能够对大家有所助益！
文章中涵盖了多种应用场景，包括但不限于分类、命名实体识别、记录链接、实体消歧、追踪媒体内容的复制、评估大规模文本语料库中的程式化事实、光学字符识别（OCR）以及文档布局分析（classification, named entity recognition, record linkage, entity disambiguation, tracing reproduced content through media, assessing stylized facts in massive-scale text corpora, optical character recognition, and document layout analysis）。
在文章中，我介绍了深度学习的基础知识和一些核心架构，比如transformer，并探讨了在不同情况下应如何选择合适的方法，例如分类器、生成式AI、嵌入模型和回归分析。为了帮助读者更好地理解和应用这些技术，我还提供了技术细节、软件资源和教程笔记本，这些都可以通过一个配套的网站来共享。”
关于机器学习：1.机器学习之KNN分类算法介绍: Stata和R同步实现（附数据和代码），2.机器学习对经济学研究的影响研究进展综述，3.回顾与展望经济学研究中的机器学习，4.最新: 运用机器学习和合成控制法研究武汉封城对空气污染和健康的影响! 5.Top, 机器学习是一种应用的计量经济学方法, 不懂将来面临淘汰危险！6.Top前沿: 农业和应用经济学中的机器学习, 其与计量经济学的比较, 不读不懂你就out了！7.前沿: 机器学习在金融和能源经济领域的应用分类总结，8.机器学习方法出现在AER, JPE, QJE等顶刊上了！9.机器学习第一书, 数据挖掘, 推理和预测，10.从线性回归到机器学习, 一张图帮你文献综述，11.11种与机器学习相关的多元变量分析方法汇总，12.机器学习和大数据计量经济学, 你必须阅读一下这篇，13.机器学习与Econometrics的书籍推荐, 值得拥有的经典，14.机器学习在微观计量的应用最新趋势: 大数据和因果推断，15.R语言函数最全总结, 机器学习从这里出发，16.机器学习在微观计量的应用最新趋势: 回归模型，17.机器学习对计量经济学的影响, AEA年会独家报道，18.
回归、分类与聚类：三大方向剖解机器学习算法的优缺点（附Python和R实现），19.关于机器学习的领悟与反思，20.机器学习，可异于数理统计，21.前沿: 比特币, 多少罪恶假汝之手? 机器学习测算加密货币资助的非法活动金额! 22.利用机器学习进行实证资产定价, 金融投资的前沿科学技术! 23.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣！24.用合成控制法, 机器学习和面板数据模型开展政策评估的论文！25.更精确的因果效应识别: 基于机器学习的视角，26.一本最新因果推断书籍, 包括了机器学习因果推断方法, 学习主流和前沿方法，27.如何用机器学习在中国股市赚钱呢? 顶刊文章告诉你方法！28.机器学习和经济学, 技术革命正在改变经济社会和学术研究，29.世界计量经济学院士新作“大数据和机器学习对计量建模与统计推断的挑战与机遇”，30.机器学习已经与政策评估方法, 例如事件研究法结合起来识别政策因果效应了！31.重磅! 汉森教授又修订了风靡世界的“计量经济学”教材, 为博士生们增加了DID, RDD, 机器学习等全新内容！32.几张有趣的图片, 各种类型的经济学, 机器学习, 科学论文像什么样子？33.机器学习已经用于微观数据调查和构建指标了, 比较前沿！34.两诺奖得主谈计量经济学发展进化, 机器学习的影响, 如何合作推动新想法！35.
前沿, 双重机器学习方法DML用于因果推断, 实现它的code是什么？
深度学习技术以其卓越的能力，能够从庞大的非结构化文本和图像数据集中提取出有价值的结构化信息。例如，经济学家可能会利用它来分析卫星图像，以识别经济活动的迹象，或者评估社交媒体、国会记录或公司文件中提及的主题和实体。本文综述了深度神经网络的多种应用，包括但不限于分类器、回归模型、生成式人工智能和嵌入模型等。这些方法的应用范围广泛，涵盖了从文档的数字化处理到记录的链接，再到在大规模文本和图像语料库中进行深入的数据探索。当采用合适的技术手段时，深度学习模型的调优成本可以显著降低，并且能够以经济高效的方式扩展到处理数百万甚至数十亿数据点的复杂问题。为了进一步促进学术交流和技术应用，本文还提供了一个名为EconDL的配套网站。该网站为用户提供了易于操作的演示笔记本、丰富的软件资源，以及包含技术细节和其他应用案例的知识库。近年来，深度神经网络在科学界取得了一系列令人瞩目的成就。它们不仅成功地在火星那崎岖不平的地表上着陆了探测车，还创造了功能强大的聊天机器人，并在疾病诊断领域掀起了一场革命。这些网络擅长将非结构化数据，包括文本、文档的图像扫描、卫星图像、以及其他类型的图像、视频和音频，有效地映射到一个连续的向量空间中。在这些应用实例中，深度神经网络生成的向量被用于多种目的：它们可以指导航天器的操控指令，可以基于给定的上下文预测接下来的单词，甚至可以识别医学图像中是否存在肿瘤。同样，经济学家也利用这些神经网络来分析街景图像，以识别非正式商贩的存在，或者评估公司和政府文件中所提及的主题和人物。深度学习的本质在于它能够从实际案例中学习数据的内在表达方式。正如LeCun、Bengio和Hinton在2015年所指出的，这种表达方式能够将复杂的高维非结构化数据转化为简洁的连续向量形式。深度神经网络通过多个层次的抽象处理，利用非线性的神经网络单元，通过学习得到的权重，将上一层的输出转化为更加抽象的表示。这里的“深度”指的是这种多层次的处理过程。这些权重的确定是通过最小化损失函数实现的，损失函数将模型的预测结果与实际数据进行比较，以此来评估和调整模型的准确性。为何我们不直接对原始数据进行处理，而是选择将其转化为向量形式呢？其根本原因在于深度神经网络的学习能力远超单一问题的范畴。它们通过分析和吸收海量数据，将关键信息融入自身的参数之中。在预训练阶段，无论是现代语言模型还是视觉模型，都会接触到数百万级别的文本或图像，以深入学习语言或视觉的本质结构。这种对大量数据的广泛接触，对于处理复杂非结构化数据至关重要，因为人类的语言和视觉系统极为复杂多变。这个过程被称作迁移学习，它构成了深度神经网络取得成功的核心要素。通过迁移学习，神经网络能够将在一个任务上学到的知识应用到另一个相关任务上，从而提高模型的泛化能力和效率。此外，原始像素或单词本身往往缺乏足够的上下文信息，而上下文对于准确解释它们的意义至关重要。深度神经网络提供了一种有效的解决方案，能够计算出包含丰富上下文信息的数据表示。这些网络能够将单个术语或像素映射为向量，而这些向量是依赖于其他邻近术语或像素的，其参数主要通过大规模的预训练过程学习得到。原始的文本和图像数据在计算处理上往往显得较为笨重。与此形成鲜明对比的是，对于连续向量的计算，我们拥有一系列高度优化的工具。例如，Silcock等人在2023年的研究中展示了，使用一块中等性能的GPU，可以在短短3小时内完成高达10^14次精确的向量相似性计算。这表明我们能够以前所未有的规模对数据进行分析。理论的验证需要依赖于数据的支持。尽管更多的数据并不能直接解决因果关系的挑战，但它们通常能够为经济学家提供更为细致的信息，以测试各种假设。本文综述的目的是搭建一座桥梁，连接前沿的深度学习研究成果与经济学领域的实际应用。文章特别关注那些在事实清晰但因问题规模庞大而需自动化处理的场景，即从非结构化的文本或图像中提取低维的、结构化的数据。这些经过结构化的数据随后被应用于因果关系或描述性分析中，可能作为分析的结果、内生变量、工具变量或控制变量。经济学家们以往通过手工或传统方法执行的任务，如记录链接、文本分类、文档扫描数字化等，现在可以通过深度学习技术在更大规模上实现更精准的自动化处理。此外，深度学习还推动了新数据的提取和利用。正如Gentzkow、Kelly和Taddy在2019年的综述中所强调的，本文不仅将文本视为数据，而且采用了自那篇文章发表以来发展起来的新方法。本综述在继承前人研究成果的基础上，进一步拓展了深度学习在经济学中的应用范围，为经济学研究者提供了一种新的工具，以更高效、更深入地分析和解释经济现象。通过深度学习技术，我们能够从海量的非结构化数据中挖掘出有价值的信息，为经济学的实证研究和理论发展提供新的视角和动力。本文综述的目的是搭建一座桥梁，连接前沿的深度学习研究成果与经济学领域的实际应用。文章特别关注那些在事实清晰但因问题规模庞大而需自动化处理的场景，即从非结构化的文本或图像中提取低维的、结构化的数据。这些经过结构化的数据随后被应用于因果关系或描述性分析中，可能作为分析的结果、内生变量、工具变量或控制变量。图1为我们呈现了一个清晰的分类方法流程图。首先需要确定的问题是：“类别是否已经预先定义？”在某些情况下，类别可能尚未明确，或者研究人员可能希望在将模型应用于新环境时能够灵活添加新类别，而无需重新训练整个模型。在这种情况下，分类器会利用语言或视觉模型的最后一层为每个已知类别计算一个分数。这意味着分类器只能在训练过程中已经指定并接触过的类别上进行有效估计。如果某些类别在训练时未被指定，研究人员就需要直接利用嵌入向量来进行分析。
特别是在类别数量庞大的情况下，例如在记录链接任务中，每个独特的实体都可能被视为一个单独的类别。这时，由于计算资源的限制，研究人员可能无法为每个类别都训练一个分类器，因此需要依赖嵌入向量来进行更为高效的处理。嵌入向量能够捕捉到数据的内在特征，使得即便在类别众多的情况下，也能进行有效的数据分析和模式识别。当类别已经明确定义并且数量适中时，无论是分类器还是生成式人工智能（AI）都可能是解决这类问题的理想选择。然而，如果应用场景与用于预训练神经网络的数据存在差异——这在处理历史数据、文档扫描或特定环境下尤为常见——那么从预训练语料库到应用领域的转换可能会带来显著的领域差异。这种情况下，可能需要对分类器进行调整和定制，以确保其能够发挥出强大的性能。类别定义的准确性同样至关重要。对于一些简单的任务，使用现成的生成式AI模型，例如OpenAI的GPT，将其设置为文本生成模式，可能会取得不错的效果。而对于更为复杂和微妙的任务，定制训练的分类器能够通过深入学习具体的示例，更精准地捕捉到任务的细微差别。如果对选择哪种方法没有把握，研究人员可以先尝试使用现成的方法，如果性能不尽如人意，再考虑转向定制的分类器。综述中指出，尽管定制训练的分类器在文本分类任务中通常能够展现出比GPT更优越的性能，但在处理一些简单任务时，生成式AI和定制分类器都能够取得良好的效果。此外，综述还对这些方法的成本效益进行了考量，指出在选择合适的方法时，不仅要考虑技术的性能，还要考虑实施的成本和资源的可用性。
表1为本综述的应用提供了一个全面的概览。其中，大多数应用都可以归纳为分类问题，同时，文章也回顾了利用神经网络从文本或图像中推算连续值的回归问题。
在深度学习技术兴起之前，不同领域的数据处理方法大相径庭，往往需要大量的工程化工作来制定规则，以适应特定语言或图像类型的特点。然而，深度学习展现出了令人惊叹的泛化能力，使得原本需要针对特定领域定制的解决方案变得不再必要。例如，在自然语言处理（NLP）、计算机视觉和音频处理等领域，现在都普遍采用了相同的最先进神经网络架构。这种泛化能力在本综述中讨论的多种应用中表现得尤为明显。无论是处理文本数据还是图像信息，深度学习模型都能够通过学习大量的数据，捕捉到数据的内在规律和模式，从而在不同领域中实现高效的应用。这种跨领域的通用性，不仅简化了模型的开发和应用过程，也为解决复杂问题提供了强大的工具。通过深度学习，我们能够构建出更为灵活和强大的模型，它们不仅能够适应特定领域的特定需求，还能够在多个领域中发挥出色的性能。本综述虽然涵盖了深度神经网络在经济学中的多种应用，但仍有一些领域超出了其讨论范围。例如，它并未深入探讨Korinek（2023）所讨论的语言模型如何更广泛地提升经济学家的工作效率。此外，本文也没有涉及除深度学习之外的机器学习方法，特别是那些通常应用于结构化数据的、使用较浅网络的方法，如Athey和Imbens（2019）在他们的综述中所总结的。本文同样没有探讨使用深度神经网络来计算组合优化和高维动态随机一般均衡（DSGE）模型的近似解。这些近似解的计算需要训练一个神经网络，将原始问题映射到一个连续的向量空间中，同时保留问题的基本特性。这种方法非常有用，因为它允许在该空间中快速计算近似解，并且能够处理比传统方法更大的问题规模。尽管这与本文综述中讨论的方法有诸多相似之处，但由于应用领域不同，需要独立分析。对此感兴趣的读者可以参考Fernandez-Villaverde（2024）和Vitercik（2023）的课程。最后，还有一小部分文献直接在因果推断框架中使用深度神经网络，如Lynn、Kummerfeld和Mihalcea（2020）使用分类器和实验来研究文本变化如何因果地影响决策。尽管这种方法在实验操纵文本时有其特定的应用价值，但研究人员通常更倾向于从高维非结构化数据中提取低维表示——例如文本的主题、卫星图像中的对象、表格扫描中的数字、识别文本记录中指代的同一实体——并在因果估计方程中使用这些低维表示，而非原始的非结构化数据。因此，本文的重点在于预测这些低维特征。本综述并不试图总结这些预测在经济学研究中的使用情况，因为这一领域的文献是新兴的，并且正在快速发展之中。读者可能会好奇，这篇综述的内容会在多久之后变得不再时新。这里可以借用一个流行的比喻：将神经网络比作乐高积木。不同的神经网络组件可以灵活地组合和配置，以适应各种不同的需求，或者实现同一目标的更高级版本。本综述聚焦于那些能够随着学术文献的发展而轻松更新的框架，例如，用视觉变换器（Dosovitskiy等，2020年）替代传统的卷积神经网络，或用最新的语言模型来更新BERT模型的骨干部分（Devlin等，2019年）。技术和实施的细节——这些内容最有可能随着学术文献的进展而发生变化——可以在附带的EconDL网站上找到。该网站提供了一个围绕核心主题组织的知识库，以及面向经济学家的开源软件包和使用深度学习构建大规模数据集的流程链接。感兴趣的读者可以在该网站上找到讲义、博客文章链接、教科书的处理方式、公开课程和原始论文。EconDL还链接了本综述中应用的许多演示笔记本。该网站将持续更新，其中一些软件包特别设计为支持随着学术文献的进展而替换新的神经网络组件。本文的结构安排如下：首先，第一部分将对深度学习的概念进行概述，为读者提供一个宏观的视角。第二部分则深入介绍深度学习的基础架构，解析其核心组件和工作原理。第三部分将聚焦于深度学习在数据方面的要求，探讨如何高效地处理和利用数据资源。第四部分将讨论在深度学习过程中如何处理偏差和量化不确定性，确保模型的准确性和可靠性。MELISSA DELL, 2024, Deep Learning for Economists, Journal of Economic Literature (Forthcoming), https://www.aeaweb.org/articles?id=10.1257/jel.20241733&from=f
*群友可直接在社群下载原文PDF。
关于Melissa Dell，1.20年小诺贝尔奖得主Melissa的经济学家编程课, 课件尽快下载学习！2.2020年小诺奖得主Dell关于如何做研究, 对年轻经济学家的建议！3.Mita, 2020小诺奖RDD女王最具影响力的成名作, 附数据和计量程序，4.“RDD女王”获2020年小诺奖！她的RD数据, 程序, GIS和博士论文可下载！关于她学术研究过程的最全采访！，5.世界计量经济学会宣布2020年新当选院士和新主席, 国人当选情况在情理之中但意料之外！6.
AER上用断点回归设计RDD的实证文章有哪些？含程序和code, 不看至少需要收藏一下！7.如何做量化研究的文献评述, 基于政权变更, 集体行动和经济发展，8.TOP5的JPE新任主编和编辑介绍, 提前了解其研究方法和擅长领域! 9.TOP5上天才般神作, 没有足够的洞察, 很难想出这样的实证策略，10.她极度近视, 却凭该TOP5文掌控着关于殖民制度长期影响研究的话语权！
下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。
7年，计量经济圈近2000篇不重类计量文章，
可直接在公众号菜单栏搜索任何计量相关问题,
Econometrics Circle
计量经济圈组织了一个计量社群，有如下特征：热情互助最多、前沿趋势最多、社科资料最多、社科数据最多、科研牛人最多、海外名校最多。因此，建议积极进取和有强烈研习激情的中青年学者到社群交流探讨，始终坚信优秀是通过感染优秀而互相成就彼此的。
