随着数据时代的到来，大量数据涌入对传统的研究范式提出新的挑战。多主体建模（ABM）在过去的发展过程中，注重通过理论和专家经验推导主体的行为规则，使用真实数据进行模型校准和验证。要发展ABM模型，理论尤其重要，对于建模者来说，理论提供了一个框架，但在开发模型时并没有如何使用它们的可靠说明。同时在基于理论建模时，还存在模型设计、模型运行及社区共享等方面的问题等。通常来说，理论驱动的ABM模型有其发展和应用框架，如下图所示：随着真实世界数据体量的不断增加，数据驱动的ABM模型获得了研究人员的特别关注。目前数据已经广泛应用于模型的参数设定和模型验证过程中，且逐渐被用于个体参数和仿真环境的初始化，以及用于个体行为规则的生成。一些研究采用机器学习（ML）方法来推导模型中代理的行为，这可能对我们的研究是有帮助的。但我们必须明确一点：机器学习的发展对多主体建模的最大冲击可能是行为规则的简化与主体决策的黑箱同时进行，如何打开决策的黑箱，让社会科学家更多的认可ML-ABM是目前的研究重点之一。Yakup Turgut通过对比数据驱动的ML-ABM和理论驱动的ABM模型，提出使用机器学习驱动的多主体建模研究范式与框架，Firouzeh Taghikhah团队进一步对ML-ABM的主体决策黑箱进行解释，为ML-ABM的发展提供更强的说服力。
下图描述了经验数据、机器学习与ABM模型发展阶段的关系。ML在ABM开发过程中的不同应用通过ML上的上标突出显示。例如，ML1表示使用ML来作为ABM输入数据。简而言之，它通过机器学习和经验数据说明了ABM的开发过程。以下主题解释了经验数据、ML和ABM之间的联系。- 主题2：在ABM部署之前，可以使用机器学习模型对经验数据进行预处理，以便输入的数据适合ABM使用。
- 主题3：监督学习方法被用作ABM的代理模型以预测输入-输出关系。
- 主题4：经验数据在ABM中被广泛用于校准模型参数和验证模型。
- 主题5：机器学习可用于将仿真模型的输出转换为对决策有用的格式。
1.更好地表示真实的系统：来自系统的真实的数据帮助建模者开发更准确的仿真模型。2.简化建模过程：将理论转化为代理行为是非常困难的，此外，可能有几个理论，建模者可能无法选择将哪些理论纳入他们的模型。考虑到所有这些问题，使用数据驱动的解决方案提取代理的行为，可以用来简化建模过程。3.利用当前数据资源：目前可访问的数据量相当惊人。这些数据可以被从业者用来构建ABM并提高存储数据集的有用性。另一方面，数据驱动的ABM具有许多缺点。这些缺点如下：1.数据的可得性：研究人员经常使用社会调查来收集有关人类行为的间接数据，例如访谈问题。因此，需要额外的工作来推导出从间接测量中出现的行为规则。如果没有足够的行为数据，从数据中得出的行为规则将是无效的，ABM模型的宏观结果将是不正确的。2.模型的一般化：使用机器学习方法得出的代理行为通常是基于特定场景的，但建模者无法获得通用代理行为。例如，如果所有的观测数据都是在夏天收集的，但推断的行为被用来模拟整个冬天的代理行为，结果可能是错误的。3.模型结果的可解释性：如果建模者明确知道模型的输出为什么会发生，则模型被称为可解释的。换句话说，建模者希望掌握输入和输出之间的联系。如果建模者使用黑箱机器学习来模型创建ABM，则很难以透明的方式解释模型输出。如果建模者需要一个可解释的模型，他们必须使用白盒机器学习模型。基于文献的研究结果，可以说，在数据驱动的ABM中，可能有两种方法来获取主体的行为：（ii）试图确定个体发生行为的根本原因，然后通过使用统计技术再现观察到的行为。
对于建模者来说，通过使用监督学习技术来获得代理行为可以是简单且快速的。如果ABM用于预测，这种方法有可能产生准确和令人满意的结果。然而，如果ABM用于理解（即ABM以白盒方式操作），它们可能无法实现这一点，因为一些机器学习技术（人工神经网络，支持向量机等）以黑盒方式操作，它们没有很好的解释这些行为的根本原因。鉴于ABM在社会科学中的广泛使用，通过监督学习获得的模型似乎不太可能被接受。逆向强化学习在阐明代理行为的根本原因方面具有巨大的潜力，它可以用来推断代理行为背后的动机。然而，逆向强化学习模型的建立需要来自代理的连续行为数据，幸运的是，今天有大量的人类痕迹数据可用，例如社交网络和移动的电话数据。如果ABM是为了控制而建造的，即为了获得用于策略制定的最优行为，可以使用强化学习算法。强化学习算法使建模者能够使用智能和理性的代理创建ABM。换句话说，如果模拟环境是静止的，强化学习可以使建模者能够在他们的ABM中获得最佳的代理行为。下表显示了模型开发目标、所采用的机器学习和代理行为类型之间的联系。例如，如果建模者想要使用开发的模型进行控制，则可以使用强化学习技术来获得代理的最佳行为（代理的行为类型）。大量的研究表明，将理论和专家建议与机器学习方法相结合，对于生成更强大和有效的模型可能是有价值的。基于前面的讨论和文献中的证据，作者提出了一个框架，用于创建一个理论支持的机器学习驱动的ABM，如下图所示：在构建ABM时，框架的应用步骤由图中的带圈数字表示。1.建模阶段是框架的初始步骤。在这个阶段，建模者用和经典ABM开发方法类似的方式设计概念模型。然而，他们不需要制定代理的行为规则。2.框架的第二阶段“模型实现”是框架的核心组成部分，由一系列子步骤组成。在这一阶段，建模人员将解决ABM设计中最具挑战性的方面：指定代理行为。为此，采用以下子步骤：2.1.建模者进行文献搜索，以确定影响代理行为的变量。他们可以利用系统理论，经验数据和专家的建议（或者机器学习中的筛选变量相关算法，如LASSO回归），在此之后，他们确定需要哪些微观层面的数据并收集必要的数据。2.2.建模者导出机器学习模型的特征。建模者执行机器学习模型开发的所有数据准备阶段。2.3.建模器使用前面陈述的特征训练机器学习模型。代理行为将是机器学习模型的输出。他们应用了训练监督机器学习算法的所有传统过程。如果需要解释，则建模器可以使用白盒监督学习算法；否则优选黑盒监督学习方法。2.4.建模器通过将代理的属性和其他模拟环境数据输送到训练好的机器学习模型来获得代理的行为。2.5.下一步是将代理交互纳入机器学习模型的输出。为此，建模者必须检查相关文献。他们可能采用系统理论、实证研究或专家指导的方法。2.6.在获得关于代理交互对代理行为的影响后，建模者必须找到一个系统地将交互纳入机器学习的输出的过程。他们可能只是根据从文献中获得的数据制定一些规则或制定一些公式。通过这些新的规则和公式，得出代理人的最终决策。2.7.在整个ABM运行过程中，更新的代理属性和仿真环境变量被馈送到训练的机器学习模型中，以预测下一个仿真步骤中的代理行为。因为框架的步骤3到5（如图中的彩色圆圈所示）与传统的ABM开发方法类似，不再进一步讨论。另一方面，所提出的框架与传统的ABM方法之间的差异可以总结如下：在考虑代理人的社交网络前提下，所提出的框架建议使用机器学习来对代理的行为进行建模，而不是像经典方法中那样由建模者制定方程或定义规则，这加快了建模过程，减少了建模者的工作量和建模者对模型质量的影响。为了打开机器学习预测主体决策行为的黑箱，Firouzeh Taghikhah团队以购买有机葡萄酒的决策为例，设计了一套使用机器学习算法进行变量预测和行为预测的框架，如下图所示：他们首先使用机器学习算法从以往购买行为数据中提取影响行为的概念模型（见下图a）。感知行为控制、社会规范和意图是计划行为理论的要素。享乐主义是目标框架理论的一个要素，而个人规范是Alphabet理论的要素。圆圈的大小表明它们在预测行为中的重要性，例如，社会规范和享乐主义具有最高的重要性。论文的附录提供了详细说明。进一步地，他们试图通过机器学习构建因果关系和反馈循环链接这些概念模型，（见下图b）。包含行为组件的数据驱动功能可以发展因果关系并使ABM动态化，因此，当其中一个因素发生变化时，我们不仅会观察到行为的变化，还会观察到其他系统因素的变化。例如，改变个人规范（如购买频率和购物规模）会导致个人购买行为、意图和感知行为控制发生变化。对于系统建模，反馈概念是一个重要组成部分，因为模型的输出根据因果推理作为系统的输入返回。由于ABM是一个连续的系统，智能体当前的行为会改变他们未来的决策。在某种程度上，应该部署机器驱动的规则或功能来支持此系统属性。在论文的附录中，他们提供了为行为及其解释因素构建的决策树 (DT) 和概念模型的详细信息。图A1展示了行为函数的决策和概念模型。我们可以看到意向、个人规范（饮酒频率、购物频率、平均葡萄酒购买量）、感知行为控制（葡萄酒平均支付价格）、社会规范（特殊场合）和享乐主义（饮酒的乐趣）这5个结构对个人的购买决策有直接影响。接下来，他们进一步解释如何导出这些因素的概念模型、重要性得分和决策树。例如，与个人规范（“您购买该产品的频率？”）和社会规范（“请评价商店中其他购物者的选择在多大程度上影响您的产品偏好”）相关的两个因素可以判断消费者是否是常客（如果购买频率≥0.912且店内其他购物者对购物决策的影响≥0.553则是，如果消费频率≤0.772且店内其他购物者对购物决策的影响≤0.375则不是)。以感知行为控制为例（更多变量构造信息请参考: doi:10.1016/j.jocs.2022.101854），图A2显示了感知行为控制的决策树和概念模型。葡萄酒的平均价格和葡萄酒的最高价格是个体感知行为控制的构成。只有葡萄酒的平均价格会直接影响行为，因此，在构造的决策树中，个人规范（仅在商店中度过的时间）、意图、态度（仅环境信念）和行为会影响葡萄酒的感知价格。行为预测函数和所有解释因素的应用算法、准确性和验证结果如下表所示：进一步地，为了评估 ML-ABM 方法的质量和性能，他们对 ORganic Vine-Empirical 模型（ORVin-E）和 ORganic Vine-ML 模型（ORVin-ML）进行了比较研究，测试算法生成的结果的有效性。他们遵循 ORVin-E 的结构来设置环境、代理类型和网络，不同点在于使用机器学习算法的输出用于定义规则。调查数据用于参数化 ORVin-E 和 ORVin-ML的代理人。相比于ORVin-ML，在ORVin-E中，数据驱动的参数通过代理人的购物体验和习惯、观察、社交网络等最终决定了消费者对葡萄酒的偏好。需要付出很多努力才能提供准确且精确的校准模型。但ML-ABM 框架不需要任何进一步的校准，并且该模型可以按原样使用。他们根据经验进行验证测试：固定模型中的参数，然后根据个人调查数据评估意图和行为作为输出。下图a比较了两种类型模型的预测结果。ORVin-E和ORVin-ML可以高精度估计消费者的有机偏好，误差分别为 8% 和 15%。这一结果表明，使用Firouzeh Taghikhah建议的ABM-ML框架足以处理行为的异质性，并且其性能与经验方法相当。关于购物意图，ORVin-E 和 ML 的估计误差分别为 40% 和 49%，这意味着 ORVin-E 的预测略好于 ORVin-ML（9%），但这种方法的输出仍然是在可接受的范围内。而且值得注意的是，单独使用机器学习算法进行意图预测的准确度为67%（见上表），比 ORVin-ML 中预测意图的准确度（51%）高 16%。可以预见的是，当更多数据点可用时，机器学习驱动的ABM的预测能力可以提高，并且功能的准确性也可以提高。不同于Yakup Turgut,Firouzeh Taghikhah团队提出的ML-ABM进一步使用机器学习探究影响因素之间的因果关系，在他们的论文中，他们将传统机器学习方法与引入了这种因果关系的ML-ABM进行对比，预测的结果如上图b所示，态度对消费者偏好转向有机产品的影响之间存在显著差异，而感知行为控制在观察到的两个模型的输出之间差异较小。这一分析提出了将因果关系嵌入机器学习驱动的ABM中的重要性。他们的研究结果表明，详细的行为数据和分类回归树算法的结合可以减少偏差、假设和错误，扩展模拟能力，但不一定会提高结果的准确性。在某些情况下，使用质量数据参数化的完善的理论驱动模型在预测准确性方面会优于ML-ABM。但这种理论模型的开发更加耗时，并且需要对与所研究主题相关的概念模型和理论有全面而详细的了解。相反，使用机器学习可以加速分析和解释用于ABM开发的数据。未来一个可能的方向是用实时数据来补充调查数据，以更新机器学习驱动的规则，这使得 ML-ABM 能够与其环境同步持续更新。参考文献：
1. Turgut Y, Bozdag C E. A framework proposal for machine learning-driven agent-based models through a case study analysis[J]. Simulation Modelling Practice and Theory, 2023, 123: 102707.
2.Taghikhah F, Voinov A, Filatova T, et al. Machine-assisted agent-based modeling: Opening the black box[J]. Journal of Computational Science, 2022, 64: 101854.
3. Taghikhah F, Filatova T, Voinov A. Where does theory have it right? A comparison of theory-driven and empirical agent based models[J]. Journal of Artificial Societies and Social Simulation, 2021.
来源：转载自韧性学苑微信公号
