PNAS速递：通过机器学习对复杂系统进行分解信息

关键词：复杂系统，机器学习，信息分解，信息瓶颈

论文题目：Information decomposition in complex systems via machine learning
论文期刊：PNAS
论文链接：https://www.pnas.org/doi/10.1073/pnas.2312988121

复杂系统由大量相互作用的组成部分构成，这些系统的行为表现出丰富的动态特性和自组织现象。理解这些系统的关键之一是识别出在系统组件的尺度上的变异，这些变异对于宏观尺度上的行为是最相关的。然而，跨尺度的信息链接是一个挑战，因为系统的行为依赖于组件之间复杂的相互作用。此外，传统的分析方法往往难以处理高维数据和捕捉系统内部的非线性关系，这进一步增加了研究复杂系统的难度。

最近发表于美国国家科学院院刊PNAS的一篇论文，提出了一种新的方法，利用机器学习对复杂系统中的信息进行分解。该方法通过对系统测量的数据进行有损压缩，保留与宏观行为最相关的信息，同时丢弃其他信息。这种方法基于信息理论中的分布式信息瓶颈（distributed information bottleneck, DIB）原理，通过优化损失压缩的测量值，来识别系统状态测量中与特定宏观行为最相关的变异。

研究重点放在了两个典型的复杂系统上：布尔电路和经历塑性变形的非晶材料。在这两个例子中，系统状态的大量熵被逐位分解，以揭示与宏观行为最相关的信息。

这种方法的提出，不仅为理解微观与宏观结构之间的联系提供了一种全新的视角，而且通过机器学习的应用，为处理高维数据和识别复杂系统内部结构提供了有效的工具。

图1 分解布尔电路输入中包含的信息。

新信息论：从分解到整合

因果涌现读书会第四季

详情请见：

新信息论：从分解到整合｜因果涌现读书会第四季启动

‍ 推荐阅读

1. 复杂性的跨学科关联：分数阶微积分、重整化群与机器学习

2. 前沿综述：统一复杂性科学与机器学习

3. 机器学习可重复性危机下，创建复杂数据系统的挑战

4. 张江：第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程

5. 龙年大运起，学习正当时！解锁集智全站内容，开启新年学习计划

6. 加入集智，一起复杂！

点击“阅读原文”，报名读书会