社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  机器学习算法

机器学习框架NIS+:通过最大化有效信息识别“因果涌现” | NSR

集智俱乐部 • 7 月前 • 184 次点击  

国家科学评论 | 来源


机器学习技术难以捕捉复杂系统中的涌现现象(比如鸟群的集群行为、生命游戏中出现的复杂模式等),这阻碍了对复杂系统演化的预测。


近日,北京师范大学系统科学学院张江课题组提出了一套可以识别“因果涌现”的机器学习框架——强化版神经信息压缩器(Neural Information Squeezer Plus, NIS+)。该框架结合样本重加权和反向动力学训练两项技术,可以通过有效信息(Effective Information,简称EI)最大化,实现从观测时间序列中提取最优的粗粒化策略,建立宏观动力学预测模型,并判断是否发生因果涌现。相关研究成果以“Finding emergence in data by maximizing effective information”为题发表于《国家科学评论》National Science Review,NSR

论文题目:Finding emergence in data by maximizing effective information

论文地址:https://doi.org/10.1093/nsr/nwae279‍



NIS+框架图





经典因果涌现理论中的“观察者效应”




因果涌现在2013年被正式提出,是一套定量刻画涌现现象的理论框架。对于一个系统不同的观察者来说,他们可能在微观或宏观两种不同的尺度来观察、刻画同一个系统,从而分别得到微观动力学和宏观动力学,其中后者是前者的一种粗粒化的近似。同时,这些动力学可能具备不同的因果效应强度,这一强度可以用定量指标:有效信息(EI)来刻画。如果宏观的EI大于微观的EI,则我们可以判定该系统发生了因果涌现。下图左展示了因果涌现的概念框架,右展示了在一个马尔可夫链上发生因果涌现的例子。


因果涌现理论示意图


然而,经典因果涌现理论需要事先指定从微观到宏观的粗粒化方式,不同的粗粒化方案就会导致完全不同的因果涌现结果,这便体现了一种“观察者效应”。





NIS+的做法




不同于经典方法,NIS+通过最大化有效信息,优化一个机器观察者,从而能够找到最优的粗粒化方法和宏观动力学,还能够匹配微观观测数据。这不仅以数据驱动方式构建了复杂系统模型,还在一定程度上避免了观察者效应。研究团队分别在模拟和真实数据上对NIS+进行了验证。





在模拟模型上的验证




Boid是一个经典的鸟群模拟模型,它通过个体之间的局部相互作用,在宏观涌现出集群运动模式。团队发现,利用大量Boid生成的数据训练NIS+模型,就能让它找到有效信息最大的粗粒化策略和宏观动力学,从而很好地捕捉鸟群质心的运动变化规律。


最大化有效信息还能提升NIS+的分布外泛化能力。研究团队将NIS+与没有最大化EI的模型进行对比,发现NIS+能够在训练数据区域外更大的范围内进行更精确的预测。


鸟群实验结果


研究团队还在元胞自动机类复杂系统:生命游戏的生成数据上进行了实验。为了捕获宏观尺度的集体运动模式,团队采取了时空粗粒化扩展NIS+模型。通过对比传统模型,NIS+在不同数据集上都有更高的预测准确性。


生命游戏实验结果





在真实数据上的验证




研究团队还在真实的fMRI数据上进行了实验验证。数据来自830个被试,记录了他们分别在看视频时和静息状态下的大脑fMRI时间序列。


在观看视频的数据中,NIS+经过训练便可以提炼出一个一维的宏观动力学来概括描述100维的fMRI时间序列,从而实现EI最大化,并发现了明确的因果涌现。使用积分梯度法,NIS+还可以提炼出与这一维宏观动力学最相关的微观维度,结果发现大脑视觉区对宏观动力学贡献占比最高。


与其对比,在静息态下,NIS+必须使用3到7个维度来概况被试的fMRI数据,并且因果涌现特性减弱。


大脑fMRI实验结果


综上所述,研究团队开发出了NIS+机器学习框架,对复杂系统进行数据驱动的多尺度建模。在理论上,它可以最大化宏观动力学有效信息,识别出因果涌现;在实验上,它具有更强的分布外泛化预测能力。



因果涌现读书会第五季


跨尺度、跨层次的涌现是复杂系统研究的关键问题,生命起源和意识起源这两座仰之弥高的大山是其代表。从2021年夏天至今,集智俱乐部已经陆续举办了四季「因果涌现」读书会,系统梳理了因果涌现理论的发展脉络,深入探讨了信息整合与信息分解的本质,并探索了在生物网络、脑网络、机器学习等跨学科领域的应用。此次因果涌现读书会第五季将追踪因果涌现领域的前沿进展,展示集智社区成员的原创性工作,希望探讨因果涌现理论、复杂系统的低秩表示理论、本征微观态理论之间的相通之处,对复杂系统的涌现现象有更深刻的理解。读书会从2024年4月19日开始,每周五晚20:00-22:00进行,持续时间预计8-10周。欢迎感兴趣的朋友报名参与!



详情请见:
荟萃复杂系统前沿进展,集结因果涌现学术社区:因果涌现读书会第五季启动



“复杂 AI 次方”开放实验室招募


作为北师大系统科学学院的教授,以及集智俱乐部、集智学园的创始人,集智科学研究中心院长,张江从2003年开始,就长期从事有关复杂系统建模的工作。近年来,张江带领着北师大的研究组开始聚焦在基于新兴AI技术进行基于数据驱动的自动建模研究,并立志破解复杂系统的涌现之谜。我们希望可以有对复杂系统自动建模领域有热情,且认可这个领域发展前景的朋友一起来合作,促进这一领域的快速发展。我们希望这个叫做“ Complexity AI ”,中文叫做“复杂AI次方”的开放实验室,能够真正实现思想共享、资源共享、跨学科交叉,共同为复杂系统自动建模而奋进。


详情请见:“复杂 AI 次方”开放实验室招募,挑战“涌现”难题


推荐阅读
1.   集智科学研究中心重磅综述:复杂系统中的因果和涌现
2. 全网最全总结!因果涌现核心指标“有效信息”|集智百科
3. 如何让机器识别涌现?基于数据驱动的多尺度因果涌现框架
4. 张江:第三代人工智能技术基础——从可微分编程到因果推理 | 集智学园全新课程
5. 龙年大运起,学习正当时!解锁集智全站内容,开启新年学习计划

6. 加入集智,一起复杂!



点击“阅读原文”,报名读书会

Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/173628
 
184 次点击