论文题目： Deep learning in multimodal remote sensing data fusion: A comprehensive review 论文链接： https://www.sciencedirect.com/science/article/pii/S1569843222001248 作者列表： 李嘉鑫 （作者微信：BatAug） ，洪丹枫，高连如，姚靖，郑珂，张兵，Jocelyn Chanussot 针对多模态遥感数据融合领域缺乏系统性综述的问题，中国科学院空天信息创新研究院 高连如 研究员课题组在《International Journal of Applied Earth Observations and Geoinformation》发表了
国际首篇多模态深度学习遥感数据融合综述 “Deep learning in multimodal remote sensing data fusion: A comprehensive review”，文章梳理了该方向的研究进展与前沿方法，整理了相关代码与公开数据集，指出了当前面临的挑战与未来发展方向，以期推进深度学习在多模态遥感数据融合领域中的应用。
摘要 爆炸式增长的对地观测卫星给从业者提供了丰富的多模态遥感数据，为破除单一模态的桎梏与瓶颈提供了有效的数据支撑。
同时，以深度学习为代表的新一代人工智能技术为遥感领域智能解译与应用注入了全新的活力。
因此，联合深度学习与多模态遥感数据融合成为领域内研究热点与前沿。
研究背景
然而，多模态数据异构的复杂特性也对现有的处理技术提出了全新的挑战。近年来，以深度学习为代表的智能技术因其出色的特征提取与建模能力在该领域得到迅速发展，掀起了联合深度学习和多模态遥感数据融合的新浪潮（图1）。
现阶段，已有综述多聚焦于传统方法在遥感特定子领域融合的应用，而缺乏对深度学习在多模态遥感数据融合全面的分析与介绍。鉴于此，本文是 国际上第一篇 聚焦于多模态深度学习的遥感数据融合综述，旨在为遥感社区捋清发展脉络，推进深度学习在该领域的进一步发展。
图1 深度学习在多模态遥感数据融合中的应用 研究内容 1）文献统计：在Web of Science数据库上对相关文献进行检索并统计分析，绘制了文献发表年份图、国别图、期刊占比图以及关键字共现图，如图2所示。
图2 相关文献统计分析 2）方法介绍：本文对该领域划分为同质和异质融合两大类，如图3所示。同质融合通过融合相同成像机理的可见光数据，生成空间-光谱-时间分辨率更佳的图像，主要包括了全色锐化、高光谱-全色融合、高光谱-多光谱融合以及时空融合。异质融合通过融合不同成像机理的LiDAR、SAR、光学以及地理大数据，可直接服务后续地学应用，例如土地覆盖分类以及地理环境监测等。
图3 方法分类体系 3）资源汇总：对深度学习入门材料、多模态公开数据集以及开源代码进行收集整理，如图4所示。
图4 资源汇总 4）未来展望：从非配准数据融合、面向应用评价方式、多模态融合框架、跨模态学习、跨平台学习以及可解释性深度学习六个角度阐述了目前的研究挑战以及未来发展方向。
