深度学习的遥感图像旋转目标检测综述

摘要：遥感图像中目标具有方向任意性和排列紧密性的特点，在检测任务中使用倾斜边界框可以更加精确定位和分离目标。目前遥感图像旋转目标检测已经广泛应用于民用和军事国防领域，具有重要的研究意义和应用价值，已逐步成为研究热点。鉴于此，对遥感图像中旋转目标检测方法进行了系统性总结。首先，介绍了三种常用的倾斜边界框的表示形式。其次，重点阐述全监督学习下的特征错位、边界不连续、度量值与损失不一致性、旋转目标定位四个挑战。然后，根据不同的动机和改进策略，详细阐述了每种方法的核心思想及其优缺点，归纳出旋转目标检测方法框架。接着，列举了旋转目标检测在遥感领域常用数据集，给出了经典方法在不同数据集上的实验结果，并对不同方法的性能进行了评估。最后，结合深度学习应用于遥感图像旋转目标检测任务中存在的挑战，对该方向的未来发展趋势进行了展望。

随着科学技术的不断发展和经济实力的不断提升，截至 2022年 12月 31日，全球共有 6 718颗在轨活跃卫星，其中超1 100颗卫星用于地球观测任务（Union of Concerned Scientists Satellite Database， https:// www.ucsusa.org/resources/satellite- database），这使得可获取的卫星数据量成指数级增长，也为科学研究提供了更加丰富的数据资源。然而，受时间差异、传感器差异和空间差异等众多因素的影响，如何从遥感图像中获取有效信息成为目标检测在遥感领域发展的关键问题。目标检测作为遥感图像处理领域的基础任务之一，具有重要的应用价值。在民用领域，船舶的精确定位有利于海上救援和渔业管理，车辆定位有利于交通疏导等。在军事国防领域，目标检测常被用于精准定位军事目标，从而及时分析战时局势并制定行动计划。面对丰富的遥感影像资源，若是只依赖于人工提取目标的类别、方向、位置、尺寸等有效信息，其效率低、成本高，且在实际应用场景中无法快速准确获取目标信息，因此对目标检测算法提出了更高的技术要求，而基于深度学习的遥感图像旋转目标检测的研究恰能解决上述困难。遥感图像旋转目标检测是指在给定的遥感图像中判断是否包含感兴趣的目标，如飞机、车辆、船只等，并以倾斜边界框的标注方式对目标进行定位。随着深度学习的迅速发展，神经网络提取特征信息的能力进一步推动了遥感领域目标检测的发展。然而，与自然场景下的图像相比，遥感图像存在背景复杂、目标方向任意、排列密集等问题，而现有的基于深度学习的目标检测算法尚不能在遥感领域取得优异的表现，因此许多专家学者针对遥感图像的特点，以自然场景下的目标检测算法为基础，提出大量的改进方案[1- 5]，遥感图像中旋转目标检测算法则是基于遥感图像水平边界框目标检测算法进一步发展而来。经典的基于深度学习的目标检测算法大致可以划分为双阶段算法和单阶段算法。以 R-CNN 系列[6-9] 为代表的双阶段算法，需要分成两个阶段完成检测流程。首先提取图像中感兴趣的区域，然后对每个区域做分类和回归。尽管双阶段检测算法在检测精度上表现良好，但在检测速度上较慢且计算量较大。相反，以 SSD（single shot multibox detector）[10]和 YOLO（you only look once）系列[11-13]为代表的单阶段算法，只需要一个阶段就能完成检测流程，没有候选区域生成的环节，通过网络提取的特征可以直接输出目标的位置和类别，其检测速度较快，能够满足系统实时性的要求，但检测精度略低于双阶段算法。当前大多数深度学习目标检测算法都由上述经典的模型改进而来，但自然场景下的检测模型大多采用水平边界框标注，若直接用于检测遥感图像中方向任意排列紧密的目标，则会表现不佳，而采用旋转目标检测算法可以一定程度上缓解此问题。与水平边界框相比，在遥感场景中使用旋转边界框主要有三个优势[14]：一是能够反映目标的真实长宽比；二是旋转边界框能够将目标与背景有效分离；三是有利于分离密集排列的目标。水平边界框与旋转边界框的可视化对比如图 1 所示。由于在遥感图像中目标大多朝向各异且排列密集，研究遥感图像旋转目标检测问题具有重要意义。

当前，针对遥感场景下目标检测的文献综述已有许多，有学者针对基于深度学习的光学遥感图像目标检测方法进行系统梳理和研究[15-17]；也有部分学者对舰船、飞机等特定目标的检测进行分析总结[18-21]；此外，王盛铭等[22]还重点针对高光谱遥感图像中目标检测进行了归纳整理。虽然近期也有关于倾斜边界框目标检测的综述性文章[23-24]，其主要关注倾斜框检测算法的发展历程，或是从解决方案出发总结每一类方法可以实际解决的问题，但缺乏对阻碍模型检测效果的算法难点进行分析总结。鉴于目前基于深度学习的遥感图像旋转目标检测的综述文献较少，为了使广大科研工作者对该领域的现状及最新进展有更加全面清晰的了解，本文重点针对其所面临的突出问题和解决方法进行系统梳理。

专知便捷查看

便捷下载，请关注专知公众号（点击上方蓝色专知关注）
后台回复或发消息“FICN” 就可以获取《深度学习的遥感图像旋转目标检测综述》专知下载链接

点击“阅读原文”，了解使用专知，查看获取100000+AI主题知识资料