［摘 要］ 目前深度学习方法的研究已在语音辨别、图像识别、信息检索等方面取得较大成果。建筑物的自动检测与识别已成为遥感图像处理范畴研究的热点。针对高分辨率航空遥感影像中的建筑物快速、精准识别的应用问题,文章提出利用深度学习方法中的快速区域卷积神经网络(Faster RCNN)模型对航空遥感图像进行建筑物识别,经验证,利用Faster RCNN模型对航空遥感图像进行建筑物识别其结果可达93.7%的精准率,平均每张图像识别时间为74 ms,证明了Faster RCNN模型应用于航空遥感图像建筑物识别中的有效性及高效性。
［关键词］ 深度学习；快速区域卷积神经网络(Faster RCNN)模型;；建筑物识别；遥感图像
引言
在城镇化不断扩张的进程中,城镇规划、人口、经济等密切影响着城镇建筑物的分布与密度。运用遥感技术快速准确地获取建筑物等人工地物信息,可以应用于城镇规划建设、地图更新、变化监测、智慧城市等诸多领域[1-2]。
近年来,地理信息、通信、传感器等技术的快速发展,航空遥感技术在传统测绘、城市数字化建设、地理国情监测、灾害安全应急等方面取得了很好的效果[3-4]。航空影像在遥感领域中,拥有性价比高、机动灵活、使用简便、受天气影响小等优势。高分辨率航空遥感图像中地物的几何形态和纹理特征更加精细,图像内容与自然图像目视效果更为接近,同时丰富的信息造成地物光谱之间的混淆现象更加明显[5]。
深度学习是一种深层的神经网络模型,文献[6]于1989年提出了一种用于字符识别的卷积神经网络(convolution neural network,CNN)。文献[7]提出的深度信念网络(deep belief network,DBN),能够有效地提取特征。本文针对高分辨率航空遥感图像的建筑物目标的检测识别,将深度学习快速区域卷积神经网络(faster region with convolution neural network,Faster RCNN)模型应用于航空遥感图像的识别,实验结果表明,基于深度学习的高分辨率航空遥感图像建筑物识别是可行的,并且依据Faster RCNN模型对建筑物识别可达93.2%的准确率,同时平均每张图像识别时间为74 ms。
建筑物在广义上指人工建造的所有物体,是一种规则的人工地物,大部分建筑物主要以矩形或矩形的组合为主[8。遥感图像中建筑物的主要图像特征有以下方面:①形状特征,典型建筑物的几何形状棱角较为规范整齐,几何形态上为规则的多边形结构或者更复杂的多个直角结构的组合,表现为面状建筑。②光谱特征,建筑物的灰度值标准差较小,分布相对均匀。并且顶部建筑物的灰度均值会高于周边其他地物类别。③纹理特征,建筑物屋顶纹理比周围其他背景地物类别规律更为显著。④上下文特征,即目标地物与其他地物之间的关系,一般来说建筑物有规则的分布特征,道路和建筑物空间关联比较强烈。在高分辨率遥感图像中,建筑物目标与其阴影相伴出现,阴影则成为在遥感图像中进行建筑物识别和提取的主要参考之一。
依据遥感图像对建筑物识别和轮廓提取的方法,一般分为以下几种:①多尺度分割提取方法,主要凭借建筑物的几何形态、空间定位、走向等表征识别建筑物。②基于边缘和角点检测与匹配的提取方法,该方法是依据遥感图像中不同区域灰度级的变化情况,通过对不同地物类别检测其相邻建筑物目标间的边缘,实现提取。③基于区域分割的提取方法,其中常用的区域分割方法为,区域生长法、四叉树法、分水岭法等。④基于模型识别方法,该类方法依据多源多维度遥感数据,从建筑物模型出发,识别与提取建筑物目标。主要为基于语义模型分类法、基于先验知识模型法和基于视觉认知模型法。⑤利用图像基本信息结合图像分析、计算机视觉、人工智能等领域新方法。
目前在遥感图像中识别和提取建筑物仍存在许多问题需要解决[9-11]。建筑物周围人工地物及其阴影的影响,例如某些建筑物与其阴影由于灰度值接近,难以分出两者的边界。由于遥感图像拍摄角度和时间的不同,导致建筑物彼此遮挡或产生不同类型的阴影,对建筑物的识别产生影响。一些识别或提取算法存在一定的缺陷,比如基于几何边界的方法没有充分利用纹理特征、单体建筑物之间的空间关系特征等。除此之外,建筑物的自身结构具有一定复杂性,受其所处区域位置的影响,被其他自然等目标遮挡的情况时常存在,因此该因素对识别和提取建筑物造成干扰。
卷积神经网络(convolutional neural network,CNN)是多层前馈(feed-forward)神经网络,卷积神经网络作为前馈网络的一个特例,一般是通过网络结构来对前馈网络的简化和改进,理论层面分析,训练卷积神经网络可通过反向传播算法来产生[12]。深度学习模型在目标识别领域中展现出独特的优势,从CNN、RCNN至Faster RCNN,识别结果的准确率和效率一步一步提升。区域卷积神经网络(regions with CNN features,RCNN)检测算法首先基于图像分割找出一些可能的候选区域[13];接着对这些待测区域使用深度网络模型进行特征提取;再由卷积神经网络的检测结果判断该候选区域属于哪一类物体;最后为获取更加准确的目标位置,对建筑物区域位置进一步回归微调。文献[14]提出的Faster RCNN算法,极大地提高了建筑物主动识别的综合性能,尤其是在检测速度方面更加明显。
Fast RCNN在使用深度网络时已经接近实时计算,但在计算候选区域时耗费较多时间。Faster RCNN基于Fast RCNN进行改进,提出对需要识别建筑用区域提取网络(region proposal network,RPN)进行生成。RPN网络结构如图1所示,其工作的具体流程为:在卷积最后一层上的活动扫描所运用的操作窗口为固定大小,该运动窗口活动时都需要与特征图上n×n个的窗口连接,每个窗口会输出固定大小维度的特征(图中256维),最后这个向量进入两个全连接层,即box回归层和box分类层。
图1 RPN结构图
Faster RCNN的基本结构仍是卷积神经网络,通过在卷积神经网络最后一层特征图后添加RPN来提取候选区域,其模型结构如图2所示,模型输入为原始图像,经过多层卷积网络得到特征图,然后由RPN和全连接网络分别实现目标的检测和识别[15]。Faster RCNN对网络结构进行调整,通过分阶段进行训练,将目标检测识别的全流程统一整合至神经网络。Faster RCNN包括4个主要层:①卷积层,利用一组基础卷积、激活函数、池化层进行特征图的图像提取,在RPN层与全连接层运用。②RPN(region proposal networks)也是全卷积网络,将目标边界和分数同时预测获得。③感兴趣区域池化(region of interest pooling,RoI Pooling),该层主要用于对特征图的获取,用于全连接层确定建筑物类别。④分类层,使用建议特征图进行操作计算,并继续依据回归边界框对检测框位置进行提取来获取其精确位置。
图2 Faster RCNN结构图
本文以低空航空遥感图像为例,首先训练得到Faster RCNN识别模型,其包括2个CNN网络:区域提议网络 RPN和Fast RCNN检测网络。实验过程如图3所示。依据深度学习的目标识别不需要对特征进行选择、提取等操作,实验操作依靠深度学习网络一次性获取,而采用的实验网络、试验集的数量极其丰富程度决定了模型的精准程度。对模型配置操作完成之后,可以批量实现航空遥感图像的建筑物识别,模型对获取的图像进行自动识别并将实验结果图输出。
图3 Faster RCNN训练过程
经过前期处理,从原始航空遥感图像中提取出以建筑为主体的图像,然后将切片图像缩放至256 pixel×256 pixel大小的训练图像,并对所有图像中的建筑物标记其外围框,本文中使用800张训练图像,测试图像200张,训练测试时,对于自动辨识出的边界框与所标识边界框的重叠率高达标识边界框的90%以上时,判定为一次成功识别,针对文中模型训练的组成及其对应的识别情况如表1所示。
表1 模型训练结果
其中,表1中的准确率指的是实验样本的识别精准率。测试集的识别准确率为95.6%,loss值为0.218,说明模型训练效果较好,可以用于识别新图像。在随后利用模型对新图像进行分类的过程中,实验中所用的计算机配置为Inter CPU i7-6700,8GB内存,NVIDIA GeForce GTX 1060。选取100张城镇区域航空遥感图像,图像大小为4 912 pixel×3 264 pixel,建筑物识别结果如图4所示。结合人工目视分析和实验结果,本文采用正确率、错误率和误警率来评价建筑物识别的准确性,其中正确率为识别出建筑物数量与图像中所有建筑物数量的比值,错误率为未被识别出的建筑物数量与图像中所有建筑物数量的比值,误警率为识别错误的目标数量与图像中所有建筑物数量的比值,随机选取5张图像进行统计,结果如表2所示。由表2可知,实验的建筑物平均识别率达91.32%,同时错误率和误警率小于10%,平均每张图像识别时间为74 ms。表明采用深度学习方法检测识别航空遥感图像中建筑物取得了较好的效果,并且识别的效率较高,可以达到实时检测需求。
表2 建筑物检测结果
图4中黑色框体表示建筑物自动识别结果。
图4 建筑物识别结果
本文研究的是深度学习网络在航空遥感图像建筑物自动检测中的应用,实验结果表明,,对于目标识别任务,深度学习中能达到比较好的辨别效果的是Faster RCNN。在识别效率方面,针对特定的数据可达到实时检测需求,但具体识别所需要的时长受不同的硬件平台影响。
此外,根据深度学习的特点,制作特征更丰富的训练集可能进一步提高准确率。本文论述中所使用的示例数据满足深度学习中大数据量要求,为以后对该方向的深入研究具有重要的意义。
原标题：高分辨率航空遥感图像的建筑物识别
王玉琴 尤静静 蔡世鑫
(地理信息工程国家重点实验室, 北京 100088)
参考文献
[1] 施仲添,沈正伟,杨四海.基于前景感知的遥感影像建筑物提取方法[J].测绘通报,2023(2):134-138.
[2] 范荣双,陈洋,徐启恒,等.基于深度学习的高分辨率遥感影像建筑物提取方法[J].测绘学报,2019,48(1):34-41.
[3] 金伟,葛宏立,杜华强,等.无人机遥感发展与应用概况[J].遥感信息,2009(1):88-92.
[4] 晏磊,吕书强,赵红颖,等.无人机航空遥感系统关键技术研究[J].武汉大学学报(工学版),2005, 37(6):67-70.
[5] 刘正军,张继贤,孟亚宾,等.基于分类与形态综合的高分辨率影像建筑物提取方法研究[J].测绘科学,2007,32(3):38-39.
[6] YANG L K,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition [J].Proceedings of the IEEE,1998,86(11):2278-2324.
[7] KRIZHEVSKY A,SUTSKEVER I,HINTON G E.ImageNet classification with deep convolutional neural networks [J].Advances in Neural Information Processing Systems, 2012,25(2):2012.
[8] 陶文兵,柳健,田金文,等.一种新型的航空图像城区建筑物自动提取方法[J].计算机学报,2003,26(7):866-873.
[9] 刘正军,张继贤,孟亚宾,等.基于分类与形态综合的高分辨率影像建筑物提取方法研究[J].测绘科学,2007,32(3):38-39,46.
[10] IZADI M,SAEEDI P.Three-dimendional polygonal building model estimation from single satellite images [J].IEEE Transactions on Geoscience and Remote Sensing,2012, 50(6):2254-2272.
[11] MAYER H.Automatic object extraction from aerial imagery-a survey focusing on buildings [J].Computer Vision and Image Understanding,1999,74(2):138-149.
[12] 孙俊.基于卷积神经网络的电商图片物体识别[D].北京:电子科技大学,2016.
[13] IRSHICK R,DONAHUE J,NAJMANET L.et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE Press,2014:580-587.
[14] REN S,HE K,GIRSHICK R,et al.Faster R-CNN:towards real-time object detection with region proposal networks[C].Advances in Neural Information Processing Systems. 2015:91-99.
[15] 李君宝,杨文慧,许剑清,等.基于深度卷积网络的SAR图像目标检测识别[J].导航定位与授时,2017,1(7):60-66.
Building recognition based on high-resolution aerial remote sensing image
WANG Yuqin, YOU Jingjing, CAI Shixin
(State Key Laboratory of Geographic Information Engineering, Beijing 100088, China)
Abstract：At present,the research of deep learning methods has achieved great results in speech recognition,image recognition,information retrieval and so on.Automatic detection and recognition of buildings has become a hotspot in the field of remote sensing image processing.How to use depth learning method to quickly and accurately identify buildings in high-resolution aerial remote sensing images has become a hot topic of current exploration.This paper proposed to use the fast RCNN model in the deep learning method to recognize the building in the aerial remote sensing image.The experimental verification showed that the accuracy of using the fast RCNN model to recognize the building in the AERIAL remote sensing image could reach 93.2%,and the average recognition time of each image was 74ms,which verified the effectiveness and efficiency of the fast RCNN model could be applied to the building recognition in the AERIAL remote sensing image.
引文格式: 王玉琴,尤静静,蔡世鑫.高分辨率航空遥感图像的建筑物识别[J].北京测绘,2023,37(5):638-642.
基金项目： 国家自然科学基金(41201208;0971124)
作者简介：王玉琴(1975—),女,山西侯马人,大学本科,高级工程师,研究方向为地理信息系统应用。
E-mail:wyq202098@163.com
