基于卷积神经网络模型Faster R-CNN的遥感影像目标识别研究

目标识别是遥感高分辨率影像时代的重要应用方向。采用深度卷积神经网络对遥感影像学习训练,能够从遥感影像中自动提取出多个具有代表性的典型地物特征以及特征组合,并应用于多变而复杂的遥感影像数据中进行目标分类识别。本研究选用NWPU VHR-10数据应用于Faster R-CNN卷积神经网络模型中,并采用MAP进行评价,研究中得到了较好的检测精度,证明在遥感影像数据中采用深度卷积神经网络进行目标识别有着广阔的应用前景。     

基于卷积神经网络的高分辨率遥感影像目标检测方法研究EI北大核心CSCD

高分辨率遥感影像目标检测作为高分对地观测系统中影像信息自动提取及分析理解的重要内容,对高分对地观测系统应用价值的发挥具有重要影响。卷积神经网络作为最热门的深度学习模型,由于其可以根据海量数据和标注自行进行有效图像特征提取和学习,在训练数据充足的情况下,模型具有良好的泛化能力,能够在复杂多变的条件下依然保持良好的稳健性和普适性。因此,基于卷积神经网络的目标检测架构被相继提出,但现有网络架构多是针对自然图像设计的,相对于自然图像,高分辨率遥感影像存在背景更加复杂、目标尺度更小、同类目标尺度变化更大和影像尺寸更大等特点;将这些网络架构直接用于高分辨率遥感影像目标检测会存在网络目标建议框尺度不匹配,待检影像相对于网络输入过大,以及缺乏训练数据等问题。针对上述问题,论文系统性地开展基于卷积神经网络的高分辨遥感影像目标检测方法研究。主要研究内容如下。     

改进Faster R-CNN的遥感图像多尺度飞机目标检测

为了提高遥感图像中多尺度飞机目标的检测精度,本文提出一种基于改进Faster R-CNN的遥感图像飞机目标检测方法。该方法借助多层级融合结构,将深层次的语义特征与浅层次的细节特征相结合,生成多种尺度的既具有精确的位置信息又具有深层次的语义特征的特征图;再借助Faster R-CNN的多尺度RPN（Region Proposal Network）机制,通过对RPN中候选区域尺度的修正,从而提高遥感图像中多尺度飞机目标的定位精度;最后利用Faster R-CNN的分类回归网络,得到飞机目标检测结果。在高分辨率遥感图像中进行了实验,对3种特征提取网络ZF、VGG-16以及ResNet-50进行改进,改进后的精度分别提高了11.34%、9.87%以及1.66%,并且生成的检测框更加贴合飞机目标。实验结果表明,本文方法适用于遥感图像多尺度飞机目标检测,在提高目标定位精度的同时降低了目标漏检现象。     

级联卷积神经网络的遥感影像飞机目标检测

传统遥感影像飞机目标检测算法依赖于人工设计特征，对大范围复杂场景和多尺度的飞机目标稳健性较差，基于深层卷积神经网络的目标检测算法通常难以有效应对大幅影像的目标搜索和弱小目标检测问题，针对上述问题，本文提出了一种基于级联卷积神经网络的遥感影像飞机目标检测算法。首先根据全卷积神经网络能够支持输入任意大小图像的特点，采用小尺度浅层全卷积神经网络对整幅影像进行遍历和搜索，快速获取疑似飞机目标作为兴趣区域，然后利用较深层的卷积神经网络对兴趣区域进行更精确的目标分类与定位。为提高卷积神经网络对地物目标的辨识能力，在卷积层中引入多层感知器，并在训练过程中采取多任务学习与离线难分样本挖掘的策略；在测试阶段，建立影像金字塔进行多级搜索，并结合非极大值抑制消除冗余窗口，从而实现由粗到精的飞机目标检测与识别。对多个数据集下多种复杂场景的遥感影像进行测试，结果表明，本文方法具有较高的准确性和较强的稳健性，可为大幅遥感影像的飞机目标检测问题提供一个快速高效的解决方案。     

高分辨率遥感影像场景的多尺度神经网络分类法

高分辨率遥感影像场景分类是实现复杂场景快速自动识别的基础,在军事、救灾等领域有十分重要的意义。为了在有限的遥感数据集上获得高识别精度,本文提出了一种基于联合多尺度卷积神经网络模型的高分辨率遥感影像场景分类方法。不同于传统的卷积神经网络模型,JMCNN建立了一个具有3个不同尺度通道的端对端多尺度联合卷积网络模型,包括多通道特征提取器、多尺度特征联合和Softmax分类3个部分。首先,多通道特征提取器提取图像中、高层多尺度特征;然后,多尺度特征联合对多个通道的中、高层多尺度特征进行多次融合以增强特征表达;最后,Softmax对高层特征进行分类。本文在UC Merced和SIRI遥感数据集进行测试,试验表明JMCNN模型在特征表达和计算速度方面均有显著提高,在小样本数据量下分别达到89.3%和88.3%的识别精度。     

多层特征与上下文信息相结合的光学遥感影像目标检测

目标检测是遥感影像分析的基础和关键。针对光学遥感影像中目标尺度多样、小目标居多、相似性及背景复杂等问题，本文提出一种将卷积神经网络（CNN）和混合波尔兹曼机（HRBM）相结合的遥感影像目标检测方法。首先设计细节—语义特征融合网络（D-SFN）提取卷积神经网络低层和高层融合特征，提升目标特征的判别力，特别是小目标；其次考虑上下文信息对目标检测的影响，结合上下文信息进一步加强目标表征的准确性，提升检测精度。在NWPU数据集上试验表明，本文方法能够显著提升目标检测精度且具有一定程度的稳健性。     

结合数据融合与特征选择的遥感影像尺度多样目标检测

基于深度神经网络模型的遥感影像地物检测取得了巨大成功,很大程度上得益于大规模数据集的支撑。但是,从现有遥感影像数据集本身来看,不同类别地物的数量分布不一致,同类地物对象以不同尺寸大小呈现,是导致地物样本的尺度不均衡问题的直接因素。对此,本文采用数据集内影像加权融合与地物多尺度特征选择的策略来缓解该问题。首先,将数据集内两张影像的像素值进行加权并得到融合后的影像,从而使不同类别地物样本更加均衡且具有较高的背景多样性;其次,通过选择合适尺度的特征图预测相应尺度的目标类别,且允许同一尺度目标在相邻特征图上进行预测,这样使模型能根据目标尺度进行训练;最后,基于目标中心区域的特征图预测目标边界框,预测的边界框更符合目标本身的尺度。通过在两个遥感数据集上分别进行实验,表明训练的模型在对复杂背景下的类别不均衡目标的识别更加准确,能够适应遥感影像下不同尺度目标的识别。     

基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测

传统的基于滑窗搜索和人工设计特征相结合的目标检测方法难以适用于海量高分辨率遥感图像的目标检测任务。本文提出了一种基于多尺度形变特征卷积网络的目标检测方法,利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取,然后对多层残差模块提取出的形变特征进行区域预测和鉴别。具体模型包括两个子网络：①目标区域预测子网络用于从多层深度特征图提取目标候选区域;②目标区域鉴别子网络用于对目标候选区域进行分类和位置回归。本文在光学卫星图像10类目标数据集上对比了多种基于深度学习的目标检测算法,并将训练好的模型用于谷歌地球影像飞机坟场数据集和高分2号、吉林1号数据集的评估,试验结果表明本文方法能够快速准确地对多类目标进行检测,具有较好的稳健性和迁移性。     

结合超像素和卷积神经网络的国产高分辨率遥感影像云检测方法

由于国产高分辨率卫星遥感影像波段少、光谱范围窄，导致传统云检测方法精度低。本文提出了基于卷积神经网络的高分辨率遥感影像云检测方法。首先采用主成分分析非监督预训练网络结构，获取待测遥感影像云特征；然后采用超像素分割方法进行影像分割；最后将检测结果影像块拼接，完成整幅影像云检测。试验效果评价表明，基于卷积神经网络的高分辨率遥感影像云检测方法不受光谱范围限制，云检测精度高，误判较少，适合国产高分辨遥感影像云检测。     

基于多尺度特征融合的遥感影像目标检测

提出基于多尺度特征融合的遥感影像目标检测方法,本文利用选择性搜索算法对原始数据进行滤波处理和二值化处理,提取遥感影像目标区域图像数据,采用RBM技术获取遥感影像目标的语义特征和细节特征,在此基础上,建立融合网络,对影像目标的语义特征和细节特征进行变形卷积操作和池化操作,将目标的语义特征和细节特征进行多尺度融合,获取目标的深度特征,进而定位遥感影像目标。实验证明,设计方法遥感影像目标检测时间短,可以快速检测到遥感影像目标。     

基于全卷积网络的高分辨遥感影像目标检测

目标检测是遥感图像分析处理中的研究热点之一,具有十分重要的科研和应用价值。传统遥感影像目标检测方法多使用人工构造的浅层次特征,结合支持向量机、随机森林、Adaboost等分类器进行目标识别,难以充分挖掘和利用影像中的深层特征。近年来,深度学习,特别是卷积神经网络在图像认知方面取得了巨大成功。在目标检测领域,以Faster R-CNN算法为代表的方法取得了突破性进展,检测精度大幅提高,检测速度达到了近实时的性能。但是,Faster R-CNN算法由于使用了感兴趣区域（RoI）池化层,各个RoI计算不共享,因此检测速度依然有待提高。R-FCN基于全卷积网络结构,同时采用位置敏感池化来引入平移变化,抵消全卷积网络造成的平移不变形问题,检测精度和效率都有了很大的提高。本文阐述了R-FCN算法原理,并运用于高分辨遥感影像目标检测分析了不同参数和网络结构对R-FCN检测效果的影响,比较了利用Fast R-CNN、Faster R-CNN和R-FCN 3种算法进行飞机识别的性能。试验结果表明,利用R-FCN进行飞机识别定位可以达到99.3%的准确率和每张图180 ms的检测速度。     

可变形网络与迁移学习相结合的电力塔遥感影像目标检测法

电力塔是电力基础设施的重要组成部分,对其进行检测是必不可少的工作。针对当前遥感影像电力塔检测算法精度低,效果差的问题,本文基于可变形网络和迁移学习对Faster R-CNN进行改进,提出一种基于遥感影像的电力塔检测框架。该框架主要分为两个部分:①特征提取子网络,即利用可变形网络模型改进卷积层,来提高模型对于电力塔几何形变的特征提取能力;②目标检测子网络,即通过模型迁移,将由特征提取子网络训练获得的模型参数迁移至此子网络,由RPN网络和可变形区域池化结合非极大值抑制(NMS)精确获取电力塔位置,利用Fine-tuning技术快速训练此子网络,最终实现高精度的遥感影像电力塔检测。本文算法在测试集中对电力塔检测结果为AP_(0.5) 0.886 1,AP_(0.6) 0.839 6,ACC 0.894 8,与SSD、YOLOv3、Faster R-CNN等相比,各检测指标至少高0.2。由对比试验可以看出,该框架对电力塔遥感影像可以实现较高精度检测,表明该方法在电力塔检测上拥有较大应用潜力。     

一种基于改进实例分割模型的路面裂缝检测方法

为了解决现有裂缝识别算法准确度不高、检测与分割任务不能同时进行等问题,提出了一种基于改进型Mask R-CNN模型的路面裂缝识别方法。首先,建立裂缝数据集并进行标注,然后使用Mask R-CNN模型对裂缝数据集进行训练和测试,并对模型中锚点的长宽比进行调整,实现在裂缝定位的同时对生成的检测框内的裂缝像素进行分割;其次,针对Mask R-CNN模型生成的裂缝检测框不精准的问题,设计了C-Mask R-CNN多阈值检测方法,通过结合级联不同阈值的检测器来提高候选框质量,实现高阈值检测下的裂缝精准定位;最后,对改进后的模型进行一系列的优化参数和实验对比,并验证所提模型的有效性。实验结果表明,C-Mask R-CNN模型检测部分的平均准确率均值（mean average precision,mAP）达到0.954,与改进前模型相比提升了9.7%,分割部分的mAP达到0.935,与改进前相比提升了13.0%,识别效果较好。综上所述,C-Mask R-CNN模型可以较为完整地对裂缝进行定位及提取,识别精度较高。     

多分辨率特征融合的光学遥感图像目标检测

高分辨率遥感图像目标检测是计算机视觉的一个重要研究领域,在民用与军事领域具有重要的应用价值。目前,基于深度学习的自然图像目标检测有了突破性进展。但是,由于遥感图像具有目标尺度差异大且类间相似度高的特点,使得处理自然图像的目标检测算法直接应用于遥感图像时仍面临着一些挑战。针对上述挑战,本文提出一种多分辨率特征融合的遥感图像目标检测方法。首先,通过特征金字塔提取多尺度特征图并在其后嵌入多分辨率特征提取网络,促使网络学习目标在不同分辨率下的特征,缩小不同特征层之间的语义差距。其次,为实现多分辨特征的有效融合,本文采用自适应特征融合模块挖掘更具判别性的多分辨特征表达。最后,将自适应特征融合模块的输出特征的相邻层进行深度融合。在公开的遥感图像目标检测数据集DIOR和DOTA上评估了本文方法的有效性,相比采用特征金字塔结构的Faster R-CNN,本文方法的准确率(mAP)分别提高2.5%和2.2%。     

基于改进Faster R-CNN的码头自动识别

码头自动识别能够为港口的建设与开发、海岸带地理信息的获取及海上军事实力的评估提供重要依据。然而由于码头普遍尺寸小、数量多、分布散乱,且受周围船舶、建筑等环境干扰严重,传统算法难以满足对高速发展的码头进行准确监测的需求,如何对码头目标进行准确识别成为亟需解决的问题。本文基于公开遥感数据集及Google Earth高分遥感影像构建了3种码头类型的数据集,并针对码头的尺寸特征和空间分布特征对Faster R-CNN算法进行了如下改进：（1）采用K-Means算法对候选框进行预设,使其大小更适应码头尺寸;（2）采用Soft-NMS算法代替NMS算法,以降低分布密集地区码头的误删率和漏检率。实验结果表明,本文改进的Faster R-CNN算法FKSN（Faster R-CNN+K-Means+Soft-NMS）识别精度达到92.6%,相较Faster R-CNN算法精度提高了8.3%。将码头目标识别结果和传统分类方法ISODATA、SSD及Faster R-CNN、Faster R-CNN+K-Means等目标提取模型的识别结果相对比,本文方法在虚警率和漏检率的评价指标表现最好,分别为3.2%和7.6%,说明本文方法对于各类码头目标识别具有更好的效果。基于改进Faster R-CNN算法的码头自动识别研究可以为码头的合理建设、规划及治理提供技术支持,为港口高效利用和军事实力分析提供有效途径。     

利用深度学习进行GF-6影像枣园检测识别

针对新疆南疆大规模枣园的检测识别,本文提出了一种基于泛化迁移深度学习的枣园目标检测识别方法。以GF-6卫星影像数据为基础制作了Jujube数据集,并将其泛化扩充增强;以Faster R-CNN体系为基础,利用多态协同模式实现数据集的有效关联和优化重构,进行检测识别模型的迁移深度学习以提高对目标对象检测识别的泛化能力。结果表明,模型算法的验证识别精确率、召回率和调和平均值分别达0.979、0.952和0.965,在应用测试中,3个指标平均值均大于0.929,优于传统检测方法,且本文模型方法总体分类精度为0.97,Kappa系数为0.93,均高于面向对象最邻近法,能够有效地满足研究区规模化枣园目标检测识别的精度和效率的要求,为精细化枣园田间管理提供基础依据。     

融合卷积神经网络和循环神经网络的车轮目标检测

目标检测是基于视觉的目标定位关键技术。针对现有车轮检测方法对环境敏感问题，本文提出一种并联式融合循环神经网络和Faster R-CNN的车轮检测模型FusionRNN，借助RNN能够处理时序和CNN能够提取空间域隐性特征的优点，可提高实时性，减少参数量，使模型表达能力更强，同时具备分析序列化向量间语义关系和识别车轮几何特征的能力。该模型能在由激光雷达扫描得到的车轮三维点云投影图中准确检测出车轮位置，为基于AGV自动停车系统搬运车辆提供准确稳定的车辆位置信息。     

利用Faster R-CNN进行立交桥自动识别与定位

立交桥结构的自动识别对道路网多尺度建模、空间分析和车辆导航具有重要意义。传统基于矢量数据的立交桥识别方法过分依赖人工设计的特征,对复杂场景的适应性较差。本文提出了一种基于目标检测Faster R-CNN神经网络模型的立交桥识别方法,该方法利用卷积神经网络学习立交桥样本的深层次结构特征,进而实现立交桥的自动识别与准确定位。试验结果表明,该方法对立交桥的识别效果较好,能够在复杂的道路网中准确确定立交桥的位置,避免了人为干预对试验结果不确定性的影响,抗干扰性较强。     

基于CNN海上钻井平台检测模型的构建及训练算法分析

卷积神经网络(CNN)是深度学习(DL)中最具代表性的一种网络结构。合成孔径雷达(SAR)图像具有位置结构关系,CNN模型可以利用图像的位置结构关系,能够更好地提取图像特征,因此更适合采用CNN模型检测海洋目标。本文首先基于CNN框架构建了海上钻井平台检测的DL模型Ocean TDAx,并对模型进行训练和测试。试验结果表明,Ocean TDA9模型精度最高。然后针对Ocean TDA9模型,采用Adam、RMSprop、Stochastic gradient descent (SGD)、Adagrad、Momentum等7种模型训练算法进行试验,比较不同算法的训练损失和精度与训练批次的相关性。最后基于渤海海域的极化SAR数据,对提出的Ocean TDA9模型、已有的CNN模型及VGG模型进行海上钻井平台检测对比。结果表明,构建的Ocean TDA9模型在钻井平台检测中整体性能优良。