基于Faster R-CNN深度网络的遥感影像目标识别方法研究

遥感影像目标识别在众多领域中具有极高的理论意义与应用价值,更快速、更精确的目标识别方法研究是目前遥感及图像研究领域的热点与难点。本文将深度学习的方法应用于遥感影像目标识别中,提出基于Faster R-CNN深度学习网络的目标快速精确识别方法。该方法采用了包括基于RPN的建议区域提取方法和VGG16训练卷积网络模型,构建了面向遥感影像目标识别的深度卷积神经网络。为验证该方法的精度及性能,在Caffe深度学习框架上,选取高分辨率遥感影像中飞机、油罐、操场及立交桥目标进行验证实验。结果表明,基于Faster R-CNN的深度学习方法能够实现对遥感影像目标的快速、准确识别,同时具有较好的推广性。通过本文的研究,证明基于Faster R-CNN深度学习的高分遥感影像目标识别方法具有显著优势和潜力,对基于其他深度学习方法的目标识别研究也有一定的参考意义。     

基于深度学习的高分辨率遥感影像土地覆盖自动分类方法

土地覆盖变化是全球变化研究的核心,而精准分类是开展土地覆盖变化研究的基础。高分辨率遥感卫星技术的快速发展对地表分类的速度和精度提出了双重挑战,近年来人工智能等新技术的发展为图像自动分割提供了实现途径,而以卷积神经网络为代表的深度学习方法在遥感图像分类领域也具有独特的优势。为对比深度学习模型设计对高分辨率图像分类结果的影响,本文以郑州市2019年高分1号影像作为输入,对比研究了基于UNet模型改进的4种不同深度学习网络模型在高分辨率影像土地覆盖自动分类应用中的差异,探讨了残差网络、模型损失函数、跳层连接和注意力机制模块等编码和解码设定对于分类精度的影响机制。研究发现：同时加入多尺度损失函数、跳层连接和注意力机制模块的MS-EfficientUNet模型对郑州市土地覆盖分类结果最优,基于像元评价的整体分类精度可达0.7981。通过在解码器中引入多尺度损失函数可有效提高林地、水体和其他类别的分类精度;而对编码器进行改进,加入跳层连接和注意力机制可进一步提高草地、水体和其他类别地物的分类精度。研究结果表明,深度学习技术在高分辨率遥感影像自动分类中具有潜在应用价值,但分类结果精度的进一步提高和多级别大范围的精细分类方法仍是下一步研究的重点。     

基于RCNN的无人机巡检图像电力小部件识别研究

随着无人机（UAV)在电力巡线作业中的应用推广,对无人机巡检图像的信息挖掘或目标识别需求也越来越强烈。传统的电力部件识别流程常使用经典的机器学习算法,如支持向量机（SVM）、随机森林或adaboost,结合梯度、颜色或纹理等浅层特征来对电力部件进行识别,难以充分利用无人机巡检图像的信息,并且难以达到较高的准确率。卷积神经网络（CNN）在目标识别中表现优异,在很多目标识别场景之中成为首选算法。基于区域的卷积神经网络（RCNN）通过使用CNN从图像中提取可能含有目标的区域来检测并识别目标,但是计算复杂,难以满足识别海量电力巡检图片的需求。Fast R-CNN和Faster R-CNN利用CNN网络提取图像特征,后接一个区域提议层,优化了提取可能含有目标区域的方式并改进识别目标的分类器,使目标的检测和识别几乎实时。本文详细描述了Faster R-CNN算法流程,并在无人机电力线巡检图像部件检测中使用,然后分别对DPM、SPPnet和Faster R-CNN识别方法进行了对比分析,利用实际采集的电力小部件巡检数据构建的数据集对3种方法进行测试验证,并讨论了不同参数对识别结果的影响。实验结果表明,基于深度学习的识别方法实现电力小部件的识别是可行的,而且利用Faster R-CNN进行多种类别的电力小部件识别定位可以达到每张近80 ms的识别速度和92.7%的准确率。     

面向对象高分遥感影像典型自然地物半自动提取

针对目前高空间分辨率遥感影像（简称高分遥感影像）地物全自动提取无法完全实现的现实,本文结合自然地物的光谱和纹理特征,提出一种面向对象的高分遥感影像典型自然地物半自动提取方法。首先构建最小生成树（Minimum Spanning Tree, MST）进行影像初始分割,根据影像灰度平均归一化值和标准差统计对象的光谱、纹理等特征。用户通过“种子点”交互选取提供前景样本,并基于区域邻接图（Region Adjacency Graph, RAG）寻找合并代价最小的区域扩充前景样本。在自动构建的环形缓冲区内选择背景样本,利用特征空间高斯滤波实现全连接条件随机场中均值场更新。依据全连接条件随机场描述全局信息,结合不同地物的提取准则最终得到自然地物的提取结果。以航空和高分二号(GF-2)遥感影像为实验数据,分别对林地、草地、耕地、裸地和水体等典型自然地物进行提取。结果显示,基于本文方法的航空影像典型自然地物提取总精度和Kappa值为0.959和0.948,相较于SVM方法分别提升了20.757%和0.268。高分二号(GF-2)遥感影像的提取总精度和Kappa值为0.959和0.941,相比SVM方法分别提高了1.698%和0.133。证明所给方法能够通过较少的用户交互,实现高分遥感影像典型自然地物高精度智能提取。     

基于深度信念网络的遥感影像识别与分类

高分辨率遥感影像具有高维、多尺度、非平稳的内部特性和海量、多源、异构的外部特征,具有丰富的空间信息。探讨了利用新兴的深度信念网络研究高分辨率遥感影像的智能提取与分类,通过大量实验对比分类精度、Kappa系数以及参数敏感度分析,提出了网络层数、隐含层神经元个数、迭代次数等参数的最优设置方案,相比传统的浅层网络分类器,改进后的深度信念网络更好地拟合了样本的内在结构,遥感图像分类精度达到92%左右,取得了很好的分类效果。      

基于支持向量机的遥感图像建筑物识别与分类方法研究

摘 要:高分辨率遥感影像可以更精细地描述地物目标的几何特征、空间特征和纹理特征等信息,在各个领域中都得到广泛的应用。建筑物作为地物信息分类中的主要部分,是地形图成图的主要组成元素,对建筑物的识别与提取,直接影响到地物测绘的自动化水平,对它的识别和定位可以为特征提取、特征匹配、图像理解、制图和作为其他目标的参照体有重要的意义。针对建筑物的遥感影像特征,研究了支持向量机分类器(SVM)在建筑物识别与分类中的应用,提出了一种交叉验证的方法对参数敏感度进行分析,通过使用GridSearch算法确定模型参数设置的最优方案,并对分类结果中建筑物进行轮廓提取。通过实验表明,优化后的SVM算法对建筑物的分类精度达到90％,对比随机森林算法、最近邻分类器优势非常明显。      

基于改进全卷积神经网络模型的土地覆盖分类方法研究

遥感卫星数据是地球表面信息的重要来源，但利用传统的遥感分类方法进行土地覆盖分类局限性大、过程繁琐、解译精度依赖专家经验，而深度学习方法可以自适应地提取地物更多深层次的特征信息，适用于高分辨率遥感影像的土地覆盖分类。文中对高分辨率影像中水体、交通运输、建筑、耕地、草地、林地、裸土等进行高精度分类，结合遥感多地物分类的特点，以DeepLabV3+模型为基础，作出了以下改进：(1)骨干网络的改进，使用ResNeSt代替ResNet作为骨干网络；(2)空洞空间金字塔池化模块的改进，首先在并联的每个分支的前一层增加一个空洞率相对较小的空洞卷积，其次在分支后层加入串联的空洞率逐渐减小的空洞卷积层。使用土地覆盖样本库和自制样本库进行模型训练、测试。结果表明，改进模型在2个数据集的精度和时间效率均明显优于原始DeepLabV3+模型：土地覆盖样本库总体精度达到88.08%，自制样本库总体精度达到85.22%，较原始DeepLabV3+模型分别提升了1.35%和3.4%，时间效率每epoch减少0.39 h。改进模型能够为数据量以每日TB级增加的高分影像提供更加快速精确的土地覆盖分类结果。     

基于Res_AttentionUnet的高分辨率遥感影像建筑物提取方法

针对目前基于深度学习与高分辨率遥感影像的建筑物提取研究现状,本文提出了一种综合ResNet中的ResBlock残差模块和Attention注意力机制的改进型Unet网络（Res_AttentionUnet）,并将其应用于高分辨率遥感影像建筑物提取,有效地提高了建筑物的提取精度。具体优化方法为：在传统的Unet语义分割网络卷积层中加入针对初高级特征加强提取的ResBlock残差模块,并在网络阶跃连接部分加入Attention注意力机制模块。其中,ResBlock残差模块使卷积后的特征图获取更多的底层信息,增强卷积结构的鲁棒性,从而防止欠拟合;Attention注意力机制可增强对建筑物区域像素的特征学习,使特征提取更完善,从而提高建筑物提取的准确率。本研究采用武汉大学季顺平团队提供的开放数据集（WHU Building Dataset）作为实验数据,并从中选取3个具有不同建筑物特征和代表性的实验区域,然后分别对不同实验区域进行预处理（包括滑动裁剪和图像增强等）,最后分别使用Unet、ResUnet、AttentionUnet和Res_AttentionUnet 4种不同的网络模型对3个不同实验区进行建筑物提取实验,并对实验结果进行交叉对比分析。实验结果表明,与其他3种网络相比,本文所提出的Res_AttentionUnet在基于高分辨率遥感影像的建筑物提取中具有更高的精度,平均提取精度达到95.81%,相较于原始Unet网络提升17.94%,同时相较于仅加入残差模块的Unet网络（ResUnet）提升2.19%,能够显著地提升高分辨率遥感影像中建筑物提取的效果。     

基于改进DeepLabv3+孪生网络的遥感影像变化检测方法

传统遥感影像变化检测方法依赖人工构建特征,算法设计复杂且精度不高;而将2幅不同时相影像叠加后输入神经网络的遥感影像变化检测方法会造成不同时相的特征相互影响,难以保持原始影像的高维特征,且模型鲁棒性较差。因此,本文提出一种基于改进DeepLabv3+孪生网络的遥感影像变化检测方法,以经典DeepLabv3+网络的编解码结构为基础对网络进行改进：① 在编码阶段利用共享权值的孪生网络提取特征,通过2个输入端分别接收2幅遥感影像,以保留不同时相影像的高维特征;② 在特征融合中用密集空洞空间金字塔池化模型代替空洞空间金字塔池化模型,通过密集连接的方式结合每个空洞卷积的输出,以提高对不同尺度目标分割的精度;③ 在解码阶段中针对不同层级特征图信息差异较大,难以融合的问题,引入基于注意力机制的特征对齐模型,引导不同层级的特征对齐并强化学习重要特征,以提升模型的鲁棒性。应用开源数据集CDD验证本文方法的有效性,并与UNet-EF、FC-Siam-conc、Siam-DeepLabv3+和N-Siam-DeepLabv3+网络对比试验。试验结果表明,本文方法在精确率、召回率、F1值和总体精度上达到87.3%、90.2%、88.4%、96.4%,均高于UNet-EF、FC-Siam-conc、Siam-DeepLabv3+网络和N-Siam-DeepLabv3+网络,检测结果较为完整,对边界的检测也更为平滑,且对尺度变化具有更高的鲁棒性。     

结合改进PSPNet与ConvCRF的遥感影像分割方法

针对现有基于深度学习的遥感影像分割方法难以充分考虑像素之间关系,而全连接条件随机场(fully connected conditional random fields,FullCRF)后处理效率低下且难以训练的问题,提出了结合改进金字塔场景解析网络(pyramid scene parsing network,PSPNet)算法与卷积条件随机场(convolutional condition random fields,ConvCRF)的方法.首先,在PSPNet中采用更加密集连接的DenseNet网络,并在高低层特征融合部分将原有的连接CNN网络末端特征图方式改为连接第三个dense模块.其次,在改进PSPNet基础上,设计与ConvCRF的集成方法,通过引入两个损失函数,设计两步法训练方式,实现了集成模型的端对端训练.最后,进行某区域无人机遥感影像4类要素分割及马萨诸塞州航空遥感影像道路分割试验.结果表明,改进PSPNet在无人机影像分割试验中MIoU(mean intersection over union)提升0.25％,总体精度提升0.47％;结合ConvCRF处理模块后,MIoU可进一步提升0.94％,总体精度进一步提升0.47％,单幅图像计算时间仅增加79 ms,且精度优于FullCRF,时间开销仅为FullCRF的35％,在马萨诸塞州道路分割试验中,本方法较其他精度更优.     

Detection of ocean internal waves based on Faster R-CNN in SAR images

Ocean internal waves appear as irregular bright and dark stripes on synthetic aperture radar(SAR) remote sensing images. Ocean internal waves detection in SAR images consequently constituted a difficult and popular research topic. In this paper, ocean internal waves are detected in SAR images by employing the faster regions with convolutional neural network features(Faster R-CNN) framework; for this purpose, 888 internal wave samples are utilized to train the convolutional network and identify internal waves. The experimental results demonstrate a 94.78% recognition rate for internal waves, and the average detection speed is 0.22 s/image. In addition, the detection results of internal wave samples under dif ferent conditions are analyzed. This paper lays a foundation for detecting ocean internal waves using convolutional neural networks.     

一种基于深度传递迁移学习的遥感影像分类方法

面对实际的遥感影像分类任务,采用深度神经网络的方法存在的最大问题是缺乏充足的标注样本,如何使用较少的标注样本实现较高精度的遥感影像分类,是目前需要解决的问题。ImageNet作为世界上最大的图像识别数据集,在其上训练出的模型有着丰富的底层特征。对ImageNet预训练模型进行微调是最常见的迁移学习方法,能够一定程度利用其丰富的底层特征,提高分类精度。但ImageNet影像特征与遥感影像差距较大,对分类效果提升有限。为了解决上述问题,本文基于传递迁移学习思想,结合深度神经网络,提出一种基于深度传递迁移学习的遥感影像分类方法。该方法通过构建以开源遥感场景识别数据集为源域的中间域,并以ImageNet预训练权重为源域、待分类遥感影像为目标域进行迁移学习,提高遥感影像分类精度。首先,以ImageNet预训练VGG16网络为基础,为加速卷积层权重更新而将全连接层替换为全局平均池化层,构建GAP-VGG16,使用中间域数据集训练ImageNet预训练GAP-VGG16以获取权重;然后,以SegNet网络为基础,在SegNet中加入卷积层设计了T-SegNet,以对获取的权重进一步地提取。最后,将获取的权重迁移到T-SegNet中,使用目标域数据集训练,实现遥感影像分类。本文选取Aerial Image Dataset和UC Merced Land-Use DataSet作为中间域数据集的数据源,资源三号盘锦地区影像为目标域影像,并分别选取了50%和25%数量的训练样本进行实验。实验结果表明,在50%和25%数量的训练样本下,本文方法分类结果相比SegNet的Kappa系数分别提高了0.0459和0.0545,相比ImageNet预训练SegNet的Kappa系数分别提高了0.0377和0.0346,且在样本数较少的类别上,本文方法分类精度提升更明显。     

基于多任务学习的高分辨率遥感影像建筑提取

建筑物的自动提取对城市发展与规划、防灾预警等意义重大。当前的建筑物提取研究取得了很好的成果,但现有研究多把建筑提取当成语义分割问题来处理,不能区分不同的建筑个体,且在提取精度方面仍然存在提升的空间。近年来,基于多任务学习的深度学习方法已在计算机视觉领域得到广泛应用,但其在高分辨率遥感影像自动解译任务上的应用还有待进一步发展。本研究借鉴经典的实例分割算法Mask R-CNN和语义分割算法U-Net的思想,设计了一种将语义分割模块植入实例分割框架的深度神经网络结构,利用多种任务之间的信息互补性来提升模型的泛化性能。自底向上的路径增强结构缩短了低层细节信息向上传递的路径。自适应的特征池化使得实例分割网络可以充分利用多尺度信息。在多任务训练模式下完成了对遥感影像中建筑物的自动分割,并在经典的遥感影像数据集SpaceNet上对该方法进行验证。结果表明,本文提出的基于多任务学习的建筑提取方法在巴黎数据集上建筑实例分割精度达到58.8%,在喀土穆数据集上建筑实例分割精度达到60.7%,相比Mask R-CNN和U-Net提升1%~2%。     

基于深度卷积网络和分水岭分割的耕地地块识别方法

耕地地块作为精准农业的重要支撑,现有地块边界大多依靠人工勾绘。随着遥感技术的发展,基于遥感影像自动提取耕地地块成为研究主要方向,其中基于深度学习的方法能够克服传统检测方法难以适应复杂场景的局限而被广泛使用,但现有检测方法仍存在问题,基于深度卷积模型直接识别耕地区域会丢失内部边界、而基于边缘检测模型识别耕地边界时则会同时得到大量无关边界;此外,现有的基于阈值提取地块的策略所提取的地块不够规整,存在内陷的问题。针对上述问题,本研究提出一种基于深度卷积网络和分水岭分割的耕地地块提取方法,从信息检测和地块提取两方面进行改进：① 将耕地边界视作一种地物类别,在深度卷积网络中进行类别概率检测,帮助实现对耕地边界的语义识别。② 基于改进后的D-LinknetXt网络进行检测,其网络架构适合于对耕地边界这类线性目标的提取,同时更换原始D-Linknet网络的残差单元,帮助提高了网络的特征提取能力。③ 基于分水岭分割对耕地地块进行提取,利用了区域分割方法获取边界的封闭性,并且这种以区域为单元进行分割并合并的方式,解决了原有方法在像元尺度上基于阈值提取所遇到的提取地块存在内陷的问题,使地块更规整准确。在一景高分二号影像上进行检验,并设计两类精度指标,从全局边界精度和地块几何精度两方面进行方法性能评估。实验结果表明,本方法的精度优于3种对比方法,在代表边界精度的F1分数上达到了0.933,地块几何精度为0.829。本研究所提出的方法能够更加准确的对耕地地块进行提取,并适用于实际应用中。     

顾及单木三维形态的无人机立体影像单木识别算法

单木参数对当前的森林资源管理、生态研究以及生物多样性保护等具有重要意义。无人机立体影像数据与单木识别算法为单木参数的低成本、自动化获取提供了基础。现有研究表明,常用的基于局部最大值搜索的单木识别算法面对密集林分时存在严重的漏识别问题,影响了参数提取的精度,因此本文提出了顾及单木三维形态的无人机立体影像单木识别新算法。算法首先综合利用无人机立体影像的高程与RGB光谱信息,通过随机森林分类进行林冠区的提取;然后利用形态学的多层腐蚀、膨胀与连通区标记进行树冠相连单木的分离与树冠中心点的提取,从而实现单木自动化识别。本文选取内蒙古大兴安岭林区和四川王朗林区的4块样地进行验证,以目视解译数据为参考,分别与基于高程值的局部最大值搜索算法（算法A）、基于RGB光谱亮度值的局部最大值搜索算法（算法B）进行比较。结果显示：本文提出的算法在4个样地的平均F1-score为94.17%,与算法A和算法B相比分别提高了15.85%和9.37%;而对于密集样地,本文提出的算法在查全率上相比算法A和算法B分别提高51.79%和35.64%。结果表明本文提出的算法在不同林区均能够实现较好的单木识别效果,特别是能够有效避免密集林分下的漏识别问题,为基于无人机立体影像的单木识别研究提供了一种新的思路。     

基于Anchor-free的交通标志检测

交通标志检测是自动驾驶中的重要研究方向,实时准确地从街景图像中检测交通标志对实现自动驾驶及智慧城市的发展具有重要意义。传统的算法基于颜色、形状特征进行检测,只能提取特定种类的交通标志,算法无法同时检测不同类型的交通标志。基于图像特征+机器学习分类器的算法需要人工设计特征,算法速度较慢。主流的基于深度学习的方法多基于先验框,在网络设计上引入了额外的超参数,且在训练过程中产生过量的冗余边界框,容易造成正负样本不平衡。本文受Anchor-free思想的启发,引用YOLO检测器直接回归物体边界框的思路,提出一种基于Anchor-free的实时交通标志检测网络AF-TSD（Anchor-free Traffic Sign Detection）。AF-TSD摒弃了先验框的设计,并引入自适应采样位置可变卷积与注意力机制,大大提高网络的特征表达能力。本文开展大量对比实验,实验结果表明本文提出的AF-TSD交通标志检测网络速度接近主流算法,但精度优于主流算法,在德国GTSDB交通标志检测数据集上取得了96.80%的精度,检测速度平均单张图片32 ms,达到实时检测的要求。     

基于PRCUnet的高分遥感影像建筑物提取

基于高分辨率遥感影像的建筑物提取具有重要的理论与实际应用价值,深度学习因其优异的深层特征提取能力,已经成为高分影像提取建筑物的主流方法之一。本文在改进深度学习网络结构的基础上,结合最小外接矩形与Hausdorff距离概念,对建筑物提取方法进行改进。本文主要改进内容为：① 基于Unet网络结构,利用金字塔池化模块 (Pyramid Pooling Module, PPM )的多尺度场景解析特点,残差模块(Residual Block, RB)的特征提取能力以及卷积块注意力模块(Convolutional Block Attention Module, CBAM)对空间信息和通道信息的平衡能力。将金字塔池化、残差结构以及卷积块注意力模块引入到Unet模型中,建立PRCUnet模型。PRCUnet模型更关注语义信息和细节信息,弥补Unet对小目标检测的欠缺;② 基于最小外接矩形与Hausdorff距离,改进建筑物轮廓优化算法,提高模型的泛化能力。实验表明,本文的建筑物提取方法在测试集上准确率、IoU、召回率均达到0.85以上,精度显著优于Unet模型,提取出的建筑物精度更高,对小尺度及不规则的建筑物有较好的提取效果,优化后的建筑物轮廓更接近真实的建筑物边界。     

面向倾斜摄影的深度学习航空影像匹配方法

针对传统方法和深度学习匹配方法在倾斜影像上获取匹配点少、复现率低以及精度不高等问题,本文提出一种面向倾斜摄影的深度学习航空影像匹配方法。首先,利用POS信息计算影像重叠区域,并对倾斜影像进行透视变换改正,减弱几何变形对匹配过程的影响;其次,在变换后的重叠区域影像上利用训练的多尺度特征点检测网络推理其对应的高斯热力图,在高斯热力图尺度空间检测极值点作为稳定特征点,基于自监督主方向检测网络获取特征点主方向;接着,在特征点描述阶段,结合网络学习得到的特征点位置和主方向获取尺度旋转不变GeoDesc基础描述子,并考虑图像的几何、视觉上下文信息对描述子进行增强处理;最后,通过双向比值提纯法获取初始匹配点,利用RANSAC和图约束方法剔除误匹配后获得最终匹配点结果。使用ISPRS提供的2组典型区域倾斜影像进行匹配实验,结果表明,相比于SIFT、ASIFT、SuperPoint、GeoDesc及ContextDesc等算法,本文方法能够在大视角变化和纹理信息贫乏的倾斜影像对上获取更多均匀分布的匹配点,同时复现率也要优于其他方法。     

基于深度学习模型的城市高分辨率遥感影像不透水面提取

不透水面是衡量城市生态环境状况的重要指标。城市土地利用的复杂性和不透水表面材料的多样性,导致直接从高分辨率遥感影像中提取不透水表面具有挑战性。针对城市尺度高分辨率遥感影像的不透水面提取要求,本文提出基于深度学习的城市不透水面提取模型。首先,利用深度卷积神经网络对影像特征进行提取;然后,根据其邻域关系构建概率图学习模型,进一步引入高阶语义信息对特征进行优化,实现不透水面的精确提取。本文选取武汉市为实验区,以高分二号卫星遥感影像作为数据源,完成了不透水面专题信息提取,其中自动提取准确率在建成区为89.02%、在城乡结合部为95.55%。与随机森林（RF）和支持向量机（SVM）等经典方法对比,结果表明深度学习不透水面提取方法有较高的提取精度和细节准确性,建成区的总体精度相比于RF和SVM算法分别提升2.18%和1.68%。最后,对武汉市各主要行政区不透水面信息进行统计和分析,结果表明其中江汉区和武昌区2个核心主城区不透水面占比超过60%,并对武汉市现状和发展规划特点进行了讨论。本文研究成果可为海绵城市和生态城市的建设提供基础技术支撑和数据参考。