基于Faster R-CNN的高分辨率图像目标检测技术

为提升传统算法对高分辨率遥感图像中地物目标的检测效果,将深度学习目标检测框架快速区域卷积神经网络(faster regions with convolutional neural network,Faster R-CNN)应用于高分辨率遥感图像目标检测任务中。以机场为检测场景、飞机为检测目标进行实验,首先,利用高分辨率遥感图像数据集训练Faster R-CNN框架,得到相应的目标检测模型;然后,采用该模型对高分辨率遥感图像中的飞机目标进行检测;最后,对实验结果进行统计分析及评价。实验结果表明,Faster R-CNN模型能够全面而准确地检测飞机目标,最优F1分数值为0. 976 3,并且同一个模型可以对多种高分辨率遥感图像进行目标检测。     

基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测

传统的基于滑窗搜索和人工设计特征相结合的目标检测方法难以适用于海量高分辨率遥感图像的目标检测任务。本文提出了一种基于多尺度形变特征卷积网络的目标检测方法,利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取,然后对多层残差模块提取出的形变特征进行区域预测和鉴别。具体模型包括两个子网络：①目标区域预测子网络用于从多层深度特征图提取目标候选区域;②目标区域鉴别子网络用于对目标候选区域进行分类和位置回归。本文在光学卫星图像10类目标数据集上对比了多种基于深度学习的目标检测算法,并将训练好的模型用于谷歌地球影像飞机坟场数据集和高分2号、吉林1号数据集的评估,试验结果表明本文方法能够快速准确地对多类目标进行检测,具有较好的稳健性和迁移性。     

多尺度深度特征融合网络的遥感图像目标检测

本文针对现有方法对遥感图像目标检测准确率低的问题,在更快速区域卷积神经网络Faster R-CNN(Faster Region Convolutional Neural Networks)算法的基础上对其进行改进,提出一种新的遥感图像目标检测算法。该算法把Faster R-CNN算法中的VGG (Visual Geometry Group)特征提取网络替换为残差网络ResNet(Residual Networks),在此基础上加入特征金字塔网络以充分表达语义信息和位置信息,并使用焦点损失函数替代Faster R-CNN算法中的交叉熵损失函数以解决难易样本对总损失贡献的权重问题,最后对NWPU VHR-10数据集和RSOD数据集采用数据增广方法以解决数据集中图像样本数量少的问题。为验证本文算法的效果,进行了两组对比实验。第一组实验为本文提出的改进模块在NWPU VHR-10数据集和RSOD数据集上的消融实验;第二组实验为本文算法与其他算法在NWPU VHR-10数据集上的对比实验。实验结果表明,本文算法在NWPU VHR-10数据集和RSOD数据集上的多类平均准确率分别达到93.4%和9...     

Dense RFB和LSTM遥感图像舰船目标检测

针对当前遥感图像舰船目标检测精度不佳问题,本文构建舰船目标数据集STAR,提出基于Dense RFB和LSTM多尺度舰船目标检测算法。该算法首先在SSD网络基础上设计了浅层特征增强模块,基于人眼视点图采用Dense RFB特征复用和膨胀卷积增大感受野的尺度和种类,增强浅层网络对细节特征的提取能力;其次设计了深层多尺度特征金字塔融合模块,采用FPN和LSTM思想,基于反卷积和残差网络对深层不同尺度特征进行融合,增强网络结构非线性和特征层的表征能力;最后加入聚焦分类损失函数进行联合训练,有效避免了正负样本失衡问题。在遥感图像舰船数据集上实验,本文所提舰船目标检测算法精度均值达到81.98%,检测速度达到29.6帧/s。此外,遥感图像中成像模糊、被遮挡、部分被裁剪等舰船目标的检测效果也优于原有经典算法,实验结果表明该算法对遥感图像舰船目标检测的泛化能力较强,有效地提高了遥感图像舰船目标检测的精度。     

半监督高分辨率遥感图像分类方法

针对高分辨率遥感图像地形复杂、标注困难等问题,本文提出一种基于半监督学习的高分辨率遥感图像分类算法。首先借助卷积神经网络作为分类模型;然后对高分辨率遥感数据集部分图像分类标注,有监督训练卷积网络;最后对其余数据分别进行弱增强和强增强,得到训练图像伪标签,实现模型有监督训练。实验表明：所提半监督分类模型准确率比有监督模型平均准确率仅降低0.03左右,训练集标注耗时节约一半以上,表明该方法具有较好的识别效果和较快的训练速度。     

结合数据融合与特征选择的遥感影像尺度多样目标检测

基于深度神经网络模型的遥感影像地物检测取得了巨大成功,很大程度上得益于大规模数据集的支撑。但是,从现有遥感影像数据集本身来看,不同类别地物的数量分布不一致,同类地物对象以不同尺寸大小呈现,是导致地物样本的尺度不均衡问题的直接因素。对此,本文采用数据集内影像加权融合与地物多尺度特征选择的策略来缓解该问题。首先,将数据集内两张影像的像素值进行加权并得到融合后的影像,从而使不同类别地物样本更加均衡且具有较高的背景多样性;其次,通过选择合适尺度的特征图预测相应尺度的目标类别,且允许同一尺度目标在相邻特征图上进行预测,这样使模型能根据目标尺度进行训练;最后,基于目标中心区域的特征图预测目标边界框,预测的边界框更符合目标本身的尺度。通过在两个遥感数据集上分别进行实验,表明训练的模型在对复杂背景下的类别不均衡目标的识别更加准确,能够适应遥感影像下不同尺度目标的识别。     

结合数据增广和迁移学习的高分辨率遥感影像场景分类

深度学习在计算机视觉领域取得了显著的成果,如图像分类、人脸识别、图像检索等。对于遥感领域而言,获取用于训练CNN的有标签数据集通常是一个重大挑战。本文研究了如何将CNN用于高分辨率遥感影像的场景分类,为了克服缺乏大量有标签遥感影像数据集的问题,结合CNN采用了两种技术：数据增广和迁移学习。在UC Merced Land Use数据集上,验证了VGG16、VGG19、ResNet50、InceptionV3、DenseNet121等5种网络的性能,分别达到了98.10%、96.19%、99.05%、97.62%、99.52%的分类准确率。     

完全残差连接与多尺度特征融合遥感图像分割

遥感图像数据规模大,光照、遮挡等情况复杂,目标密集、尺度不一以及缺乏大量带标注图像用于训练深度网络等特点对遥感图像分割的完整性和正确性造成了更大的挑战。针对深度卷积网络中因多次卷积造成分辨率显著下降,像素类别预测精度降低的问题,本文在深度卷积编码—解码网络的基础上设计了一个采用完全残差连接和多尺度特征融合的端到端遥感图像分割模型。该模型具有两方面优点：首先,长距离和短距离的完全残差连接既简化了深层网络的训练,又为本层末端融入了原始输入信息,增强了特征融合。其次,不同尺度和方式的特征融合使网络能够提取丰富的上下文信息,应对目标尺度变化,提升分割性能。本文通过对ISPRS Vaihingen和Road Detection数据集做数据扩充并进行实验,分别从平均IOU、平均F1值两方面对模型进行评价。通过与目前先进的模型以及文献中的研究成果进行比较,结果表明本文所提模型优于对比模型,在两个数据集上的平均IOU分别达到了85%和84%,平均F1值分别达到了92%和93%,能够有效提高遥感图像目标分割的完整性和正确性。     

深度残差网络的多光谱遥感图像显著目标检测

本文侧重于介绍智能化摄影测量深度学习的深度残差方法。显著目标检测致力于自动检测和定位图像中人最感兴趣的目标区域。多波段遥感图像因其更加丰富的光谱信息和揭示观测目标物理属性的能力在目标检测中获得重要应用。传统的显著目标检测方法通过手工设计特征,计算图像各像素或者超像素与邻域像素或者超像素之间的对比度检测显著目标。随着深度学习的巨大发展,特别是全卷积神经网络的引入,基于深度卷积网络的显著目标检测算法取得重要进步。然而,由于数据获取和标记的困难,多波段遥感图像显著目标检测的研究依然主要采用手工设计特征。本文研究基于深度卷积神经网络的多波段遥感图像显著目标检测算法,提出一种基于深度残差网络的自上而下的多光波段遥感图像显著目标检测网络,该网络可以有效挖掘深度残差网络不同层次上的显著性特征,以端对端方式实现显著目标检测。为了应对多波段遥感图像数据量有限、无法训练深度残差网络的问题,本文提出通过浅层神经网络从RGB图像直接生成多波段遥感图像,实现光谱方向的超分辨率。在现有多波段遥感图像和可见光图像显著目标检测数据集上的试验结果超过当前最好方法10%以上,验证了本文方法的有效性。     

基于卷积神经网络的高分辨率遥感影像目标检测方法研究EI北大核心CSCD

高分辨率遥感影像目标检测作为高分对地观测系统中影像信息自动提取及分析理解的重要内容,对高分对地观测系统应用价值的发挥具有重要影响。卷积神经网络作为最热门的深度学习模型,由于其可以根据海量数据和标注自行进行有效图像特征提取和学习,在训练数据充足的情况下,模型具有良好的泛化能力,能够在复杂多变的条件下依然保持良好的稳健性和普适性。因此,基于卷积神经网络的目标检测架构被相继提出,但现有网络架构多是针对自然图像设计的,相对于自然图像,高分辨率遥感影像存在背景更加复杂、目标尺度更小、同类目标尺度变化更大和影像尺寸更大等特点;将这些网络架构直接用于高分辨率遥感影像目标检测会存在网络目标建议框尺度不匹配,待检影像相对于网络输入过大,以及缺乏训练数据等问题。针对上述问题,论文系统性地开展基于卷积神经网络的高分辨遥感影像目标检测方法研究。主要研究内容如下。     

注意力空洞卷积无人机遥感多目标检测方法研究

针对无人机遥感影像中多类别目标的检测问题,本文提出一种单阶段的深度学习新目标检测模型。在特征提取结构内,首先使用空洞卷积核来构建基本的提取结构,让模型在提取过程中获取感受野更大、原始信息保留更充分的特征图;针对小目标检测精度不佳问题,采用通道注意力与空间注意力组合的多路注意力机制来提高模型对真实目标的关注程度;在特征图连续上采样的基础上,将来自同层以及高层下采样的特征图进行融合来获取鲁棒性更强、语义信息更充分的特征图实施最终的检测。以VisDrone、DLR-MVDA数据集和路采影像组成数据集,并使用暗通道先验等方法对其进行强化,组成训练数据集对模型进行训练。实验结果表明,本文所提出的模型对于无人机遥感影像中的多种类别的目标均能够实现较好的检出,其平均精度均值较其余3种基准模型分别提高8.56%、4.58%及15.81%,检测速度可以达到25帧/s的水平,说明所提出模型能够针对遥感影像中的多类别目标实施快速精准的检测,同时具有较好的泛化能力。     

轻量卷积神经网络遥感影像目标检测方法

针对常规遥感影像目标检测模型在低算力环境难以运行问题,提出一种新的轻量级目标检测方法.采用深度可分离卷积核及通道分组混排构建轻量级特征提取网络,采用K-means聚类获取锚点框,使用跨层连接双层特征金字塔预测多尺度目标.利用遥感影像目标检测数据集(RSOD)数据集对模型训练,采用精度均值,平均精度均值,每秒传输帧数对模...     

A-FPN算法及其在遥感图像船舶检测中的应用

光学遥感图像船舶检测主要面临两个挑战:光学遥感图像背景复杂,船舶检测易受海浪、云雾及陆地建筑等多方面干扰;遥感图像分辨率低,船舶目标小,对于其分类与定位带来很大困难;针对上述问题,在FPN的基础上,提出一种融入显著性特征的卷积神经网络模型A-FPN (Attention-Based Feature Pyramid Networks)。首先,利用卷积提取图像特征金字塔;然后,利用顶层金字塔逐级构建显著特征层,抑制背景信息,通过金字塔顶层的细粒度特征提高浅层特征的表达能力,构建自上而下的多级显著特征映射结构;最后利用Softmax分类器进行多层级船舶检测。A-FPN模型利用显著性机制引导不同感受下的特征进行融合,提高了模型的分辨能力,对遥感图像处理领域具有重要应用价值。实验阶段,利用公开的遥感目标检测数据集NWPU VHR-10中的船舶样本进行测试,准确率为92.8%,表明A-FPN模型适用于遥感图像船舶检测。     

结合高效通道注意力的轻量级遥感影像目标检测方法

针对常规遥感影像目标检测模型难以在机载、星载等低算力场景下部署的问题,本文提出一种轻量级遥感影像目标检测模型。模型通过Ghost特征提取模块与高效通道注意力机制组成轻量级骨干网络来进行特征提取与筛选,然后将获取到的特征图送入融合金字塔中生成3张语义特征更为丰富的特征图参与多尺度目标检测。在多源混合数据集上的测试结果表明,本文模型对各类别目标的检测精度均优于其余对比模型,对不同场景下的目标具有良好的泛化能力。训练后模型占用内存小,推理参数量低,在低算力的测试场景下也能够进行实时检测,适合部署于算力较低的边缘计算场景。     

基于多尺度融合特征卷积神经网络的遥感图像飞机目标检测

飞机检测在遥感图像解译中具有重要的研究意义。针对现有目标检测算法对于复杂场景区域或飞机密集区域的小尺度飞机目标检测精度较低的问题,本文提出了一种端到端的多尺度特征融合飞机目标检测框架MultDet。该方法基于SSD多尺度检测框架,采用轻量级基础网络提取多尺度特征信息;然后设计反卷积特征融合模块,通过跳跃连接将高层语义特征与低层细节特征进行特征融合,得到结构层次丰富的多尺度融合特征;最后设计了一系列不同纵横比的候选框以适应多尺度飞机目标检测。本文在光学遥感图像数据集UCAS-AOD上进行数据分析试验,结果表明,MultDet512在飞机数据集上取得了94.8%的平均检测精度(average precision,AP),在Titan Xp GPU上达到0.0500s/img的检测速度。本文所提飞机目标检测算法在包含多种复杂场景的遥感图像中,能够实现多尺度飞机目标的高精度稳健检测。     

一种结合非顶层特征图和自适应阈值的飞机目标检测算法

针对Faster R-CNN模型在遥感影像中对飞机目标进行检测与识别时,易出现漏检、错检等问题,提出了一种在基于小样本飞机遥感影像数据集的改进型Faster R-CNN目标检测方法。首先对特征提取网络进行优化,然后将非顶层特征图融合顶层特征图得到边缘信息更丰富的融合特征图,利用该特征图输入RPN网络,完成目标检测模型的训练;并结合自适应阈值进行检测。以普通客机与战斗机目标为试验对象,开展飞机目标检测与识别对比分析。试验结果表明,所提出的算法在小样本情况下检测效果有明显提升。     

面向精细化多尺度特征的遥感图像目标检测EI北大核心CSCD

遥感图像目标检测是对目标视觉特征的描述与图像先验知识的表达,解译得到的信息无论在军事领域还是在民用领域都有着广泛的应用。针对复杂场景下遥感图像目标特征提取能力不足,目标尺度差异较大、方向任意且紧密排列,传统目标检测所使用的水平框难以准确定向等问题,提出了一种精细化多尺度特征的遥感图像定向目标检测算法。首先,设计了一种基于空洞卷积的上下文注意力网络,能够利用不同空洞率的卷积核捕获局部和全局语义信息,并利用注意力机制将语义信息整合到原始特征上,提升目标特征提取能力;其次,提出了一个精细化的特征金字塔网络,通过像素混洗的方式减少特征金字塔中的通道信息损失,强化网络对差异性大的多尺度目标特征信息的理解能力;最后,研究利用滑动顶点的方式回归定向的矩形框,更好地表示遥感图像内有向目标的位置。本文以Fast R-CNN OBB为基准,通过在目标检测公开数据集DOTA和HRSC2016上验证了算法的有效性,结果显示本文算法在DOTA数据集上与基准算法比较,平均精度(mAP)提升了22.65%,最终检测精度mAP达到了76.78%。在HRSC2016数据集上,最终检测精度mAP达到了89.95%。此外,本文算法较多种先进算法相比均有具有较好的提升。     

联合卷积神经网络与集成学习的遥感影像场景分类

针对人工设计的中、低层特征难以实现复杂场景影像的高精度分类以及卷积神经网络依赖大量训练数据等问题，结合迁移学习与集成学习，提出了一种联合卷积神经网络与集成学习的遥感影像场景分类算法。首先基于迁移学习的思想，利用在自然影像数据集上训练好的多个深层卷积神经网络模型作为特征提取器，提取图像多个高度抽象的语义特征；然后构建由Logistic回归和支持向量机组成的Stacking集成模型，对同一图像的多个特征分别训练Logistic模型，将预测概率结果融合构建概率特征；最后利用支持向量机对概率特征训练和预测，得到场景影像的分类结果。利用UCMerced_LandUse和NWPU-RESISC 45两种不同规模的遥感影像数据集进行试验，即使在只有10%的数据作为训练样本情况下，本文方法能够分别达到90.74%和87.21%的分类精度。     

多核多类关联向量机的高分辨率影像目标检测

从高分辨率遥感图像数据中准确检测多类目标的任务对于检测速度和模型训练时间提出了较高的要求.文章提出了一种MKL_mRVM方法:该方法采用基于快速边缘似然最大算法直接计算mRVM分类器的决策函数,避免了传统RVM重复计算目标函数Hessian矩阵的过程,并且因为不需要构造一系列两类分类器,缩短了多类模型的训练时间;同时,将多个基础核引入多类模型,训练过程中采用交叉验证方法确定基础核权重,在随机分出的确认集上检验分类器的精度,选取使得分类模型精度最高的值作为权重的优化结果.实验结果表明,该方法能够在保持解的稀疏性的前提下,有效地缩短模型训练时间.     

遥感影像目标检测的轻量化密集连接网络北大核心CSCD

针对无人机遥感影像中可能出现的多个密集的小目标,在检测时会出现误检、漏检的难点问题,本文提出了一种基于YOLO v4的具有密集连接网络模块的遥感影像轻量化目标检测算法,实现了对无人机遥感影像中车辆小目标的高精度识别。首先,对YOLO v4主干网络CSP Darknet53的卷积层采用密集连接、稀疏连接两种处理方式,加强特征的提取和重复使用,以缓解梯度消失问题;然后,对此模块进行模型剪裁,减少网络层数并定义为新的密集连接网络模块;最后,在NWPU-VHR-10数据集和笔者所在课题组制作的Vehicle-850无人机影像数据集上进行了对比试验并取得了较好的效果。本文改进后的网络结构在提高遥感影像目标检测准确率的同时,缩短了网络模型的收敛时间,减少了模型占用的内存空间,提高了遥感影像中目标检测的速度。