基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测

传统的基于滑窗搜索和人工设计特征相结合的目标检测方法难以适用于海量高分辨率遥感图像的目标检测任务。本文提出了一种基于多尺度形变特征卷积网络的目标检测方法,利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取,然后对多层残差模块提取出的形变特征进行区域预测和鉴别。具体模型包括两个子网络：①目标区域预测子网络用于从多层深度特征图提取目标候选区域;②目标区域鉴别子网络用于对目标候选区域进行分类和位置回归。本文在光学卫星图像10类目标数据集上对比了多种基于深度学习的目标检测算法,并将训练好的模型用于谷歌地球影像飞机坟场数据集和高分2号、吉林1号数据集的评估,试验结果表明本文方法能够快速准确地对多类目标进行检测,具有较好的稳健性和迁移性。     

多分辨率特征融合的光学遥感图像目标检测

高分辨率遥感图像目标检测是计算机视觉的一个重要研究领域,在民用与军事领域具有重要的应用价值。目前,基于深度学习的自然图像目标检测有了突破性进展。但是,由于遥感图像具有目标尺度差异大且类间相似度高的特点,使得处理自然图像的目标检测算法直接应用于遥感图像时仍面临着一些挑战。针对上述挑战,本文提出一种多分辨率特征融合的遥感图像目标检测方法。首先,通过特征金字塔提取多尺度特征图并在其后嵌入多分辨率特征提取网络,促使网络学习目标在不同分辨率下的特征,缩小不同特征层之间的语义差距。其次,为实现多分辨特征的有效融合,本文采用自适应特征融合模块挖掘更具判别性的多分辨特征表达。最后,将自适应特征融合模块的输出特征的相邻层进行深度融合。在公开的遥感图像目标检测数据集DIOR和DOTA上评估了本文方法的有效性,相比采用特征金字塔结构的Faster R-CNN,本文方法的准确率(mAP)分别提高2.5%和2.2%。     

结合数据融合与特征选择的遥感影像尺度多样目标检测

基于深度神经网络模型的遥感影像地物检测取得了巨大成功,很大程度上得益于大规模数据集的支撑。但是,从现有遥感影像数据集本身来看,不同类别地物的数量分布不一致,同类地物对象以不同尺寸大小呈现,是导致地物样本的尺度不均衡问题的直接因素。对此,本文采用数据集内影像加权融合与地物多尺度特征选择的策略来缓解该问题。首先,将数据集内两张影像的像素值进行加权并得到融合后的影像,从而使不同类别地物样本更加均衡且具有较高的背景多样性;其次,通过选择合适尺度的特征图预测相应尺度的目标类别,且允许同一尺度目标在相邻特征图上进行预测,这样使模型能根据目标尺度进行训练;最后,基于目标中心区域的特征图预测目标边界框,预测的边界框更符合目标本身的尺度。通过在两个遥感数据集上分别进行实验,表明训练的模型在对复杂背景下的类别不均衡目标的识别更加准确,能够适应遥感影像下不同尺度目标的识别。     

基于特征注意力金字塔的遥感图像目标检测方法

遥感图像场景复杂、目标大小不一、分布不均衡等特点增加了目标检测的难度，而适于检测不同尺度目标的特征金字塔融合不同深度的特征图时，没有考虑特征图各自的重要性，没有强调目标区域的特征，为此本文提出基于特征注意力金字塔的遥感图像目标检测方法 FAPNet(Feature Attention Pyramid Network)。首先，使用通道拼接方式融合不同深度的特征图，给用于检测的特征图提供不同大小感受野的特征，并基于通道注意力对融合的特征图在通道维度重标定，根据特征图所负责检测目标的尺度自适应地调整不同大小感受野特征的权重，强化感受野大小与待检测目标尺度匹配度较高的特征，弱化匹配度较低的特征。其次，使用叠加的扩张空间金字塔池化结构，结合弱监督分割网络建模位置注意力，强化目标区域特征，弱化背景区域特征，进一步提升目标检测方法的性能。实验结果表明，相较于RetinaNet，针对汽车目标，所提方法在UCAS-AOD数据集和RSOD数据集上检测精度AP分别提升了3.41%和2.26%，针对多类目标所提方法在各目标上取得了较优的AP结果，且mAP结果优于其他比较方法。     

多尺度特征增强的遥感图像舰船目标检测

针对背景复杂的遥感图像中,舰船方向任意、密集排列造成的漏检问题,基于旋转区域检测网络,提出多尺度特征增强的遥感图像舰船目标检测算法。在特征提取阶段,利用密集连接感受野模块改进特征金字塔网络,选用不同空洞率的卷积获取多尺度感受野特征,增强高层语义信息的表达;为了抑制噪声并突出目标特征,在特征提取后设计基于注意力机制的特征融合结构,根据各层在空间上的权重值融合所有层,得到兼顾语义信息和位置信息的特征层,再对该层特征进行注意力增强,将增强后的特征融入原金字塔特征层;在分类和回归损失基础上,增加注意力损失,优化注意力网络,给予目标位置更多关注。在DOTA遥感数据集上的实验结果表明,该算法平均检测精度可以达到71.61%,优于最新的遥感图像舰船目标检测算法,有效地解决了目标漏检问题。     

结合高效通道注意力的轻量级遥感影像目标检测方法

针对常规遥感影像目标检测模型难以在机载、星载等低算力场景下部署的问题,本文提出一种轻量级遥感影像目标检测模型。模型通过Ghost特征提取模块与高效通道注意力机制组成轻量级骨干网络来进行特征提取与筛选,然后将获取到的特征图送入融合金字塔中生成3张语义特征更为丰富的特征图参与多尺度目标检测。在多源混合数据集上的测试结果表明,本文模型对各类别目标的检测精度均优于其余对比模型,对不同场景下的目标具有良好的泛化能力。训练后模型占用内存小,推理参数量低,在低算力的测试场景下也能够进行实时检测,适合部署于算力较低的边缘计算场景。     

注意力密集卷积网络遥感影像多目标检测

针对遥感影像目标检测中背景复杂、正负样本严重不均衡问题,提出一种基于注意力与密集连接的遥感影像目标检测模型。在特征提取层使用卷积注意力模块分别沿通道、空间域聚合特征图正样本特征,同时通过密集连接加强层间交流;利用上下层特征融合与连续上采样构建3个尺度的特征增强金字塔。实验结果表明,本文模型对不同复杂程度场景下的各类别目标均能够实现稳定检出,且精度优于现有主流目标检测模型,具有良好的泛化能力与实时性。     

轻型注意力卷积无人机影像车辆检测模型研究

提出一种能够部署于无人机终端的轻量级端到端车辆检测模型。在骨干网络中,首先,使用焦点机制对输入的原始图像进行无损下采样;然后,利用带有轻型注意力模块的深度可分离卷积核组成特征提取层;最后,在特征金字塔中通过跨尺度多层融合来提高三个层级输出特征图内的信息复杂程度。将开源无人机影像数据集VisDrone与多个时期采集的无人机道路影像混合,经过增强处理后作为训练集对模型进行训练。实验结果表明,本文所提出模型对于各类车辆目标均表现出稳定的检测性能,在综合检测精度方面明显优于几组对照模型,同时训练后模型体量较小,能够在测试环境的嵌入式硬件终端上部署并开展实时检测。     

改进Faster R-CNN的遥感图像多尺度飞机目标检测

为了提高遥感图像中多尺度飞机目标的检测精度,本文提出一种基于改进Faster R-CNN的遥感图像飞机目标检测方法。该方法借助多层级融合结构,将深层次的语义特征与浅层次的细节特征相结合,生成多种尺度的既具有精确的位置信息又具有深层次的语义特征的特征图;再借助Faster R-CNN的多尺度RPN（Region Proposal Network）机制,通过对RPN中候选区域尺度的修正,从而提高遥感图像中多尺度飞机目标的定位精度;最后利用Faster R-CNN的分类回归网络,得到飞机目标检测结果。在高分辨率遥感图像中进行了实验,对3种特征提取网络ZF、VGG-16以及ResNet-50进行改进,改进后的精度分别提高了11.34%、9.87%以及1.66%,并且生成的检测框更加贴合飞机目标。实验结果表明,本文方法适用于遥感图像多尺度飞机目标检测,在提高目标定位精度的同时降低了目标漏检现象。     

基于多尺度融合特征卷积神经网络的遥感图像飞机目标检测

飞机检测在遥感图像解译中具有重要的研究意义。针对现有目标检测算法对于复杂场景区域或飞机密集区域的小尺度飞机目标检测精度较低的问题,本文提出了一种端到端的多尺度特征融合飞机目标检测框架MultDet。该方法基于SSD多尺度检测框架,采用轻量级基础网络提取多尺度特征信息;然后设计反卷积特征融合模块,通过跳跃连接将高层语义特征与低层细节特征进行特征融合,得到结构层次丰富的多尺度融合特征;最后设计了一系列不同纵横比的候选框以适应多尺度飞机目标检测。本文在光学遥感图像数据集UCAS-AOD上进行数据分析试验,结果表明,MultDet512在飞机数据集上取得了94.8%的平均检测精度(average precision,AP),在Titan Xp GPU上达到0.0500s/img的检测速度。本文所提飞机目标检测算法在包含多种复杂场景的遥感图像中,能够实现多尺度飞机目标的高精度稳健检测。     

轻量卷积神经网络遥感影像目标检测方法

针对常规遥感影像目标检测模型在低算力环境难以运行问题,提出一种新的轻量级目标检测方法.采用深度可分离卷积核及通道分组混排构建轻量级特征提取网络,采用K-means聚类获取锚点框,使用跨层连接双层特征金字塔预测多尺度目标.利用遥感影像目标检测数据集(RSOD)数据集对模型训练,采用精度均值,平均精度均值,每秒传输帧数对模...     

面向精细化多尺度特征的遥感图像目标检测EI北大核心CSCD

遥感图像目标检测是对目标视觉特征的描述与图像先验知识的表达,解译得到的信息无论在军事领域还是在民用领域都有着广泛的应用。针对复杂场景下遥感图像目标特征提取能力不足,目标尺度差异较大、方向任意且紧密排列,传统目标检测所使用的水平框难以准确定向等问题,提出了一种精细化多尺度特征的遥感图像定向目标检测算法。首先,设计了一种基于空洞卷积的上下文注意力网络,能够利用不同空洞率的卷积核捕获局部和全局语义信息,并利用注意力机制将语义信息整合到原始特征上,提升目标特征提取能力;其次,提出了一个精细化的特征金字塔网络,通过像素混洗的方式减少特征金字塔中的通道信息损失,强化网络对差异性大的多尺度目标特征信息的理解能力;最后,研究利用滑动顶点的方式回归定向的矩形框,更好地表示遥感图像内有向目标的位置。本文以Fast R-CNN OBB为基准,通过在目标检测公开数据集DOTA和HRSC2016上验证了算法的有效性,结果显示本文算法在DOTA数据集上与基准算法比较,平均精度(mAP)提升了22.65%,最终检测精度mAP达到了76.78%。在HRSC2016数据集上,最终检测精度mAP达到了89.95%。此外,本文算法较多种先进算法相比均有具有较好的提升。     

融合多尺度特征注意力的遥感影像变化检测方法EI北大核心CSCD

深度学习技术已经成为遥感影像变化检测研究的主流方法,现有的基于深度学习的变化检测方法主要是获取单一尺度的变化特征,而在现实场景中,变化区域的尺度具有多样性。为此,本文提出了融合多尺度特征注意力的遥感影像变化检测方法,通过关注多尺度融合策略来解决变化检测存在的多尺度问题。首先,利用特征金字塔网络自身的多尺度特性,使网络学习到不同尺度的变化特征,为了提升网络感受野和利用全局特征信息,在特征提取网络末端引入扩张卷积空间金字塔模块;然后,在不同变化特征融合时,使用变化特征融合模块来控制信息传播以减少特征融合时的差异性;最后,使用门控机制,将不同尺度预测的变化特征图进行加权求和,最终产生具有高精度的变化特征图。本文方法不仅能获取多尺度变化特征,还能利用全局信息和精确的空间细节来提升预测特征图的空间精度。对比试验表明,本文方法在变化检测基准数据集CDD和LEVIR-CD上取得了较好的结果,召回率分别提高了6.58%和5.26%。     

注意力空洞卷积无人机遥感多目标检测方法研究

针对无人机遥感影像中多类别目标的检测问题,本文提出一种单阶段的深度学习新目标检测模型。在特征提取结构内,首先使用空洞卷积核来构建基本的提取结构,让模型在提取过程中获取感受野更大、原始信息保留更充分的特征图;针对小目标检测精度不佳问题,采用通道注意力与空间注意力组合的多路注意力机制来提高模型对真实目标的关注程度;在特征图连续上采样的基础上,将来自同层以及高层下采样的特征图进行融合来获取鲁棒性更强、语义信息更充分的特征图实施最终的检测。以VisDrone、DLR-MVDA数据集和路采影像组成数据集,并使用暗通道先验等方法对其进行强化,组成训练数据集对模型进行训练。实验结果表明,本文所提出的模型对于无人机遥感影像中的多种类别的目标均能够实现较好的检出,其平均精度均值较其余3种基准模型分别提高8.56%、4.58%及15.81%,检测速度可以达到25帧/s的水平,说明所提出模型能够针对遥感影像中的多类别目标实施快速精准的检测,同时具有较好的泛化能力。     

基于MS-DeepLabV3+的街景语义分割及城市多维特征识别

传统城市特征识别采用空间和统计方法提取分析指标,特征评价指标主观性较大。街景影像包含城市视觉信息,可以进行城市特征识别。以中国青岛市为例,构建面向街景的多尺度语义分割模型MS-DeepLabV3+。在编码区增加全特征提取通道聚合多尺度特征;在解码区增加多尺度特征提取通道,有效捕捉低层次特征;引入注意力机制模块和通道注意力,聚焦关键特征,提高街景语义分割的准确性,模型平均交并比、精确率和召回率分别提高了3.47%、2.37%和3.96%。在地块尺度上,从6个维度建立了城市多维特征向量,即环境维度、设施便利维度、经济富裕度、交通维度、城市安全维度和城市综合度,结合兴趣点数据和居住用地数据,以表征青岛市各城区的城市特征。使用Grad-CAM方法对语义分割模型进行可解释分析,采用特征归因SHAP方法挖掘了城市多维特征的内在驱动因素。结果发现,不同城区具有不同的特征向量,不同城区的特征向量具有在特定维度上的优势。研究结果有助于优化城市空间中多维度特征,为城市的规划建设提供参考。     

高分辨率遥感影像场景的多尺度神经网络分类法

高分辨率遥感影像场景分类是实现复杂场景快速自动识别的基础,在军事、救灾等领域有十分重要的意义。为了在有限的遥感数据集上获得高识别精度,本文提出了一种基于联合多尺度卷积神经网络模型的高分辨率遥感影像场景分类方法。不同于传统的卷积神经网络模型,JMCNN建立了一个具有3个不同尺度通道的端对端多尺度联合卷积网络模型,包括多通道特征提取器、多尺度特征联合和Softmax分类3个部分。首先,多通道特征提取器提取图像中、高层多尺度特征;然后,多尺度特征联合对多个通道的中、高层多尺度特征进行多次融合以增强特征表达;最后,Softmax对高层特征进行分类。本文在UC Merced和SIRI遥感数据集进行测试,试验表明JMCNN模型在特征表达和计算速度方面均有显著提高,在小样本数据量下分别达到89.3%和88.3%的识别精度。     

基于改进ShuffleNetv2的轻量化遥感影像地面目标检测方法

提出一种用于遥感影像地面目标检测的轻量化检测模型,以ShuffleNetv2作为模型的特征提取骨干网络,在网络前三层引入基于风格重新校准通道注意力模块来提高模型对小尺寸样本的学习能力;使用多级特征图融合机制构建特征图金字塔,将浅层特征与深层充分融合,以进一步增强模型对不同尺寸目标特征的学习能力。基于RSOD Dataset创建训练和测试数据集,并在消融实验中验证了所使用改进策略对精度提高的实际效果,在模型对比试验中验证了本文模型在检测精度、速度以及模型体量方面的优越性。     

注意力引导特征融合与联合学习的遥感影像场景分类

为充分利用遥感影像的多尺度特征，解决遥感影像尺度差异、类间相似和类内差异等现象给高精度场景分类造成的困难，本文提出了一种注意力引导特征融合和联合学习的遥感影像场景分类方法。首先，利用深层卷积神经网络提取影像不同层次的特征图；然后，利用设计的残差注意力机制增强不同层次特征图的语义信息、抑制冗余噪声信息；最后，使用全局均值池化获取不同层次特征图的全局信息以构建特征向量，并将不同层次的特征向量融合，3个不同层次的特征向量及融合后的特征向量分别采用独立的全连接层进行分类。利用联合损失训练网络参数，采取多分类器决策级融合的方式提高预测的稳健性。在UC Merced、AID和NWPU-RESISC45数据集上的试验结果表明，本文方法显著改善了对相似场景及类内差异显著场景的辨识能力，与使用多尺度特征的同类型场景分类方法相比，总体分类精度分别提高0.84%、4.04%和4.43%。     

遥感影像船舶检测的特征金字塔网络建模方法

船舶作为海上运输载体,其准确检测在海洋环境保护、海上渔业生产管理、海上交通与应急处置及国防安全应用中都具有重要意义和价值。目前基于目标检测网络的遥感船舶检测方法因末层特征分辨率不足和卷积固定的几何结构,导致网络难以适应小尺度且具有随机朝向、形态多变特征的船舶目标,进而限制船舶检测精度。针对该问题,本文提出一种用于遥感影像船舶检测的特征金字塔网络建模方法。首先引入形变卷积/RoI池化模块,以适应朝向和形态多变的船舶目标;其次借鉴在小目标检测中性能出色的特征金字塔网络的建模思想,采用对称式网络和多尺度特征融合的方式进一步融合高级语义和低级空间信息,提升小尺度目标特征分辨率。在40 000幅、船舶目标67 280余个的遥感影像数据集上的试验结果表明,本文方法能够有效集成形变卷积/RoI池化和多尺度特征融合方法,相较传统CNN船舶检测方法取得明显提升,在准确率、召回率及F_1指标上分别达到85.8%、97.9%和91.5%。     

基于多尺度LBP特征融合的遥感图像分类

针对高光谱遥感图像分类问题,传统的特征提取方法常忽略其本征属性信息和图像的多尺度局部结构特性而使其获取的图像信息量较少,为改进这一缺陷,提出了一种多尺度灰度和纹理结构特征融合的方法模型(multiscale gray and texture structure feature fusion,Ms_GTSFF)进行遥感图像特征提取。首先用多尺度方法提取图像不同尺度下的灰度属性特征,然后利用局部二进制模式的思想获得图像的局部纹理特征信息,同时利用多尺度还能够获取图像更大感受野的特征,接着利用得到的多尺度LBP直方图获取每种编码所对应的灰度属性信息,最后将上述得到的多尺度特征信息进行编码融合,构成了Ms_GTSFF特征提取模型,再连接多种机器学习分类器进行分类识别。以雄安新区(马蹄湾村)航空高光谱遥感影像作为测试数据集,对数据分块预处理后再进行特征提取与分类测试,最高获得了99.44%的分类准确率,在遥感图像分类上与传统方法的识别能力相比有很大的提升,验证了提出模型对于增强遥感图像的特征提取能力以及提高分类识别性能的有效性。