空间感知残差网络的遥感图像超分辨率重建

为了提升遥感图像超分辨率重建算法纹理细节信息还原能力,该文提出了一种基于特征空间感知损失深度残差网络的遥感图像超分辨率重建算法。该算法增加了深度残差网络中的残差块数量,在网络末端采用了亚像素卷积的方法,并在损失函数中增加了特征空间感知损失。在UCMerced_LandUse数据集上进行了训练,并在UCMerced_LandUse数据集和Draper Satellite Image Chronology数据集上进行了测试。测试结果证实了该算法与其他算法相比在峰值信噪比和结构相似性指数上均有一定的提高,证实了该算法较好的超分辨率重建效果与还原遥感图像纹理细节信息的能力。     

基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测

传统的基于滑窗搜索和人工设计特征相结合的目标检测方法难以适用于海量高分辨率遥感图像的目标检测任务。本文提出了一种基于多尺度形变特征卷积网络的目标检测方法,利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取,然后对多层残差模块提取出的形变特征进行区域预测和鉴别。具体模型包括两个子网络：①目标区域预测子网络用于从多层深度特征图提取目标候选区域;②目标区域鉴别子网络用于对目标候选区域进行分类和位置回归。本文在光学卫星图像10类目标数据集上对比了多种基于深度学习的目标检测算法,并将训练好的模型用于谷歌地球影像飞机坟场数据集和高分2号、吉林1号数据集的评估,试验结果表明本文方法能够快速准确地对多类目标进行检测,具有较好的稳健性和迁移性。     

完全残差连接与多尺度特征融合遥感图像分割

遥感图像数据规模大,光照、遮挡等情况复杂,目标密集、尺度不一以及缺乏大量带标注图像用于训练深度网络等特点对遥感图像分割的完整性和正确性造成了更大的挑战。针对深度卷积网络中因多次卷积造成分辨率显著下降,像素类别预测精度降低的问题,本文在深度卷积编码—解码网络的基础上设计了一个采用完全残差连接和多尺度特征融合的端到端遥感图像分割模型。该模型具有两方面优点：首先,长距离和短距离的完全残差连接既简化了深层网络的训练,又为本层末端融入了原始输入信息,增强了特征融合。其次,不同尺度和方式的特征融合使网络能够提取丰富的上下文信息,应对目标尺度变化,提升分割性能。本文通过对ISPRS Vaihingen和Road Detection数据集做数据扩充并进行实验,分别从平均IOU、平均F1值两方面对模型进行评价。通过与目前先进的模型以及文献中的研究成果进行比较,结果表明本文所提模型优于对比模型,在两个数据集上的平均IOU分别达到了85%和84%,平均F1值分别达到了92%和93%,能够有效提高遥感图像目标分割的完整性和正确性。     

基于密集卷积神经网络的遥感影像超分辨率重建

针对传统遥感影像超分辨率重建方法依赖同一场景多时相图像序列且需预先配准等缺点,本文提出了一种基于密集卷积神经网络的遥感影像超分辨率重建的方法。该网络直接将低分辨率遥感影像作为网络的初始输入,通过密集卷积神经网络学习影像的高阶表示,获得更具有表达能力的深层特征;同时,在网络中采用并行的1×1卷积滤波器结构,通过该结构减少模型参数;在重建网络中使用亚像素卷积可以更快地实现特征图的重建。在UCMerced_LandUse公共数据集上的实验表明:本文的网络模型提升了传统深度网络的影像重建性能,增强了重建图像的纹理细节并改善影像边缘失真,提升了重建影像的性能。     

生成式知识迁移的SAR舰船检测

为解决基于深度卷积神经网络进行SAR舰船检测网络训练过程中数据获取、数据标注等问题,本文提出一种生成式知识迁移的SAR舰船检测框架,该框架由生成式知识迁移网络和舰船检测网络两部分组成。通过知识迁移网络生成与有标注的光学遥感图像空间分布一致且包含SAR图像特征的带标注模拟图像;使用所生成的带标注模拟图像,进一步优化舰船检测网络,以提高基于深度卷积神经网络的舰船检测的泛化性能。SARShip-Detection-Datasets (SSDD)和AIR-SARShip-1.0两个公开数据集上的实验结果表明,该框架有效提高了在仅包含少量标注SAR图像样本情况下的舰船目标检测效果,可显著降低舰船在复杂背景图像中漏检和误检的概率。     

结合超像素和卷积神经网络的国产高分辨率遥感影像云检测方法

由于国产高分辨率卫星遥感影像波段少、光谱范围窄,导致传统云检测方法精度低。本文提出了基于卷积神经网络的高分辨率遥感影像云检测方法。首先采用主成分分析非监督预训练网络结构,获取待测遥感影像云特征;然后采用超像素分割方法进行影像分割;最后将检测结果影像块拼接,完成整幅影像云检测。试验效果评价表明,基于卷积神经网络的高分辨率遥感影像云检测方法不受光谱范围限制,云检测精度高,误判较少,适合国产高分辨遥感影像云检测。     

级联卷积神经网络的遥感影像飞机目标检测

传统遥感影像飞机目标检测算法依赖于人工设计特征,对大范围复杂场景和多尺度的飞机目标稳健性较差,基于深层卷积神经网络的目标检测算法通常难以有效应对大幅影像的目标搜索和弱小目标检测问题,针对上述问题,本文提出了一种基于级联卷积神经网络的遥感影像飞机目标检测算法。首先根据全卷积神经网络能够支持输入任意大小图像的特点,采用小尺度浅层全卷积神经网络对整幅影像进行遍历和搜索,快速获取疑似飞机目标作为兴趣区域,然后利用较深层的卷积神经网络对兴趣区域进行更精确的目标分类与定位。为提高卷积神经网络对地物目标的辨识能力,在卷积层中引入多层感知器,并在训练过程中采取多任务学习与离线难分样本挖掘的策略;在测试阶段,建立影像金字塔进行多级搜索,并结合非极大值抑制消除冗余窗口,从而实现由粗到精的飞机目标检测与识别。对多个数据集下多种复杂场景的遥感影像进行测试,结果表明,本文方法具有较高的准确性和较强的稳健性,可为大幅遥感影像的飞机目标检测问题提供一个快速高效的解决方案。     

基于卷积神经网络的高分辨率遥感影像目标检测方法研究EI北大核心CSCD

高分辨率遥感影像目标检测作为高分对地观测系统中影像信息自动提取及分析理解的重要内容,对高分对地观测系统应用价值的发挥具有重要影响。卷积神经网络作为最热门的深度学习模型,由于其可以根据海量数据和标注自行进行有效图像特征提取和学习,在训练数据充足的情况下,模型具有良好的泛化能力,能够在复杂多变的条件下依然保持良好的稳健性和普适性。因此,基于卷积神经网络的目标检测架构被相继提出,但现有网络架构多是针对自然图像设计的,相对于自然图像,高分辨率遥感影像存在背景更加复杂、目标尺度更小、同类目标尺度变化更大和影像尺寸更大等特点;将这些网络架构直接用于高分辨率遥感影像目标检测会存在网络目标建议框尺度不匹配,待检影像相对于网络输入过大,以及缺乏训练数据等问题。针对上述问题,论文系统性地开展基于卷积神经网络的高分辨遥感影像目标检测方法研究。主要研究内容如下。     

面向精细化多尺度特征的遥感图像目标检测EI北大核心CSCD

遥感图像目标检测是对目标视觉特征的描述与图像先验知识的表达,解译得到的信息无论在军事领域还是在民用领域都有着广泛的应用。针对复杂场景下遥感图像目标特征提取能力不足,目标尺度差异较大、方向任意且紧密排列,传统目标检测所使用的水平框难以准确定向等问题,提出了一种精细化多尺度特征的遥感图像定向目标检测算法。首先,设计了一种基于空洞卷积的上下文注意力网络,能够利用不同空洞率的卷积核捕获局部和全局语义信息,并利用注意力机制将语义信息整合到原始特征上,提升目标特征提取能力;其次,提出了一个精细化的特征金字塔网络,通过像素混洗的方式减少特征金字塔中的通道信息损失,强化网络对差异性大的多尺度目标特征信息的理解能力;最后,研究利用滑动顶点的方式回归定向的矩形框,更好地表示遥感图像内有向目标的位置。本文以Fast R-CNN OBB为基准,通过在目标检测公开数据集DOTA和HRSC2016上验证了算法的有效性,结果显示本文算法在DOTA数据集上与基准算法比较,平均精度(mAP)提升了22.65%,最终检测精度mAP达到了76.78%。在HRSC2016数据集上,最终检测精度mAP达到了89.95%。此外,本文算法较多种先进算法相比均有具有较好的提升。     

改进残差网络的遥感图像场景分类

针对因常规残差网络(ResNet)结构缺少跨维度特征整合而导致遥感图像场景分类准确率不高的问题,该文提出了一种改进残差网络的遥感图像场景分类方法。首先,利用残差结构降低深层网络的复杂度,减少参数量,解决网络退化的问题;然后,采用1×1的卷积结构降低特征维度,增加网络的宽度,整合遥感图像的空间信息和纹理特征。在NWPU-RESISC45数据集上进行实验,准确率达到了93.63%,较集成卷积神经网络方法的分类精度提高了1.1%,体现了改进的残差网络在遥感图像场景分类中的有效性和可行性。     

变分法遥感影像人工地物自动检测

人工地物（建筑物、道路、桥梁等）检测是目标识别的一个重要组成部分。本文将人工地物检测转换为能量泛函数最优化问题。首先对遥感影像进行超像素分割,综合图像的颜色、纹理、梯度等信息,以超像素为单元计算图像的显著度信息,然后构建一个包含显著性约束、面积和边界约束、纹理约束及灰度方差约束的能量泛函数,通过变分法迭代求解能量泛函最小值,获取目标前景部分即为人工地物区域。本文以重庆和广东某地的遥感影像数据为例对算法进行验证,将其与常见的人工地物目标提取算法,如C-V模型、MRF模型,以及当下研究较为热门的深度学习算法进行对比。试验结果表明,该算法能有效地检测出遥感影像中的人工地物区域,并保证较低的误检率及漏检率。论文对该方法与深度学习方法进行了一定的分析对比。     

联合卷积神经网络与集成学习的遥感影像场景分类

针对人工设计的中、低层特征难以实现复杂场景影像的高精度分类以及卷积神经网络依赖大量训练数据等问题，结合迁移学习与集成学习，提出了一种联合卷积神经网络与集成学习的遥感影像场景分类算法。首先基于迁移学习的思想，利用在自然影像数据集上训练好的多个深层卷积神经网络模型作为特征提取器，提取图像多个高度抽象的语义特征；然后构建由Logistic回归和支持向量机组成的Stacking集成模型，对同一图像的多个特征分别训练Logistic模型，将预测概率结果融合构建概率特征；最后利用支持向量机对概率特征训练和预测，得到场景影像的分类结果。利用UCMerced_LandUse和NWPU-RESISC 45两种不同规模的遥感影像数据集进行试验，即使在只有10%的数据作为训练样本情况下，本文方法能够分别达到90.74%和87.21%的分类精度。     

结合卷积神经网络与显著性特征的机场检测

遥感影像机场检测中,针对传统人工设计特征的方法稳健性差、检测耗时的问题,提出了一种结合卷积神经网络与显著性特征的遥感影像机场检测算法。利用卷积神经网络快速准确地检测出机场目标,确定兴趣区域,对兴趣区域进行显著性检测和连通区提取,从而获取更加精确的机场边界,最后利用多种场景下的影像进行测试。结果表明,本文方法具有明显的精度和速度优势;利用频率视觉显著性分析方法对获得的机场区域进行视觉显著性检测,可有效获取机场和跑道的精确边界,提高机场检测的效果和实用价值。     

基于显著性图像与纹理特征的遥感影像云检测

遥感影像云检测是遥感影像处理中非常关键的环节,准确识别影像含云区域能够提升影像的利用价值。根据遥感影像的成像特点,将阈值法和纹理特征结合实现云和下垫面的分割。首先将影像从RGB(red-green-blue)空间转化为HSI(hue-saturation-intensity)空间,进而构建影像的显著性图像,利用Otsu法对显著性图像进行粗分割,再基于灰度共生矩阵分析云和下垫面的纹理特征,进一步提取出准确的云区。实验表明,该算法复杂度较低,提取效果良好。     

神经网络支持下的Sentinel-2卫星影像自动云检测

为解决利用Sentinel-2卫星影像进行地物信息提取时云层遮挡造成的信息误判问题,提出了一种基于深度学习的遥感影像云区高精度分割方法。该方法通过预处理的遥感样本数据构建出一种深度神经网络模型,自动提取高层次影像特征;再将影像特征输入分类器,实现遥感影像的像素级分类,从而分割出云覆盖矩阵;最后将云覆盖矩阵转化为云二值图,结合感兴趣区矢量准确获取指定区域云检测结果。选取典型区域进行测试,结果表明：该方法检测精度较高,速度较快,且无须辅助信息与人工干预,可用于Sentinel-2卫星影像不规则区域自动云检测。     

基于增强DeepLabV3网络的高分辨率遥感影像分类

由于高分影像具有地物细节丰富、类别差异大等特点,现有的卷积神经网络影像分类方法普遍存在分类精度低、地物边界不准确等问题。鉴于此,本文提出一种基于增强DeepLabV3网络的影像分类模型。首先构建R-MCN网络结构,利用大小不同的卷积核并结合残差网络的思想进一步提取浅层网络的多尺度、多层次的特征信息;然后采用可学习的上采样方式,并将R-MCN提取的特征与高阶的语义信息相融合;最后通过提出的Mloss损失函数,获得遥感影像的地物分类结果。试验结果表明,相对于传统的卷积神经网络,本文方法能细化地物的边缘信息,改善分类效果,获得更高的影像分类精度。     

遥感图像质量等级分类的深度卷积神经网络方法

遥感图像应用发展对图像质量的要求越来越高,不同质量的遥感图像往往需要不同的处理方法和参数。通过遥感图像质量等级分类研究,不仅能够为遥感图像的处理提供先验信息,还能够对遥感图像的客观质量评价和传感器的成像效果进行评估。为了克服现有的遥感图像质量等级分类方法计算参数获取困难、等级数量少的缺点,利用深度学习方法的分类机能,通过改进特征提取网络和等级分类设计,建立了一种基于深度卷积神经网络的遥感图像质量等级分类模型。通过质量等级分类预处理后,利用经典的深度学习方法进行目标检测实验。结果表明,所提方法在西北工业大学遥感图像数据集上质量等级分类的准确率、召回率、精确率和F1最高能达到0.976、0.972、0.974和0.973, 优于传统算法。利用卷积神经网络实现遥感图像质量等级分类,既拓展了深度学习的应用领域,又为遥感图像质量评估提供了一个新方法。     

Region of interest extraction via common salient feature analysis and feedback reinforcement strategy for remote sensing images

Saliency detection is an effective approach to extract regions of interest (ROIs) for remote sensing images. However, existing saliency detection models mainly focus on ROI extraction from a single image and usually are not able to produce satisfactory results because of complex background interference in remote sensing images. The employment of mutual information in a set of remote sensing images can provide an effective solution to this issue. In this paper, we propose a novel saliency detection model for multiple remote sensing images to simultaneously extract ROIs and identify images without ROIs. First, common salient feature analysis based on synthesized feature clustering and global contrast is implemented to exploit global correspondence in the synthesis feature domain, thereby highlighting preliminary ROIs against background interference and assigning lower saliency values to images without ROIs. Then, we design an exclusion criterion based on saliency value judgment to remove images without ROIs, and the remaining saliency maps are refined by an enhancement strategy. Finally, the enhanced maps serve as a feedback to yield a homogenous synthesized feature space in which integral ROIs with subtle borders are extracted by the reused cluster-based saliency calculation. Experiments reveal that our model outperforms seven state-of-the-art models by achieving the best ROC curve (AUC = 0.945) and maximal F-measure at 0.729.     

高分辨率遥感影像解译中的机器学习范式

高分辨率遥感影像解译是遥感信息处理领域的研究热点之一,在遥感大数据知识挖掘与智能化分析中起着至关重要的作用,具有重要的民用和军事应用价值。传统的高分辨率遥感影像解译通常采用人工目视解译方式,费时费力且精度低。所以,如何自动、高效地实现高分辨率遥感影像解译是亟待解决的问题。近年来,随着人工智能技术的飞速发展,采用机器学习方法实现高分辨率遥感影像解译已成为主流的研究方向。本文结合高分辨率遥感影像解译的典型任务,如目标检测、场景分类、语义分割、高光谱图像分类等,系统综述了5种代表性的机器学习范式。具体来说,本文分别介绍了不同机器学习范式的定义、常用方法以及代表性应用,包括全监督学习(如支持向量机、K-最近邻、决策树、随机森林、概率图模型)、半监督学习(如纯半监督学习、直推学习、主动学习)、弱监督学习(如多示例学习)、无监督学习(如聚类、主成分分析、稀疏表达)和深度学习(如堆栈自编码机、深度信念网络、卷积神经网络、生成对抗网络)。其次,深入分析五种机器学习范式的优缺点,并总结了它们在遥感影像解译中的典型应用。最后,展望了高分辨率遥感影像解译的机器学习发展方向,如小样本学习、无监督深度学习、强化学习等。     

Salient man-made object detection based on saliency potential energy for unmanned aerial vehicles remote sensing image

Abstract

It is difficult to automatically recognize complex ground objects, and massive data images with the super-high ground resolution in images captured by unmanned aerial vehicles (UAVs). In order to directly identify the salient man-made ground objects from the UAV remote sensing (RS) image, a saliency detection method based on saliency potential energy (SPE) is proposed. With a detection, filtration and backtracking strategy, the texture, shape and colour of the UAV RS image are comprehensively and numerally analysed by the SPE to detect the salient man-made objects. Both qualitative and quantitative evaluations have indicated that, compared to the state-of-art saliency detection methods, our method could achieve better performance with better accuracy and less errors, which prove that our method has great application potential in UAV RS image understanding.