深度递归残差网络的遥感图像空谱融合

为了充分利用多光谱图像的光谱信息和全色图像的空间信息,本文提出一种基于深度递归残差网络的遥感图像空谱融合方法。方法将残差网络和递归网络相结合,利用残差网络学习低空间分辨率多光谱图像与高空间分辨率多光谱图像之间的残差,同时结合全局残差和局部残差,加快网络的收敛速度,解决深层次网络容易出现的梯度消失和梯度爆炸问题;利用递归神经网络在不增加权重参数、减轻过拟合的情况下通过提高网络层数来提高精度,得到更好的图像融合效果。为了验证本文方法的有效性,应用遥感图像进行模拟实验、真实实验和泛化实验,实验结果与传统方法和现有深度学习方法进行对比分析。主观视觉和客观定量评价表明,本文方法很好地改善了传统方法存在的光谱失真现象,并且较现有深度学习方法学习到更深层次丰富的图像特征,更好地保留了图像的空谱信息,同时泛化实验也说明本文的网络具有较好的泛化能力。     

联合空谱信息的高光谱影像深度胶囊网络分类

向量化的胶囊神经元和动态路由式的信息传递机制赋予了胶囊网络更强的特征表示能力。在遥感领域,基于胶囊网络的高光谱影像分类方法已经获得了较传统深度学习模型更为优异的分类结果。针对现有胶囊分类模型中存在的网络浅层、空谱联合信息利用不足等问题,本文利用卷积胶囊层、残差连接、三维卷积胶囊层构建了一种用于高光谱影像分类的新型深度胶囊网络。具体地,本文方法直接以高维数据立方体作为网络输入,并利用胶囊残差块逐层提取数据中的深层抽象特征。为了更加充分地利用影像中的空谱联合特征,在深层次的胶囊残差块中引入三维卷积胶囊层,以进一步提高分类精度。为了验证本文方法的有效性,选择University of Pavia、Indian Pines和Salinas等3个常用高光谱数据集和一个大规模机载高光谱数据集Chikusei进行实验。结果表明,与现有深度学习模型相比,本文方法能够获得更为优异的分类效果,在4个数据集上分别获得了99.43%、98.85%、97.14%和97.43%的总体分类精度。     

光谱可形变卷积驱动的高光谱图像分类

基于卷积神经网络的高光谱图像分类是当前的研究热点,先后发展了空洞卷积、可形变卷积等先进模型。然而,现有可形变卷积只在空间维偏移,忽略了高光谱图像光谱之间的差异信息。为此,本文将可形变卷积从空间维扩展到光谱维,设计了光谱可形变卷积,提出了光谱可形变卷积网络SDCNN（Spectral Deformable Convolutional Neural Network）。首先,利用全连接层学习光谱可形变卷积的偏移量,采用线性差值对图像光谱维进行特征校准;其次,采用多层1×1卷积进行光谱维特征聚合;最后,使用三维卷积层提取光谱?空间联合特征。不同于空间可形变卷积,光谱可形变卷积只在光谱维上进行偏移,可以为不同类别选择更合适的特征波段,提升模型的判别性。在国际通用测试数据Indian Pines、University of Pavia以及University of Houston上进行了实验,结果表明：本文提出的SDCNN方法优于其他深度学习方法,在相同样本条件下取得了更高的分类精度,总体精度达到了98.86%（Indian Pines,10%/类）、99.81%（University of Pavia,5%/类）以及97.41%（University of Houston,50个/类）,验证了该方法的有效性。     

完全残差连接与多尺度特征融合遥感图像分割

遥感图像数据规模大，光照、遮挡等情况复杂，目标密集、尺度不一以及缺乏大量带标注图像用于训练深度网络等特点对遥感图像分割的完整性和正确性造成了更大的挑战。针对深度卷积网络中因多次卷积造成分辨率显著下降，像素类别预测精度降低的问题，本文在深度卷积编码—解码网络的基础上设计了一个采用完全残差连接和多尺度特征融合的端到端遥感图像分割模型。该模型具有两方面优点：首先，长距离和短距离的完全残差连接既简化了深层网络的训练，又为本层末端融入了原始输入信息，增强了特征融合。其次，不同尺度和方式的特征融合使网络能够提取丰富的上下文信息，应对目标尺度变化，提升分割性能。本文通过对ISPRS Vaihingen和Road Detection数据集做数据扩充并进行实验，分别从平均IOU、平均F1值两方面对模型进行评价。通过与目前先进的模型以及文献中的研究成果进行比较，结果表明本文所提模型优于对比模型，在两个数据集上的平均IOU分别达到了85%和84%，平均F1值分别达到了92%和93%，能够有效提高遥感图像目标分割的完整性和正确性。     

基于多尺度形变特征卷积网络的高分辨率遥感影像目标检测

传统的基于滑窗搜索和人工设计特征相结合的目标检测方法难以适用于海量高分辨率遥感图像的目标检测任务。本文提出了一种基于多尺度形变特征卷积网络的目标检测方法,利用可形变卷积网络对具有尺度和方向变化的遥感图像目标进行特征提取,然后对多层残差模块提取出的形变特征进行区域预测和鉴别。具体模型包括两个子网络：①目标区域预测子网络用于从多层深度特征图提取目标候选区域;②目标区域鉴别子网络用于对目标候选区域进行分类和位置回归。本文在光学卫星图像10类目标数据集上对比了多种基于深度学习的目标检测算法,并将训练好的模型用于谷歌地球影像飞机坟场数据集和高分2号、吉林1号数据集的评估,试验结果表明本文方法能够快速准确地对多类目标进行检测,具有较好的稳健性和迁移性。     

基于残差网络特征融合的高光谱图像分类

深度学习技术因其在深度挖掘地物特征方面的独特优势为高光谱图像分类提供了技术手段。但是在高光谱图像的像素级地物分类中,由于样本输入尺寸的影响导致深度学习的层数受限,不能充分挖掘高光谱图像中的深度特征,为此提出基于残差网络特征融合的高光谱图像分类方法。首先通过主成分分析(principal component analysis,PCA)方法提取原始高光谱图像中的第一主成分,利用残差网络有效提取地物空谱特征;再通过反卷积算法实现特征图的扩充,将反卷积后不同维度的特征进行多尺度特征融合,充分挖掘高光谱图像中的深度特征信息,进一步提升高光谱图像分类精度。对"珠海一号"卫星拍摄的江苏太湖和安徽巢湖两个区域进行地物分类实验,结果表明,与其他方法相比,该方法有效解决了高光谱图像分类中深度特征提取不足的问题,获得了更好的分类性能。     

空间感知残差网络的遥感图像超分辨率重建

为了提升遥感图像超分辨率重建算法纹理细节信息还原能力,该文提出了一种基于特征空间感知损失深度残差网络的遥感图像超分辨率重建算法。该算法增加了深度残差网络中的残差块数量,在网络末端采用了亚像素卷积的方法,并在损失函数中增加了特征空间感知损失。在UCMerced_LandUse数据集上进行了训练,并在UCMerced_LandUse数据集和Draper Satellite Image Chronology数据集上进行了测试。测试结果证实了该算法与其他算法相比在峰值信噪比和结构相似性指数上均有一定的提高,证实了该算法较好的超分辨率重建效果与还原遥感图像纹理细节信息的能力。     

深度残差网络的多光谱遥感图像显著目标检测

本文侧重于介绍智能化摄影测量深度学习的深度残差方法。显著目标检测致力于自动检测和定位图像中人最感兴趣的目标区域。多波段遥感图像因其更加丰富的光谱信息和揭示观测目标物理属性的能力在目标检测中获得重要应用。传统的显著目标检测方法通过手工设计特征,计算图像各像素或者超像素与邻域像素或者超像素之间的对比度检测显著目标。随着深度学习的巨大发展,特别是全卷积神经网络的引入,基于深度卷积网络的显著目标检测算法取得重要进步。然而,由于数据获取和标记的困难,多波段遥感图像显著目标检测的研究依然主要采用手工设计特征。本文研究基于深度卷积神经网络的多波段遥感图像显著目标检测算法,提出一种基于深度残差网络的自上而下的多光波段遥感图像显著目标检测网络,该网络可以有效挖掘深度残差网络不同层次上的显著性特征,以端对端方式实现显著目标检测。为了应对多波段遥感图像数据量有限、无法训练深度残差网络的问题,本文提出通过浅层神经网络从RGB图像直接生成多波段遥感图像,实现光谱方向的超分辨率。在现有多波段遥感图像和可见光图像显著目标检测数据集上的试验结果超过当前最好方法10%以上,验证了本文方法的有效性。     

联合空-谱信息的高光谱影像深度三维卷积网络分类

针对高光谱影像分类高维和小样本的特点,提出一种基于深度三维卷积神经网络的高光谱影像分类方法。首先,该方法直接以高光谱数据立方体为输入,利用三维卷积操作提取高光谱数据立方体的三维空-谱特征。然后,利用残差学习构建深层网络,提取更高层次的特征表达,以提高分类精度。最后,采用Dropout正则化方法防止过拟合。利用Pavia大学、Indian Pines和Salinas 3组高光谱数据进行试验验证,结果表明,与支持向量机和现有的基于深度学习的高光谱影像分类方法相比,该方法能有效提高高光谱影像的地物分类精度。     

深度融合网结合条件随机场的遥感图像语义分割

为了充分利用遥感图像中丰富的细节信息和上下文信息,提高图像语义分割精度,提出一种深度融合网结合条件随机场模型的遥感图像语义分割方法。方法在全卷积神经网络框架中增加反卷积融合结构,搭建深度融合DFN (Deep Fusion Networks)网络,通过深层网络自动获取多尺度特征,避免人工设计和选择特征,提高模型的泛化能力;同时借助反卷积融合结构,利用多尺度信息,将浅层细节信息和深层语义信息相融合,提高模型的处理精度。由全连接条件随机场引入空间上下文信息,更好地定位边界,得到最终的语义分割结果。在遥感图像数据集上的实验结果显示:(1)随着不同尺度细节信息的融入,结果的边缘轮廓越精确、接近标签图像;(2)增加了空间上下文信息后,语义分割结果边缘更细化、准确,精度更高。实验表明,该方法可以有效提高遥感图像语义分割的精度,改善结果的过平滑现象。     

Deep Fusion of Localized Spectral Features and Multi-scale Spatial Features for Effective Classification of Hyperspectral Images

This study presents a deep extraction of localized spectral features and multi-scale spatial features convolution (LSMSC) framework for spectral-spatial fusion based classification of hyperspectral images (HSIs). First, adjacent spectral bands are grouped based on their similarity measurements, where the whole hypercube is partitioned into several sub-cubes, each corresponding to one band group. Then, the proposed localized spectral features extraction (LSF) strategy is used to extract localized spectral features, which are extracted from each band group using the 1D convolutional neural network (CNN). Meanwhile, the proposed HiASPP strategy is employed to extract the multi-scale features from the first several principal components of each sub-cube. Finally, the extracted spectral and spatial features are concatenated for spectral-spatial fusion based classification of HSI. Experiments conducted on three publicly available datasets have demonstrated that the proposed architecture outperforms several state-of-the-art approaches.     

联合卷积神经网络与集成学习的遥感影像场景分类

针对人工设计的中、低层特征难以实现复杂场景影像的高精度分类以及卷积神经网络依赖大量训练数据等问题，结合迁移学习与集成学习，提出了一种联合卷积神经网络与集成学习的遥感影像场景分类算法。首先基于迁移学习的思想，利用在自然影像数据集上训练好的多个深层卷积神经网络模型作为特征提取器，提取图像多个高度抽象的语义特征；然后构建由Logistic回归和支持向量机组成的Stacking集成模型，对同一图像的多个特征分别训练Logistic模型，将预测概率结果融合构建概率特征；最后利用支持向量机对概率特征训练和预测，得到场景影像的分类结果。利用UCMerced_LandUse和NWPU-RESISC 45两种不同规模的遥感影像数据集进行试验，即使在只有10%的数据作为训练样本情况下，本文方法能够分别达到90.74%和87.21%的分类精度。     

双分支网络架构下的图像相似度学习

图像相似度学习是指通过网络学习图像内容信息来预测两张图像是否匹配。迄今为止，基于卷积神经网络改进的变体网络有效提升了学习效率，但由于提取特征比较单一无法准确描述图像特征，导致相似度学习效率较低。为此，本文提出一种基于卷积神经网络结构的双分支网络。该网络为左右分支网络结构相同，但权值不共享，网络输入为双分支输入。首先由左右分支网络分别提取单通道图像特征；然后通过特征融合层进行特征融合；最后将融合特征直接输入全连接层进行相似度学习，既改善了提取的图像特征多样性，又加快了模型训练速度。在实验室工业相机拍摄的芯片卡槽图像数据集上进行对比试验，结果表明，相比其他模型，本文提出的模型具有较强的网络学习能力和模型泛化能力，准确率高达97.96%。     

高光谱图像混合像元多维卷积网络协同分解法

受成像光谱仪性能与复杂地物分布的影响,高光谱图像存在大量的混合像元。传统的基于学习的混合像元分解方法通常都是浅层模型,或缺少对空间、光谱信息的综合应用。本文提出一种多维卷积网络协同的混合像元分解深层模型,采用多种维度卷积网络能更充分利用多种维度语义信息,有利于估计小样本和高维的高光谱图像混合像元丰度。对训练数据进行增广处理,构建光谱维、空间维和立方体3种卷积神经网络;设计了融合层,协同3种卷积神经网络提取特征,“端到端”的估计混合像元丰度值;模型使用了批量归一化、池化和Dropout方法避免过拟合现象。试验结果表明,多维卷积网络协同方法的引入能更有效地提取空-谱特征信息,与其他的卷积网络解混模型相比,估计的混合像元丰度精度有显著提高。     

基于深度学习理论的无人机影像分类

针对无人机影像深度学习分类方法缺乏现状,本文利用深度学习理论卷积神经网络方法对无人机影像进行了分类。该法首先抽取无人机影像作为训练集和检验集,然后建立一个2个卷积层-池化层的卷积神经网络模型进行深度学习,通过设定参数并运行模型实现无人机影像分类。实验表明,本文提出的方法可完成较复杂地区无人机影像分类,其分类精度与支持向量机方法相当,为无人机遥感影像分类提供了一个崭新的技术视点。     

高分辨率遥感影像的深度学习变化检测方法

为提升高分辨率遥感影像的变化检测精度,提出一种利用深度学习的变化检测方法。在预处理的基础上,利用顾及邻域信息的改进变化矢量分析算法和灰度共生矩阵算法获取影像间光谱和纹理变化,并通过设置自适应采样区间提取最可能的变化和未变化区域样本。构建并训练包含标签层的高斯伯努利深度限制玻尔兹曼机模型,以提取变化和未变化区域深层特征,从而有效辨别变化区域。通过WorldView-3与Pléiades-1影像的试验表明本文方法在变化检测精度方面优于对比方法。     

SARBuD 1.0： 面向深度学习的GF-3 精细模式SAR建筑数据集

合成孔径雷达SAR（Synthetic Aperture Radar）是开展城市建筑区信息获取与动态监测的重要数据源。本文建立了一个面向深度学习建筑区提取的中高分辨率SAR建筑区数据集SARBuD1.0 （SAR BUilding Dataset）。该数据集包含了覆盖中国不同区域的27景高分三号（GF-3）精细模式SAR图像,并从中获取了建筑区共计60000个SAR样本数据,结合光学图像与专家解译,制作了与样本数据对应的标签图像。SARBuD1.0数据集包含了不同地形场景类型、不同分布类型、不同区域的建筑区。该数据集可支持研究者对建筑区进行图像特征分析、辅助图像理解,并可对当前热点深度学习方法提供训练、测试数据支持。本文以山区建筑为例,使用传统纹理特征与深度学习特征对建筑区进行了特征分析与比较,相比于传统的人工设计的纹理特征,卷积神经网络具有更深、更多的特征,利用网络模型浅层的不同卷积核采样可得到各种纹理特征,在网络的深层卷积结构中可获取代表着类别的深层语义特征,使得分类器能更好地检测并提取图像中指定的目标。基于本数据集利用深度学习方法对不同地形区域的建筑区进行提取实验。实验结果表明基于本数据集训练的深度学习模型,对建筑区提取可以取得良好的结果,说明该数据集可以很好支持面向大数据的深度学习方法。其他学者可以基于SARBuD1.0数据集开展建筑区图像特征分析与语义分割提取等方面的研究。     

结合面向对象和深度特征的高分影像树种分类

针对传统手工提取特征方法需要专业领域知识，提取高质量特征困难的问题，将深度迁移学习技术引入到高分影像树种分类中，提出一种结合面向对象和深度特征的高分影像树种分类方法。为了获取树种的精确边界，该方法首先利用多尺度分割技术分割整幅遥感影像，并选择训练样本作为深度卷积神经网络的输入。为了避免样本数量少导致过拟合问题，采用迁移学习方法，使用ImageNet上训练的VGG16模型参数初始化深度卷积神经网络，并利用全局平局池化压缩参数，在网络最后添加1024个节点的全连接层和7个节点的Softmax分类器，利用反向传播和Adam优化算法训练网络。最后分类整幅遥感影像，生成树种专题地图。以安徽省滁州市的皇甫山国家森林公园为研究区，QuickBird高分影像作为数据源，采用本文方法进行树种分类。试验结果表明，本文方法树种分类总体精度和Kappa系数分别为78.98%和0.685 0，在保证树种精度的同时实现了端到端的树种分类。     

一种高分辨率遥感影像建筑物自动检测方法

高分辨率遥感影像具有丰富的空间信息、地物几何结构和纹理信息,有助于对地物目标进行认知和解译。而建筑物目标在人类活动区域内占据重要地位,对高分辨率遥感影像中的建筑物进行自动检测具有重大意义。提出了一种基于全卷积神经网络的建筑物自动检测方法,并制作了建筑物样本数据集,利用基于区域的全卷积神经网络和特征检测网络进行建筑物检测模型的参数训练,对待检测影像进行预处理之后利用模型进行建筑物检测,得到影像中的建筑物目标的具体位置和类别置信度。实验证明,提出的检测方法具有更好的效果和更快的速度。检测召回率达到92%,检测准确率达到98%,证明了该方法针对建筑物检测具有较高的精度和较强的稳定性。