高分辨率遥感影像语义分割的半监督全卷积网络法

在遥感领域,利用大量的标签影像数据来监督训练全卷积网络,实现影像语义分割的方法会导致标签绘制成本昂贵,而少量标签数据的使用会导致网络性能下降。针对这一问题,本文提出了一种基于半监督全卷积网络的高分辨率遥感影像语义分割方法。通过采用一种集成预测技术,同时优化有标签样本上的标准监督分类损失及无标签数据上的非监督一致性损失,来训练端到端的语义分割网络。为验证方法的有效性,分别使用ISPRS提供的德国Vaihingen地区无人机影像数据集及国产高分一号卫星影像数据进行试验。试验结果表明,与传统方法相比,无标签数据的引入可有效提升语义分割网络的分类精度并可有效降低有标签数据过少对网络学习性能的影响。     

结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割

针对多模态、多尺度的高分辨率遥感影像分割问题,提出了结合空洞卷积的FuseNet变体网络架构对常见的土地覆盖对象类别进行语义分割。首先,采用FuseNet变体网络将数字地表模型（digital surface model,DSM）图像中包含的高程信息与红绿蓝（red green blue,RGB）图像的颜色信息融合;其次,在编码器和解码器中分别使用空洞卷积来增大卷积核感受野;最后,对遥感影像逐像素分类,输出遥感影像语义分割结果。实验结果表明,所提算法在国际摄影测量与遥感学会(International Society for Photogrammetry and Remote Sensing, ISPRS)提供的Potsdam、Vaihingen数据集上的m_F1得分分别达到了91.6%和90.4%,优于已有的主流算法。     

高分辨率遥感影像深度迁移可变形卷积的场景分类法

近年来基于深度卷积神经网络的高分辨率遥感影像场景分类成为广泛关注的焦点.由于现有深度卷积神经网络对遥感场景影像的几何形变不具有稳健性,本文提出了一种基于深度迁移可变形卷积神经网络(DTDCNN)的场景分类方法.该方法先利用大型自然场景数据集ImageNet上训练的深度模型提取遥感影像的深度特征,然后引入可变形卷积层,进...     

基于实例分割模型的建筑物自动提取

传统的遥感影像目标提取方法大多采用目视解译或基于像素信息进行处理,难以适用于高分辨率影像中的复杂场景。而现有的卷积神经网络语义分割模型,由于难以达到较高的精度会出现提取目标粘连的情况。针对该问题,本文对实例分割模型Mask R-CNN进行改进,提出了一种高效、准确的高分辨率遥感影像建筑物提取算法。首先,在Mask R-CNN原有的特征提取部分每个层级的特征图后再增加一层卷积操作,以降低上采样造成的混叠效应;然后,在原有掩膜预测结构的基础上增加一个分支,改善掩膜预测的效果;最后,将改进后的网络在建筑物数据集上进行训练。结果表明,本文方法能够准确独立预测每个建筑物顶部,没有目标粘连情况,且mAP值较Mask R-CNN有所提高,能够有效实现遥感影像建筑物精细化提取。     

基于跨层注意力Unet网络的高分辨率遥感影像建筑物提取研究

使用全卷积神经网络提取高分辨率遥感影像中的建筑物对城市规划、土地资源管理等应用具有重要意义。本文提出一种全卷积神经网络SC-Unet,以Unet架构为基础,采用SELU激活函数,放弃批标准化;使用空间金字塔池化替换最后一个卷积模块,使得SC-Unet的参数量仅为Unet的50%;使用轻量级跨层注意力模块让高层语义指导低层语义。实验在WHU建筑物数据集上进行,结果显示：SC-Unet在测试集上的IOU达到88.1,比Unet高3.2,且推理速度SC-Unet是Unet的2倍。     

结合超像素和卷积神经网络的国产高分辨率遥感影像云检测方法

由于国产高分辨率卫星遥感影像波段少、光谱范围窄,导致传统云检测方法精度低。本文提出了基于卷积神经网络的高分辨率遥感影像云检测方法。首先采用主成分分析非监督预训练网络结构,获取待测遥感影像云特征;然后采用超像素分割方法进行影像分割;最后将检测结果影像块拼接,完成整幅影像云检测。试验效果评价表明,基于卷积神经网络的高分辨率遥感影像云检测方法不受光谱范围限制,云检测精度高,误判较少,适合国产高分辨遥感影像云检测。     

融合余弦退火与空洞卷积的遥感影像语义分割

为了捕捉遥感影像中丰富的上下文信息与多尺度的地物信息,改进集成模型的策略,提高语义分割精度,提出一种融合周期递增余弦退火与多尺度空洞卷积的高分辨率遥感影像语义分割方法。方法引入多尺度并行的空洞卷积,有利于捕捉更大范围的上下文信息,在不增加参数的情况下,提高网络对多尺度对象的辨识能力;使用全连接条件随机场引入空间和边缘的上下文信息,提高网络对遥感影像的细节分割能力;引入周期递增的余弦退火策略调整学习率,获得合适数量的局部最优解,集成局部最优解进一步提升网络在像素上的分类能力。在Gaofen Image Dataset数据集上的实验结果表明,多尺度并行空洞卷积可以充分捕捉遥感影像上的多尺度地物信息,能有效辨识复杂对象;空间和边缘上下文信息的引入使语义分割对象的边界辨识更精准;周期递增余弦退火策略能明显减少集成模型的推理时间,模型的总体精度与Kappa系数均优于目前主流的语义分割模型。     

遥感影像地物分类多注意力融和U型网络法

经典的卷积神经网络在对遥感影像进行地物分类的过程中,由于影像中的地物尺寸和光谱特征差异较大、待分类目标背景环境复杂等问题,经典影像分类方法很难得到理想的分类结果。针对这些问题,本文借鉴U型卷积神经网络多层次特征融和的思想,提出了多注意力融和U型网络(MAFU-Net)。该网络利用注意力模块提取和处理不同层次的语义信息,强化不同位置像素和不同特征图之间的相关性,进而提高网络在复杂背景条件下的分类性能。为了验证本文提出的网络在遥感影像地物分类中的效果,分别在ISPRS上的Vaihingen数据集以及北京、河南两地区高分二号数据集上进行了试验,并与目前主流的语义分割网络进行了对比。试验结果表明,相比其他网络,本文提出的MAFU-Net在不同特点的数据集上均可以得到最佳的地物分类结果。同时,该网络结构简单、计算复杂度低、参数量少,具有很强的实用性。另外,本文充分利用特征可视化手段进行MAFU-Net和其他网络的分类性能对比分析,试验结果表明,目前多数深度学习网络模型的深层次原理和作用机制较为复杂,无法准确解释特定网络为何在某种数据集中会失效。这需要研究人员进一步通过更加高级的可视化表达方法和量化准则来对特定深度学习模型及网络性能进行分析评价,进而对更加高级的模型结构进行设计。     

新型语义分割D-UNet的建筑物提取

高分辨率遥感图像语义分割在航空图像分析领域中具有重要的理论价值和应用价值。但由于高分辨率遥感图像中建筑物语义的丰富性和图像背景的复杂性,以往的分割方法往往容易产生边缘模糊、细节信息丢失和分辨率低等缺点。为了解决高分辨率卫星图像语义分割边界模糊和信息丢失的问题,本文提出一种端到端的卷积神经网络Dilated-UNet (D-UNet)。首先,通过改进U-Net网络结构,采用Dilation技术拓展四通道的多尺度空洞卷积模块,每个通道采用不同的卷积扩张率来识别多尺度语义信息,从而提取更丰富的细节信息。其次,设计了一种交叉熵和Dice系数的联合损失函数,更好的训练模型以达到预期分割效果。最后,在Inria航空图像数据集上进行综合评估与检验。实验结果表明,本文提出的遥感图像分割方法能够有效地从高分辨率遥感图像中进行像素级城市建筑物的分割,与其他方法相比,分割精度更高,具有较高的实际应用价值。     

基于深度卷积神经网络的高分辨率遥感影像场景分类

场景分类对于高分辨率遥感影像的理解和信息提取具有重要意义。传统方法利用低、中级或语义特征来对影像的场景进行判别,但是针对高分影像涵盖的细节多、类别复杂等特点,中低层特征无法对影像语义进行准确描述。本文提出了一种基于深度卷积神经网络DCNN场景分类模型。首先利用卷积层对影像的纹理、颜色等低阶特征进行提取,然后利用池化层对重要特征进行筛选,最后将提取到的特征进行组合,形成高阶语义特征,利用高阶语义特征对高分影像进行场景分类。为了解决模型的过拟合问题,使用了数据增广、正则化及Dropout提高模型的泛化能力。本文方法在UC Merced-21取得了91.33%的准确率,相比于传统方法,有效地提高了分类精度,同时证明了深度卷积神经网络在遥感影像分类领域优越性。     

联合卷积神经网络与集成学习的遥感影像场景分类

针对人工设计的中、低层特征难以实现复杂场景影像的高精度分类以及卷积神经网络依赖大量训练数据等问题，结合迁移学习与集成学习，提出了一种联合卷积神经网络与集成学习的遥感影像场景分类算法。首先基于迁移学习的思想，利用在自然影像数据集上训练好的多个深层卷积神经网络模型作为特征提取器，提取图像多个高度抽象的语义特征；然后构建由Logistic回归和支持向量机组成的Stacking集成模型，对同一图像的多个特征分别训练Logistic模型，将预测概率结果融合构建概率特征；最后利用支持向量机对概率特征训练和预测，得到场景影像的分类结果。利用UCMerced_LandUse和NWPU-RESISC 45两种不同规模的遥感影像数据集进行试验，即使在只有10%的数据作为训练样本情况下，本文方法能够分别达到90.74%和87.21%的分类精度。     

SARBuD 1.0： 面向深度学习的GF-3 精细模式SAR建筑数据集

合成孔径雷达SAR（Synthetic Aperture Radar）是开展城市建筑区信息获取与动态监测的重要数据源。本文建立了一个面向深度学习建筑区提取的中高分辨率SAR建筑区数据集SARBuD1.0 （SAR BUilding Dataset）。该数据集包含了覆盖中国不同区域的27景高分三号（GF-3）精细模式SAR图像,并从中获取了建筑区共计60000个SAR样本数据,结合光学图像与专家解译,制作了与样本数据对应的标签图像。SARBuD1.0数据集包含了不同地形场景类型、不同分布类型、不同区域的建筑区。该数据集可支持研究者对建筑区进行图像特征分析、辅助图像理解,并可对当前热点深度学习方法提供训练、测试数据支持。本文以山区建筑为例,使用传统纹理特征与深度学习特征对建筑区进行了特征分析与比较,相比于传统的人工设计的纹理特征,卷积神经网络具有更深、更多的特征,利用网络模型浅层的不同卷积核采样可得到各种纹理特征,在网络的深层卷积结构中可获取代表着类别的深层语义特征,使得分类器能更好地检测并提取图像中指定的目标。基于本数据集利用深度学习方法对不同地形区域的建筑区进行提取实验。实验结果表明基于本数据集训练的深度学习模型,对建筑区提取可以取得良好的结果,说明该数据集可以很好支持面向大数据的深度学习方法。其他学者可以基于SARBuD1.0数据集开展建筑区图像特征分析与语义分割提取等方面的研究。     

智能优化学习的高空间分辨率遥感影像语义分割

高空间分辨率遥感影像正被广泛应用,而传统分类算法在高分遥感影像上的精度和效率较差,深度学习语义分割算法在实际分类中泛化性较差。为了适应大范围高分遥感影像的特点,提出了一种基于U-Net网络的模拟退火超参数优化与深度可分离卷积语义分割模型。首先在U-Net网络基础上使用了深度可分离卷积模块来进行特征提取,在保持高效性的同时减少模型的参数量和计算量,然后利用基于模拟退火的智能优化学习模型搜索网络超参数的全局最优解,自动优化网络训练初始点,最后在ISPRS2D和GID(Gaofen image dataset)数据集上进行实验。对比实验结果表明,在ISPRS2D数据集的分类结果中,建筑物、低植被和汽车及总体分类精度均有提高,在GID数据集的分类结果中,水域、草地、森林及总体分类精度均有大幅提高。实验结果验证了所提模型的高效性、高精度性与鲁棒性。     

面向多源数据地物提取的遥感知识感知与多尺度特征融合网络

遥感地物自动提取是遥感智能解译中的关键问题,对空间信息的理解和知识发现具有重要意义。近年来,使用全卷积神经网络（fully convolutional networks, FCN）从高分影像和三维激光雷达（light detection and ranging, LiDAR）数据中提取地物信息因取得了较好效果而受到广泛关注。现有FCN网络在地物提取精度和效率等方面仍存在不足,由此提出一种基于多源数据的遥感知识感知与多尺度特征融合网络（knowledge-aware and multi-scale feature fusion network, KMFNet）。在网络编码器端融入遥感知识感知模块（knowledge-aware module, KAM）,高效挖掘多源遥感数据中的遥感知识信息;在网络编码器和解码器之间添加了串并联混合空洞卷积模块（series-parallel hybrid convolution module, SPHCM）,提高网络对地物多尺度特征的学习能力;在解码器端使用了渐进式多层特征融合策略,细化最终的地物分类结果。基于公开的ISPRS语义分割标准数据集,在LuoJiaNET遥感智能解译开源深度学习框架上将KMFNet与当前主流方法进行了对比。实验结果表明,所提方法提取出的地物更为完整,细节更加精确。     

完全残差连接与多尺度特征融合遥感图像分割

遥感图像数据规模大,光照、遮挡等情况复杂,目标密集、尺度不一以及缺乏大量带标注图像用于训练深度网络等特点对遥感图像分割的完整性和正确性造成了更大的挑战。针对深度卷积网络中因多次卷积造成分辨率显著下降,像素类别预测精度降低的问题,本文在深度卷积编码—解码网络的基础上设计了一个采用完全残差连接和多尺度特征融合的端到端遥感图像分割模型。该模型具有两方面优点：首先,长距离和短距离的完全残差连接既简化了深层网络的训练,又为本层末端融入了原始输入信息,增强了特征融合。其次,不同尺度和方式的特征融合使网络能够提取丰富的上下文信息,应对目标尺度变化,提升分割性能。本文通过对ISPRS Vaihingen和Road Detection数据集做数据扩充并进行实验,分别从平均IOU、平均F1值两方面对模型进行评价。通过与目前先进的模型以及文献中的研究成果进行比较,结果表明本文所提模型优于对比模型,在两个数据集上的平均IOU分别达到了85%和84%,平均F1值分别达到了92%和93%,能够有效提高遥感图像目标分割的完整性和正确性。     

基于增强DeepLabV3网络的高分辨率遥感影像分类

由于高分影像具有地物细节丰富、类别差异大等特点,现有的卷积神经网络影像分类方法普遍存在分类精度低、地物边界不准确等问题。鉴于此,本文提出一种基于增强DeepLabV3网络的影像分类模型。首先构建R-MCN网络结构,利用大小不同的卷积核并结合残差网络的思想进一步提取浅层网络的多尺度、多层次的特征信息;然后采用可学习的上采样方式,并将R-MCN提取的特征与高阶的语义信息相融合;最后通过提出的Mloss损失函数,获得遥感影像的地物分类结果。试验结果表明,相对于传统的卷积神经网络,本文方法能细化地物的边缘信息,改善分类效果,获得更高的影像分类精度。     

多结构卷积神经网络特征级联的高分影像土地利用分类

高分辨率遥感影像包含丰富的土地利用类型信息,针对单一卷积神经网络提取图像特征信息不足的问题,提出了一种多结构卷积神经网络（convolutional neural network,CNN）特征级联的分类方法。首先,选择CaffeNet（convolutional architecture for fast feature embedding）、VGG-S（visual geometry group-slow）、VGG-F（visual geometry group-fast）为实验初始模型,对网络全连接层进行参数微调,采用随机梯度下降法（stochasticgradient descent,SGD）更新网络的权重;然后以微调后的网络分别作为特征提取器对图像提取特征,级联上述3种网络的第二个全连接层输出特征作为图像表达;最后,以多类最优边界分配机（multi-class optimal margindistribution machine,mcODM）获得最终分类结果。实验采用UC Merced land-use数据集进行分类效果检验,结果表明,多结构卷积神经网络级联的方法能够达到97.55%的总体分类精度,相较于CaffeNet、VGG-S和VGG-F等,分类精度分别提升了5.71%、2.72%和5.1%。因此多结构卷积神经网络特征级联的方法能够有效提取目标特征信息,提升土地利用分类精度。