基于深度学习的立体影像密集匹配方法综述

三维重建可用于数字高程模型制作、机器人导航、增强现实和自动驾驶等。视差图是三维重建中一种重要的表达方式,而立体密集匹配是使用最广泛的获取视差图的技术。近年来,随着硬件、数据集、算法的发展,基于深度学习的立体匹配方法受到了广泛关注并取得了巨大成功。然而,这些方法通常在近景立体像对中进行测试,很少被用于遥感影像中。回顾了双目立体匹配的深度学习方法,选出了代表性的5种经典深度学习模型——GC-Net(geometry and context network)模型、PSM-Net(pyramid stereo matching network)模型、GWC-Net(group-wise correlation stereo network)模型、GA-Net(guided aggregation network)模型、HSM-Net(hierarchical deep stereo matching network)模型,将其应用于一套开源街景数据集(KITTI2015)和两套航空遥感影像数据集(München、WHU);分析了各种网络的实现方法,探讨了深度学习在遥感影像立体匹配中的性能,并与传统方法进行了对比。     

面向多源异质遥感影像地物分类的自监督预训练方法

近年来,深度学习改变了遥感图像处理的方法。由于标注高质量样本费时费力,标签样本数量不足的现实问题会严重影响深层神经网络模型的性能。为解决这一突出矛盾,本文提出了用于多源异质遥感影像地物分类的自监督预训练和微调分类方案,旨在缓解模型对于标签样本的严重依赖。具体来讲,生成式自监督学习模型由非对称的编码器-解码器结构组成,其中深度编码器从多源遥感数据中学习高阶关键特征,任务特定的解码器用于重建原始遥感影像。为提升特性表示能力,交叉注意力机制模型用于融合异源特征中的信息,进而从多源异质遥感影像中学习更多的互补信息。在微调分类阶段,预训练好的编码器作为无监督特征提取器,基于Transformer结构的轻量级分类器将学习到的特征与光谱信息结合并用于地物分类。这种自监督预训练方案能够从多源异质遥感影像中学习到刻画原始数据的高级关键特征,并且此过程不需要任何人工标注信息,从而缓解了对标签样本的依赖。与现有的分类范式相比,本文提出的自监督预训练和微调方案在多源遥感影像地物分类中能够取得更优的分类结果。     

面向高分影像建筑物提取的多层次特征融合网络

建筑物规模及其分布是衡量一个地区经济社会发展状况的关键指标,因此研究基于遥感影像的建筑物提取具有重要意义。现有神经网络方法在建筑物提取的完整度、边缘精确度等方面仍存在不足,由此提出一种基于高分遥感影像的多层次特征融合网络(multi-level feature fusion network,MFFNet)。首先,利用边缘检测算子提升网络对建筑物边界的识别能力,同时借助多路径卷积融合模块多个维度提取建筑物特征,并引入大感受野卷积模块解决感受野大小对特征提取的限制问题;然后,对提取的特征进行融合,利用卷积注意力模块进行压缩,经金字塔池化进一步挖掘全局特征,从而实现建筑物的高精度提取。并与当前主流的UNet、PSPNet（pyramid scene parsing network）、多路径特征融合网络(multi attending path neural network, MAPNet)和MDNNet（multiscale-feature fusion deep neural networks with dilated convolution）方法进行对比,使用亚米级的武汉大学航空影像数据集、卫星数据集II（东亚）与Inria航空影像数据集作为实验数据进行测试, 结果发现,所提方法提取出的建筑物更为完整,边界更加精确。     

基于卷积神经网络的高分辨率遥感影像目标检测方法研究EI北大核心CSCD

高分辨率遥感影像目标检测作为高分对地观测系统中影像信息自动提取及分析理解的重要内容,对高分对地观测系统应用价值的发挥具有重要影响。卷积神经网络作为最热门的深度学习模型,由于其可以根据海量数据和标注自行进行有效图像特征提取和学习,在训练数据充足的情况下,模型具有良好的泛化能力,能够在复杂多变的条件下依然保持良好的稳健性和普适性。因此,基于卷积神经网络的目标检测架构被相继提出,但现有网络架构多是针对自然图像设计的,相对于自然图像,高分辨率遥感影像存在背景更加复杂、目标尺度更小、同类目标尺度变化更大和影像尺寸更大等特点;将这些网络架构直接用于高分辨率遥感影像目标检测会存在网络目标建议框尺度不匹配,待检影像相对于网络输入过大,以及缺乏训练数据等问题。针对上述问题,论文系统性地开展基于卷积神经网络的高分辨遥感影像目标检测方法研究。主要研究内容如下。     

无监督密集匹配特征提取网络性能分析

随着人工智能的发展,基于深度学习的有监督密集匹配方法在虚拟、室内及驾驶等近景数据集上取得了不错的表现。针对航空影像密集匹配标签数据获取困难的问题,本文在无监督密集匹配框架下,借鉴多个有监督网络结构,分别在航空影像数据集和作为参照的近景数据集上测试了匹配精度,实现了网络结构模块与精度关系的定性分析,为进一步探索深度学习在测绘领域的实用化提供了重要的参考。试验在相同损失函数条件下,分别采用DispNetS、DispNetC、iResNet、GCNet、PSMNetB及PSMNetS网络结构进行测试。经分析,得出如下结论：①测试的网络结构中,PSMNetS在航空影像数据集和近景数据集上表现稳定,且精度最高,训练整体耗时少,具有实用化的潜力;②在监督方法中效果更好的网络结构在无监督方法中效果不一定更好,其精度不仅取决于网络自身的匹配能力,同时也依赖于网络与损失函数的兼容性;③孪生网络模块、相关信息融合模块、金字塔池化模块和堆叠沙漏模块与无监督损失函数兼容性良好,可提升网络精度,而iResNet的图像重构迭代精化模块与重构损失函数重复约束,会产生“负优化”的作用。     

联合稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类

零样本影像分类技术旨在通过学习数据集的部分类别（可见类）,获得识别在训练阶段未出现类别（不可见类）的能力。该技术在遥感大数据时代具有重要现实意义。目前,遥感领域的零样本场景分类方法对于映射后的语义空间优化关注很少,导致已有方法的整体分类性能较差。基于这一考虑,本文提出了一种基于稳健跨域映射和渐进语义基准修正的零样本遥感影像场景分类方法。在训练的有监督学习模块,基于可见类的类别语义向量和场景影像样本,实现深度特征提取器学习和视觉空间到语义空间的稳健映射。在训练的无监督学习阶段,基于全体类别的类别语义向量和不可见类遥感影像样本,分别通过协同表示学习和k近邻算法来渐进修正不可见类类别的语义向量,从而缓解可见类语义空间与不可见类语义空间的漂移问题和自编码跨域映射模型映射后不可见类语义空间与协同表示后不可见类语义空间的偏移问题。在测试阶段,基于学习所得的深度特征提取器、自编码跨域映射模型和修正后的不见类语义向量,实现对不可见类遥感影像场景的分类。本文整合多个已有公开的遥感影像场景数据集,组建了一个新的遥感影像场景数据集,在此数据集上进行试验。试验结果表明本文提出的算法在多种不同的可见类与不可见类的划分情况下都明显优于已有公开零样本分类方法。     

Hadoop框架下海量影像数据库管理系统的研究与实现

针对传统影像管理方式不能进行T级及以上量级影像数据管理的难题,基于开源分布式云平台Hadoop框架,研究设计了云计算环境下的遥感影像数据组织模型（RSC-DOM）,利用镶嵌数据集技术、影像无缝集成技术等多种新技术,构建了海量影像数据库管理系统,实现了海量影像数据的高效组织、管理及应用。     

联合卷积神经网络与集成学习的遥感影像场景分类

针对人工设计的中、低层特征难以实现复杂场景影像的高精度分类以及卷积神经网络依赖大量训练数据等问题，结合迁移学习与集成学习，提出了一种联合卷积神经网络与集成学习的遥感影像场景分类算法。首先基于迁移学习的思想，利用在自然影像数据集上训练好的多个深层卷积神经网络模型作为特征提取器，提取图像多个高度抽象的语义特征；然后构建由Logistic回归和支持向量机组成的Stacking集成模型，对同一图像的多个特征分别训练Logistic模型，将预测概率结果融合构建概率特征；最后利用支持向量机对概率特征训练和预测，得到场景影像的分类结果。利用UCMerced_LandUse和NWPU-RESISC 45两种不同规模的遥感影像数据集进行试验，即使在只有10%的数据作为训练样本情况下，本文方法能够分别达到90.74%和87.21%的分类精度。     

基于神经网络的无人机影像多目标检测方法

针对现有方法检测无人机目标时精度与泛化能力不足,提出一种基于回归的多目标检测方法.使用密集连接增强层间信息传递,添加批量再规范化(Batch Renormalization,BRN)层加速模型训练,降低样本分布不均而导致的精度偏低,使用密集连接结构聚合上采样层不同层信息.以开源数据集Vision Drone为基础建立优化数据集训练模型.结果表明,提出模型检测精度达89.57％平均精度均值,相比(You Only Look Once v3,YOLOv3)模型和(Region Full Convolutional Network,R-FCN)分别提高6.53％和3.11％,检测速度达27每秒传输帧数,在不同场景表现稳定.     

遥感影像云检测网络泛化性能研究：以DeepLabv3+为例

近年来,深度学习算法得到了长足的发展,并开始应用于云检测。但是深度神经网络模型参数众多,依赖大量训练样本,因此理解其泛化性能对于深度学习在不同遥感影像的实际应用具有重要的参考价值。本文以深度语义分割算法DeepLabv3+为例,以一组广泛使用的云标记数据集"L8 Biome"为验证数据,探讨该算法用于云检测时在不同的地表景观、空间分辨率和光谱波段组合的遥感影像上的泛化性能。云标记数据集"L8Biome"包含96景具有全球代表性的Landsat 8 OLI影像及相应的人工云掩膜,被广泛用于测试云和云阴影检测算法性能。首先,利用Landsat 8 OLI云标记数据集"L8 Biome",构建不同类型景观、不同空间分辨率、不同波段组合的训练影像集和测试影像集;其次基于不同训练样本集和测试集,评估了DeepLabv3+算法在不同情况下的云检测精度,并与Fmask算法作对比分析。研究结果表明:(1)使用全混合景观类型的训练集训练出来的云检测网络在总体检测精度(92.81%)与稳定度(标准差12.08%)上都优于使用单一景观类型的训练集训练得到的云检测网络,也优于Fmask的总体精度(88.75%)与稳定度(标准差17.34%),说明在构建深度学习算法的训练集时,应该尽可能包含多类型的地表景观;(2)将全混合景观训练集中剔除一类景观的样本(冰/雪景观除外)构建的"混合-1"训练集与全混合景观训练集训练的DeepLabv3+网络的云检测精度也相差不大,说明现有训练样本集已具备较强的景观泛化能力;(3)基于30 m空间分辨率的全混合景观训练样本集训练得到的DeepLabv3+云检测网络在不同分辨率(30 m、60 m、120 m、240 m)的测试集上云检测精度差异不大,都取得较好的效果,说明DeepLabv3+能够泛化应用于不同空间分辨率的遥感影像,相反Fmask直接应用于低分辨率影像时精度明显下降;(4) DeepLabv3+能充分自适应不同波段的信息用于云检测,总体来说更多的光谱波段输入能够提高DeepLabv3+的云检测的精度和稳定度,其中短波红外波段对于DeepLabv3+区分冰/雪与云具有重要价值,而热红外波段对DeepLabv3+云检测网络的性能提升很微小。以上结果说明利用现有数据集"L8 Biome"训练的DeepLabv3+云检测网络能够适用于多种类型的遥感影像,并优于Fmask算法。     

摄影测量与深度学习

深度学习正逐渐占领与“学习”相关的诸多研究领域,也对摄影测量这门学科造成冲击和促进。根据摄影测量学的定义：“利用光学像片研究被摄物体的形状、位置、大小、特性及相互位置关系”,其研究对象包括几何与语义。本文从这两个方面回顾和探讨深度学习目前的应用现状,并对其影响下的摄影测量的发展进行展望。在几何上,基于卷积神经元网络的学习架构已经广泛用于图像匹配、SLAM及三维重建,取得了较好的效果,但仍需进一步改进。在语义上,由于传统的手工设计方法未能将语义信息以工程化的形式确定并生成类似4D产品的各类语义“专题图”,语义部分长期受到忽视。深度学习强大的泛化能力、对任意函数的拟合能力及极高的稳定性,正使得专题图的自动制作成为可能。笔者通过道路网、建筑物、作物分类等应用实例,回顾已经取得的研究成果,并预计：利用光学像片生成高精度的语义专题图,在不远的未来即将实现;并可能成为摄影测量的一类标准产品。最后,针对几何和语义,分别介绍了笔者的两个相关研究：基于深度学习的航空图像匹配以及基于3D卷积神经元网络的精细农作物分类专题图自动提取。     

基于深度学习的异源立体影像对匹配方法

相对于同源影像立体匹配,基于无人机倾斜摄影与近景摄影获取的异源影像在空间特征、视场角及分辨率等方面均存在较大的差异,给影像匹配带来困难。本文利用基于单应性变换的卷积神经网络提取特征点,在匹配阶段采用交叉注意力机制的图神经网络进行特征点匹配。该方法较好地克服了异源影像间因存在较大视差和扭曲变换而导致的匹配效果较差的问题,并以河北省廊坊市大城县的马家祠堂为试验数据,对比传统SURF （加速稳定性征）算法与深度学习算法的匹配效果。结果表明,基于深度学习算法对存在大视角差异的异源影像的匹配率更高。     

一种热红外与可见光影像深度特征匹配方法

针对无人机热红外影像与光学卫星影像的匹配难题,提出一种基于异源地标数据集学习的深度局部特征匹配方法。首先,利用生成对抗网络学习热红外与可见光影像的灰度分布规律,并进一步合成用于特征提取模型训练的热红外影像地标数据集;然后,联合残差网络和注意力机制模型,从数据集中学习深度不变特征;最后,经过对不变特征的匹配、提纯等处理,获得像对的正确匹配点。试验测试了该方法的性能,并与KAZE、特征检测描述网络和深度局部特征模型进行了对比。结果表明,提出的方法对灰度、纹理、重叠率以及几何变化具有较强的适应性,且匹配效率较高,可为无人机视觉导航提供支撑。     

多时相遥感影像语义分割色彩一致性对抗网络

利用深度卷积神经网络智能化地提取遥感图像中的建筑物对于数字城市构建、灾害侦查、土地管理等具有重要意义。多时相遥感图像之间的色彩差异会导致建筑物语义分割模型泛化能力下降。针对此,本文提出了注意力引导的色彩一致生成对抗网络（attention-guided color consistency adversarial network,ACGAN）。该算法以参考色彩风格图像及相同区域、不同时相的待纠正图像作为训练集,采用加入了U型注意力机制的循环一致生成对抗网络训练得到色彩一致模型。在预测阶段,该模型将待纠正图像的色调转换为参考色彩风格图像的色调,这一阶段基于深度学习模型的推理能力,而不再需要相应的参考色彩风格图像。为了验证算法的有效性,首先,将本文算法与传统的图像处理算法及其他循环一致生成对抗网络做了对比试验。结果表明,ACGAN色彩一致后的图像与参考色彩风格图像的色调更加相似。其次,将以上不同的色彩一致性算法处理后的结果图像进行建筑物语义分割试验,证明本文方法更加有利于多时相遥感图像语义分割模型泛化能力的提升。     

结合多光谱影像降维与深度学习的城市单木树冠检测

多光谱数据的降维处理对基于深度学习的单木树冠检测研究有重要意义,如何使用合适的降维方法以提高单木检测的精度却少有研究讨论。本文使用无人机搭载多光谱相机进行航拍作业,采集研究区内银杏树种多光谱影像。将原始多光谱影像通过特征波段选择、特征提取、波段组合的方法生成5种不同的数据集用于训练3种经典的深度学习网络FPN-Faster-R-CNN,YOLOv3,Faster R-CNN。其中由波段组合方法得到的近红外、红色、绿色波段组合在不同类型的目标检测网络中都有最好的检测结果,其中FPN-Faster-R-CNN网络对银杏树冠的检测精度最高为88.4%,由OIF指标得到的蓝色、红色、近红外波段组合信息量最高,但在所有网络中的平均检测精度最低,仅为79.3%。实验结果表明：在不同波段降维方法中,若降维后的影像中目标物体的色彩与背景差异较明显,且轮廓清晰,则深度学习网络对树冠的检测可获得较好的结果。而影像自身的信息量则对深度学习网络的树冠检测能力的提升作用有限。本研究中针对多光谱影像的降维方法分析,为基于深度学习的单木树冠检测研究提供了重要的实验参考。     

利用胶囊网络实现高光谱影像空谱联合分类

卷积神经网络等深度学习模型已经在高光谱影像分类任务中取得了理想的结果.然而,由于传统神经元只能进行标量计算,现有的深度学习模型无法对高光谱影像特征的实例化参数进行建模,因此无法在邻域范围受限的条件下获得令人满意的分类效果.通过引入胶囊网络结构设计了一种新型网络模型,该模型利用胶囊神经元进行向量计算,并利用权重矩阵编码特...     

几种具有编解码结构的深度学习模型在建筑物综合中的应用与比较

深度学习技术促使诸多领域研究取得突破性进展, 基于深度神经网络的地图综合研究备受期待。将建筑物综合过程抽象解释为编解码过程, 系统地研究基于编解码结构的深度神经网络在建筑物综合中的应用。首先, 利用空间划分与矢量-栅格数据转换相结合的方式构建样本和样本集; 然后, 利用样本集训练基于编解码结构的深度神经网络, 实现建筑物综合学习泛化并测试、评估其效果; 最后, 搭建5种代表性的基于编解码结构的深度神经网络, 分析比较各模型在建筑物综合中的应用效果。实验结果表明, 基于编解码结构的深度神经网络能够从建筑物综合样本中学习或推理出部分建筑物综合知识和综合操作, 且5种模型中Pix2Pix更适用于建筑物综合的学习模拟。     

结合对抗网络与辅助任务的遥感影像无监督域适应方法

使用机器学习进行遥感影像标注的一个重要前提是有足够的训练样本,而样本的标注是非常耗时的。本文采用了域适应的方法来解决遥感影像场景分类中小样本量的无监督学习问题,提出了结合对抗网络与辅助任务的遥感影像域适应方法。首先建立了基于深度卷积神经网络的遥感影像分类框架;其次,为了学习到域不变特征,在标签分类器的基础上增加域分类器,并使域损失函数在其反射传播时的梯度与标签损失的梯度相反,从而保证域分类器不能区分样本来自于哪个域;最后引入了辅助分类任务,扩充了样本的同时使网络更具泛化能力。试验结果表明,本文方法优于主流的无监督域适应方法,在小样本遥感影像无监督分类中得到了较好的效果。