基于改进型U-Net网络的高分辨率遥感影像建筑物提取

针对传统人工提取方法自动化程度低、过分依赖人工设计的特征,以及现有的深度学习方法中存在的提取精度不高等问题,提出了一种基于改进型U-Net网络的高分辨率遥感影像建筑物提取方法。首先将空洞卷积加入到网络中,利用不同尺度的空洞卷积对来自网络编码部分的结果进行多尺度特征提取;再对提取的特征进行特征融合,并输入到网络的下一层;然后将制作的数据集输入到网络中进行训练;最后利用Softmax得到最终分割结果。在建筑物公开的数据集中进行测试,提取结果的像素精度为96.26%;Iou精度为78.59%、Recall为95.65%,表明该方法具有良好的鲁棒性和精度,能从影像中准确地提取建筑物。     

双分支网络架构下的图像相似度学习

图像相似度学习是指通过网络学习图像内容信息来预测两张图像是否匹配。迄今为止，基于卷积神经网络改进的变体网络有效提升了学习效率，但由于提取特征比较单一无法准确描述图像特征，导致相似度学习效率较低。为此，本文提出一种基于卷积神经网络结构的双分支网络。该网络为左右分支网络结构相同，但权值不共享，网络输入为双分支输入。首先由左右分支网络分别提取单通道图像特征；然后通过特征融合层进行特征融合；最后将融合特征直接输入全连接层进行相似度学习，既改善了提取的图像特征多样性，又加快了模型训练速度。在实验室工业相机拍摄的芯片卡槽图像数据集上进行对比试验，结果表明，相比其他模型，本文提出的模型具有较强的网络学习能力和模型泛化能力，准确率高达97.96%。     

异源遥感影像特征匹配的深度学习算法

针对异源遥感影像的成像模式、时相、分辨率等不同导致匹配困难的问题,提出了一种基于深度学习特征的匹配方法CMM-Net.首先,利用卷积神经网络提取异源遥感影像的高维特征图,根据同时满足通道最大和局部最大两种条件选取关键点,并在特征图上提取相应位置的512维描述符.在匹配阶段,完成快速最近邻搜索特征匹配后,为解决误匹配点多的问题,提出了动态自适应欧氏距离阈值和RANSAC共同约束的提纯算法,保证误匹配有效剔除的同时,最大限度保留正确匹配点.利用多组异源遥感影像对算法进行了测试,并与多种异源影像匹配算法进行了比较,结果表明本文算法能够提取出异源影像的尺度不变相似特征,具有较强的适应性和稳健性.     

多尺度全卷积神经网络建筑物提取

针对VGG16网络在高空间分辨率遥感影像中进行大型建筑物提取时存在空洞的现象,提出一种基于多尺度影像的建筑物提取方法。将原始影像进行不同尺度的下采样,提取不同尺度下的建筑物特征,并将这些多尺度特征相加合并,同时为了减少网络参数数量,用全卷积上采样过程代替原始VGG16网络中的全连接层进行建筑物提取。以0.5 m分辨率的上海市嘉定区影像和1 m分辨率的Massachusetts地区影像进行试验,精度分别达97.09%和96.66%,表明本文方法的有效性。     

空洞卷积U-Net的遥感影像道路提取方法

针对从遥感影像上提取道路出现的细节特征丢失、提取结果模糊的问题,该文提出了一种基于空洞卷积U-Net的遥感影像道路提取算法:①以U-Net为基础网络,将低层细节特征与高层语义特征进行多特征融合,更好地还原道路目标细节;②为了进一步提高网络对道路细节特征的识别能力,在U-Net中引入空洞卷积模块,学习更多的语义信息来改善提取结果出现的模糊问题.在Massachusetts roads和高分辨率城市道路影像Cheng roads dataset数据集下的实验结果表明,在召回率、精度和F1-score指标分别达到了82.5％、86.7％、84.5％;93.2％、92.1％、92.6％.与基础的U-Net相比,该算法在解决细节特征丢失和提取结果模糊问题方面更具有应用价值.     

面向高分影像建筑物提取的多层次特征融合网络

建筑物规模及其分布是衡量一个地区经济社会发展状况的关键指标,因此研究基于遥感影像的建筑物提取具有重要意义。现有神经网络方法在建筑物提取的完整度、边缘精确度等方面仍存在不足,由此提出一种基于高分遥感影像的多层次特征融合网络(multi-level feature fusion network,MFFNet)。首先,利用边缘检测算子提升网络对建筑物边界的识别能力,同时借助多路径卷积融合模块多个维度提取建筑物特征,并引入大感受野卷积模块解决感受野大小对特征提取的限制问题;然后,对提取的特征进行融合,利用卷积注意力模块进行压缩,经金字塔池化进一步挖掘全局特征,从而实现建筑物的高精度提取。并与当前主流的UNet、PSPNet（pyramid scene parsing network）、多路径特征融合网络(multi attending path neural network, MAPNet)和MDNNet（multiscale-feature fusion deep neural networks with dilated convolution）方法进行对比,使用亚米级的武汉大学航空影像数据集、卫星数据集II（东亚）与Inria航空影像数据集作为实验数据进行测试, 结果发现,所提方法提取出的建筑物更为完整,边界更加精确。     

面向多源数据地物提取的遥感知识感知与多尺度特征融合网络

遥感地物自动提取是遥感智能解译中的关键问题,对空间信息的理解和知识发现具有重要意义。近年来,使用全卷积神经网络（fully convolutional networks, FCN）从高分影像和三维激光雷达（light detection and ranging, LiDAR）数据中提取地物信息因取得了较好效果而受到广泛关注。现有FCN网络在地物提取精度和效率等方面仍存在不足,由此提出一种基于多源数据的遥感知识感知与多尺度特征融合网络（knowledge-aware and multi-scale feature fusion network, KMFNet）。在网络编码器端融入遥感知识感知模块（knowledge-aware module, KAM）,高效挖掘多源遥感数据中的遥感知识信息;在网络编码器和解码器之间添加了串并联混合空洞卷积模块（series-parallel hybrid convolution module, SPHCM）,提高网络对地物多尺度特征的学习能力;在解码器端使用了渐进式多层特征融合策略,细化最终的地物分类结果。基于公开的ISPRS语义分割标准数据集,在LuoJiaNET遥感智能解译开源深度学习框架上将KMFNet与当前主流方法进行了对比。实验结果表明,所提方法提取出的地物更为完整,细节更加精确。     

基于注意力密集连接金字塔网络的新增建设用地变化检测

城市新增建设用地变化迅速频繁、场景复杂等因素导致变化检测结果出现欠分割或过分割等问题,基于此本文提出了一种融合注意力机制的密集连接金字塔网络用于城市新增建设用地变化检测。在编码阶段运用卷积注意力模型提升对变化信息的关注度,突出重要特征;采用密集连接空洞卷积空间金字塔池化模块实现多尺度特征的提取与融合,提高特征的利用率与传播效率;在解码阶段通过对提取的特征图进行上采样还原图像的空间尺度特征。试验结果表明,该方法有效改善了欠分割与过分割问题,变化检测效果更好。     

卫星影像匹配的深度卷积神经网络方法

本文侧重于智能化摄影测量深度学习的第一个方面：深度卷积方法。传统的影像同名点对提取算法通常利用人工设计的特征描述符及其最短距离作为匹配准则进行匹配,其匹配结果易陷入局部极值,造成部分正确匹配点对的遗漏。针对这一问题,本文引入深度学习方法,设计了一种基于空间尺度卷积层的两通道深度卷积神经网络,采用其进行影像间的匹配模式学习,实现了基于深度卷积神经网络的卫星影像匹配。试验表明,在处理异源、多时相、多分辨率的卫星影像情况下,本文方法比传统匹配方法能提取到更为丰富的影像同名点对,且最终匹配提纯结果正确率优于90%。     

基于多尺度特征融合的遥感影像目标检测

提出基于多尺度特征融合的遥感影像目标检测方法,本文利用选择性搜索算法对原始数据进行滤波处理和二值化处理,提取遥感影像目标区域图像数据,采用RBM技术获取遥感影像目标的语义特征和细节特征,在此基础上,建立融合网络,对影像目标的语义特征和细节特征进行变形卷积操作和池化操作,将目标的语义特征和细节特征进行多尺度融合,获取目标的深度特征,进而定位遥感影像目标。实验证明,设计方法遥感影像目标检测时间短,可以快速检测到遥感影像目标。     

局部物体块匹配的图像匹配算法

构建具有较强表达能力的图像特征是图像匹配应用的核心环节.训练孪生神经(Siamese)特征提取网络构建图像局部特征,通过图像局部特征的匹配解决整体图像匹配的问题.在图像匹配过程中,首先检测图像中包含的物体块,采用特征提取网络构建各物体块的特征表达,然后计算各物体块间的相似度,组成图像对相似矩阵,最后基于相似矩阵构建图像...     

遥感图像数字表面模型建筑物点过滤方法研究

针对图像密集匹配生产的数字表面模型(DSM)进行点云滤波,算法对地形依赖大,参数设置复杂,精度不高,后续人工编辑修饰的工作量大、效率低的问题,该文设计了第一套针对DSM滤波、涵盖多种样本形式(栅格、矢量)的航空图像建筑物数据集。针对航空图像建筑物尺度较大等特点,将膨胀卷积加入U-Net构成Dilated U-Net,并综合运用其进行建筑物语义分割,利用分割结果在相应图像密集匹配得到的DSM上滤除建筑物点,然后采用投票插值策略得到过滤掉建筑物点的DSM。实验证明:利用该文网络DU-Net将DSM中非地面建筑物点滤除,Ⅰ类误差在5.8%以内,Ⅱ类误差在2.4%以内,其可以在30 s内完成超过9000万个建筑点与非建筑物点位置的预测,效率高、成本低。DU-Net网络建筑物语义分割过程不受地形、高差的限制,对于其他非地面点的滤波具有一定的借鉴意义。     

利用局部几何特征与空洞邻域的点云语义分割

点云具有数据量大、无拓扑结构等特点,现有的深度学习语义分割模型难以充分挖掘大范围邻域内点云中所隐藏的几何特征。由此提出了一种基于空洞邻域并结合角度等几何特征作为模型输入的点云语义分割模型。首先,在局部邻域构建过程中,将图像处理的空洞卷积操作扩展至点云,建立空洞邻域结构,以扩大感受野;然后,在特征提取过程中,将中心点与邻域点之间相对坐标、距离、角度等基本几何特征作为模型输入,最大程度挖掘邻域内的几何特征;最后,基于所提邻域结构与特征提取算法构建了点云语义分割模型。采用Semantic3D数据集进行实验验证,结果表明,所提模型分割效果优于对比的点云语义分割算法,空洞邻域与局部几何输入特征能够有效改善点云语义模型的性能。     

基于深度卷积特征的影像关系表创建方法

在从运动恢复结构（structure from motion,SfM）的过程中,无序影像间的匹配非常耗时,一方面受制于特征匹配本身,另一方面受制于大量的图像间匹配,其计算复杂度为O（n²）。为减少匹配次数,本文提出基于深度卷积特征（deep convolution feature,DCF）的影像关系表创建方法。首先利用在ImageNet上训练好的VGG-16卷积神经网络提取影像的卷积层特征图,然后对特征图进行和池化操作,最后将该向量归一化,作为图像的特征。通过向量点乘,计算数据集中的每张影像和其余所有影像的相似度,选取相似度最大的10张影像作为影像的潜在匹配像对,并由此构建影像关系表。结果表明,本文提出的DCF能够有效的创建影像关系表,找出潜在匹配像对。在Urban和South Building数据集上,基于DCF创建的关系表匹配的SfM重建的结果和穷举匹配的重建结果基本一致,但匹配次数分别减少97.4%和92.1%。同时基于DCF创建的关系表优于主流ORB-SLAM2系统中的DBoW3创建的关系表。     

基于深度卷积神经网络的高分辨率遥感影像场景分类

场景分类对于高分辨率遥感影像的理解和信息提取具有重要意义。传统方法利用低、中级或语义特征来对影像的场景进行判别，但是针对高分影像涵盖的细节多、类别复杂等特点，中低层特征无法对影像语义进行准确描述。本文提出了一种基于深度卷积神经网络DCNN场景分类模型。首先利用卷积层对影像的纹理、颜色等低阶特征进行提取，然后利用池化层对重要特征进行筛选，最后将提取到的特征进行组合，形成高阶语义特征，利用高阶语义特征对高分影像进行场景分类。为了解决模型的过拟合问题，使用了数据增广、正则化及Dropout提高模型的泛化能力。本文方法在UC Merced-21取得了91.33%的准确率，相比于传统方法，有效地提高了分类精度，同时证明了深度卷积神经网络在遥感影像分类领域优越性。     

密集卷积残差网络的遥感图像融合

针对传统的遥感图像融合方法通常会引起光谱失真的问题和大多数基于深度学习的融合方法忽略充分利用每个卷积层信息的不足,本文结合密集连接卷积网络和残差网络的特性,提出了一个新的融合网络。该网络通过建立多个密集卷积块来充分利用卷积层的分级特征,同时块与块之间通过过渡层加快信息流动,从而最大程度地对特征进行极致利用并提取到丰富的特征。该网络应用残差学习拟合深层特征与浅层特征之间的残差,加快网络的收敛速度。实验中利用GaoFen-1（GF-1）和WorldView-2/3（WV-2/3）的多光谱图像MS （Multispectral Image）和全色图像PAN（Panchromatic Image）（MS与PAN的空间分辨率之比为4）评估本文提出方法的有效性。从视觉效果和定量评估结果两个方面来看,本文方法得到的融合结果要优于所对比的传统方法和深度学习方法,并且该网络具有鲁棒性,能够泛化到不需要预训练的其他卫星图像。本文方法通过特征的重复利用实现了光谱信息的高保真并提高了空间细节分辨能力,有利于遥感图像的应用研究。     

一种面向无人机绝对定位的卫星基准影像检索方法

针对全球导航卫星系统（global navigation satellite system,GNSS）拒止环境下大范围无人机视觉绝对定位问题,提出了一种聚合深度学习特征的卫星基准影像检索方法。首先,利用预训练的深度学习模型提取无人机与卫星基准影像的局部卷积特征;然后,对局部特征描述符进行聚合,生成影像全局表达;最后,利用影像全局特征进行相似性检索,并采用检索结果精匹配重排序的后处理方法,进一步提高检索准确率。设计了一个新的面向无人机绝对定位的卫星基准影像数据集并进行实验,结果表明,使用所提方法检索无人机影像适配区域的卫星基准影像的准确率达76.07%,可为后续基于视觉的无人机绝对定位提供参考。     

图像匹配的物体空间关系推理表达

物体空间关系指的是物体在欧氏空间中的邻近关系,根据图像中包含物体的邻近关系解决图像匹配的问题。本文首先基于对比机制训练物体块特征提取网络,构建物体块深度特征,该特征可以有效匹配不同图像中的相同物体块;其次,基于已有的先验图像数据推理表达图像中物体的空间邻近关系,构建场景物体空间邻近图;进而基于该空间邻近图计算场景图像对的空间邻近度,完成图像空间关系匹配。试验表明不匹配图像间的空间邻近度一般为0,而匹配图像间的空间邻近度一般大于0,本文空间关系匹配涉及多个物体间的相互关系,具有更强的稳健性,其匹配效果明显优于对比试验中的其他方法,可以高效稳定地完成图像匹配任务。