面向大视角差的无人机影像序列学习型特征匹配EI北大核心CSCD

针对无人机大视角差影像之间存在仿射变形大、遮挡严重、视角差异显著等问题导致的同名点匹配存在多解和大量误匹配难题,本文提出了一种适用于大视角差影像稳健匹配方法。利用改进的具有双头通信机制的D2-Net卷积神经网络提取倾斜影像的学习型特征,在之后的同名点匹配搜索阶段,为解决唯一匹配点受到较多潜在可行解干扰的问题,设计了一种由粗到精的提纯策略,在稳健匹配同名点对的同时大幅降低匹配开销成本。将HPatches数据集中多组不同场景的影像序列和实地采集的无人机大视角差影像序列作为数据源对提出的方法进行测试,并与具有代表性的基于手工设计的ASIFT方法和基于深度学习的多种方法进行了比较。结果表明,本文方法能够提取稳健的大视角差影像序列仿射不变学习型特征,在正确匹配点数、匹配点正确率、匹配点均方根误差和匹配时间开销方面具有优势。     

基于深度学习的异源立体影像对匹配方法

相对于同源影像立体匹配,基于无人机倾斜摄影与近景摄影获取的异源影像在空间特征、视场角及分辨率等方面均存在较大的差异,给影像匹配带来困难。本文利用基于单应性变换的卷积神经网络提取特征点,在匹配阶段采用交叉注意力机制的图神经网络进行特征点匹配。该方法较好地克服了异源影像间因存在较大视差和扭曲变换而导致的匹配效果较差的问题,并以河北省廊坊市大城县的马家祠堂为试验数据,对比传统SURF （加速稳定性征）算法与深度学习算法的匹配效果。结果表明,基于深度学习算法对存在大视角差异的异源影像的匹配率更高。     

多源高分辨率遥感影像自动匹配算法

提出一种基于同名直线约束的多源高分辨率遥感影像自动匹配方法。对影像建立高斯滤波模型去噪,然后进行边缘检测,在边缘影像上进行Hough变换,通过端点检测的方法来获取直线;通过粗匹配参数进行同名直线粗匹配,应用梯度模型对同名直线进行精匹配;对影像提取特征点,特征点经过同名直线约束后,在对应影像上利用同名直线约束建立匹配范围。采用最小欧式距离准则在给定范围内提取初始同名点;利用RANSAC算法剔除错误同名点对,以获取最终的匹配结果。实验结果表明,与传统的SIFT匹配算法比较,方法具有可靠性好、提取同名点数量多的优点。     

神经网络学习与灰度信息结合的跨视角影像线特征匹配算法

跨视角影像几何形变大,同名线段单侧邻域易产生明显差异,传统线特征匹配算法难以获得可靠线对。为此,本文提出了一种针对跨视角影像的神经网络学习与灰度信息结合的线特征匹配算法。首先,获取影像的像素级方向梯度直方图特征,并结合神经网络融合影像灰度信息形成特征描述格网;然后,在线段上提取离散点,根据离散点单侧特征描述格网信息计算点的单侧描述,采用深度学习方法聚合点单侧描述符形成线的单侧抽象表达;最后,利用已知同名点约束匹配区域进行分组匹配,通过比较线对拓扑一致性进行匹配结果核验,得到最终匹配线对。选取多组具有代表性的异源跨视角影像公开数据进行线匹配试验,并与主流线匹配算法进行对比分析。结果表明,本文算法能够针对内容差异明显的异源跨视角影像,获取分布均匀且正确率较高的匹配线对,实现跨视角影像线特征的稳健匹配。     

局部特征匹配的卫星影像几何偏差估计可行性分析

几何定位偏差是评估卫星影像质量的重要参数之一。本文利用特征匹配方法进行卫星影像几何偏差估计,并对该方法的可行性进行分析。首先,选取包含典型地物的局部卫星影像构建路标基准影像库;其次,采用局部点特征描述子对卫星影像与路标基准影像库进行亚像素提取与匹配,确定同名像点,然后为提升同名像点匹配精度,提出了顾及空间关系与几何一致性约束的匹配策略,继而,对卫星影像与路标基准影像库的匹配像点进行内插计算,获取同名像点的地理空间坐标;最后,通过差值计算得到卫星影像相对路标基准影像的偏移参数,完成几何偏差估计和可行性分析。本文以我国风云卫星为例,选取包含海岸线、湖泊、山脉、河流及岛屿的局部卫星影像集构建路标基准影像库,并选用SIFT、SURF、ORB 3个局部特征进行测试分析。测试结果表明,基于局部特征匹配策略对卫星影像几何偏差估计的系统误差小于0.1像素,定量地证明了局部特征匹配方法对卫星影像几何偏差估计的可行性。     

异源遥感影像特征匹配的深度学习算法

针对异源遥感影像的成像模式、时相、分辨率等不同导致匹配困难的问题,提出了一种基于深度学习特征的匹配方法CMM-Net.首先,利用卷积神经网络提取异源遥感影像的高维特征图,根据同时满足通道最大和局部最大两种条件选取关键点,并在特征图上提取相应位置的512维描述符.在匹配阶段,完成快速最近邻搜索特征匹配后,为解决误匹配点多的问题,提出了动态自适应欧氏距离阈值和RANSAC共同约束的提纯算法,保证误匹配有效剔除的同时,最大限度保留正确匹配点.利用多组异源遥感影像对算法进行了测试,并与多种异源影像匹配算法进行了比较,结果表明本文算法能够提取出异源影像的尺度不变相似特征,具有较强的适应性和稳健性.     

一种面向无人机绝对定位的卫星基准影像检索方法

针对全球导航卫星系统（global navigation satellite system,GNSS）拒止环境下大范围无人机视觉绝对定位问题,提出了一种聚合深度学习特征的卫星基准影像检索方法。首先,利用预训练的深度学习模型提取无人机与卫星基准影像的局部卷积特征;然后,对局部特征描述符进行聚合,生成影像全局表达;最后,利用影像全局特征进行相似性检索,并采用检索结果精匹配重排序的后处理方法,进一步提高检索准确率。设计了一个新的面向无人机绝对定位的卫星基准影像数据集并进行实验,结果表明,使用所提方法检索无人机影像适配区域的卫星基准影像的准确率达76.07%,可为后续基于视觉的无人机绝对定位提供参考。     

国产卫星影像配准技术研究

我国西部高海拔山区的地形地貌使得在卫星影像上确定同名特征点比较困难,为了解决国产卫星影像存在的谱段偏差,本文选择了基于SIFT算法、基于区域灰度和人工配准3种方法,对ZY1-02C、ZY-3和GF-1等国产卫星影像展开了配准试验研究,应用目视法和中误差法进行了精度评价,并对结果进行了对比分析。试验结果表明：人工法虽能获得较高的配准精度,但效率很差;基于区域灰度法受影像亮度差异影响很大,同名点提取少,精度最差;基于SIFT算法自动化程度最高,可以提取大量特征点,并能筛选提出误匹配点,配准精度较高。     

一种新的异源高分辨率光学卫星遥感影像自动匹配算法

提出一种新的异源高分辨率光学卫星遥感影像自动匹配方法.首先利用高分辨率光学遥感影像有理多项式模型(RFM)正解模型,通过迭代计算其反解模型,并将RFM反解模型与投影轨迹法结合提取特征点对应异源影像核线,通过核线检查与对比分析确定同名点搜索范围.然后在搜索范围内利用最小欧式距离准则提取初始同名点,最后采用RANSAC算法和多项式拟合迭代法剔除误匹配点以获取最终的匹配结果.试验结果表明,相对于传统的SIFT算法,本文方法通过对异源影像特征点构建核线几何约束和灰度分析进行匹配,可获取更好的匹配效率和精度.     

全卷积神经网络用于遥感影像水体提取

提出了一种全卷积神经网络模型用于遥感影像的水体目标提取的方法,介绍了全卷积神经网络的基本原理及构建3种网络模型的过程。为了分析模型效果,首先搜集带有水体的影像数据,并将这些数据标注为水体和背景两类,然后利用构建的全卷积神经网络模型进行推理和学习获取先验模型,最后对测试影像进行水体提取试验。通过与传统的基于影像光谱特征的阈值法和基于图论的Grab Cut算法提取结果进行比较,验证了本文方法的可行性。     

基于深度学习的航空遥感影像密集匹配

本文探讨了深度学习在航空影像密集匹配中的性能，并与经典方法进行了比较，对模型泛化能力进行了评估。首先，实现了MC-CNN（matching cost convolutional neural network）、GC-Net（geometry and context network）、DispNet（disparity estimation network）3种代表性卷积神经元网络在航空立体像对上的训练和测试，并与传统方法SGM（semi-global matching）和商业软件SURE进行了比较。其次，利用直接迁移学习方法，评估了各模型在不同数据集间的泛化能力。最后，利用预训练模型和少量目标数据集样本，评估了模型微调的效果。试验包含3套航空影像、2套开源街景影像。试验表明：①与传统的遥感影像密集匹配方法相比，目前深度学习方法略有优势；②GC-Net与MC-CNN表现了良好的泛化能力，在开源数据集上训练的模型可以直接应用于遥感影像，且3PE（3-pixel-error）精度没有明显下降；③在训练样本不足时，利用预训练模型做初值并进行参数微调可以得到比直接训练更好的结果。     

遥感图像质量等级分类的深度卷积神经网络方法

遥感图像应用发展对图像质量的要求越来越高,不同质量的遥感图像往往需要不同的处理方法和参数。通过遥感图像质量等级分类研究,不仅能够为遥感图像的处理提供先验信息,还能够对遥感图像的客观质量评价和传感器的成像效果进行评估。为了克服现有的遥感图像质量等级分类方法计算参数获取困难、等级数量少的缺点,利用深度学习方法的分类机能,通过改进特征提取网络和等级分类设计,建立了一种基于深度卷积神经网络的遥感图像质量等级分类模型。通过质量等级分类预处理后,利用经典的深度学习方法进行目标检测实验。结果表明,所提方法在西北工业大学遥感图像数据集上质量等级分类的准确率、召回率、精确率和F1最高能达到0.976、0.972、0.974和0.973, 优于传统算法。利用卷积神经网络实现遥感图像质量等级分类,既拓展了深度学习的应用领域,又为遥感图像质量评估提供了一个新方法。     

基于深度学习理论的无人机影像分类

针对无人机影像深度学习分类方法缺乏现状,本文利用深度学习理论卷积神经网络方法对无人机影像进行了分类。该法首先抽取无人机影像作为训练集和检验集,然后建立一个2个卷积层-池化层的卷积神经网络模型进行深度学习,通过设定参数并运行模型实现无人机影像分类。实验表明,本文提出的方法可完成较复杂地区无人机影像分类,其分类精度与支持向量机方法相当,为无人机遥感影像分类提供了一个崭新的技术视点。     

MS-VSCN:用于影像匹配的多尺度视觉相似度比较网络

影像匹配在多种计算机视觉任务中起着重要的作用。提出一种用于影像匹配的多尺度视觉相似度比较网络。该网络基于孪生网络结构进行构建,将普通卷积与空洞卷积进行融合,使得卷积神经网络在多个尺度上提取到的视觉特征实现互补。首先,网络的输入由两幅待匹配的影像组成,使用权值共享的两个网络分支分别提取两幅影像的深度特征;其次,在网络中与每个普通卷积模块平行设置一个或多个空洞卷积模块,得到的特征经过融合后输入下一个网络层进行特征提取;最后,根据网络输出特征间的欧氏距离对影像的相似度进行比较,从而完成影像匹配关系的判别。实验结果表明,本文提出的方法在测试数据集上的性能优于对比方法,能够有效地完成影像匹配任务。     

SARBuD 1.0： 面向深度学习的GF-3 精细模式SAR建筑数据集

合成孔径雷达SAR（Synthetic Aperture Radar）是开展城市建筑区信息获取与动态监测的重要数据源。本文建立了一个面向深度学习建筑区提取的中高分辨率SAR建筑区数据集SARBuD1.0 （SAR BUilding Dataset）。该数据集包含了覆盖中国不同区域的27景高分三号（GF-3）精细模式SAR图像,并从中获取了建筑区共计60000个SAR样本数据,结合光学图像与专家解译,制作了与样本数据对应的标签图像。SARBuD1.0数据集包含了不同地形场景类型、不同分布类型、不同区域的建筑区。该数据集可支持研究者对建筑区进行图像特征分析、辅助图像理解,并可对当前热点深度学习方法提供训练、测试数据支持。本文以山区建筑为例,使用传统纹理特征与深度学习特征对建筑区进行了特征分析与比较,相比于传统的人工设计的纹理特征,卷积神经网络具有更深、更多的特征,利用网络模型浅层的不同卷积核采样可得到各种纹理特征,在网络的深层卷积结构中可获取代表着类别的深层语义特征,使得分类器能更好地检测并提取图像中指定的目标。基于本数据集利用深度学习方法对不同地形区域的建筑区进行提取实验。实验结果表明基于本数据集训练的深度学习模型,对建筑区提取可以取得良好的结果,说明该数据集可以很好支持面向大数据的深度学习方法。其他学者可以基于SARBuD1.0数据集开展建筑区图像特征分析与语义分割提取等方面的研究。     

深度卷积特征表达的多模态遥感影像模板匹配方法

多模态遥感影像间（光学、红外、SAR等）存在显著的非线性辐射差异，传统方法难以有效地提取影像间的共有特征，匹配效果不佳。鉴于此，本文将深度学习方法引入影像匹配中，提出了一种基于Siamese网络提取多模态影像共有特征的匹配方法。首先通过去除Siamese网络中的池化层和抽取特征来优化该网络，保持特征信息的完整性和位置精度，使其可有效地提取多模态影像间的共有特征，然后采用模板匹配策略，实现多模态遥感影像高精度匹配。通过利用多组多模态遥感影像进行试验，结果表明，本文方法的匹配正确率和匹配精度都优于传统的模板匹配方法。     

一种热红外与可见光影像深度特征匹配方法

针对无人机热红外影像与光学卫星影像的匹配难题,提出一种基于异源地标数据集学习的深度局部特征匹配方法。首先,利用生成对抗网络学习热红外与可见光影像的灰度分布规律,并进一步合成用于特征提取模型训练的热红外影像地标数据集;然后,联合残差网络和注意力机制模型,从数据集中学习深度不变特征;最后,经过对不变特征的匹配、提纯等处理,获得像对的正确匹配点。试验测试了该方法的性能,并与KAZE、特征检测描述网络和深度局部特征模型进行了对比。结果表明,提出的方法对灰度、纹理、重叠率以及几何变化具有较强的适应性,且匹配效率较高,可为无人机视觉导航提供支撑。     

基于深度卷积神经网络的高分辨率遥感影像场景分类

场景分类对于高分辨率遥感影像的理解和信息提取具有重要意义。传统方法利用低、中级或语义特征来对影像的场景进行判别，但是针对高分影像涵盖的细节多、类别复杂等特点，中低层特征无法对影像语义进行准确描述。本文提出了一种基于深度卷积神经网络DCNN场景分类模型。首先利用卷积层对影像的纹理、颜色等低阶特征进行提取，然后利用池化层对重要特征进行筛选，最后将提取到的特征进行组合，形成高阶语义特征，利用高阶语义特征对高分影像进行场景分类。为了解决模型的过拟合问题，使用了数据增广、正则化及Dropout提高模型的泛化能力。本文方法在UC Merced-21取得了91.33%的准确率，相比于传统方法，有效地提高了分类精度，同时证明了深度卷积神经网络在遥感影像分类领域优越性。