一种热红外与可见光影像深度特征匹配方法

针对无人机热红外影像与光学卫星影像的匹配难题,提出一种基于异源地标数据集学习的深度局部特征匹配方法。首先,利用生成对抗网络学习热红外与可见光影像的灰度分布规律,并进一步合成用于特征提取模型训练的热红外影像地标数据集;然后,联合残差网络和注意力机制模型,从数据集中学习深度不变特征;最后,经过对不变特征的匹配、提纯等处理,获得像对的正确匹配点。试验测试了该方法的性能,并与KAZE、特征检测描述网络和深度局部特征模型进行了对比。结果表明,提出的方法对灰度、纹理、重叠率以及几何变化具有较强的适应性,且匹配效率较高,可为无人机视觉导航提供支撑。     

无人机影像增量式运动恢复结构研究进展

增量式运动恢复结构（structure from motion, SfM）已经成为无人机影像空中三角测量的常用解决方案。考虑到无人机影像的特点,增量式SfM在效率、精度和稳健性方面的性能有待提高。首先给出了增量式SfM无人机影像空中三角测量的技术流程,然后从特征匹配和几何解算两个方面对其关键技术进行了综述,最后从数据采集方式改变、大场景影像处理、通信与硬件技术发展、深度学习融合等方向,展望了增量式SfM无人机影像空中三角测量的挑战和后续研究,总结本领域的现有研究,为相关研究者提供参考。     

重复场景影像特征匹配鲁棒策略的比较与评价

针对SfM三维重建中重复场景易引起不存在影像关联及错误相对定向的研究难点,该文研究多种影像特征匹配的鲁棒策略,如RANSAC、KVLD、GAM、GMS,并提出一套评价方案以量化分析其对重复场景影像SfM重建的影响。首先选择不同重复场景比例的影像数据,并分为宽基线和窄基线两类;其次设计了相对定向正确率及影像关联正确度2个评价指标;最后量化分析重复场景影像特征匹配及其SfM重建的影响。实验表明,该文设计的评价方案能量化出各特征匹配鲁棒策略对重复场景影像SfM重建的影响。     

顾及影像拓扑的SfM算法改进及其在灾场三维重建中的应用

快速、准确的大场景影像三维重建技术可为灾害应急响应和灾情评估提供重要的决策依据。本文针对运动恢复结构(SfM)算法效率低的问题,提出了一种顾及影像拓扑关联关系的拓扑-运动恢复结构(TSfM)算法。TSfM算法利用低空无人机(UAV)自身的飞控记录构建影像拓扑关联关系,缩小了特征匹配时的影像搜索范围,与传统SfM算法相比,影像匹配的时间复杂度由O(n2)降低为O(n)。实验结果表明,TSfM算法实现了基于无人机影像序列的灾场快速三维重建,重建模型的相对精度与SfM算法的重建精度一致。将该方法用于四川芦山地震UAV影像三维重建,可检测出地震滑坡体及其形态信息。     

分区优化混合SfM方法

针对大规模无序影像稀疏三维重建问题,本文提出一种稳健、高效且易于并行的分区优化的混合式SfM方法。首先,利用SIFT算法进行影像匹配,无须GPS/INS等其他辅助信息,仅利用影像间的匹配结果计算得到的影像关联度完成影像分区。然后,提出一种改进的增量式SfM方法实现每个分区内快速重建,以及提出多项标准自动剔除不可靠分区并将这些分区内影像重新划分至其他分区,实现分区的动态调整。最后,提出一种稳健高精度的分区融合算法,实现相机参数、影像姿态和场景三维信息的准确融合。多组不同规模、不同影像类型以及不同场景的典型数据试验结果表明本文方法对不同数据集具有很好的稳健性,在保持高精度的同时能大大提高重建效率,尤其适用于大规模影像数据集。     

基于深度卷积特征的影像关系表创建方法

在从运动恢复结构（structure from motion,SfM）的过程中,无序影像间的匹配非常耗时,一方面受制于特征匹配本身,另一方面受制于大量的图像间匹配,其计算复杂度为O（n²）。为减少匹配次数,本文提出基于深度卷积特征（deep convolution feature,DCF）的影像关系表创建方法。首先利用在ImageNet上训练好的VGG-16卷积神经网络提取影像的卷积层特征图,然后对特征图进行和池化操作,最后将该向量归一化,作为图像的特征。通过向量点乘,计算数据集中的每张影像和其余所有影像的相似度,选取相似度最大的10张影像作为影像的潜在匹配像对,并由此构建影像关系表。结果表明,本文提出的DCF能够有效的创建影像关系表,找出潜在匹配像对。在Urban和South Building数据集上,基于DCF创建的关系表匹配的SfM重建的结果和穷举匹配的重建结果基本一致,但匹配次数分别减少97.4%和92.1%。同时基于DCF创建的关系表优于主流ORB-SLAM2系统中的DBoW3创建的关系表。     

一种面向无人机绝对定位的卫星基准影像检索方法

针对全球导航卫星系统（global navigation satellite system,GNSS）拒止环境下大范围无人机视觉绝对定位问题,提出了一种聚合深度学习特征的卫星基准影像检索方法。首先,利用预训练的深度学习模型提取无人机与卫星基准影像的局部卷积特征;然后,对局部特征描述符进行聚合,生成影像全局表达;最后,利用影像全局特征进行相似性检索,并采用检索结果精匹配重排序的后处理方法,进一步提高检索准确率。设计了一个新的面向无人机绝对定位的卫星基准影像数据集并进行实验,结果表明,使用所提方法检索无人机影像适配区域的卫星基准影像的准确率达76.07%,可为后续基于视觉的无人机绝对定位提供参考。     

改进SIFT的倾斜无人机影像匹配方法

针对倾斜无人机影像间存在较大的视角、几何形变导致的难以高效获得可靠同名点问题,提出改进SIFT的倾斜无人机影像匹配方法.算法分为3个阶段:①利用POS数据及公开的SRTM辅助数据对影像进行近似正射纠正消除影像几何形变;②对重叠区域的影像进行均匀分块,根据影像块的信息熵来合理分配各影像块的特征点数,利用Harris算子提取均匀分布的特征点,采用SIFT描述子计算特征向量;③利用多层次约束的匹配策略,在保证匹配正确率的前提下尽可能提高计算效率.通过多组实验分析,结果表明该算法获得的匹配点对在数量和分布情况上也更为理想.     

基于深度学习理论的无人机影像分类

针对无人机影像深度学习分类方法缺乏现状,本文利用深度学习理论卷积神经网络方法对无人机影像进行了分类。该法首先抽取无人机影像作为训练集和检验集,然后建立一个2个卷积层-池化层的卷积神经网络模型进行深度学习,通过设定参数并运行模型实现无人机影像分类。实验表明,本文提出的方法可完成较复杂地区无人机影像分类,其分类精度与支持向量机方法相当,为无人机遥感影像分类提供了一个崭新的技术视点。     

基于可变阈值SIFT算法匹配无人机影像的研究

针对无人机重量轻、稳定性差,所拍摄的数字影像存在重叠度不规则、旋转尺度大,造成影像匹配处理具有一定难度的问题, SIFT匹配算法具有尺度不变性、旋转不变性等特征。本文扩大了检测性范围,SIFT算子维度从128维降低到32维,采用自适性阈值对算法进行改进。改进前后的算法对两组重叠影像进行试验研究,在影像特征点提取数量、匹配效果、匹配时间之间进行对比分析。实验结果表明,对于旋转不稳定性的无人机数字影像,扩大检测范围并采用自适性阈值的SIFT算法更具有优势,可获得更优的影像匹配效果。     

利用特征组合检测算法的无人机遥感影像匹配研究

影像匹配是无人机遥感影像拼接和三维建模的基础和关键步骤。结合不同算法的优势，本文提出一种基于特征组合与RANSAC算法的无人机遥感影像匹配方法。该匹配方法首先采用AKAZE算法检测影像的特征点，然后利用SIFT描述符描述特征向量并获取特征点的主方向，最后基于单映射变换矩阵的RANSAC算法进行精准匹配。本文对基于特征组合与RANSAC算法的匹配效果进行了试验对比分析，试验结果表明：与常用匹配方法的匹配效果相比，本文的匹配方法继承了AKAZE算法的快速匹配能力，匹配总耗时介于AKAZE算法和SIFT算法之间，约为BRISK算法匹配耗时的20%；同时，该匹配方法继承了SIFT算法的多匹配点对性能，从整体匹配效果来看，本文的匹配方法优于AKAZE、SIFT、BRISK算法。     

基于深度学习的航空遥感影像密集匹配

本文探讨了深度学习在航空影像密集匹配中的性能，并与经典方法进行了比较，对模型泛化能力进行了评估。首先，实现了MC-CNN（matching cost convolutional neural network）、GC-Net（geometry and context network）、DispNet（disparity estimation network）3种代表性卷积神经元网络在航空立体像对上的训练和测试，并与传统方法SGM（semi-global matching）和商业软件SURE进行了比较。其次，利用直接迁移学习方法，评估了各模型在不同数据集间的泛化能力。最后，利用预训练模型和少量目标数据集样本，评估了模型微调的效果。试验包含3套航空影像、2套开源街景影像。试验表明：①与传统的遥感影像密集匹配方法相比，目前深度学习方法略有优势；②GC-Net与MC-CNN表现了良好的泛化能力，在开源数据集上训练的模型可以直接应用于遥感影像，且3PE（3-pixel-error）精度没有明显下降；③在训练样本不足时，利用预训练模型做初值并进行参数微调可以得到比直接训练更好的结果。     

一种无人机热红外与可见光影像匹配方法

针对异源无人机影像视角、分辨率、灰度值差异大的特点,提出一种基于语义深度局部特征的无人机热红外与可见光影像匹配方法。该方法首先利用全卷积神经网络和注意力机制提取具有语义信息的深度局部特征;其次以多通道特征图作为描述符进行kd-tree匹配;最后将向量场一致性VFC(Vector Field Consensus)和随机采样一致性RANSAC(Random Sample Consensus)相结合(VFC-RANSAC)进行误匹配剔除,从而实现无人机热红外与可见光影像的稳健匹配。匹配试验表明,与SIFT、KAZE等提取的人工特征相比,深度特征可以抵抗更大的影像几何和辐射差异;与RANSAC相比,VFC-RANSAC能够更有效地剔除外点,获得更高的正确匹配率和匹配精度。     

基于SIFT算法的无人机高分影像几何配准研究

本文基于SIFT算法进行无人机高分影像自动特征点匹配,在实现影像特征点自动匹配的基础上采用二次多项式模型进行影像几何配准,并且重点考察影像配准过程中匹配特征点数目对几何配准精度的影响,最后进行精度评价。结果表明:在影像特征点匹配结果正确、匹配点分布合理的情况下,匹配点数目越多,利用二次多项式进行影像几何配准的精度越高;无人机航向方向影像配准残差大于旁向残差。     

注意力机制优化的倾斜影像局部特征匹配方法

针对倾斜影像匹配正确率低、匹配时间较长等问题，该文提出一种注意力机制优化的倾斜影像局部特征匹配算法。该算法以尺度不变特征变换(SIFT)特征为基础，通过特征点优选及深度学习匹配策略提高匹配正确率及效率。构建尺度空间进行SIFT特征点检测并确定主方向；根据地物反射光谱特性构建可见光植被指数，引入语义信息约束剔除不稳定特征点，并基于特征点邻域梯度统计值计算特征点描述向量；采用基于深度学习的注意力机制图匹配算法进行特征匹配，通过注意力机制图神经网络聚合特征点空间及上下文信息，再求解聚合后特征向量的最优部分分配矩阵，并基于阈值确定匹配点。利用不同类型无人机航空倾斜影像进行实验对比，结果表明，该文算法比现有算法匹配正确率有较大提升，匹配耗时明显降低。     

基于DeepLab V3+深度学习的无人机影像建筑物变化检测研究

针对城市建筑物变化检测的高时间和高空间分辨率需求,研究了基于深度学习的无人机影像建筑物变化检测方法。以大疆精灵4无人机正射影像为数据源,利用变化矢量分析与人工判别生成变化标签数据,并通过数据增强生成数据集。基于DeepLab V3+深度网络,利用生成的数据集进行无人机影像建筑物变化迁移学习,最终实现建筑物变化检测。实验结果表明,深度学习可有效用于无人机影像的建筑物变化检测,对本实验所用数据总精度达到97%以上,可为大范围城市建筑物动态检测、违章检测、损害检测等提供有力支撑。     

低空无人机影像的快速拼接技术研究

对低空无人机影像的快速拼接技术进行研究,采用SIFT算法和SURF算法对尺度不变特征进行提取,根据特征描述符间的欧氏距离进行特征匹配,并使用RANSAC算法对匹配中产生的误匹配点对进行剔除,然后利用单应性矩阵实现无人机的影像拼接。实验结果表明,SIFT算法和SURF算法均能较好地对影像特征进行提取,SURF算法在效率上更优,RANSAC算法的剔除效果较好,能够得到良好的拼接影像。     

基于相似特征点集的SIFT匹配改进算法

当影像中存在相似或重复场景时,传统SIFT匹配算法存在匹配成功率低,目前改进的SIFT匹配算法计算量大。基于相似特征点集的SIFT匹配改进算法,依据相似性或重复场景的影像纹理特点,在SIFT特征点匹配过程中,通过设定阈值提取初始同名点,建立针对未成功匹配参考特征点的相似特征点集,利用已获取初始同名点建立仿射几何约束模型构建参考特征点的匹配约束窗口,在该窗口内利用特征点相对主方向及尺度约束,对特征相似点集进行匹配获得同名点,最后采用RANSAC算法剔除误匹配点。对比实验结果表明,在影像像对间存在较多相似性场景,同时存在较大尺度缩放、旋转变换、视角及模糊差异的情况下,文中算法在匹配成功率和计算复杂度上具有明显的优势。     

一种采用改进K-d树的无人机影像特征匹配搜索方法

在高分辨率无人机影像匹配过程中,多采用SIFT或SURF算法进行尺度和旋转不变的特征提取与描述,但经过SIFT或SURF算法提取出的特征都是高维向量,在匹配点数量较大时,匹配搜索速度比较慢。针对这一问题,比较了穷尽搜索与K-d树搜索算法的特点;然后按照"降维"的思路,提出了一种采用改进K-d树的匹配搜索方法。经过理论分析和实验验证,该方法可以有效提高匹配搜索速度,并且匹配数据集规模越大、维度越高,搜索速度提升越明显。     

基于POS的无人机倾斜影像匹配方法

在充分考虑无人机倾斜影像特点的前提下,提出了一套基于POS的无人机倾斜影像匹配策略。在现有匹配方法的基础上,以全球SRTM(shuttle Radar topography mission)数据为辅助,实现了影像重叠区域预测,建立了影像间近似核线关系,剔除了匹配中的粗差点。为了解决SIFT(scale invariant feature transform)特征匹配算法计算量大,耗时长的问题,采用基于GPU(graphic processing unit)的SIFT方法,提高了SIFT的匹配效率。另外,考虑到无人机原始POS数据精度不高,因此在匹配策略中加入了逐步精化POS数据的思想。通过对多幅倾斜影像的匹配试验表明:该方法能够提供足够数量、分布均匀且点位正确的同名点。