卫星影像匹配的深度卷积神经网络方法

本文侧重于智能化摄影测量深度学习的第一个方面：深度卷积方法。传统的影像同名点对提取算法通常利用人工设计的特征描述符及其最短距离作为匹配准则进行匹配,其匹配结果易陷入局部极值,造成部分正确匹配点对的遗漏。针对这一问题,本文引入深度学习方法,设计了一种基于空间尺度卷积层的两通道深度卷积神经网络,采用其进行影像间的匹配模式学习,实现了基于深度卷积神经网络的卫星影像匹配。试验表明,在处理异源、多时相、多分辨率的卫星影像情况下,本文方法比传统匹配方法能提取到更为丰富的影像同名点对,且最终匹配提纯结果正确率优于90%。     

渐进式异源光学卫星影像SIFT匹配方法

针对异源光学卫星影像SIFT算法匹配率低的问题,论文基于SIFT匹配方法,以特征点相对主方向、相对尺度为约束条件提取初始匹配点,并利用初始匹配点构建Delaunay三角网,采用点扩散方式来获取局部几何约束模型,基于特征点主方向约束、特征向量欧氏距离及局部RANSAC误差剔除方法渐进式地实现了对异源光学卫星影像的高精度匹配。与其它匹配算法对比实验结果表明,在异源影像存在较大尺度、旋转差异的情况下,论文算法具有匹配数量大、精度高的优势。     

异源遥感影像特征匹配的深度学习算法

针对异源遥感影像的成像模式、时相、分辨率等不同导致匹配困难的问题,提出了一种基于深度学习特征的匹配方法CMM-Net.首先,利用卷积神经网络提取异源遥感影像的高维特征图,根据同时满足通道最大和局部最大两种条件选取关键点,并在特征图上提取相应位置的512维描述符.在匹配阶段,完成快速最近邻搜索特征匹配后,为解决误匹配点多的问题,提出了动态自适应欧氏距离阈值和RANSAC共同约束的提纯算法,保证误匹配有效剔除的同时,最大限度保留正确匹配点.利用多组异源遥感影像对算法进行了测试,并与多种异源影像匹配算法进行了比较,结果表明本文算法能够提取出异源影像的尺度不变相似特征,具有较强的适应性和稳健性.     

神经网络学习与灰度信息结合的跨视角影像线特征匹配算法

跨视角影像几何形变大,同名线段单侧邻域易产生明显差异,传统线特征匹配算法难以获得可靠线对。为此,本文提出了一种针对跨视角影像的神经网络学习与灰度信息结合的线特征匹配算法。首先,获取影像的像素级方向梯度直方图特征,并结合神经网络融合影像灰度信息形成特征描述格网;然后,在线段上提取离散点,根据离散点单侧特征描述格网信息计算点的单侧描述,采用深度学习方法聚合点单侧描述符形成线的单侧抽象表达;最后,利用已知同名点约束匹配区域进行分组匹配,通过比较线对拓扑一致性进行匹配结果核验,得到最终匹配线对。选取多组具有代表性的异源跨视角影像公开数据进行线匹配试验,并与主流线匹配算法进行对比分析。结果表明,本文算法能够针对内容差异明显的异源跨视角影像,获取分布均匀且正确率较高的匹配线对,实现跨视角影像线特征的稳健匹配。     

注意力机制优化的倾斜影像局部特征匹配方法

针对倾斜影像匹配正确率低、匹配时间较长等问题，该文提出一种注意力机制优化的倾斜影像局部特征匹配算法。该算法以尺度不变特征变换(SIFT)特征为基础，通过特征点优选及深度学习匹配策略提高匹配正确率及效率。构建尺度空间进行SIFT特征点检测并确定主方向；根据地物反射光谱特性构建可见光植被指数，引入语义信息约束剔除不稳定特征点，并基于特征点邻域梯度统计值计算特征点描述向量；采用基于深度学习的注意力机制图匹配算法进行特征匹配，通过注意力机制图神经网络聚合特征点空间及上下文信息，再求解聚合后特征向量的最优部分分配矩阵，并基于阈值确定匹配点。利用不同类型无人机航空倾斜影像进行实验对比，结果表明，该文算法比现有算法匹配正确率有较大提升，匹配耗时明显降低。     

低空摄影测量立体影像匹配的现状与展望

影像匹配是在两幅或多幅具有重叠度的影像中通过特定的算法提取影像间同名点的过程,是低空摄影测量数据处理中最为关键的步骤,匹配质量与效率直接影响到后续数据处理的成功与否,关系到测绘产品生成质量。本文系统阐述了低空摄影测量影像匹配的研究现状与展望。对影像匹配的分类进行总结和归纳,大体上,影像匹配可划分为两大类,即基于灰度和基于特征的匹配。重点针对基于特征的影像匹配,从点、线、面等特征提取算法及特征描述符和相似性测度与策略等方面进行了详细阐述。此外,列举最新的基于深度学习的影像匹配算法,对低空平台搭载的多样化传感器数据融合可能涉及的影像匹配方法进行了展望。     

异源高分辨率遥感影像的三维重建

针对在实际应用中难以获得同源高分辨率遥感影像,利用同源高分辨率影像实现高精度、自动化的三维重建仍存在一定困难的现状,该文提出一种利用异源高分辨率遥感影像进行三维重建的方法。采用尺度不变特征变换算法对影像进行匹配以获取同名点,并使用随机抽样一致性算法剔除低精度匹配点;然后利用获取的同名点构建Delaunay三角网;接着根据有理函数反解模型和投影射线联合定位算法解算各个同名点的三维坐标;最后基于Delaunay三角网内插技术求取地物点的高程值,并基于OpenGL技术实现三维显示。试验结果表明,利用该方法可以实现异源高分辨率遥感影像的三维重建,精度上能够满足生产需求。     

无人机影像匹配中尺度不变特征应用改进

针对尺度不变特征变换算法用于无人机影像匹配中存在匹配效率低下,误匹配较多等问题,该文提出一种特征点提取优化算法,并改进了特征点匹配策略。通过将原始影像划分格网,依据每个格网影像信息熵的大小来合理分配各格网中特征点数量,实现了基于纹理信息丰富程度的特征点均匀分布;基于Harris兴趣值进行筛选,保留了适合于摄影测量的特征点;采用一种多层次自适应的匹配策略,在尽可能保留正确匹配的同时提高了匹配正确率。基于一对由小型无人机拍摄影像的实验结果表明,所提方法在大量减少SIFT特征点的同时,保证较高的正确率,增加了匹配点的精度,且提高了算法效率。     

一种无人机热红外与可见光影像匹配方法

针对异源无人机影像视角、分辨率、灰度值差异大的特点,提出一种基于语义深度局部特征的无人机热红外与可见光影像匹配方法。该方法首先利用全卷积神经网络和注意力机制提取具有语义信息的深度局部特征;其次以多通道特征图作为描述符进行kd-tree匹配;最后将向量场一致性VFC(Vector Field Consensus)和随机采样一致性RANSAC(Random Sample Consensus)相结合(VFC-RANSAC)进行误匹配剔除,从而实现无人机热红外与可见光影像的稳健匹配。匹配试验表明,与SIFT、KAZE等提取的人工特征相比,深度特征可以抵抗更大的影像几何和辐射差异;与RANSAC相比,VFC-RANSAC能够更有效地剔除外点,获得更高的正确匹配率和匹配精度。     

一种基于邻域投票的异源光学影像SIFT匹配误差剔除方法

异源遥感影像匹配是高分影像处理中的重要环节与关键问题,但目前异源高分影像匹配精度有待提高。本文提出了一种基于邻域投票的异源光学影像SIFT匹配误差剔除方法,首先利用尺度不变性特征变换（SIFT）对特征点进行提取,随后基于邻域投票对匹配特征点进行二次约束,最后区分出待剔除误差大的匹配点,进而确定精确匹配点。为了评价本文方法的精度,分别对建筑物、道路、水体进行匹配研究,试验证实该方法可以提高上述3种地类的匹配精度,相比传统的SIFT方法平均提高了66%,同时有效地保持了结果的尺度不变性。     

利用特征组合检测算法的无人机遥感影像匹配研究

影像匹配是无人机遥感影像拼接和三维建模的基础和关键步骤。结合不同算法的优势，本文提出一种基于特征组合与RANSAC算法的无人机遥感影像匹配方法。该匹配方法首先采用AKAZE算法检测影像的特征点，然后利用SIFT描述符描述特征向量并获取特征点的主方向，最后基于单映射变换矩阵的RANSAC算法进行精准匹配。本文对基于特征组合与RANSAC算法的匹配效果进行了试验对比分析，试验结果表明：与常用匹配方法的匹配效果相比，本文的匹配方法继承了AKAZE算法的快速匹配能力，匹配总耗时介于AKAZE算法和SIFT算法之间，约为BRISK算法匹配耗时的20%；同时，该匹配方法继承了SIFT算法的多匹配点对性能，从整体匹配效果来看，本文的匹配方法优于AKAZE、SIFT、BRISK算法。     

剔除无人机影像BRISK特征误匹配点对算法

针对BRISK特征检测算法在遥感影像中匹配时同名点对冗余度高和全局性差等特点,考虑BRISK特征检测算法能获取大量无人机遥感影像特征点,Delaunay三角网算法能够利用影像的BRISK特征点的粗匹配点对构建三角网,本文综合两种算法的优点,提出了一种结合BRISK特征检测算法和Delaunay三角网算法的剔除无人机遥感影像误匹配点对方法。该方法利用两张影像的BRISK粗匹配特征点构建Delaunay三角网,利用遍历两张影像三角网中的三角形相似度剔除错误匹配点对,并利用摄影不变量原理进一步剔除误匹配点对,提高了两张影像的精度;对比分析了Delaunay三角网的射影不变量算法,RANSAC算法分别剔除原始影像组、加入椒盐噪声影像组及旋转影像组的BRISK特征误匹配点对的效果。试验结果表明,3组影像分别利用结合BRISK特征和Delaunay三角网的射影不变量算法的无人机遥感影像匹配方法获得的正确特征匹配点对冗余度低、全局性优。     

深度卷积特征表达的多模态遥感影像模板匹配方法

多模态遥感影像间（光学、红外、SAR等）存在显著的非线性辐射差异，传统方法难以有效地提取影像间的共有特征，匹配效果不佳。鉴于此，本文将深度学习方法引入影像匹配中，提出了一种基于Siamese网络提取多模态影像共有特征的匹配方法。首先通过去除Siamese网络中的池化层和抽取特征来优化该网络，保持特征信息的完整性和位置精度，使其可有效地提取多模态影像间的共有特征，然后采用模板匹配策略，实现多模态遥感影像高精度匹配。通过利用多组多模态遥感影像进行试验，结果表明，本文方法的匹配正确率和匹配精度都优于传统的模板匹配方法。     

一种热红外与可见光影像深度特征匹配方法

针对无人机热红外影像与光学卫星影像的匹配难题,提出一种基于异源地标数据集学习的深度局部特征匹配方法。首先,利用生成对抗网络学习热红外与可见光影像的灰度分布规律,并进一步合成用于特征提取模型训练的热红外影像地标数据集;然后,联合残差网络和注意力机制模型,从数据集中学习深度不变特征;最后,经过对不变特征的匹配、提纯等处理,获得像对的正确匹配点。试验测试了该方法的性能,并与KAZE、特征检测描述网络和深度局部特征模型进行了对比。结果表明,提出的方法对灰度、纹理、重叠率以及几何变化具有较强的适应性,且匹配效率较高,可为无人机视觉导航提供支撑。     

基于改进卷积神经网络的城市地下排水管道视频智能识别

城市地下排水管道是市政工程中的一个重要基础设施,但随着管道的老化,不同类型的缺陷开始产生,如何及时有效地对其进行智能识别是当前市政管理面临的一个重要挑战。对此,本文利用当前最新的深度学习进行管道视频图像的智能识别,提出了基于改进卷积神经网络的IM-CNN算法。算法基于InceptionV3框架,针对需要识别的管道图片不同类别缺陷间具有类不平衡性的特点,设计了面向管道识别的改进特征融合策略及新的目标函数。基于地下排水管道数据集的试验表明,该算法的预测识别能力不仅优于传统的机器学习算法,而且强于已有直接利用卷积神经网络的算法。     

多通道置信传播算法的核线影像密集匹配

针对航空核线影像的稠密匹配问题,该文提出了一种基于控制点与RGB三色置信传播模型的多通道置信传播算法。该算法利用点特征匹配算子提取影像的部分同名点作为区域控制点,随后将RGB 3个颜色分量都作为置信传播模型的独立基础变量,同时增加邻域像素点对的颜色差异的贡献。两组核线影像匹配实验结果表明,所提算法在使用较少参数的情况下,降低了同名点存在颜色差异造成的干扰,利用置信传播原理提高了同名点的匹配正确率,能有效进行航空核线影像的逐像素密集匹配。     

基于SIFT匹配和RANSAC算法的超分辨率重建

图像超分辨率重建技术是根据序列图像间信息互补重建高分辨率图像的技术，其主要步骤在于精确运动估计算法和有效超分辨率重建算法。针对存在旋转、缩放变换的序列图像，本文提出一种基于SIFT匹配和随机采样一致性算法（RANSAC）的运动估计算法，该方法首先使用SIFT算法对图像序列的特征点进行提取并匹配，然后使用RANSAC算法消除误匹配点并获取投影变换矩阵，从而获得图像序列间的亚像素级的运动信息；采用一组低分辨率序列图像进行试验，基于上述运动估计算法，采用迭代反投影进行超分辨率重建。试验结果表明，运动估计精度较高，重建影像具有较好的视觉效果，尤其适用于影像序列间存在旋转缩放运动的图像序列的超分辨率重建。     

核线驱动与自适应窗口相结合的建筑物角点稳健匹配算法

针对景深突变、区域遮挡等因素导致的倾斜立体影像中同名建筑物角点难以准确匹配的难题,提出一种基于核线驱动和自适应窗口的鲁棒匹配算法。算法分3个阶段:1提取重复度较高、分布均匀的角点特征,并对立体像对进行多类型互补仿射不变特征匹配,以用于后续的几何关系估计;2利用随机采样一致性(random resample consensus,RANSAC)算法来排除地面区域的角点特征,并采用改进的RANSAC算法估计两组倾角迥异的核线关系;3基于步骤2估计的双核线关系求取景深突变区域中角点的近似几何单应变换,并联合自适应窗口方法实现同名建筑物角点的精确匹配。最后,通过多组高分辨率无人机倾斜影像数据验证了该算法的有效性与优越性。     

基于SIFT的宽基线立体影像密集匹配

提出基于对极几何和单应映射双重约束及SIFT特征的宽基线立体影像多阶段准密集匹配算法。算法包括三个阶段：①基于特征点的空间分布和信息熵选取一定数量的最优SIFT特征点集并进行最小二乘初始稀疏匹配及立体像对的基本矩阵和单应矩阵估计;②对于其余特征,利用同名核线倾斜角及SIFT特征的尺度信息对匹配窗口的仿射变换参数进行迭代优化及变形改正、提取仿射不变SIFT特征描述符,并基于双重约束信息及欧氏距离测度进行匹配;③考虑宽基线立体影像较低的特征提取重复率,对第②步左右影像中未能成功匹配的特征点,基于双向搜索策略,采用基于盒滤波加速计算的SSD测度在变形改正后的双重约束区域中进行匹配,并对匹配结果进行加权最小二乘拟合定位。实际的宽基线立体影像试验结果证明了算法的有效性,可为后续的三维重建提供较为可靠的密集或准密集匹配点。