基于SIFT的宽基线立体影像最小二乘匹配方法

提出基于对极几何和单应映射双重约束的SIFT特征多尺度加权最小二乘匹配算法。算法首先基于特征点的空间分布和信息熵选取一定数量的最优SIFT特征点集,并采用基于奇异值分解(SVD)的SIFT特征匹配、基于SIFT特征尺度和方位信息的自适应归一化互相关(NCC)匹配获得精度较高的初始匹配点用于立体像对的基本矩阵和单应矩阵估计。然后在对极几何和单应映射的双重约束下,基于自适应NCC及距离加权的多尺度最小二乘匹配算法进行扩展匹配并同时保留匹配定位精度较高的原始SIFT特征点对。算法综合应用基于积分影像的NCC快速计算、金字塔影像匹配等方法和策略。最后选取实际的宽基线序列立体影像进行试验并同原始的SIFT特征匹配算法、基于SVD的SIFT算法进行了综合对比分析。结果表明当影像间无显著亮度变化时该方法的匹配性能明显优于现有的方法。     

融合互补仿射不变特征的倾斜立体影像高精度自动配准方法

提出一种基于最大稳定极值区域(maximally stable extremal regions,MSER)与Harris&Hessian Affine的互补仿射不变特征高精度自动配准算法。算法分3个阶段:①融合MSER与Harris&Hessian Affine互补不变特征,采用最小生成树算法选取一定数量的最优互补特征集合,基于特征的仿射不变信息实现局部图像的仿射与方向归一化,特征匹配采用多层次自适应策略,首先基于SIFT描述符的欧氏距离比率测度获得初始匹配,继而估计影像间的基本矩阵与单应矩阵,然后在双重几何约束下利用归一化互相关(normalized cross correlation,NCC)测度进行扩展匹配,以增加特征匹配数量且最大限度地消除误匹配;②通过最小二乘匹配(least square matching,LSM)使匹配结果达到子像素精度,以提高配准精度,最小二乘匹配的迭代参数初值由同名仿射不变特征间的协方差矩阵与主梯度方位获得;③基于②的匹配结果和投影变换模型,完成影像的高精度配准。针对地面近景倾斜立体影像和无人机倾斜立体影像的试验结果证明了算法的有效性。     

宽基线立体影像Harris-Laplace特征的最小二乘匹配算法

针对宽基线立体影像匹配的困难,本文提出一种基于Harris-Laplace的最小二乘匹配算法.算法基于Harris-Laplace特征检测器获得精度较高的初始特征点,对初始特征点进行NCC匹配,并应用基本矩阵F与单应矩阵H估计剔除误匹配点对,采用距离加权最小二乘匹配算法进行扩展匹配并同时保留定位精度较高的原始Harri...     

局部单应约束的高精度图像自动配准方法

提出一种基于SIFT特征的抗差图像匹配算法。算法分为两个阶段:①初始匹配,综合利用SIFT特征匹配方法和基于SIFT特征尺度和方位信息的自适应归一化互相关(normalized cross correlation,NCC)方法建立初始相关,并基于几何关系一致性检测剔除误匹配;②匹配传播,在初始相关的基础上,利用自适应NCC和局部单应约束进行匹配传播,迭代产生更多的匹配点并采用几何关系一致性检测剔除可能的误匹配。初始单应采用最小二乘匹配方法估计得到,并采用自适应NCC为其提供良好的初始值。与现有的基于SIFT特征的图像配准方法相比,算法在抗几何变形和配准精度等方面具有优越性。     

融合尺度和仿射不变特征的倾斜立体影像配准

针对倾斜立体影像通常存在较大的几何变形从而难以自动匹配的问题,该文提出了一种融合MSER特征和SIFT特征的自动配准算法:选取MSER特征获得初始匹配及其对应邻域的仿射几何关系,对MSER候选匹配邻域内SIFT的特征点进行局部几何约束的仿射不变归一化相关系数匹配,定义邻域内SIFT特征的匹配正确率为邻域支持度,并据此进行原始MSER误匹配进行剔除。对上述未能匹配的MSER和SIFT特征,采用基于局部单应约束进行迭代匹配传播以获得更多的配准控制点并用于精确估计投影变换模型,完成影像的配准。同现有方法相比,所提算法在匹配点数、匹配正确率和配准精度方面有较大优势。     

一种具有仿射不变性的倾斜影像快速匹配方法

提出了一种较为快速且具有仿射不变性的倾斜影像匹配方法。通过估算影像的相机轴定向参数计算出初始仿射矩阵,通过逆仿射变换得到纠正影像,对纠正影像进行SIFT匹配。首先利用比值提纯法(NNDR)、归一化互相关(NCC)测度约束和左右一致性检验得到粗匹配点对,由粗匹配点对利用RANSAC方法计算出基本矩阵F和单应矩阵H。匹配时,匹配策略采用最邻近匹配,并利用极线约束、单应矩阵约束、NCC测度约束和主方向差值一致性约束剔除误匹配。通过对三组典型的倾斜影像数据进行试验,试验表明该方法匹配准确率高,匹配点对较为密集、均匀,且效率较高。     

融合多类特征的海岸带特殊纹理影像全自动配准

针对海岸带特殊纹理影像存在地物单一、纹理匮乏或重复等问题,该文提出一种融合多类特征的海岸带立体影像全自动配准方法。该算法分为3个阶段:①提取尺度不变特征变换(SIFT)关键点,采用欧氏距离比率获得初始匹配,并进一步采用归一互相关匹配(NCC)和随机抽样一致性算法剔除误匹配,继而估计影像间的单应矩阵;②利用改进的Forstner算子对左影像提取均匀分布的角点特征,并利用单应矩阵和NCC匹配进行同名点匹配;③基于上述多类特征的精匹配结果,计算影像间投影变换模型,实现影像的配准。最后,为验证该文算法的有效性,选取3组存在较大尺度、旋转及视角变化的海岸带特殊纹理影像进行综合对比试验,结果表明该文算法可实现全自动配准,并且在匹配点数量、配准精度以及匹配点空间分布等方面具有优势。     

多分支网络联合的倾斜影像仿射不变特征匹配

倾斜立体影像间存在较大仿射变形甚至透视畸变,导致现有的宽基线立体影像匹配算法容易失效或仅获得稀少匹配.基于此,本文提出一种多分支卷积网络联合的倾斜立体影像仿射不变特征匹配算法.算法首先使用Hessi an算子提取初始特征邻域,接着引入三分支网络(TN)模型,并通过深度学习策略获得仿射不变特征邻域.为提高非同名相似特征的匹配效果,提出多边约束损失函数并训练多分支描述符网络(MDN)模型,继而得到具有较高区分度的描述符.然后采用最/次近邻距离比率(NNDR)测度获得同名特征,并通过随机采样一致性(RANSAC)算法剔除可能的误匹配点.最后,多组低空无人机倾斜立体影像试验结果验证了算法的有效性.     

改进MSAC估计F与H矩阵在匹配点中的提纯

针对立体影像匹配中误匹配问题,通常通过某种约束来剔除误匹配。在多视图几何中,多采用基本矩阵和单应矩阵约束同名像点的位置。本文采用改进的稳健MSAC算法估计基本矩阵与单应矩阵,分别对不同地物类型的影像进行误匹配剔除。试验结果表明:(1)改进后的MSAC算法性能优于原算法;(2)单应矩阵适合于平坦地区影像,且其约束力高于基本矩阵;而基本矩阵则适合于任意立体影像。     

倾斜立体影像自动准稠密匹配与三维重建算法

倾斜影像之间因存在较大几何畸变,已有算法尚难取得可靠准稠密匹配,严重阻碍后续的三维重建。本文提出一种基于仿射不变特征的自动准稠密匹配与三维重建算法。算法分三个阶段:1)种子匹配。先利用仿射不变特征获取初始匹配,在此基础上进行最小二乘匹配(least square matching,LSM),并自适应迭代求取LSM最大收敛区域(maximum convergence region,MCR);2)准稠密匹配。对位于MCR内部的格网点采用透视变换模型的归一化互相关(normalized cross correlation,NCC)测度进行匹配,其余格网点则采用对极几何改正模型的加权差值平方和测度进行匹配,对于匹配结果中可能存在的外点根据几何一致性关系剔除;3)三维表面重建。利用影像定向与共线方程对2)步结果重建三维点云,然后根据三维点云生成三维网格并贴上纹理,得到最后的重建结果。实际的倾斜立体影像实验验证了算法的优越性。     

面向宽基线立体影像匹配的高质量仿射不变特征提取方法

针对宽基线影像匹配问题,提出基于信息量和空间分布均衡性双重约束的多层次特征筛选方法,并在此基础上探讨集成该特征筛选方法、MSER(Maximally Stable Extremal Region detector)、SIFT(Scale Invariant Scale Transformation)的特征提取算法,以达到提取高质量(高信息量、空间分布均衡、高重复率)仿射不变特征的目的。实验表明,相对现有最优算法,本文方法具有更高的重复率和匹配成功率,更有利于后续的(宽基线)立体匹配。     

融合SIFT与SGM的倾斜航空影像密集匹配

针对倾斜航空摄影特点与匹配处理要求,提出了融合尺度不变特征转换SIFT与半全局匹配SGM的倾斜影像密集匹配方法,包括两个阶段:(1)引入局部二阶矩变换的SIFT倾斜影像稀疏匹配。利用与二阶矩特征值有关的Hessian-Gabor算子提取影像初始特征,通过窗口二阶矩变换及椭圆归一化处理去除特征邻域的仿射变化,使得改进SIFT的特征描述符仿射不变性大大增强,满足宽基线倾斜像对稳健匹配要求的同时并能获得较多的匹配特征作为后续SGM优化计算的路径约束条件;(2)路径受限优化下的SGM倾斜影像密集匹配。以倾斜影像SIFT成功匹配像素的互信息为约束,对SGM的动态规划路径进行分段纠正,减小错误匹配代价的传播并加速最优路径搜索过程;以匹配像素的离散视差信息为基础,基于TPS变换生成良好初始视差图,以提高SGM互信息计算的可靠性并提高计算效率;对理想水平像对下的摄影测量水平核线重排过程进行扩展,整体旋转摄影基线以消除分量BX,BY的影响并建立虚拟"水平"像空间辅助坐标系,从而利用相对定向参数生成沿扫描线方向的"水平"核线影像以满足SGM应用要求。倾斜影像密集匹配试验结果证明了算法的有效性,可为后续摄影测量DSM自动生成或3维快速重建工作提供可靠、逐像素的密集匹配点。     

Three-image matching. For 3-D linear object tracking

This paper will discuss strategies for trinocular image rectification and matching for linear object tracking. It is well known that a pair of stereo images generates two epipolar images. Three overlapped images can yield six epipolar images in situations where any two are required to be rectified for the purpose of image matching. In this case, the search for feature correspondences is computationally intensive and matching complexity increases. A special epipolar image rectification for three stereo images, which simplifies the image matching process, is therefore proposed. This method generates only three rectified images, with the result that the search for matching features becomes more straightforward. With the three rectified images, a particular line-segment-based correspondence strategy is suggested. The primary characteristics of the feature correspondence strategy include application of specific epipolar geometric constraints and reference to three-ray triangulation residuals in object space.     

Three-image matching. For 3-D linear object tracking

1　ＩｎｔｒｏｄｕｃｔｉｏｎＴｈｒｅｅｄｉｍｅｎｓｉｏｎａｌ(3＿Ｄ)ｌｉｎｅａｒｏｂｊｅｃｔｔｒａｃｋｉｎｇｉｓａｋｅｙｏｐｅｒａｔｉｏｎｆｏｒａｎｕｍｂｅｒｏｆｓｔｅｒｅｏｖｉｓｉｏｎａｐｐｌｉ ｃａｔｉｏｎｓ,ｆｏｒｅｘａｍｐｌｅ ,ａｕｔｏｎｏｍｏｕｓｏｎ＿ｒｏａｄｖｅｈｉｃｌｅｎａｖｉｇａｔｉｏｎ[2 ,5 ,9] ａｎｄｍｏｂｉｌｅｍａｐｐｉｎｇ[3,1 1 ,1 8] .Ｓｕｃｈｓｙｓｔｅｍｓｔｙｐｉｃａｌｌｙｅｘｐｌｏｉｔｔｗｏｓｔｅｒｅｏｉｍａｇｅｓｏｎｌｙｆｏｒｌｉｎｅａｒｏｂｊｅｃｔｔｒａｃｋｉｎｇ .Ｂｉ…     

无人机核线影像的稀疏匹配与稠密匹配

无人机影像转化为水平核线影像后,能够有效地减少同名点的搜索空间。在此基础上,本文使用SIFT算子进行了稀疏匹配,并用BP算法进行了稠密匹配。结果表明：①SIFT算子获取的同名点比较少,但是计算方法简单,同名点空间坐标精确,适用于大范围获取简要的空间三维信息;②BP算法计算复杂度高,可以获取地物大量的同名点,适用于小范围的地物三维重建。总体而言,两者各有优缺点,在实际的应用中可互补。     

基于数字视差模型和改进SIFT特征的数字近景立体影像匹配

针对数字近景立体摄影测量中立体影像的高效自动匹配的需要,提出一种基于数字视差模型（digital parallax model,DPM）和改进SIFT(scale invariable feature transformation)特征的立体影像匹配算法。该算法首先根据近景立体摄影系统中相机基距和相互关系固定的特点,利用已知的标定数据,构建立体影像的数字视差模型,并计算立体影像中的同名核线参数,再在DPM和核线的约束下,确定右影像上同名像点的搜索范围,以提高匹配速度和准确性;其次,利用SIFT特征和灰度特征,设计结合局部结构信息和全局灰度信息的匹配相似性测度计算模型,以增强匹配的稳健性。利用该算法对实际立体影像进行实验,结果表明本文方法可大大消减错误匹配,提高匹配的可靠性和精度。     

车载全景影像核线匹配和空间前方交会

全景相机车载移动系统可以获取带有精确位置和姿态信息的序列全景影像,针对该影像数据,提出一种构建全景核线影像的方法,描述了在球面全景模型下构建全景影像之间核线几何约束的过程,并推导出具体的公式,然后在两张全景核线影像之间使用SIFT算法匹配同名点,最后根据摄影中心、像点、物点3点共线的原理,推导出全景影像的共线公式,利用前方交会的原理计算出物点的空间3维坐标。实验结果表明,本文方法可以降低全景影像匹配的难度,提高匹配点数量和精度,适用于实现基于全景影像的量测等功能。     

核线驱动与自适应窗口相结合的建筑物角点稳健匹配算法

针对景深突变、区域遮挡等因素导致的倾斜立体影像中同名建筑物角点难以准确匹配的难题,提出一种基于核线驱动和自适应窗口的鲁棒匹配算法。算法分3个阶段:1提取重复度较高、分布均匀的角点特征,并对立体像对进行多类型互补仿射不变特征匹配,以用于后续的几何关系估计;2利用随机采样一致性(random resample consensus,RANSAC)算法来排除地面区域的角点特征,并采用改进的RANSAC算法估计两组倾角迥异的核线关系;3基于步骤2估计的双核线关系求取景深突变区域中角点的近似几何单应变换,并联合自适应窗口方法实现同名建筑物角点的精确匹配。最后,通过多组高分辨率无人机倾斜影像数据验证了该算法的有效性与优越性。