结合颜色信息的 Census变换半全局立体匹配算法

针对传统单一Census变换未充分利用影像信息且精度不高的问题,该文提出了一种结合颜色信息的Census变换半全局立体匹配算法。该算法联合像素点间RGB颜色绝对差值与其Census变换值的匹配代价计算方法,采用八方向半全局视差获取方法获得初始稠密视差图。为进一步提高匹配精度,利用左右一致性交叉检测确定初始视差图中不稳定视差;采用基于均值偏移图像分割的视差优化算法对视差图中不稳定视差进行优化,获得最终视差图。选取4组middlebury立体图片库经典立体像对进行视差获取实验并检测。结果表明,本算法能够获得较高精度且可靠视差图,且在遮挡、视差不连续处的视差精度明显优于单一Census变换立体匹配算法及一些改进半全局立体匹配算法。     

基于深度学习的立体影像密集匹配方法综述

三维重建可用于数字高程模型制作、机器人导航、增强现实和自动驾驶等。视差图是三维重建中一种重要的表达方式,而立体密集匹配是使用最广泛的获取视差图的技术。近年来,随着硬件、数据集、算法的发展,基于深度学习的立体匹配方法受到了广泛关注并取得了巨大成功。然而,这些方法通常在近景立体像对中进行测试,很少被用于遥感影像中。回顾了双目立体匹配的深度学习方法,选出了代表性的5种经典深度学习模型——GC-Net(geometry and context network)模型、PSM-Net(pyramid stereo matching network)模型、GWC-Net(group-wise correlation stereo network)模型、GA-Net(guided aggregation network)模型、HSM-Net(hierarchical deep stereo matching network)模型,将其应用于一套开源街景数据集(KITTI2015)和两套航空遥感影像数据集(München、WHU);分析了各种网络的实现方法,探讨了深度学习在遥感影像立体匹配中的性能,并与传统方法进行了对比。     

基于深度学习的异源立体影像对匹配方法

相对于同源影像立体匹配,基于无人机倾斜摄影与近景摄影获取的异源影像在空间特征、视场角及分辨率等方面均存在较大的差异,给影像匹配带来困难。本文利用基于单应性变换的卷积神经网络提取特征点,在匹配阶段采用交叉注意力机制的图神经网络进行特征点匹配。该方法较好地克服了异源影像间因存在较大视差和扭曲变换而导致的匹配效果较差的问题,并以河北省廊坊市大城县的马家祠堂为试验数据,对比传统SURF （加速稳定性征）算法与深度学习算法的匹配效果。结果表明,基于深度学习算法对存在大视角差异的异源影像的匹配率更高。     

改进半全局匹配的高分卫星影像DSM提取方法

传统半全局匹配算法在提取高分卫星立体像对DSM时,匹配结果受正则化参数的影响较大,且在阴影、低纹理、重复纹理和视差跳变等难以匹配区域存在较多的视差空洞。针对上述问题,该文提出了一种改进半全局匹配的高分卫星影像DSM提取方法:在代价聚合过程中根据当前层金字塔影像的视差搜索范围和代价矩阵自动确定正则化参数以增强匹配结果的稳定性,同时构建金字塔聚合以提高匹配点的数量;在此基础上,利用基于快速双边算子的优化策略优化视差图以填充视差空洞。结果表明:本文方法生成的DSM在建筑物边缘更为精细,同时能够较好地恢复难以匹配区域的高程值,且具有更高的精度水平。     

高分辨率遥感影像DSM的改进半全局匹配生成方法

提出一种基于改进半全局匹配算法的高分辨率遥感影像数字表面模型（digital surface model,DSM）生成方法。首先利用影像间连接点几何约束关系对有理函数模型进行系统误差补偿,在补偿模型的基础上对影像进行分块,利用投影轨迹法逐块得到核线影像对;在密集匹配阶段,对影像建立金字塔后逐层进行半全局匹配,匹配过程中引入顾及影像纹理信息的视差图膨胀腐蚀算法约束每一层视差搜索范围,增加了视差图边缘处的有效像素数,同时减少了算法所需的内存开销和计算时间;在视差图后处理阶段,利用加权中值滤波算法保护了视差图的边缘信息;最后基于前方交会获取DSM。选取WorldView 3和资源三号立体影像进行试验,结果表明,本文方法获取的DSM精度在高程方向上接近于1.5倍GSD,并且较好地保持了地物的边缘特性,在计算效率和内存开销方面也具有较好的平衡。     

分层Fourier-Melin变换相位相关的影像匹配初始视差的自动获取方法

自动获取初始视差是影像匹配自动化的关键问题。提出了分层Fourier-Mellin变换相位相关的影像匹配初始视差的全自动获取方法,无需人工干预和其他辅助信息,能高效、自动地获取影像中心点较精确的初始视差。首先对基准影像与待匹配影像构建金字塔影像,使用Fourier-Mellin变换与相位相关法求解金字塔顶层影像上基准影像与待匹配影像间的旋转、缩放与平移参数,然后利用旋转参数和缩放参数矫正待匹配影像的旋转与缩放变形,再利用平移参数计算待匹配影像中心点与基准影像上对应的同名点的视差近似值,最后在金字塔逐层影像上使用相位相关法对该对同名点的视差近似值进行误差校正,从而得到较精确的初始视差值。     

基于边缘的多尺度立体匹配算法

提出了一种面向对象的多尺度递进的立体匹配算法,实现了由粗到细的快速立体匹配。首先对参考图进行粗分割获取目标对象,针对目标区域采用边缘线动态规划的方法获取视差,根据精度需求进一步判断该目标是否需要细分以获取更加精细的视差,得到有效的视差图。实验结果表明此方法快速有效。     

多尺度引导滤波加权聚合的立体匹配算法

针对多尺度局部匹配中出现边缘信息被过度平滑导致误匹配的现象，该文利用图像多尺度信息，提出多尺度引导滤波加权聚合的立体匹配算法以提高匹配精度。在代价计算阶段，改进了Census方法，并结合图像多尺度特征信息，融合绝对差值算子和零均值归一化算子，获取稳定的初始匹配代价。在代价聚合阶段，根据图像多尺度信息构建多尺度模型，在多尺度模型中引入邻域方差，提高多尺度模型的边缘保持能力，提高视差图质量。实验结果表明，该文利用图像的多尺度信息可以更好地对图像特征进行匹配，相比单尺度引导滤波算法以及传统多尺度算法整体匹配精度有明显提高，且在非边缘区域视差过渡更加平滑，验证该文提出的多尺度立体匹配算法的可行性。     

加权约束代价聚合的立体匹配算法

针对动态规划立体匹配算法存在的条纹瑕疵问题,提出了一种加权约束代价聚合的立体匹配算法。首先利用图像灰度与梯度信息联合计算匹配代价,并进行引导图像滤波;再通过四方向加权代价聚合的方式进行视差优化,得到最终视差图。标准测试数据实验结果证明,该算法能很好地改善传统动态规划算法的条纹瑕疵现象,且视差精度优于多数局部算法和动态规划改进算法,提高了立体匹配的精度。     

稀疏点云引导的航空影像数字表面模型生成方法

密集匹配是生成数字表面模型的核心步骤,但在纹理缺乏、视差断裂和光照不一致等区域容易匹配失败。为了提高密集匹配结果的精度,提出一种稀疏点云引导(sparse point cloud guidance, SPCG)的航空影像数字表面模型生成方法,旨在利用空三加密的稀疏点云约束影像的密集匹配。首先,通过稀疏点云引导的方式,选择具有良好几何配置、高重叠度和高覆盖率的立体影像对;然后,利用最近邻聚类和金字塔传播方法,扩充稀疏点云的数量;进一步,采用改进的高斯函数优化扩展点的匹配代价,以提高密集匹配结果的准确性;最后,将多个密集匹配点云融合,生成数字表面模型。模拟立体影像和真实航空立体影像的实验表明,SPCG方法优化的半全局匹配显著提升了原始半全局匹配算法的匹配准确性,具体数值表现如下：半全局匹配生成的视差图与真实视差的差值大于1、2或3个像素的百分比分别为46.72%、32.83%或27.32%,而SPCG方法优化的半全局匹配相比于半全局匹配分别下降了7.67%、9.75%或10.28%。此外,相比于高斯方法优化的半全局匹配和深度学习方法金字塔立体匹配网络,SPCG方法优化的半全局匹配具有最高的...     

最小化最大边权的正射影像镶嵌线自动搜索

提出一种最小化最大边权的正射影像镶嵌线自动搜索方法。首先,利用半全局约束立体匹配计算左右影像的视差图,将视差图和差值影像叠加生成差异影像并视其为带权无向图;然后,基于Bottleneck模型采用最小化最大边权算法搜索最佳镶嵌线,并利用分块策略进一步优化以提高运行效率。实验表明,算法能有效避开影像上几何差异或色度差异大的区域,得到满足应用需求的镶嵌结果。     

区域生长的半全局密集匹配算法

针对传统的半全局匹配算法在处理视差变化大、遮挡严重的城市航空影像时,存在匹配精度下降、匹配效率低下的问题,提出了一种基于区域生长的半全局密集匹配方法。采用区域生长算法获取影像的初始视差,并从初始匹配点中挑选可靠的点作为视差控制点;利用区域生长获取的视差图,限制各个方向动态规划的过程以加速最优路径的搜索;通过视差控制点对动态规划的路径进行修正,避免错误匹配代价的传播。基于城区无人机影像的实验结果表明,所提算法不仅可以提高匹配结果正确率,还能使耗费的内存和时间都不到原算法的50%。     

多尺度边缘动态规划立体匹配算法

目前大多数立体匹配方法都是基于像素处理,而以面向对象的方式进行立体匹配则更加符合人类视觉习惯。该文提出一种面向对象的多尺度递进的立体匹配算法,实现由粗到细的快速立体匹配。首先对参考图进行粗分割获取目标对象,然后针对目标区域采用边缘线动态规划的方法获取视差,再根据精度需求进一步判断该目标是否需要细分以获取更加精细的视差,最后得到有效的视差图。实验证明,这种方法以目标区域为对象避免了从像素级逐一运算,不仅使处理速度加快,而且还能保持有效精度。     

抗视差的宽基线弱纹理影像自动拼接算法EI北大核心CSCD

针对目前带有视差突变的宽基线弱纹理影像拼接效果差及需要人工干预的问题,本文从影像匹配和影像配准两方面进行改进,提出了面向宽基线弱纹理影像的抗视差全自动拼接算法。首先,采用融合了影像视角几何纠正的局部特征变换模型,由粗到精地实现弱纹理特征的准密集对应;然后,基于匹配点和深度神经网络,泛化学习宽基线影像间的可靠透视变换,以获取全局配准视差,局部视差则通过薄板样条函数来精确拟合;接着,将影像拼接结果的多边形边界进行规则化处理,通过全卷积网络将其训练为规则化矩形,在有效剔除空白区域的同时,最大限度地保留影像拼接内容;最后,选取4组无人机和地面近景宽基线弱纹理立体像对进行测试,并将本文算法的影像匹配及配准各阶段结果分别与现有代表性算法结果进行对比。试验结果表明,本文算法在匹配点数目、匹配精度及影像拼接质量等方面具有显著优势,并能够在影像弱纹理区域及视差突变场景表现出较好的稳定性。     

局部特征匹配的卫星影像几何偏差估计可行性分析

几何定位偏差是评估卫星影像质量的重要参数之一。本文利用特征匹配方法进行卫星影像几何偏差估计,并对该方法的可行性进行分析。首先,选取包含典型地物的局部卫星影像构建路标基准影像库;其次,采用局部点特征描述子对卫星影像与路标基准影像库进行亚像素提取与匹配,确定同名像点,然后为提升同名像点匹配精度,提出了顾及空间关系与几何一致性约束的匹配策略,继而,对卫星影像与路标基准影像库的匹配像点进行内插计算,获取同名像点的地理空间坐标;最后,通过差值计算得到卫星影像相对路标基准影像的偏移参数,完成几何偏差估计和可行性分析。本文以我国风云卫星为例,选取包含海岸线、湖泊、山脉、河流及岛屿的局部卫星影像集构建路标基准影像库,并选用SIFT、SURF、ORB 3个局部特征进行测试分析。测试结果表明,基于局部特征匹配策略对卫星影像几何偏差估计的系统误差小于0.1像素,定量地证明了局部特征匹配方法对卫星影像几何偏差估计的可行性。     

基于动恣规划的整体影像匹配

影像匹配是数字摄影测量工作的基础。考虑到多条核线上的匹配点，本文提出了一种基于动态规划的整体影像匹配方法，构造了一种新的立体匹配模型，并将该模型转化成为简单的一维动态规划模型，采用对角线的方法划分阶段，用视差较和相关系数来构造阶段的代价函数，从而得到了基于动态规划的整体最优匹配结果。     

火星快车HRSC线阵影像投影轨迹法近似核线重采样

火星快车高分辫率立体相机(high resolution stereo camera, HRSC)线阵推扫式影像具有分辫率高、全球覆盖性好等特点,对火星快车HRSL影像进行摄影测量处理可获取火星全球高分辫率地形数据,而影像匹配是自动获取地形数据的关键利用核线几何约束可以将影像匹配搜索范围由二维降至一维本文在构建火星快车HRSC线阵影像严格几何模型的基础上,提出了一种近似核线重采样方法首先,利用投影轨迹法分析 HRSC线阵影像核线的直线性与平行性;然后,将原始HRSC影像进行微分纠正生成水平影像,分析投影轨迹法得出的核线在水平影像上的几何关系并确定近似核线方向,再沿核线方向进行核线重排生成近似核线影像实验结果表明,本文算法生成的近似核线影像同名点上下视差优于1个像素,且在水平影像上进行近似核线重采样减少了由外方位元素变化引起的几何畸变,更有利于影像匹配。     

基于增强生成对抗网络的滑坡影像集超分辨率重建

针对高分遥感影像用于滑坡智能识别缺少高清训练集的问题,在组建高清滑坡训练集过程中,为充分利用低分辨率滑坡影像,本文采用基于增强型生成对抗网络模型(ESRGAN)实现了低分辨率滑坡影像集超分辨率重建。ESRGAN模型在SRGAN模型基础上,通过移除批归一化层、加入多级残差网络与残差缩放系数,提升了生成器的特征提取性能与稳定性,并采用迁移学习方法,基于毕节滑坡影像集与云南南景高速公路滑坡影像集进行试验验证。试验结果表明,基于迁移学习的ESRGAN模型在峰值信噪比(PSNR)与结构相似性(SSIM)方面获得更高得分,超分辨率重建取得更优结果。本文研究结果为获取滑坡高分辨率遥感影像集提供了一种新的技术方法。     

高分辨率遥感卫星颤振探测的相位相关分析法

平台颤振是影响高分辨率卫星影像几何和辐射质量的关键因素。为提高从影像反演平台颤振特性的可行性和可信度,本文提出基于局部频率分析相位相关的智能化视差法颤振探测方法。通过结合结构影像表达和相位相关,并充分利用影像的局部和全局相位信息,减少了辐射变化和噪声等干扰因素对亚像素偏移值估计的影响,同时融入视差法颤振探测框架,保证精确稳健的密集匹配,从而实现高效的平台颤振精密探测。通过采用实际辐射变化数据集的算法对比及采用资源三号卫星影像的颤振探测试验验证了本文方法的有效性。结果表明,局部频率分析相位相关算法在辐射差异和噪声等情况下效果优于其他主流相位相关算法,匹配精度达到0.05个像素,本文颤振探测方法有效估计了资源三号卫星的颤振信息。     

基于动态规划的整体影像匹配

影像匹配是数字摄影测量工作的基础，考虑到多条核线上的匹配点，本文提出了一种基于动态规划的整体影像匹配方法，构造了一种新的立体匹配模型，并将该模型转化成为简单的一维动态规划模型，采用对角线的方法划分阶段，用视差较和相关系数来构造阶段的代价函数，从而得到了基于动态规划的整体最优匹配结果。