特征法视觉SLAM逆深度滤波的三维重建

针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题,本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法,可利用视频序列影像实时、增量式地构建相对稠密的场景结构.具体来说,设计了一种基于运动模型的关键帧追踪流程,能够提供精确的相对位姿关系;采用一种基于概率分布的逆深度滤波器,地图点通过多帧信息累积、更新得到,而不再由两帧三角化直接获取;提出一种基于特征法与直接法的后端混合优化框架,以及基于平差约束的地图点筛选策略,可以准确、高效解算相机位姿与场景结构.试验结果表明,与现有方法相比,本文方法具有更高的计算效率和位姿估计精度,而且能够重建出全局一致的较稠密点云地图.     

场景判断增强SURF影像匹配算法

SURF特征匹配算法进行特征匹配操作时,会受到边缘线上大量相似点特征等因素的影响,特征匹配结果往往不会达到预期的效果,在纹理特征复杂的场景区域,其匹配精度会变得更低。为了实现在复杂场景中连续影像帧之间高质量的特征匹配,本文提出了一种基于场景判断的改进SURF影像匹配算法。该方法以GC-SURF特征匹配算法为基础,在初始匹配与几何对应匹配阶段增加了变换矩阵评估机制。首先,采用本文算法构建两帧影像间的变换关系模型,求解基础矩阵与单应矩阵;然后,通过变换矩阵评估策略,对上一步求得的基础矩阵与单应矩阵进行评估,判断影像场景的立体程度,根据场景立体程度选择相应的变换矩阵;最后,根据选择的变换矩阵进行后续几何对应匹配。对ICL-NUIM数据的综合试验表明,本文算法能够取得更高质量的匹配效果。     

基于角点配准的多分辨率背景估计与补偿算法

本文针对动态背景下序列影像的目标检测,提出了基于改进NCC的Harris角点配准和基于多分辨率的全局运动参数估计方法:通过对相关度量NCC加入距离度量信息,寻求相邻图像帧中的正确匹配点对,再根据构造的分辨率影像,估计全局运动参数,以此进行运动补偿,从而利用差分法可准确地检测出运动目标。实验结果表明,该方法能够有效地实现背景估计和全局运动补偿,自动检测出视频序列中的运动目标。     

基于点特征的单目视觉里程计实现

本文采用特征点检测实现移动机器人的单目视觉里程计,通过对图像进行网格划分保证特征点均匀分布,提高特征点匹配效率。并行计算基础矩阵及单应矩阵实现单目视觉里程计的自动初始化,采用RANSAC算法剔除外点提高特征点匹配质量。设定运动模型及参考帧模型加速帧间运动估计,并通过合理的关键帧选取策略及图优化提高相机位姿精度及鲁棒性。利用TUM数据集测试本文设计的单目视觉里程计,实验轨迹误差为3.58 m,通过Turtlebot2移动机器人对真实环境进行测试,实验表明本文方法的有效性。     

顾及像面畸变的卫星视频稳像

卫星视频每帧影像外方位元素数值存在差别,相邻帧影像间的同名点在像面位置不同,且由于每帧影像均存在几何畸变,经典的帧间的投影变换模型、仿射变换模型等视频稳像的配准模型不能精确描述帧间的同名点关系。针对该问题,本文提出顾及像面畸变的卫星视频稳像算法,基于仿真的卫星视频,验证了该算法的可行性和精度。     

一种改进SURF的视觉影像匹配算法

视觉影像经常存在纹理情况复杂和动态模糊等情况,严重降低了连续影像间各类特征的相似性,导致传统的匹配算法难以获得准确、稳定、分布良好的影像匹配,影响后续影像处理中各类信息的获取。针对上述情况,本文提出了一种改进SURF视觉影像匹配方法。该方法包括特征提取、初始匹配和对应匹配3个步骤。首先,利用SURF特征匹配方法提取足够且分布良好的特征点;其次,进行初始匹配,得到一些正确的匹配点对及影像对之间的初始投影变换关系;最后,采用几何对应匹配策略进行匹配传播,得到更可靠的匹配结果。通过图像对之间的几何关系,几何对应匹配能够发现比初始SURF算法更合适的匹配结果。对TUM数据综合试验表明,该算法简单快速,匹配精度高。     

采用反向构成迭代的视觉SLAM直接法位姿估计

为了提高视觉SLAM相机位姿估计的计算效率,提出一种直接位姿估计方法。该方法无需逐帧进行特征提取和影像匹配,直接根据像点辐射信息构建非线性优化问题求解相机位姿。推导了基于灰度变换系数的直接法位姿估计平差模型及相应的反向构成迭代解法,利用常速运动模型构建合理初值假设,设计相应的关键帧判断与创建准则,并基于ORB-SLAM系统框架进行实现,使其在保留间接法优点的同时,运算速度得以显著提升。实验结果表明:该方法估计每帧位姿仅需5.7 ms,可以在保证同等精度的情况下,达到ORB-SLAM系统2倍以上的整体计算效率,基本满足视频影像实时稳健三维重建的要求。     

几何约束条件下的SIFT倾斜影像匹配

针对倾斜摄影包含多个视角的影像因而使不同视角之间的影像具有较大的仿射畸变的问题,提出了一种基于几何约束和SIFT的倾斜影像匹配算法。首先根据POS值对所有的倾斜影像进行畸变校正,然后利用SIFT GPU对所有影像进行匹配。对于整个测区的影像,首先根据POS值获取影像间的拓扑关系,其次是影像之间的两两匹配,最终完成特征点追踪,生成光束法平差所需的同名点对。试验结果表明,该算法在效率、精度及匹配点数量上都可以很好地满足后续的光束法平差。     

基于Swin Transformer-CNN的单目遥感影像高程估计方法及其在公路建设场景中的应用

目前,在遥感影像几何条件和辐射质量良好的情况下,通过多视遥感影像的逐像素立体密集匹配对场景进行高程估计的技术相对比较成熟,无论是精度还是效率均达到了较高水平。然而,当具有良好几何条件和辐射质量的多视遥感影像难以获取时,经典摄影测量和计算机视觉的几何处理方法可能会面临较大的挑战。本文对该问题进行了研究,针对大幅遥感图像中各部分高程分布差异大,模型训练难度大的问题,提出了一种基于Swin Transformer和卷积神经网络(convolutional neural network, CNN)的单目遥感影像高程估计方法。一方面Swin Transformer利用滑动窗口和层级设计,兼具了卷积神经网络处理大尺寸图像和提取多尺度特征的能力及Transformer的全局信息交互能力。另一方面针对大幅遥感图像中各部分高程分布差异大带来的训练不稳定问题,本文方法能针对每张输入图像自适应地划分高程值,将高程估计问题转化为分类-回归问题,最终图像各像素点的高程值由划分的高程值及其分布概率得到。试验结果表明：本文所提出的基于Swin Transformer-CNN的遥感影像高程估计方法无论是定性还是定量的...     

局部特征匹配的卫星影像几何偏差估计可行性分析

几何定位偏差是评估卫星影像质量的重要参数之一。本文利用特征匹配方法进行卫星影像几何偏差估计,并对该方法的可行性进行分析。首先,选取包含典型地物的局部卫星影像构建路标基准影像库;其次,采用局部点特征描述子对卫星影像与路标基准影像库进行亚像素提取与匹配,确定同名像点,然后为提升同名像点匹配精度,提出了顾及空间关系与几何一致性约束的匹配策略,继而,对卫星影像与路标基准影像库的匹配像点进行内插计算,获取同名像点的地理空间坐标;最后,通过差值计算得到卫星影像相对路标基准影像的偏移参数,完成几何偏差估计和可行性分析。本文以我国风云卫星为例,选取包含海岸线、湖泊、山脉、河流及岛屿的局部卫星影像集构建路标基准影像库,并选用SIFT、SURF、ORB 3个局部特征进行测试分析。测试结果表明,基于局部特征匹配策略对卫星影像几何偏差估计的系统误差小于0.1像素,定量地证明了局部特征匹配方法对卫星影像几何偏差估计的可行性。     

相对定向的机载惯性测量装置视准轴误差求解方法

利用航摄像片存在的相对几何位置关系,将机载IMU视准轴误差引入立体像对相对定向模型中,提出了一种基于相对定向的机载IMU视准轴误差求解新方法。详细推导了基于单个立体模型和连续立体模型求解IMU视准轴误差的数学模型,并用三组带有IMU设备获取的实际航空影像数据进行了试验验证。结果表明,所推导的机载IMU视准轴误差求解方法是正确、可行的,利用三张以上相邻像片构成的连续立体模型即可求解出IMU的视准轴误差,避免了野外布设检校场和其他地面控制条件带来的诸多问题,有利于带机载IMU的航空遥感快速对地目标定位。     

基于联邦滤波进行立体相机/IMU/里程计运动平台组合导航定位

在无GPS信号的受限环境中,基于序列立体影像的运动平台视觉定位精度较高,能够改正航迹推算方法的误差累积,但在纹理贫乏或光照不足的环境下容易定位失败。为提高受限环境下运动平台定位的精度与稳健性,提出一种基于联邦滤波的立体相机、惯性测量单元（inertial measurement unit,IMU）及里程计组合导航方法。该方法在联邦滤波中利用IMU分别同里程计与立体相机构成子滤波器,有效避免立体视觉定位失效而导致的系统定位失败,提高了定位稳健性。地下巷道实验结果证明,所提方法能有效提高运动平台导航定位的精度,并且在立体视觉定位失效的情况下仍能实现连续定位。     

基于几何约束和目标检测的室内动态SLAM

针对即时定位与地图构建(SLAM)在室内动态环境下定位精度低和地图效果差的问题,提出一种基于几何约束和目标检测的室内动态SLAM方法. 使用目标检测网络获取语义信息,提出运动物体漏检的方法;根据先验知识,提出准确识别动态区域的信息判定方法;结合几何约束和深度学习方法剔除动态点,利用静态点估计相机位姿;根据存储信息构建可闭环的静态地图. 在TUM数据集上进行实验,定位精度比ORB-SLAM2提高97.5%,相较于其他动态SLAM可取得更好的性能. 在室内真实环境进行实验,构建的静态地图更准确,有效提高了室内动态SLAM的定位精度和地图效果.      

资源三号全国无控制整体区域网平差关键技术及应用

介绍了资源三号卫星三线阵立体像对全国无控制整体区域网平差的关键技术及应用,主要包括高精度稳态重成像处理技术、基于虚拟控制点的平差模型构建技术、粗差（包括几何精度异常影像、误匹配点）的探测与剔除技术以及超大规模平差方程的高效解算方法。在此基础上,对覆盖全国的8 802个资源三号三线阵立体像对（共26 406景影像）在无控制条件下整体一张网的平差结果及精度验证情况进行分析。实验结果表明,该方法不但可以保证区域网整体的绝对无偏估计,还可以有效控制区域网内部几何误差的传递与累积,从而避免网的变形,以保证网内几何精度的一致性与均匀性。此外,还列出了本技术在全球测图工程中德国试验区的示范应用情况。     

基于几何规则的车载近景立体影像道路交通标线自动提取

道路交通标线信息是道路导航地图中必不可少的数据,对于制作精度更高、道路细节信息更加丰富清晰的高精度导航地图具有重要的作用。本文以车载近景立体影像中的道路交通标线信息自动提取为研究目标,针对道路交通标线快速、精确采集的应用需求,提出了基于几何规则的车载近景立体影像道路交通标线自动提取方法。该方法首先分析了道路交通标线的几何特征;其次,构建了基于几何特征的交通标线信息提取规则;最后,以标线种子点为基础,结合前述规则,实现了道路交通标线三维空间信息的自动采集。以南京师范大学的车载移动测量系统拍摄的实际近景立体影像为数据进行了试验,试验结果证明,本文方法相比传统人机交互采集方法,在交通标线特征点采集效率、标线几何相似度等方面有较大的优势,可为高精度导航地图的生产提供一种可借鉴的技术支撑。     

Camera localization for augmented reality and indoor positioning: a vision-based 3D feature database approach

ABSTRACT

The recent fast development in computer vision and mobile sensor technology such as mobile LiDAR and RGB-D cameras is pushing the boundary of the technology to suit the need of real-life applications in the fields of Augmented Reality (AR), robotics, indoor GIS and self-driving. Camera localization is often a key and enabling technology among these applications. In this paper, we developed a novel camera localization workflow based on a highly accurate 3D prior map optimized by our RGB-D SLAM method in conjunction with a deep learning routine trained using consecutive video frames labeled with high precision camera pose. Furthermore, an AR registration method tightly coupled with a game engine is proposed, which incorporates the proposed localization algorithm and aligns the real Kinetic camera with a virtual camera of the game engine to facilitate AR application development in an integrated manner. The experimental results show that the localization accuracy can achieve an average error of 35?cm based on a fine-tuned prior 3D feature database at 3?cm accuracy compared against the ground-truth 3D LiDAR map. The influence of the localization accuracy on the visual effect of AR overlay is also demonstrated and the alignment of the real and virtual camera streamlines the implementation of AR fire emergency response demo in a Virtual Geographic Environment.     

遥感制图与导航定位技术在嫦娥三号遥操作中的应用

系统介绍了嫦娥三号遥操作中基于影像的遥感制图与导航定位技术的应用方法。利用降落相机序列影像实现了嫦娥三号着陆器在嫦娥二号卫星影像上的高精度定位,并生成了着陆区高精度3维制图产品;利用导航相机立体影像生成巡视器周围地形产品,采用站间影像匹配定位和DOM匹配的方式实现了玉兔号月球车的连续高精度定位;将高精度的定位结果和制图产品应用于月球车遥操作任务规划中,为月球车的安全行驶和科学探测提供了精准的定位和3维地形信息。月球车月面巡视探测工作的顺利完成,验证了这些应用技术的可靠性。     

一种基于多目视觉的无人机实时定位方法

提出了一种基于多目视觉的实时无人机自动定位方法。该方法将多相机和多台计算机联合组建局域网,通过相机标定、图像同步采集、背景差分与前方交会等实现无人机自动检测与定位。为了验证该方法的有效性,开发了一套无人机检测和定位的软硬件系统,试验结果表明该方法是可行、有效的,定位精度满足要求。     

资源三号卫星成像在轨几何定标的探元指向角法

从资源三号卫星（ZY-3）影像严格几何模型出发,通过对星敏感器坐标系下各CCD探元指向角的分析,提出一种ZY-3成像在轨几何定标的探元指向角法。经对嵩山和洛阳两个试验区