基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法

基于单一传感器的同时定位与地图构建技术已经逐渐不能满足移动机器人、无人机及自动驾驶车辆等智能移动载体日益复杂的应用场景。为了进一步提升移动载体在复杂环境下的定位与建图性能,基于多传感器融合的SLAM技术成为目前研究的热点内容。本文提出了一种基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法(S-VIL SLAM),该方法在视觉惯性系统中引入激光雷达原始观测,基于滑动窗口实现了IMU量测、视觉特征及激光点云特征的多源数据联合非线性优化。利用视觉与激光雷达的互补特性设计了视觉增强的激光雷达闭环优化算法,进一步提升了多源融合SLAM系统的全局定位与建图精度。为了验证本文算法的性能,利用自主搭建的集成多传感器的硬件采集平台在室外场景下进行了车载试验。试验结果表明,本文提出的紧耦合双目视觉/惯性/激光雷达里程计相比于紧耦合双目视觉惯性里程计和激光雷达里程计定位定姿性能显著提升,视觉增强的激光雷达闭环优化算法能够在大尺度场景下有效探测出轨迹中的闭环信息,并实现高精度的全局位姿图优化,经过闭环优化的点云地图具有良好的分辨率和全局一致性。     

球形全景影像位姿估计的改进EPnP算法

球形全景成像可以克服透视成像视场角的局限,实现场景全覆盖的三维重建和量测。本文在普通影像位姿估计的EPnP(efficient perspective-n-point)算法上进行了改进和扩展,提出了一种稳健快速的球形全景影像位姿估计算法。首先,构建球形全景影像的投影模型,将EPnP算法的平面透视成像模型扩展到球面成像模型;然后,采用基于全景球心、像点、控制点共线条件方程的改进EPnP算法求解控制点的球形全景像空间坐标;最后,利用Horn绝对定位算法直接解算全景影像位姿。与球形全景影像位姿估计的后方交会算法的对比试验结果表明,本文提出的方法无须迭代求解,更为稳健快速,即使控制点数目较少也能达到高精度,基于非严格共中心拼接的全景相机,重投影误差可控制在3.00像素左右。     

一种双目混合追踪的视觉里程计算法

针对特征点法视觉里程计(visual odometry,VO)中,描述子匹配算力要求较高,而光流追踪算法存在误差累积的问题,提出了一种双目混合追踪的视觉里程计算法,并通过实验对该方法的定位结果与计算效率进行分析.在该算法中,前端在影像关键帧提取ORB(oriented brief)特征点并生成路标点,优先采用Inverse Compositional光流进行追踪,使用卡方检验等检测外点;为检测定位粗差,提出通过由相邻帧位姿恢复的极线进行检验;光流追踪失败或未通过极线检验时,提取ORB特征点维持跟踪或进行重定位;同时,后端进行相机位姿、路标点联合优化以减小误差累积.实验结果表明,该算法定位精度低于ORB-SLAM2(simultaneous location and mapping)算法,但运算效率有明显提升.     

全局一致性优化的无人机大倾角影像相对定向

针对无人机拍摄的大数据量大倾角影像三维重建,为获取影像的相对位姿,解决影像相对定向迭代不收敛、鲁棒性低等问题,提出了一种基于全局一致性优化的无人机相对定向方法。通过对增量式相对定向算法全局一次性平差优化改进,得到影像的高精度位姿信息。实验表明,该方法进行相对定向的效率与精度得到明显提高,并具有较好的鲁棒性。     

基于Realsense传感器的机器人视觉里程计研究

基于RGB-D传感器能直接获取空间环境的深度信息和图像信息的能力,采用最新的RGB-D传感器(Realsense),实现了室内移动机器人的视觉里程计。首先利用张正友相机标定法对Realsense传感器的彩色摄像头进行标定;接着采用ORB算法实现图像特征点的匹配,并用PROSAC算法进行外点剔除;最后采用PnP算法实现相机姿态的估计,利用g2o库对相机的姿态进行光束法平差优化,并绘出相机的运动轨迹,实现了基于RGB-D传感器的机器人视觉里程计。实验结果显示该方法能快速、准确地估计视觉传感器的位姿信息,实现移动机器人的精准定位和导航。     

一种基于深度相机的机器人室内导航点云地图生成方法

点云地图是智能机器人自主导航的基础。文中提出一种基于深度相机的机器人室内导航点云地图生成方法,通过对图像特征的快速提取与匹配,实时估计相机位姿;综合考虑彩色图像的投影误差与深度图像的反投影误差,应用图优化算法对关键帧位姿与地图点进行联合优化;通过环路检测与地图优化降低估计误差累积的影响;利用估计得到的相机位姿将关键帧对应的图像点云进行拼接融合,形成表示三维空间场景结构的稠密点云地图。通过实验验证方法的有效性、精确性与实时性。     

具备尺度恢复的单目视觉里程计方法

针对单目视觉存在尺度不确定性,无法准确估计移动机器人位姿的问题,提出一种具备尺度恢复的单目视觉里程计方法。通过建立局部地图解决基于参考帧/当前帧的位姿估计方式过分依赖参考帧的问题;为了提高位姿估计精度,在使用滑动窗口控制计算量的基础上建立位姿与地图3D点的图优化模型进行光束法平差;最后基于平面假设成立和相机高度已知的条件下,通过图像RoI区域的稠密匹配,建立非线性优化模型解得尺度因子,从而实现绝对尺度恢复。实验结果表明,该方法能稳定地进行位姿估计并且有效地解决了单目视觉存在的尺度不确定性问题,可用于真实三维场景中移动机器人的位姿估计。     

文物对象近景序列影像位姿高精度估计方法

针对文物对象影像三维纹理重建中影像位姿估计的问题,本文提出了三维数据驱动及平差的位姿高精度估计方法。首先通过影像特征提取、匹配、误匹配点剔除得到准确的同名特征;然后建立首对影像高精度位姿相对关系,并以其像对三维点数据为驱动,结合二三维索引确定后续影像的相对位姿;最后以光束法平差与LM算法确定高精度的影像位姿参数。试验表明,本文方法在确定位姿速度和位姿精度上都体现了一定的优越性,为影像后续的密集点云生成奠定了基础。     

基于参数动态调整的双激光扫描头SLAM方法

针对单个激光扫描头进行SLAM重建点云覆盖度较低的问题，提出一种融合双扫描头的SLAM方法。该方法首先使用水平扫描头进行一次SLAM过程，获取位姿轨迹数据和点云地图。再使用双扫描头间标定的外参数和水平点云帧的位姿轨迹数据，将竖直扫描头的点云帧位姿初步变换到水平点云坐标系下，通过提出的竖直点云-子图ICP(Iterative closest point)配准，动态优化转换参数，获取精确的转换参数实现两个方向点云数据的高精度融合。选择两栋室外建筑物进行试验，利用点云重建结果平面拟合均方根误差进行定量精度评定，结果表明，相比于传统单个水平激光扫描头建图方式，本方法重建的点云具有更加丰富的建筑物立面信息；相比于直接使用标定参数融合的方法，利用竖直点云-水平点云子图优化配准的方式优化，精度提高24%以上。     

特征法视觉SLAM逆深度滤波的三维重建

针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题,本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法,可利用视频序列影像实时、增量式地构建相对稠密的场景结构.具体来说,设计了一种基于运动模型的关键帧追踪流程,能够提供精确的相对位姿关系;采用一种基于概率分布的逆深度滤波器,地图点通过多帧信息累积、更新得到,而不再由两帧三角化直接获取;提出一种基于特征法与直接法的后端混合优化框架,以及基于平差约束的地图点筛选策略,可以准确、高效解算相机位姿与场景结构.试验结果表明,与现有方法相比,本文方法具有更高的计算效率和位姿估计精度,而且能够重建出全局一致的较稠密点云地图.     

一种场景稳健的单目视觉里程计算法

针对利用单目相机采集的图像序列进行实时车载平台位姿估计问题,对比了不同单目半直接典型算法的原理和试验结果以及不同场景、运动状态、光照和耦合因素下的同名点跟踪算法、长时间场景稳健的高精度位姿估计方法、位姿优化方法的试验结果。通过与两个典型半直接MVO算法进行了计算过程多个阶段和计算结果多个方面的对比,得出每个阶段和整体结果更好的计算方法;最终总结提出了一种场景稳健的单目半直接视觉里程计算法并利用序列真实数据进行了试验验证。试验结果表明,该算法的长时间位姿估计的场景稳健性和计算精度均显著优于目前典型的半直接MVO算法,位姿估计精度比ERL算法提升10%以上,计算效率与典型的ERL算法相当,能够满足各类单目视觉里程计应用场景需求。     

RGB-D SLAM在室内高精度三维测图中的应用

高精度三维测图是室内三维制图的重要支撑,基于三维激光雷达扫描技术的三维测图成本高,需要提前布置标靶,在室内复杂环境中易导致数据不完整;基于图像序列的三维重建建模时间长,易受多种因素影响。针对以上问题,本文将RGB-D SLAM技术应用于室内高精度三维测图中。通过将深度相机与SLAM技术相结合,计算相机位姿并恢复三维空间信息,获取室内三维点云模型,并以目标物实际量测为基准评价密集点云精度。试验结果表明,该方法可快速获取精度较高的三维点云模型,成本低且效率高,能够较好地满足应用需求。     

多像位姿估计的全景纹理映射算法

纹理映射技术作为获取具有丰富纹理信息的真彩色点云的有效手段,正以其独特的优势广泛地应用于众多行业领域。研究了一种利用三维激光扫描仪与外置数码相机联合标定解算多张影像位姿并获取全景真彩色点云的方法。其基本思想是利用摄像机与激光扫描仪固有的相对位置姿态,通过对首张影像进行标定得到其位置姿态后,利用摄像机空间旋转的几何特性,根据首张影像的位姿获取其余影像的位姿,继而完成多张影像的纹理映射,获取全景彩色点云。对比目前主流的全景影像纹理映射算法,该算法在精度与效率上均有一定提高。对多种点云数据进行纹理映射实验,结果表明,该方法能够快速准确地获取真三维全景彩色点云,为三维精细化建模提供了数据基础。     

一种基于目标检测和PnP的移动终端室内定位方法

针对传统的视觉定位易受噪声干扰、目标检测准确率低且无法获取终端准确位姿信息的问题,提出了一种基于卷积神经网络的目标检测和PnP相结合的移动终端室内定位方法,通过Mask-RCNN进行目标检测,然后采用EPnP算法求解相机准确的位姿信息,并对该方法进行系统实现及真实场景试验。试验结果表明,该方法目标检测准确率在98%以上,单轴定位误差在0.35 m以内,满足移动终端室内定位的精度,具有精度高、稳定性好的优点,为基于视觉的移动终端室内定位提供了新的思路。     

一种遥感影像同名点密集匹配方法

针对在遥感相机检校、三维重建、信息提取、变化监测等应用中,都需要在影像中每隔若干个点、甚至是逐点寻找密集同名点的情况,该文将基于特征的方法和基于模板的方法相结合,提出一种新的高精度的密集同名点提取方法。将参考影像降采样为与遥感影像同一分辨率,然后使用SIFT算法提取粗精度同名点,建立全局几何模型,使用其将遥感影像每个像元及其邻域投影到参考影像,并以其为模板,应用优化相位匹配法获取高精度同名点。经实验验证,只要遥感影像和参考影像中相应区域的景物变化不大,该文方法可以有效地确定密集的高精度同名点对。     

移动机器人视觉动态定位的稳健高斯混合模型

针对动态场景中运动路标点严重影响传统视觉自主定位算法精度,甚至产生定位失效的问题,提出一种顾及动态路标点的稳健高斯混合模型。在传统图优化视觉定位模型的基础上,增加“运动指数”描述图优化模型中路标点的运动概率,把传统图优化高斯模型增强为高斯混合模型,以约束运动路标点对图优化结果的影响;为增强模型对噪声的稳健性,采用方差膨胀模型约束残差方程;详细推导了该高斯混合模型的期望-最大化求解方法,把该问题转化为经典迭代最小二乘问题进行解算。仿真试验和真实数据试验表明：强动态场景中,提出的算法绝对精度指标和相对精度指标均优于传统优化算法;静态或弱动态场景中,提出的算法仍与传统优化算法定位性能相当。本文方法可有效减小场景中运动路标点对优化结果的影响,更适用于移动机器人的自主定位。     

基于SURF特征匹配算法的直接定位技术研究

为保证结合机载Li DAR数据与同机影像数据的直接定位模型的计算精度与生产效率,本文提出了一种结合SURF匹配算法自动选取影像连接点的直接定位技术。首先对直接定位过程中控制点选取和IMU与相机旋转角误差进行探讨,然后对SURF、NCC、SIFT影像连接点选取方法进行对比,最终选取SURF匹配算法获取影像连接点。以Li DAR点云差值来修正地面点坐标高程值,结合SURF匹配算法进行直接定位实验,实验结果表明:与其他几种算法相比,SURF可自动获取精确的影像连接点,且计算速度快,便于直接计算定位模型,达到快速获取像点地理坐标的目的。     

基于点特征的单目视觉里程计实现

本文采用特征点检测实现移动机器人的单目视觉里程计,通过对图像进行网格划分保证特征点均匀分布,提高特征点匹配效率。并行计算基础矩阵及单应矩阵实现单目视觉里程计的自动初始化,采用RANSAC算法剔除外点提高特征点匹配质量。设定运动模型及参考帧模型加速帧间运动估计,并通过合理的关键帧选取策略及图优化提高相机位姿精度及鲁棒性。利用TUM数据集测试本文设计的单目视觉里程计,实验轨迹误差为3.58 m,通过Turtlebot2移动机器人对真实环境进行测试,实验表明本文方法的有效性。     

车载移动测图系统外方位元素标定方法

全景相机因其360°大视场、旋转不变性等优点,逐渐被用于构建车载移动测图系统。标定是保证系统获取精确地理信息数据的重要前提。本文针对全景相机和定位定姿系统(POS)集成的车载移动测图系统,提出一种外方位元素标定的方法。首先,在实际场景中布设高精度已知控制点。其次,构建全景球面模型,将全景影像通过球面投影反变换投影到该球面上,从球面上选择控制点而不是直接从存在扭曲的全景影像上选择控制点并得到其球面坐标。在建立点的相关性之后,结合地理参考绝对定位方程和坐标变换,求得全景相机相对POS的平移与旋转参数。最后,采用本文提出的标定方法,分别选择北京航天城和天津滨海新区进行试验。试验表明,GPS信号良好时,点的绝对定位中误差可达平面10.3cm、高程16.5cm;GPS信号不好时,点的绝对定位中误差为平面35.4cm、高程54.8cm;在较短距离范围内(3km),距离量测相对误差最大为5cm左右,GPS信号对相对量测没有明显影响。     

采用反向构成迭代的视觉SLAM直接法位姿估计

为了提高视觉SLAM相机位姿估计的计算效率,提出一种直接位姿估计方法。该方法无需逐帧进行特征提取和影像匹配,直接根据像点辐射信息构建非线性优化问题求解相机位姿。推导了基于灰度变换系数的直接法位姿估计平差模型及相应的反向构成迭代解法,利用常速运动模型构建合理初值假设,设计相应的关键帧判断与创建准则,并基于ORB-SLAM系统框架进行实现,使其在保留间接法优点的同时,运算速度得以显著提升。实验结果表明:该方法估计每帧位姿仅需5.7 ms,可以在保证同等精度的情况下,达到ORB-SLAM系统2倍以上的整体计算效率,基本满足视频影像实时稳健三维重建的要求。