一种动态场景下的双目视觉里程计算法

在同步定位与地图构建领域,视觉里程计因其传感器成本低廉、定位精度高、蕴含丰富环境信息等优势而得到广泛应用,但环境中的动态物体会显著降低其解算的精度与鲁棒性。针对此问题,提出了一种深度学习辅助的双目视觉里程计,基于几何约束与目标位置约束的方法,能够准确筛选出环境中的动态物体,以提高结果精度,同时能够恢复动态物体的运动轨迹,便于建立语义地图。在KITTI和TUM RGB-D的动态场景数据集上进行测试,得到的结果精度较高。     

一种双目混合追踪的视觉里程计算法

针对特征点法视觉里程计(visual odometry,VO)中,描述子匹配算力要求较高,而光流追踪算法存在误差累积的问题,提出了一种双目混合追踪的视觉里程计算法,并通过实验对该方法的定位结果与计算效率进行分析.在该算法中,前端在影像关键帧提取ORB(oriented brief)特征点并生成路标点,优先采用Inverse Compositional光流进行追踪,使用卡方检验等检测外点;为检测定位粗差,提出通过由相邻帧位姿恢复的极线进行检验;光流追踪失败或未通过极线检验时,提取ORB特征点维持跟踪或进行重定位;同时,后端进行相机位姿、路标点联合优化以减小误差累积.实验结果表明,该算法定位精度低于ORB-SLAM2(simultaneous location and mapping)算法,但运算效率有明显提升.     

基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法

基于单一传感器的同时定位与地图构建技术已经逐渐不能满足移动机器人、无人机及自动驾驶车辆等智能移动载体日益复杂的应用场景。为了进一步提升移动载体在复杂环境下的定位与建图性能,基于多传感器融合的SLAM技术成为目前研究的热点内容。本文提出了一种基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法(S-VIL SLAM),该方法在视觉惯性系统中引入激光雷达原始观测,基于滑动窗口实现了IMU量测、视觉特征及激光点云特征的多源数据联合非线性优化。利用视觉与激光雷达的互补特性设计了视觉增强的激光雷达闭环优化算法,进一步提升了多源融合SLAM系统的全局定位与建图精度。为了验证本文算法的性能,利用自主搭建的集成多传感器的硬件采集平台在室外场景下进行了车载试验。试验结果表明,本文提出的紧耦合双目视觉/惯性/激光雷达里程计相比于紧耦合双目视觉惯性里程计和激光雷达里程计定位定姿性能显著提升,视觉增强的激光雷达闭环优化算法能够在大尺度场景下有效探测出轨迹中的闭环信息,并实现高精度的全局位姿图优化,经过闭环优化的点云地图具有良好的分辨率和全局一致性。     

双目序列影像三维运动参数确定

结合立体视觉的特点．介绍了一套双目视觉系统与完整的、由双目序列影像确定场景中目标运动信息的方法。其主要步骤包括相机检校、运动与立体影像的匹配、运动前后三维特征点的对应以及运动参数的求解。并给出了从真实双目序列影像中获取物体匀速直线运动和匀加速直线运动参数的实验结果。     

双目视觉与惯导融合的移动机器人定位方法

为了提高移动机器人的定位精度,提出一种双目视觉与惯导融合的视觉SLAM算法.在视觉SLAM前端部分,为了保持直接法计算速度快及特征法精度高的特点,提出一种融合直接法和特征法的半直接法双目视觉里程计.在后端优化阶段,将视觉数据与IMU数据相互融合,在滑动窗口中以非线性优化的方式构建误差函数,优化位姿计算精度.在EuRoc数据集中对本文提出的算法进行试验验证.结果表明,与开源的视觉惯导融合的SLAM系统OKVIS、ROVIO和VINS-Mono相比,本文系统在Machine Hal l与Vi con Room两个场景中的定位精度均得到了明显的提升,同时可以保持较高的运行效率.     

基于卷帘快门相机模型的高精度建图与视觉定位

使用卷帘快门相机进行移动测量时,由于逐行曝光的特点,影像上会产生果冻效应。而传统的建图与视觉定位方法大多假设影像是全局快门获取,直接处理卷帘快门影像很难得到高精度的结果。针对以上问题,构建基于插值的卷帘快门相机模型,并将其用于卷帘快门影像的高精度建图与视觉定位。建图时使用运动恢复结构算法,利用卷帘快门相机模型对影像特征点进行坐标插值,获取该点的位姿,继而得到对应的投影矩阵,再进行卷帘快门三角化和卷帘快门光束法平差优化,完成高精度建图。在视觉定位环节,利用PnP(perspective-n-point)算法获取影像定位初值,之后使用卷帘快门影像绝对位姿优化算法进行优化。实验结果表明,与传统方法相比,所提方法的建图与视觉定位精度更高。     

基于联邦滤波进行立体相机/IMU/里程计运动平台组合导航定位

在无GPS信号的受限环境中,基于序列立体影像的运动平台视觉定位精度较高,能够改正航迹推算方法的误差累积,但在纹理贫乏或光照不足的环境下容易定位失败。为提高受限环境下运动平台定位的精度与稳健性,提出一种基于联邦滤波的立体相机、惯性测量单元（inertial measurement unit,IMU）及里程计组合导航方法。该方法在联邦滤波中利用IMU分别同里程计与立体相机构成子滤波器,有效避免立体视觉定位失效而导致的系统定位失败,提高了定位稳健性。地下巷道实验结果证明,所提方法能有效提高运动平台导航定位的精度,并且在立体视觉定位失效的情况下仍能实现连续定位。     

基于点特征的单目视觉里程计实现

本文采用特征点检测实现移动机器人的单目视觉里程计,通过对图像进行网格划分保证特征点均匀分布,提高特征点匹配效率。并行计算基础矩阵及单应矩阵实现单目视觉里程计的自动初始化,采用RANSAC算法剔除外点提高特征点匹配质量。设定运动模型及参考帧模型加速帧间运动估计,并通过合理的关键帧选取策略及图优化提高相机位姿精度及鲁棒性。利用TUM数据集测试本文设计的单目视觉里程计,实验轨迹误差为3.58 m,通过Turtlebot2移动机器人对真实环境进行测试,实验表明本文方法的有效性。     

基于单CCD相机和经纬仪的几何测量方法研究

传统视觉测量系统需要双CCD相机同时拍摄两幅不同角度的数字图像,成本昂贵且难以确定两CCD相机问的空间相对位置。为此,建立一种结合CCD相机的摄像功能和经纬仪高精度测角功能的视觉测量系统。基于该系统提出一种用单CCD相机实现双目视觉原理的数学模型。实验结果证明系统与数学模型的可行性。     

双目视觉辅助GNSS在恶劣环境下导航定位

视觉里程计能够在复杂环境下提供短时间的高精度导航定位,全球卫星导航系统（GNSS）具有全天候、全球性和误差不随时间积累的特性,但是在恶劣环境多路径效应下,GNSS定位精度会变差甚至不可用. 为了研究在复杂环境下视觉里程计辅助GNSS导航定位技术,首先介绍了视觉里程计的导航定位原理;然后在卡尔曼滤波器中将GNSS定位结果和视觉里程计定位结果进行了松组合处理;并利用视觉里程计定位结果和预测的视觉里程计误差实现了GNSS在恶劣环境下的导航定位. 基于KITTI数据集的模拟验证结果表明,设计的组合方案能够在恶劣环境下持续提供可靠的导航定位.      

融合光度参数估计的单目直接法视觉里程计

针对单目直接法视觉里程计在光照变化大的场景下定位精度低、定位鲁棒性差的问题,文中提出一种融合光度参数估计的单目直接法视觉里程计.首先通过对图像帧进行特征匹配实现特征跟踪,建立起图像像素点之间的关联,接着利用非线性优化方法进行光度参数估计,然后在光度参数估计提供的光度参数先验信息的基础上对图像灰度值进行校正,最后利用校正...     

用于行星探测车定位的视觉测程新方法

用于行星探测车的视觉测程方法已经被广泛研究,但传统的视觉测程方法仅根据相邻的两帧影像进行运动估计,忽略了连续多帧影像间更强的几何约束。本文提出一种新的视觉测程方法,在连续多帧影像间进行特征追踪构成影像网,并用光束法平差进行运动估计。在特征追踪过程中,根据不同立体影像中欧氏距离的一致性剔除离群值,并自适应地选择几何关键帧。用蒙特卡罗方法分析了不同几何配置下视觉测程的精度。野外实验结果表明本文提出的新方法能有效提高探测车定位精度。     

Modeling and sensitivity analysis of navigation parameter errors for airborne synthetic aperture radar stereo geolocation

For the high-resolution airborne synthetic aperture radar (SAR) stereo geolocation application, the final geolocation accuracy is influenced by various error parameter sources. In this paper, an airborne SAR stereo geolocation parameter error model, involving the parameter errors derived from the navigation system on the flight platform, has been put forward. Moreover, a kind of near-direct method for modeling and sensitivity analysis of navigation parameter errors is also given. This method directly uses the ground reference to calculate the covariance matrix relationship between the parameter errors and the eventual geolocation errors for ground target points. In addition, utilizing true flight track parameters’ errors, this paper gave a verification of the method and a corresponding sensitivity analysis for airborne SAR stereo geolocation model and proved its efficiency.     

国产推扫式测图卫星影像几何精度评估模型

系统全面地分析并论证了国产推扫式测图卫星影像的几何精度,对卫星测图应用以及后续测绘卫星设计等都具有积极意义。从测图卫星几何成像机理出发,较为系统地分析了卫星成像过程中的轨道误差、姿态误差、时间误差、相机内部误差和星载设备安装误差等对卫星影像平面和高程几何定位误差的影响状况,定量分析并推导了各类误差源对影像几何精度的影响程度,设计并提出了国产推扫式测图卫星影像几何精度评估模型和方法。采用资源三号卫星立体影像开展实验,结果表明,所提出的影像几何精度评估模型获取的理论精度与实验精度符合度较好,模型具有合理性和科学性。     

单目相机-轮式里程计的自动内外参标定算法

本文提出了一种新的单目相机和轮式里程计系统的内、外参标定方法.不同于目前单独标定内外参的方法,本文方法能在一个平台上同时标定内参和外参.平台包含4个棋盘格,其中3个棋盘格基于优化理论标定内参,第4个棋盘用于标定外参.基于该平台,相机-里程计系统只需对3个棋盘格拍摄一次进行内参标定,然后沿直线行走,连续拍摄第4个棋盘格完...     

Modeling and sensitivity analysis of navigation parameter errors for airborne synthetic aperture radar stereo geolocation

For the high-resolution airborne synthetic aperture radar (SAR) stereo geolocation application, the final geolocation accuracy is influenced by various error parameter sources. In this paper, an airborne SAR stereo geolocation parameter error model, involving the parameter errors derived from the navigation system on the flight platform, has been put forward. Moreover, a kind of near-direct method for modeling and sensitivity analysis of navigation parameter errors is also given. This method directly uses the ground reference to calculate the covariance matrix relationship between the parameter errors and the eventual geolocation errors for ground target points. In addition, utilizing true flight track parameters’ errors, this paper gave a verification of the method and a corresponding sensitivity analysis for airborne SAR stereo geolocation model and proved its efficiency.     

多视点相机联合标定及改进的PMVS重建方法

提出一种能够在强约束条件下快速进行相机标定的方法。通过相机间6个相互独立的约束,充分利用系统的几何条件,确定相邻立体相机的固有关系;再以共线方程为基础推导强约束条件下的平差模型,并应用于自检校光束法平差,从而实现多相机系统的快速标定;最后利用改进的PMVS三维重建方法开展标定后系统的人体三维重建。实验表明,通过加入强约束条件,增加平差的多余观测数,提高了标定精度和鲁棒性,对三维重建的精度亦有较大提高,并且该方法可推广到多个相机组成的多相机立体量测系统的标定中。     

基于零高程点的卫星影像核线确定方法

分析了立体卫星影像的核线关系,提出了一种利用高分辨率立体卫星影像有理函数模型确定其精确核线方程的方法,实现了卫星影像有理函数模型对应零高程空间点的定位,并获得了卫星影像的投影轨迹核线的双曲线方程。     

Monocular 3D scene reconstruction at absolute scale

In this article we propose a method for combining geometric and real-aperture methods for monocular three-dimensional (3D) reconstruction of static scenes at absolute scale. Our algorithm relies on a sequence of images of the object acquired by a monocular camera of fixed focal setting from different viewpoints. Object features are tracked over a range of distances from the camera with a small depth of field, leading to a varying degree of defocus for each feature. Information on absolute depth is obtained based on a Depth-from-Defocus approach. The parameters of the point spread functions estimated by Depth-from-Defocus are used as a regularisation term for Structure-from-Motion. The reprojection error obtained from bundle adjustment and the absolute depth error obtained from Depth-from-Defocus are simultaneously minimised for all tracked object features. The proposed method yields absolutely scaled 3D coordinates of the scene points without any prior knowledge about scene structure and camera motion. We describe the implementation of the proposed method both as an offline and as an online algorithm. Evaluating the algorithm on real-world data, we demonstrate that it yields typical relative scale errors of a few per cent. We examine the influence of random effects, i.e. the noise of the pixel grey values, and systematic effects, caused by thermal expansion of the optical system or by inclusion of strongly blurred images, on the accuracy of the 3D reconstruction result. Possible applications of our approach are in the field of industrial quality inspection; in particular, it is preferable to stereo cameras in industrial vision systems with space limitations or where strong vibrations occur.