基于深度学习的室内动态场景下视觉SLAM技术研究

视觉同步定位与建图（visual simultaneous localization and mapping,VSLAM）技术是近年来机器人和计算机视觉领域的重点研究方向之一,但当前的主流算法主要面向静态环境,当场景中存在运动的物体时,算法的定位精度和稳定性会受到很大影响。为了解决上述问题,提出了一种惯性测量单元（inertialmeasurementunit,IMU）积分与YOLOv4语义分割结合的VSLAM前端动态特征点剔除算法,通过YOLOv4网络对图像进行语义分割,识别图像中有运动可能的物体;再将IMU积分与语义分割结合,对目标检测框内有运动可能的特征点进行重投影误差的解算,识别并剔除环境中运动的特征点。在TUM Visual-Inertial Dataset上验证该算法,结果表明,在包含运动物体的室内场景下,该算法可以有效剔除环境中的运动物体,显著提升SLAM系统的定位精度和稳定性。     

基于深度学习的语义SLAM关键帧图像处理

同时定位和地图构建(SLAM)凭借其高能效和低功耗等特点在诸多领域应用前景广阔.然而,在传统的SLAM系统中仍存在一些问题:传统的视觉里程计中关键帧并不包含语义信息,移动机器人获取的图像信息较为单一,且在实际场景中关键帧总包含大量误匹配点和动态点.针对以上问题,本文提出一种语义SLAM思路.首先,为了能够匹配到正确且对应的特征点,摒弃动态点和误匹配点的干扰,提出了一种基于Lucas-Kanade光流法的相邻帧特征状态判别法,将这项功能作为新的线程加入ORB-SLAM3的视觉里程计部分,完成对部分传统SLAM框架的优化和改进工作.其次,针对传统SLAM系统前端视觉里程计获取的图像帧不包含任何语义信息的问题,使用基于YOLOV4的目标检测算法和融合全连接条件随机场CRF的Mask R-CNN语义分割算法对ORB-SLAM3中的关键帧图像进行处理,有效提高了机器人等智能设备对室内环境的感知能力.     

基于几何约束和目标检测的室内动态SLAM

针对即时定位与地图构建(SLAM)在室内动态环境下定位精度低和地图效果差的问题,提出一种基于几何约束和目标检测的室内动态SLAM方法. 使用目标检测网络获取语义信息,提出运动物体漏检的方法;根据先验知识,提出准确识别动态区域的信息判定方法;结合几何约束和深度学习方法剔除动态点,利用静态点估计相机位姿;根据存储信息构建可闭环的静态地图. 在TUM数据集上进行实验,定位精度比ORB-SLAM2提高97.5%,相较于其他动态SLAM可取得更好的性能. 在室内真实环境进行实验,构建的静态地图更准确,有效提高了室内动态SLAM的定位精度和地图效果.      

一种可提高室内视觉SLAM的结构线特征选择方法

室内场景由大量的平面和直线构成,且经常存在纹理单一而少的情况,这会使得产生的点特征稀少且分布不均匀,从而导致传统的以点特征为观测值的视觉同步定位与建图（simultaneous localization and mapping, SLAM）容易产生不准确的定位结果。本文针对室内场景,在基于点特征的视觉SLAM基础上,引入线特征作为额外的观测值。针对与运动方向平行的线特征对运动估计的几何约束较弱的不足,提出一种能从线特征中筛选出与运动方向不平行的线特征的方法,选择与运动方向不平行的结构线特征参与平差优化,提高室内视觉SLAM的定位精度。实验表明,在公开数据集上,使用本文的方法后,定位精度能在基本不影响实时性的条件下提高15%左右。     

一种用于图像特征提取的改进ORB-SLAM算法

针对复杂室内环境下视觉SLAM定位存在实时性差、轨迹漂移等问题，本文提出了一种基于图像特征提取方法的ORB-SLAM算法。该算法在前端中提高图像特征检测与匹配的效率和精度，引入闭环检测策略优化相机位姿轨迹，提高定位精度。以不同来源图像对比分析不同特征提取算法SIFT、SURF、ORB的有效性，运用该算法估计机器人运动轨迹，与真实轨迹相对位姿误差为0.144 8 m，试验表明所提出的方法切实可行，具有较高的稳健性。     

语素关联约束的动态环境视觉定位优化

在自动驾驶场景中,视觉相机能够实现低成本的定位与环境感知,但是场景中的动态目标会影响视觉定位的轨迹.对此,本文提出了语素关联约束的动态环境视觉定位优化方法.首先,利用目标检测和语义分割提取环境中的语义实体;然后,通过语素关联模型识别出动态语素;最后,建立动态语素的特征掩膜,用于特征匹配过程中的动态目标特征点过滤,从而提高视觉定位效果.本文基于视觉机器人平台在校园道路开展了试验,发现了动态目标通过关键点影响视觉定位结果的规律——在转弯时或者目标在视野中横向移动时影响较大.试验结果表明,本文方法的动态语义要素识别的平均精度F1约为87％,并且在语素关联优化前后,局部区域最大轨迹距离差为2.463 m,与真值对比RMSE降低了38％.     

特征法视觉SLAM逆深度滤波的三维重建

针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题，本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法，可利用视频序列影像实时、增量式地构建相对稠密的场景结构。具体来说，设计了一种基于运动模型的关键帧追踪流程，能够提供精确的相对位姿关系；采用一种基于概率分布的逆深度滤波器，地图点通过多帧信息累积、更新得到，而不再由两帧三角化直接获取；提出一种基于特征法与直接法的后端混合优化框架，以及基于平差约束的地图点筛选策略，可以准确、高效解算相机位姿与场景结构。试验结果表明，与现有方法相比，本文方法具有更高的计算效率和位姿估计精度，而且能够重建出全局一致的较稠密点云地图。     

基于紧耦合的视觉惯性定位方法

惯性测量单元（IMU）受自身温度、零偏、振动等因素干扰,积分时位姿容易发散,并且机器人快速移动时,单目视觉定位精度较差,为此研究了一种基于紧耦合的视觉惯性即时定位与地图构建（SLAM）方法. 首先研究了视觉里程计（VO）定位问题,为减少特征点的误匹配,采用基于快速特征点提取和描述的算法（ORB）特征点的提取方法. 然后构建IMU的数学模型,使用中值法得到运动模型的离散积分. 最后将单目视觉姿态与IMU轨迹对齐,采用基于滑动窗口的非线性优化得到机器人运动的最优状态估计. 通过构建仿真场景以及与单目ORB-SLAM算法对比两个实验进行验证,结果表明,该方法优于单独使用VO,定位精度控制在0.4 m左右,相比于传统跟踪模型提高30%.      

顾及图像亮度特征的自适应视觉SLAM定位方法

针对眩光/阴影等复杂光照干扰场景视觉定位鲁棒性较低的问题，该文提出一种顾及图像亮度特征的自适应视觉同时定位与地图构建(SLAM)定位方法。该方法基于ORB-SLAM2算法进行改进，通过在ORB-SLAM2前端利用图像平均亮度阈值法检测光照干扰图像，并对其进行饱和度增强，从而得到有利于ORB特征提取的图像。该文利用TUM数据集与KITTI数据集验证了所提方法的可靠性，并与原ORB-SLAM2和ORB-SLAM3算法进行了对比实验。实验结果表明，该文方法的定位精度优于其他两种算法，有效提升了复杂光照场景中视觉定位的鲁棒性。     

OpenCV的相机标定在高速相机中的应用

视频测量是近景摄影测量的一个分支,是在非接触的状态下,对处于运动状态的物体以视频或影像序列的形式瞬时记录运动物体的空间位置和状态,并通过摄影测量解析处理,获取运动物体特征点的高精度三维空间坐标,从而对运动物体的特征进行定性和定量分析,描述物体的运动轨迹和运动参数。视频测量已经逐步应用于土木工程、考古学和航空学等领域,并取得了一定的成果。相机定标是计算机三维重建不可或缺的步骤,相机定标的精度和可靠性直接影响计算机视觉系统的三维定位精度。相对于传统标定方法,本文在张正友算法的基础上结合OpenCV实现的算法。该方法使用更加方便、快捷,标定结果更加精确。     

融合光度参数估计的单目直接法视觉里程计

针对单目直接法视觉里程计在光照变化大的场景下定位精度低、定位鲁棒性差的问题,文中提出一种融合光度参数估计的单目直接法视觉里程计。首先通过对图像帧进行特征匹配实现特征跟踪,建立起图像像素点之间的关联,接着利用非线性优化方法进行光度参数估计,然后在光度参数估计提供的光度参数先验信息的基础上对图像灰度值进行校正,最后利用校正后的图像采用单目直接法视觉里程计对相机运动进行估计。在EuRoC数据集上的实验结果表明,与传统方法相比,文中提出的算法提高单目直接法视觉里程计对光照变化的鲁棒性,定位精度平均提高约18%。     

基于SLAM/UWB的室内融合定位算法研究

精确且稳定的自主定位是移动机器人在室内环境下实现自主导航的前提,针对室内定位中视觉即时定位与地图构建(SLAM)存在的累计误差以及环境因素导致超宽带(UWB)定位精度下降的问题,提出一种基于SLAM/UWB的室内融合定位算法. 首先该算法以扩展卡尔曼滤波(EKF)为基础,将UWB的全局定位坐标和视觉SLAM位移增量进行融合,但考虑到测量噪声易受复杂环境影响,引入阈值检测和自适应测量噪声估计器,以抑制异常值和时变测量噪声对滤波器性能的影响,最后使用智能移动小车在不同的室内场地下进行实验. 实验表明:该算法优于单一的UWB或者视觉SLAM定位方式,并且在复杂室内环境下比传统EKF算法拥有更稳定的定位效果.      

一种采用图像特征匹配技术的RGB-D SLAM算法

针对复杂环境下运动机器人自主运行的任务要求,提出了一种采用图像特征匹配技术的视觉SlAM算法。相比于传统滤波器方法在机器人长时间运动过程中产生的误差积累,采用了基于图优化的SlAM方法,本文算法分为两个部分：前端和后端。前端负责处理图像数据提取机器人位姿几何关系,首先提取彩色RGB图像的特征点,创建特征点的高维特征描述子,建立特征点的位置对应关系;后端负责表达各时刻机器人的位姿并最大化地消除轨迹漂移问题,根据前端处理所产生的信息,构建一个代表机器人几何位置关系及其不确定性的关系图,通过对图的优化将测量轨迹最大化地逼近真实轨迹,最后生成稀疏点云地图和高精度的机器人运行轨迹。试验表明本文所提出的方法实用性强,具有较高的鲁棒性。     

一种基于图像灰度直方图相似度计算的室内定位方法

近年来,视觉定位由于定位精度高广泛应用于室内定位与导航。然而,室内环境复杂多变,视觉定位在很多场景下无法实现高精度定位,而且多数视觉定位算法耗时和计算复杂度高,不适用于智能手机。为实现基于智能手机的准确高效定位,本文提出了一种基于图像灰度直方图相似度计算的定位方法。该方法分为两个阶段：离线阶段和在线阶段。离线阶段在已知坐标的格网点分别利用智能手机采集图像,提取图像灰度直方图,建立图像灰度直方图图像特征库;在线阶段智能手机在待测点采集图像提取灰度直方图,然后与图像特征库进行相似度计算,选取相似度和最大值的格网作为概略位置,以相似度为权重采用加权均值法得到准确位置。将所提方法和KNN算法进行对比,试验结果表明,该方法的平均定位误差优于0.3 m,与KNN算法相比定位精度提高了40.7%,计算时间优于1.7 s。     

顾及遥感影像场景类别信息的视觉单词优化分类

传统词包模型的视觉词典忽略了场景本身包含的类别信息,难以区分不同类别但外观相似的场景,针对这个问题,本文提出一种顾及场景类别信息的视觉单词优化方法,分别使用Boiman的分配策略和主成分分析对不同场景类别视觉单词的模糊性和单词冗余进行优化,增强视觉词典的辨识能力。本文算法通过计算不同视觉单词的影像频率,剔除视觉词典中影像频率较小的视觉单词,得到每种场景的类别视觉词典,计算类别直方图,将类别直方图和原始视觉直方图融合,得到不同类别场景的融合直方图,将其作为SVM分类器的输入向量进行训练和分类。选取遥感场景标准数据集,验证算法,实验结果表明:本算法能适应不同大小的视觉词典,在模型中增加场景类别信息,增强了词包模型的辨识能力,有效降低场景错分概率,总体分类精度高达89.5%,优于传统的基于金字塔匹配词包模型的遥感影像场景分类算法。     

多镜头组合式相机的全景SLAM

同步定位与地图构建（simultaneous localization and mapping，SLAM）是摄影测量、计算机视觉和机器人学的研究热点，并广泛应用于移动测图系统、机器人、无人驾驶车等。本文提出一种针对多镜头组合式全景相机的基于特征的SLAM解决方案。首先，本文建立了鱼眼相机的高精度检校模型，以保证鱼眼相机与全景相机之间的高精度坐标转换；然后，将多镜头组合式全景成像模型嵌入SLAM的初始化、局部地图生成、关键帧选取、图优化等各个流程中。此外，考虑全景相机变形大、基线长的不利因素，本文在特征匹配、平差、特征点跟踪等SLAM的各个步骤都进行了针对性改进。本文在两套车载全景数据集共8000余张全景影像上进行试验。结果表明，本文所提出的全景SLAM很好地实现了全景相机的自动定位与地图构建功能，并达到了接近GPS参考的极高定位精度而无须借助GPS/IMU组合导航系统。相对于主流的基于平面相机的各类SLAM系统，如Mono-SLAM、Stereo-SLAM以及RGB-D SLAM，本文提出的全景SLAM可作为良好的补充，并为GPS信号失锁时的传感器定位提供廉价的自动解决方案。