一种基于目标检测和PnP的移动终端室内定位方法

针对传统的视觉定位易受噪声干扰、目标检测准确率低且无法获取终端准确位姿信息的问题,提出了一种基于卷积神经网络的目标检测和PnP相结合的移动终端室内定位方法,通过Mask-RCNN进行目标检测,然后采用EPnP算法求解相机准确的位姿信息,并对该方法进行系统实现及真实场景试验。试验结果表明,该方法目标检测准确率在98%以上,单轴定位误差在0.35 m以内,满足移动终端室内定位的精度,具有精度高、稳定性好的优点,为基于视觉的移动终端室内定位提供了新的思路。     

具备尺度恢复的单目视觉里程计方法

针对单目视觉存在尺度不确定性,无法准确估计移动机器人位姿的问题,提出一种具备尺度恢复的单目视觉里程计方法。通过建立局部地图解决基于参考帧/当前帧的位姿估计方式过分依赖参考帧的问题;为了提高位姿估计精度,在使用滑动窗口控制计算量的基础上建立位姿与地图3D点的图优化模型进行光束法平差;最后基于平面假设成立和相机高度已知的条件下,通过图像RoI区域的稠密匹配,建立非线性优化模型解得尺度因子,从而实现绝对尺度恢复。实验结果表明,该方法能稳定地进行位姿估计并且有效地解决了单目视觉存在的尺度不确定性问题,可用于真实三维场景中移动机器人的位姿估计。     

基于2D地图的城市户外ARGIS视觉辅助地理配准技术

针对当前便携式位姿传感器获取的户外6DOF绝对位姿精度通常不足,致使基于位姿传感器的户外AR地理配准精度不高,提出了一种以2D地图作为参考数据进行户外视觉辅助定位进而提高ARGIS系统地理配准精度的方法和技术框架。在位姿传感器获取初始位姿的基础上,详细阐述了基于2D地图进行图像位姿优化和辅助校正的基本原理;并通过试验验证了该方法可以对位姿传感器获取的初始位姿进行优化,进而提高户外AR地理配准精度的有效性。     

一种结合动态目标检测的视觉SLAM算法

针对目前视觉SLAM算法大多基于小区域静态环境,较少考虑实际场景常存在动态物体,从而导致视觉SLAM位姿估计不准确的问题。该文采用深度学习方法对图像进行语义分割,结合实时图像语义分割和基于稠密金字塔光流法的动态检测确定动态目标,消除了动态目标导致的SLAM特征点匹配误差,提高了视觉SLAM位姿估计的精度,解决了动态场景中视觉SLAM的不稳定性问题。同时,建图过程中,剔除运动物体构建出的地图点,构建静态地图。基于TUM数据集中动态场景测试表明,在室内动态场景下,该文算法绝对估计误差相较ORB-SLAM2算法平均减少92%,并且该文算法的速度与精度优于同类型的DS-SLAM算法。     

基于卷帘快门相机模型的高精度建图与视觉定位

使用卷帘快门相机进行移动测量时,由于逐行曝光的特点,影像上会产生果冻效应。而传统的建图与视觉定位方法大多假设影像是全局快门获取,直接处理卷帘快门影像很难得到高精度的结果。针对以上问题,构建基于插值的卷帘快门相机模型,并将其用于卷帘快门影像的高精度建图与视觉定位。建图时使用运动恢复结构算法,利用卷帘快门相机模型对影像特征点进行坐标插值,获取该点的位姿,继而得到对应的投影矩阵,再进行卷帘快门三角化和卷帘快门光束法平差优化,完成高精度建图。在视觉定位环节,利用PnP(perspective-n-point)算法获取影像定位初值,之后使用卷帘快门影像绝对位姿优化算法进行优化。实验结果表明,与传统方法相比,所提方法的建图与视觉定位精度更高。     

点-线特征联合的全景图像位姿解算方法EI北大核心CSCD

目前,全景图像位置和姿态参数的解算多基于点特征,而场景中普遍存在的线特征尚未得到充分利用。本文提出一种点-线特征联合的全景图像位姿解算方法,不仅可用于点特征缺失场景中全景图像位姿参数的解算,而且在点特征充足的场景中可提高位姿解算的精度和稳健性。该方法中的线特征使用线上的任意两点表示,不要求全景图像和三维场景同名线上的选点具有对应关系,因而易于选取,具有极大的实用性。首先,使用直接线性变换构建点-线特征联合的全景图像位姿解算模型,并针对水平线和垂直线获取简化后的模型;然后,利用仿真道路场景,从特征点和线的不同组合方式及大姿态角两方面分析该模型的适用性,并通过人工引入不同类型及量级的点-线误差分析该模型的容差性;最后,将本文方法应用于全景图像与激光点云的融合,从理论和实践两方面证明点-线特征联合的位姿解算方法在精度、稳健性和容差性方面优于单纯的点特征解算方法。     

基于图像语义分割的动态场景下的单目SLAM算法

在恢复场景信息和相机运动时,传统的SLAM算法是基于静态环境假设的。场景中的动态物体会降低算法的稳健性和最终的定位精度。本文提出将基于深度学习的图像语义分割技术与传统的视觉SLAM算法结合,以减少动态物体对定位结果的干扰。首先,构建有监督的卷积神经网络对输入图像中的动态物体进行分割,获得语义图像;然后,从原始图像中提取特征点,并根据语义图像剔除动态物体特征点,保留静态物体特征点;最后,利用静态物体特征点采用基于特征点的单目视觉SLAM算法对相机运动进行跟踪。在ApolloScape自动驾驶数据集上的试验表明,与传统方法相比,本文算法在动态场景中定位精度提升约17%。     

旋翼无人机运动场景及状态的视觉判定方法

针对视觉导航中相邻帧位姿估计方法使用不准确、估计不及时等问题,该文提出了一种基于视觉判定旋翼无人机运动场景及状态的方法。该方法通过计算基础矩阵和单应矩阵的匹配率、观察特征点分布情况和旋转角大小来判断旋翼无人机的运动场景及状态,并选择合适的位姿估计方法减小误差累积。最后,根据旋翼无人机在室内外采集的图像数据进行验证。实验结果表明,该文提出的方法能够准确地对旋翼无人机当前所处的运动场景及状态进行判定,为旋翼无人机的自主导航提供参考。     

基于点云卷积的点云分类方法研究

基于深度学习方法,借鉴二维图像卷积的思想,设计了一种适合三维点云的卷积操作。点云卷积的作用域是局部球形邻域,输入为三维坐标和空间几何关系。通过点云卷积提取局部特征,使用最远点采样算法采集邻域中心点,根据半径构建球形局部邻域,使用多层感知器（multi-layer perceptron,MLP）网络学习空间关系权重,将学习到的关系权重和输入特征相乘,实现卷积操作。基于三维点云卷积,构建了一个多层分类网络模型实现点云分类。使用道路场景的黄石路数据集进行分类实验,结果证明了所提方法的有效性。     

基于2D-3D语义传递的室内三维点云模型语义分割

针对现有三维点云模型重建对象化和结构化信息缺失的问题,提出一种基于图模型的二维图像语义到三维点云语义传递的算法。该算法利用扩展全卷积神经网络提取2D图像的室内空间布局和对象语义,基于以2D图像超像素和3D点云为结点构建融合图像间一致性和图像内一致性的图模型,实现2D语义到3D语义的传递。基于点云分类实验的结果表明,该方法能够得到精度较高的室内三维点云语义分类结果,点云分类的精度可达到73.875 2%,且分类效果较好。     

一种融合单目视觉SLAM与GPS的无人机视频目标定位方法

提出一种融合单目视觉SLAM与机载GPS信息的无人机视频目标定位方法。首先利用单目视觉SLAM实时估计相机相对位姿,融合机载GPS数据,得到WGS84坐标系下的相机位姿估计;其次利用融合后的相机位姿将已知GPS路标投影到像平面,实现GPS路标与无人机监控视频的叠加显示;最后通过关键帧间的极线搜索匹配确定目标像素点的匹配点,并将其反投影到三维空间得其对应的GPS坐标,实现无人机监控视频中的GPS位置查询。实验验证了该方法的有效性、精确性与实时性。     

三维目标位姿跟踪与模型修正

本文是机器视觉参量下的三维数字摄影测量智能构像基础工作之一：成像系统位置姿态自动跟踪与精密修正,属于摄影测量与机器视觉、数字图像处理等学科交叉的摄像测量领域。针对基于目标3D模型的位姿跟踪问题开展研究,对相关研究的现状进行梳理,并提出系列位姿跟踪与模型修正方法。在完全已知目标3D精确模型的情况下,对于包含丰富直线特征的特殊目标,提出基于直线模型的目标位姿跟踪方法,实现了目标位姿参数的精确跟踪;为处理更为一般目标,利用目标的3D边缘模型,提出法向距离迭代加权最小二乘位姿估计方法及距离图迭代最小二乘位姿跟踪方法。当目标3D直线模型参数不准确时,结合光束法平差思想,提出一种针对序列图像的基于3D直线模型同时位姿跟踪与模型修正方法,联合优化求解目标位姿参数及3D直线模型参数,在模拟空间卫星目标位姿测量的仿真试验中,模型直线朝向、位置误差及目标位姿平均角度、平均位置误差分别为0.3°、3.5 mm及0.12°、20.1 mm。针对包含丰富直线特征的目标,在其3D直线模型完全未知的情况下,提出基于序列图像直线对应的目标结构重建与位姿跟踪方法,利用序列图像信息,在SFM框架下同时优化求解目标直线模型参数及位姿参数,仿真试验条件下,重建模型直线朝向、位置误差及位姿参数平均角度、平均位置误差分别约为0.4°、7.5 mm及0.16°、23.5 mm。     

视觉惯导紧耦合的行人室内自主定位方法

针对行人在大型复杂建筑环境中的高精度和高可靠性室内定位需求,传统的基于视觉点特征方法易受环境纹理缺失、相机快速运动导致图像模糊而定位失效问题,提出了一种基于视觉点线特征与IMU紧耦合的行人室内 自主定位方法.在视觉惯导融合导航系统框架下,前端部分,在点特征基础上引入结构化建筑环境中丰富的线特征,并采取基于梯度密度过滤机制的改进线特征提取策略,剔除局部线特征密集区域;利用点线特征与IMU紧耦合优化机制提高行人位姿估计及定位的准确性和稳定性.通过利用EuRoC数据集和在实际楼道场景下的实验,特别是在弱纹理、光照变化等条件下实验,验证了所提方法进行行人室内定位的准确性和可行性.     

一种场景稳健的单目视觉里程计算法

针对利用单目相机采集的图像序列进行实时车载平台位姿估计问题,对比了不同单目半直接典型算法的原理和试验结果以及不同场景、运动状态、光照和耦合因素下的同名点跟踪算法、长时间场景稳健的高精度位姿估计方法、位姿优化方法的试验结果。通过与两个典型半直接MVO算法进行了计算过程多个阶段和计算结果多个方面的对比,得出每个阶段和整体结果更好的计算方法;最终总结提出了一种场景稳健的单目半直接视觉里程计算法并利用序列真实数据进行了试验验证。试验结果表明,该算法的长时间位姿估计的场景稳健性和计算精度均显著优于目前典型的半直接MVO算法,位姿估计精度比ERL算法提升10%以上,计算效率与典型的ERL算法相当,能够满足各类单目视觉里程计应用场景需求。     

基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法

基于单一传感器的同时定位与地图构建技术已经逐渐不能满足移动机器人、无人机及自动驾驶车辆等智能移动载体日益复杂的应用场景。为了进一步提升移动载体在复杂环境下的定位与建图性能,基于多传感器融合的SLAM技术成为目前研究的热点内容。本文提出了一种基于图优化的紧耦合双目视觉/惯性/激光雷达SLAM方法(S-VIL SLAM),该方法在视觉惯性系统中引入激光雷达原始观测,基于滑动窗口实现了IMU量测、视觉特征及激光点云特征的多源数据联合非线性优化。利用视觉与激光雷达的互补特性设计了视觉增强的激光雷达闭环优化算法,进一步提升了多源融合SLAM系统的全局定位与建图精度。为了验证本文算法的性能,利用自主搭建的集成多传感器的硬件采集平台在室外场景下进行了车载试验。试验结果表明,本文提出的紧耦合双目视觉/惯性/激光雷达里程计相比于紧耦合双目视觉惯性里程计和激光雷达里程计定位定姿性能显著提升,视觉增强的激光雷达闭环优化算法能够在大尺度场景下有效探测出轨迹中的闭环信息,并实现高精度的全局位姿图优化,经过闭环优化的点云地图具有良好的分辨率和全局一致性。     

基于图像匹配的高精度室内定位技术研究

本文提出了一种新的室内定位方法,上传由手机摄像头拍摄的照片,在定位图像库中进行场景选择、图像匹配,得到最佳匹配图像,根据该图像的预留信息实现准确的室内定位。首先,利用深度卷积神经网络特征和无监督学习方法进行场景选择,然后采用ASIFT(Affine Scale Invariant Feature Transform)算法对既定场景的图像逐一匹配,同时加入对极几何约束,进一步提高定位精度和速度。这种基于图像匹配的室内定位技术能够同时得到用户的位置信息和拍照时的方向信息。     

顾及图像亮度特征的自适应视觉SLAM定位方法

针对眩光/阴影等复杂光照干扰场景视觉定位鲁棒性较低的问题，该文提出一种顾及图像亮度特征的自适应视觉同时定位与地图构建(SLAM)定位方法。该方法基于ORB-SLAM2算法进行改进，通过在ORB-SLAM2前端利用图像平均亮度阈值法检测光照干扰图像，并对其进行饱和度增强，从而得到有利于ORB特征提取的图像。该文利用TUM数据集与KITTI数据集验证了所提方法的可靠性，并与原ORB-SLAM2和ORB-SLAM3算法进行了对比实验。实验结果表明，该文方法的定位精度优于其他两种算法，有效提升了复杂光照场景中视觉定位的鲁棒性。     

先验地图/IMU/LiDAR的图优化和ESKF位姿估计方法对比

针对滤波和优化融合算法在不同场景下定位性能不明确的问题，该文构建了一种融合先验点云地图、激光雷达(LiDAR)、惯性测量单元(IMU)的位姿估计框架。对比分析了基于图优化和误差状态卡尔曼滤波(ESKF)两种算法的位姿估计精度，并采用3组KITTI数据进行实验分析。结果表明：图优化算法的绝对位姿误差的均方根小于ESKF算法，3组数据的精度分别提升了28.9%、12.5%和21%;在复杂场景下，基于图优化算法的性能高于滤波算法；在简单场景下，滤波和图优化算法的精度接近，而滤波算法更加稳定。     

结合残差编解码网络和边缘增强的遥感图像去噪

高分辨率遥感图像去噪对于提高后续图像分析、识别等问题的准确性具有重要意义。目前的去噪算法普遍存在去噪结果边缘信息模糊、易产生视觉伪影导致遥感信息丢失的缺点,针对以上问题本文提出了一个基于边缘增强的残差编解码去噪网络用于高分辨率遥感影像去噪。该方法首先将噪声图片通过低通滤波器分解成高频层和低频层,然后将含噪声信息的高频层输入到带残差模块的编解码网络中,通过采样运算在多尺度空间上学习残差映射生成残差图像,最后使用跳跃连接得到完整的去噪结果。其损失函数由逐像素和感知损失两部分组成,逐像素损失使用传统的均方根误差学习像素级信息,感知损失学习语义特征上的差异可以保留更多边缘信息,最终得到更清晰的结果,其中感知损失是由级联在后的语义分割网络提取的特征图定义的。本文对不同测试数据做去噪实验并与几个经典方法对比证明本文模型的去噪结果优于其他方法,不仅提高图像的峰值信噪比,得到最高的平均梯度值,还在视觉上取得了最清晰的结果。实验结果表明,本文提出的基于边缘增强的深层编解码卷积网络在去噪的同时可以改善边缘细节被模糊的问题,保留更多遥感地物信息,提高图像视觉效果。     

空地大视角影像融合三维重建

针对利用单一影像数据源进行场景三维重建完整性不足的问题,提出一种同时利用空中影像和地面影像进行密集匹配生成场景三维点云的方法。先通过空三和密集匹配分别获取空中影像和地面影像生成的场景点云,再通过基于面元的点云配准算法获取空地点云之间的转换关系,由此转换关系将空地影像的位姿统一到相同的坐标系统中,最后利用空地影像及其位姿经过密集匹配获得完整的场景三维点云模型。实验结果表明,本文方法与单一源影像重接结果相比,场景完整度提高了9%～16%不等。