SANet:空间注意力机制下的LiDAR点云实时语义分割方法

语义分割是智能机器人由感知智能迈向认知智能的重要基础,当前针对点云数据的语义分割方法存在实时性差、精度低等现象。本文系统分析了点云经球面投影所得的距离图像与自然图像的差异,为基于距离图像的实时语义分割网络设计提供了思路。通过分析发现,距离图像具有强空间相关性的特点,将强空间相关性与注意力机制相结合,提出基于空间注意力机制下的LiDAR点云实时语义分割方法SANet。该方法能够高效地聚合空间分布特征与上下文特征,且模型参数量较少,满足实时性的要求。在SemanticKITTI数据集上的试验表明,与其他优秀算法相比,SANet兼顾了实时性与准确性,显著提高了LiDAR点云语义分割的精度,可为自动驾驶及其他机器人应用领域提供辅助支撑。     

车载激光点云的道路标线提取及语义关联

自动驾驶技术已成为未来智能交通的发展方向之一,高精度地图为L3级及以上自动驾驶实现高精度定位和路径规划提供先验信息,是自动驾驶车辆传感器在遮挡或观测距离受限情况下的重要补充。道路标线的位置和语义信息,比如实线和虚线的绝对位置是高精度地图的基本组成部分。本文从车载激光点云中提取扫描线,根据道路边缘位置几何形态的突变从扫描线中提取道路路面,在此基础上首先利用反距离加权插值的方法把路面点云图像以一定的分辨率转换为栅格图像,其次利用基于积分图的自适应阈值分割方法把栅格图像转化为二值图像,然后利用欧氏聚类的方法从二值图像中提取标线点云,并利用特征属性筛选的方法对提取的标线点云进行语义识别,最后建立交通标线和交通规则之间的语义关联。     

高速公路典型要素语义分割深度学习模型适用性分析

通过对比评估了目前主流的深度学习点云语义分割的网络模型PointNet、PointNet++及RandLA-Net,在高速公路场景下的语义分割性能和效果,最后选择性能最优的RandLA-Net网络模型进行超过5 km高速公路基础要素的语义分割实验,结果表明,RandLA-Net网络模型可以较好地实现高速公路场景的激光点云语义分割,总体精度达90.53%,满足现阶段高速公路场景数字化应用的信息识别精度要求。     

智能驾驶场景中高精地图动静态数据关联方法

在智能驾驶场景中,对高精地图的实时动态信息和静态数据的协同调用可以支持智能驾驶系统准确地重构道路行驶场景,并针对复杂的道路环境和突发事件做出安全高效的决策。因此,动态数据与静态数据之间的关联和实时重构是实现智能驾驶车辆路径规划及决策的关键技术。针对目前高精地图模型中动静态数据关联原则共识不够造成耦合实时性弱的问题,提出并论述了动静态数据的关联原则,依此原则,且基于关系数据理论和高精地图的属性属地区块更新机制,进一步提出了高精地图动静态数据的关联和重构的强、弱两种关联方法。通过自动驾驶宏观、中观、微观3种场景决策支持应用分析了动静态数据关联方法对智能驾驶的影响,说明高精地图动静态数据关联关系的建立能够支持智能驾驶系统的规划决策和控制,为车辆实现安全、高效、舒适的智能驾驶奠定了基础。     

融合空谱特征的车载LiDAR点云道路标识线提取

道路标识线是三维道路场景中重要的交通标识之一。自动提取点云场景中的标识线信息对于道路路宽测量、自动驾驶等任务具有十分重要的意义。本文提出了一种基于空谱特征的车载Li DAR点云道路标识线提取方法。该方法充分考虑车载激光点云中道路标识线的颜色、空间邻域和高程等位置关系,直接对点云数据进行自动分类,提取道路标识线。为了验证本文方法的有效性,采用高速公路路段场景的车载激光点云数据进行试验,从中选取训练数据及测试区域进行道路标识线提取试验。最后,本文基于手动标记数据验证本文方法的效果,道路标识线提取总体精度为99.64%。     

深度融合网结合条件随机场的遥感图像语义分割

为了充分利用遥感图像中丰富的细节信息和上下文信息,提高图像语义分割精度,提出一种深度融合网结合条件随机场模型的遥感图像语义分割方法。方法在全卷积神经网络框架中增加反卷积融合结构,搭建深度融合DFN (Deep Fusion Networks)网络,通过深层网络自动获取多尺度特征,避免人工设计和选择特征,提高模型的泛化能力;同时借助反卷积融合结构,利用多尺度信息,将浅层细节信息和深层语义信息相融合,提高模型的处理精度。由全连接条件随机场引入空间上下文信息,更好地定位边界,得到最终的语义分割结果。在遥感图像数据集上的实验结果显示:(1)随着不同尺度细节信息的融入,结果的边缘轮廓越精确、接近标签图像;(2)增加了空间上下文信息后,语义分割结果边缘更细化、准确,精度更高。实验表明,该方法可以有效提高遥感图像语义分割的精度,改善结果的过平滑现象。     

基于图像语义分割的动态场景下的单目SLAM算法

在恢复场景信息和相机运动时,传统的SLAM算法是基于静态环境假设的。场景中的动态物体会降低算法的稳健性和最终的定位精度。本文提出将基于深度学习的图像语义分割技术与传统的视觉SLAM算法结合,以减少动态物体对定位结果的干扰。首先,构建有监督的卷积神经网络对输入图像中的动态物体进行分割,获得语义图像;然后,从原始图像中提取特征点,并根据语义图像剔除动态物体特征点,保留静态物体特征点;最后,利用静态物体特征点采用基于特征点的单目视觉SLAM算法对相机运动进行跟踪。在ApolloScape自动驾驶数据集上的试验表明,与传统方法相比,本文算法在动态场景中定位精度提升约17%。     

2D地图的建筑物场景结构提取方法及其在城市增强现实中的应用

城市AR中,场景结构的自动获取,对自适应信息表达具有重要意义,是解决“层叠式”信息表现形式引发的信息指示不明、场景感知混乱等问题的关键步骤。然而,场景结构信息隐藏在场景图像中,直接提取十分困难。2D地图描述了地理实体的位置、轮廓和空间布局,可作为场景结构提取的先验信息。针对城市AR中场景结构获取难、效率低的问题,本文提出一种基于2D地图的建筑物场景结构自动化提取方法。在地理配准的基础上,首先根据2D地图中建筑物的轮廓和属性信息,构建场景图像语义分割的结构线索;然后将其作为过分割处理后场景图像合并的依据,生成多个包含语义信息的图像区域;最后根据图像区域与2D地图中建筑物轮廓之间的映射关系,提取出场景图像中的区域轮廓、场景深度和平面朝向等场景结构信息。试验选取了格拉茨地区32个建筑物场景进行测试。结果表明本文方法能实时地提取建筑物场景结构,且建筑物立面提取的质量明显优于对比方法。提取的场景结构能应用于城市AR多种自适应信息表达方法中,使信息标注更明确,遮挡关系更清晰。     

改进U-Net的遥感图像语义分割方法

利用深度神经网络进行遥感影像语义分割是遥感智能解译的一个重要内容，在城市规划、灾害评估及农业生产等领域具有十分重要的作用。高分辨率遥感影像具有背景复杂、尺度多样及形状不规则等特点，使用自然场景语义分割方法处理遥感图像往往存在分割精度低的问题。针对上述情况，本文在U-Net模型基础上，提出了一种多尺度跳跃连接方法来融合不同层次的语义特征，获取准确的分割边界与位置信息；引入注意力机制和金字塔池化解决复杂背景下的精细分割问题。为了验证本文方法的有效性，在WHDLD和LandCover.ai数据集上进行试验，并与主流语义分割方法进行对比。试验结果表明，本文方法的mIoU分别达到74.28%和82.04%,F₁均值达到84.47%和89.76%,均优于其他对比方法；相比于U-Net的分割结果，IoU在建筑物、道路等占比较少的类别上提升明显，且优于其他对比方法。     

语素关联约束的动态环境视觉定位优化

在自动驾驶场景中,视觉相机能够实现低成本的定位与环境感知,但是场景中的动态目标会影响视觉定位的轨迹.对此,本文提出了语素关联约束的动态环境视觉定位优化方法.首先,利用目标检测和语义分割提取环境中的语义实体;然后,通过语素关联模型识别出动态语素;最后,建立动态语素的特征掩膜,用于特征匹配过程中的动态目标特征点过滤,从而提高视觉定位效果.本文基于视觉机器人平台在校园道路开展了试验,发现了动态目标通过关键点影响视觉定位结果的规律——在转弯时或者目标在视野中横向移动时影响较大.试验结果表明,本文方法的动态语义要素识别的平均精度F1约为87％,并且在语素关联优化前后,局部区域最大轨迹距离差为2.463 m,与真值对比RMSE降低了38％.     

融合多特征改进型PSPNet模型应用于复杂场景下的建筑物提取

针对复杂场景下高分辨率遥感影像中建筑物提取精度低的问题,本文提出了一种融合多特征改进型PSPNet模型,在PSPNet网络的基础上,加入膨胀卷积模块并融合图像的浅层特征.试验结果表明,融合多特征改进型PSPNet模型的预测结果总体精度为95.90％,建筑物提取精度平均为77.77％,均高于其他模型.其在不同场景上的表现...     

多分辨率特征融合的光学遥感图像目标检测

高分辨率遥感图像目标检测是计算机视觉的一个重要研究领域,在民用与军事领域具有重要的应用价值。目前,基于深度学习的自然图像目标检测有了突破性进展。但是,由于遥感图像具有目标尺度差异大且类间相似度高的特点,使得处理自然图像的目标检测算法直接应用于遥感图像时仍面临着一些挑战。针对上述挑战,本文提出一种多分辨率特征融合的遥感图像目标检测方法。首先,通过特征金字塔提取多尺度特征图并在其后嵌入多分辨率特征提取网络,促使网络学习目标在不同分辨率下的特征,缩小不同特征层之间的语义差距。其次,为实现多分辨特征的有效融合,本文采用自适应特征融合模块挖掘更具判别性的多分辨特征表达。最后,将自适应特征融合模块的输出特征的相邻层进行深度融合。在公开的遥感图像目标检测数据集DIOR和DOTA上评估了本文方法的有效性,相比采用特征金字塔结构的Faster R-CNN,本文方法的准确率(mAP)分别提高2.5%和2.2%。     

一种改进的超体素与区域生长点云分割方法

点云分割作为识别地理场景的空间特征、探索和记录空间信息的关键处理步骤,其分割精度直接影响后续三维场景重建、地物特征提取等应用的效果。针对传统区域生长点云分割算法的不稳定等问题,本文结合超体素和区域生长算法对点云数据进行分割,并利用点云自身的色彩信息进一步改进分割结果。试验结果表明,相较于传统的区域生长和已有的结合超体素与区域生长的分割算法,本文算法对点云数据分割的效果更好,且其精确率与召回率均有提高。     

利用局部几何特征与空洞邻域的点云语义分割

点云具有数据量大、无拓扑结构等特点,现有的深度学习语义分割模型难以充分挖掘大范围邻域内点云中所隐藏的几何特征。由此提出了一种基于空洞邻域并结合角度等几何特征作为模型输入的点云语义分割模型。首先,在局部邻域构建过程中,将图像处理的空洞卷积操作扩展至点云,建立空洞邻域结构,以扩大感受野;然后,在特征提取过程中,将中心点与邻域点之间相对坐标、距离、角度等基本几何特征作为模型输入,最大程度挖掘邻域内的几何特征;最后,基于所提邻域结构与特征提取算法构建了点云语义分割模型。采用Semantic3D数据集进行实验验证,结果表明,所提模型分割效果优于对比的点云语义分割算法,空洞邻域与局部几何输入特征能够有效改善点云语义模型的性能。     

联合显著性和多层卷积神经网络的高分影像场景分类

高分辨率遥感影像中的场景信息,对于影像解译和现实世界的理解具有重要意义。传统的场景分类方法多利用中、低层人工特征,但是高分辨率遥感影像的信息丰富,场景构成复杂,需要高层次的特征来表达。本文提出了一种联合显著性和多层卷积神经网络的方法,首先利用显著性采样获取包含影像主要信息的有意义的块,将这些块作为样本集输入卷积神经网络中进行训练,获得不同层次的特征表达,最后联合多层特征利用支持向量机进行分类。两组高分影像场景数据UC Merced 21类和Wuhan 7类试验表明,显著性采样能够有效地获取主要目标,减弱其他无关目标的影响,降低数据冗余;卷积神经网络能够自动学习高层次的特征,相比已有方法,本文方法能够有效提高分类精度。     

Tsallis熵和改进CV模型的海面溢油SAR图像分割

为了解决海洋表面溢油监测中合成孔径雷达(SAR)图像分割精度不高的难题,提出一种基于Tsallis熵多阈值分割与改进CV(ChanVese)模型相结合的海面溢油图像分割方法。首先采用基于Tsallis熵的多阈值选取算法对海面溢油图像进行粗分割;然后分别将得到的溢油区域和溢油粗略轮廓作为CV模型的局部区域和初始轮廓,以降低CV模型的场景复杂度及其对初始条件的敏感性。CV模型仅考虑了图像各区域的均值信息而没有考虑图像的局部信息,尽管能够得到渐进型边界图像,但其分割结果存在误差。本文采用了加入移动因子的改进CV模型降低分割误差,提高收敛速度。实验结果表明,提出的海面溢油SAR图像分割方法具有分割边界定位准确、运行高效和无需设置初始条件等优点。     

Dual context prior and refined prediction for semantic segmentation

Recently, the focus of semantic segmentation research has shifted to the aggregation of context prior and refined boundary. A typical network adopts context aggregation modules to extract rich semantic features. It also utilizes top-down connection and skips connections for refining boundary details. But it still remains disadvantage, an obvious fact is that the problem of false segmentation occurs as the object has very different textures. The fusion of weak semantic and low-level features leads to context prior degradation. To tackle the issue, we propose a simple yet effective network, which integrates dual context prior and spatial propagation-dubbed DSPNet. It extends two mainstreams of current segmentation researches: (1) Designing a dual context prior module, which pays attention to context prior again with a shortcut connection. (2) The network can inherently learn semantic aware affinity values for each pixel and refine the segmentation. We will present detailed comparisons, which perform on PASCAL VOC 2012 and Cityscapes. The result demonstrates the validation of our approach.     

利用松弛标记法进行空间场景匹配

相似性度量是地理学中的关键组成部分,被广泛应用于空间检索、空间信息整合及空间数据挖掘中。因为空间场景中实体个数的差异及空间对象间的关系难以精确相等,若执行空间场景的完全精确匹配,可能会使得检索结果为空。顾及尺度差异,从空间场景中进行空间语义理解,建立了多尺度空间场景的形式化描述模型,并提取场景中稳定的特征构建空间场景特征矩阵。建立场景间的初始匹配概率矩阵后,基于松弛标记法迭代更新概率矩阵,直到矩阵收敛于一全局最小值并确定匹配的实体对,从而进行空间场景相似性评估。采用武汉居民地域数据进行场景匹配实验,并对不同邻域搜索半径下的匹配时间及精确度进行对比与分析,实验结果表明,基于松弛标记法的空间场景匹配方法具有较高的精确度。     

一种自适应的坡度阈值地面点云分割方法

针对城市道路斜坡地形场景中地面欠分割或过分割的问题,提出了一种自适应的激光雷达地面分割算法。首先将激光点云按照水平角度分辨率进行有序组织,然后求取同一水平角度下前后扫描圈间激光点云的距离和局部坡度,最后采用自适应水平距离、局部高度和全局高度阈值区分地面点和非地面点。结合40线激光雷达进行多场景实例分析,结果表明本文算法分割的准确率更高,处理每帧数据均用时约1ms,满足无人驾驶汽车的实时性需求。提出了一种自适应的激光雷达地面分割算法,实现了对激光雷达地面点云的准确分割。