基于深度学习的大规模点云语义分割方法综述

为了展示深度学习在点云处理上最新进展，同时促进对点云语义分割方法的研究，该文对基于深度学习的大规模点云语义分割方法进行了综述。在介绍8个室内和室外语义分割数据集的基础上，重点对近几年的深度学习点云语义分割方法进行了归纳和分析，并在S3DIS、Semantic3D、Toronto3D、ISPRS Vaihingen 3D和SemanticKITTI数据集上对不同方法进行了比较，并构建了相应的基准。最后对目前点云语义分割算法存在的问题和未来趋势进行了分析。     

顾及法向量的点云语义分割方法

针对在复杂场景下激光雷达点云数据的语义分割研究中,存在点云特征损失大、点云语义挖掘不足和分割精度不高等问题,该文提出了一种将法向量和RandLA-Net相结合的点云语义分割方法。把点云法向量与RandLA-Net网络的局部特征聚合模块融合,提取局部语义聚合特征,利用softmax分类器对每个点进行分类。实现了复杂场景下LiDAR点云数据的语义分割。通过对Oakland点云数据集和德国Vaihingen城市语义数据集进行实验分析,验证了本文算法具有较强的泛化能力,本文算法在Oakland点云数据集和Vaihingen城市语义数据集上的平均交并比分别为96.38%和92.49%,与RandLA-Net网络相比,该算法充分利用了激光点云数据的语义特征,有效地提高了点云语义分割的准确性。     

几何特征与神经网络联合优化的室内三维点云语义分割方法

室内三维点云数据精准语义分割是实现深层次室内空间应用的基础。针对现有三维点云数据语义分割方法存在目标不完整和不一致的问题,本文提出了一种几何特征与深度神经网络联合优化的室内三维点云语义分割方法。该方法首先利用深度学习实现室内结构信息语义标签的初步提取,然后利用几何与颜色特征的点云分割方法对原始数据进行精确分割,最后利用概率模型将深度学习语义分割结果与几何分割结果进行交叉融合,实现语义分割结果的联合优化。基于开放数据集对本文提出的分割方法进行了精度和有效性验证,分别采用室内场景简单到复杂的三组室内点云数据进行了测试,试验结果表明,本文提出的方法能够有效提升室内三维点云语义分割精度。     

结合自注意力机制的多特征融合点云语义分割网络

由于三维激光点云的无序性、稀疏性、非结构性以及光谱纹理信息缺乏，使得点云的语义信息提取十分困难，而可以直接对原始非结构化点云进行语义分割的PointNet++网络无法考虑点云的空间相关性。针对这个问题，本文提出了一种结合自注意力机制的多特征融合点云语义分割网络，使用PointNet++和非局部信息统计注意力模块分别提取点云的多尺度特征和空间相关性特征，并融合两种特征以进行最终的点云分割。通过在ISPRS 3D语义分割数据集上进行对比实验，证明本文通过自注意力机制提取的空间相关性特征优于人工设计的特征，可以明显提高点云语义分割的精度，本文方法较PointNet++总体精度提升了4.5%。     

面向点云语义分割的多特征融合PointNet++网络

PointNet和PointNet++方法以最大池化为聚合函数使得深度神经网络可直接分类无序点云,得到了较高的分类精度,但对点云空间相关性局部特征提取能力不足,制约了点云语义分割精度的提升。针对该问题,设计了一种面向点云语义分割的多特征融合PointNet++网络,在PointNet++网络中加入一个特征编码器,并以最小信息熵法计算的最优邻域来计算人工特征作为特征编码器的输入。在ISPRS提供的Vaihingen区域三维点云分类标准数据集上进行语义分割实验对比,结果表明多特征融合PointNet++网络语义分割精度比PointNet和PointNet++分别提高了4.3%和3.2%。     

联合点云压缩的多特征融合点云语义分割方法

针对PointNet++对点云空间相关性特征提取能力不足,同时难以适用于大场景高密度LiDAR点云语义分割的问题,提出一种联合点云压缩的多特征融合LiDAR点云语义分割方法。首先利用点云压缩算法降低点云密度,并使用PointNet++提取简化点云的深度语义特征,再利用拟合算法计算完整点云的深度特征;之后提取人工设计的空间相关性特征与深度特征进行串联;最后利用随机森林算法对完整点云进行语义分割。通过在ISPRS提供的LiDAR点云语义分割标准数据集进行实验,证明提出方法的有效性,总体精度较PointNet++提升了5.3%。     

基于单阶段实例分割网络的黄土滑坡多任务自动识别

滑坡自动识别能够解决人工目视解译方法速度慢的问题,现有基于深度学习的自动识别方法多以目标检测和语义分割等单任务识别方法为主。本文基于深度学习实例分割网络探索可同时完成滑坡目标定位和语义分割的多任务识别方法。首先,基于谷歌地球影像构建了包含3822个样本的黄土滑坡样本数据集;然后,采用单阶段实例分割网络(YOLACT)构建了基于小样本学习的黄土滑坡多任务自动识别模型;最后,通过大、中、小3种比例尺度的滑坡测试样本对识别结果进行评价。试验结果表明:①滑坡目标定位框(Box)平均精确度为61.66%,滑坡语义分割掩码(Mask)平均精确度为62.0%,大比例尺测试结果中Mask交并比为0.88;②基于YOLACT构建的滑坡识别模型可同时完成滑坡目标定位和滑坡高精度掩码分割的双任务识别,为滑坡多任务自动识别及快速制图提供了技术支撑。     

融合聚类算法的钢轨轮廓点云自适应精简

针对原始结构光钢轨轮廓点云数据量大、强噪声和离群杂点多的问题,本文提出了一种欧式聚类融合多种传统滤波方式的钢轨点云自适应精简的方法。采用点云欧式距离为特征量的聚类分割方法用于无效杂散点数据的识别和精简,采用统计滤波结合均匀体素下采样滤波方法实现点云初步去噪。在此基础上,通过欧式聚类分割噪点,采用自动获取滤波范围的自适应直通滤波去除轨底粘连数据,以保证点云配准的效率与准确性。本文提出的方法可有效精简无效数据和去噪,点云精简比约为94%,同时保留了原始点云的有效轮廓特征,为点云配准与磨耗点的高精度识别奠定了基础。     

使用超像素编码的交互式影像语义分割方法

为了提高语义分割数据集的标注效率,研究人员提出了使用点击正负样本区域的交互式语义分割方法。然而,现有交互信息编码方式并未考虑图像上下文结构信息,当用户交互信息（鼠标点击位置）质量较差时,例如位于物体边缘附近时,易出现分割结果错误。针对该问题,本文提出结合超像素分割的交互信息编码方式。在遥感影像及医学影像数据集上的实验表明,结合超像素的交互信息编码方式,可有效提高交互式语义分割的效果,特别是在交互信息质量较差的情况下。     

SANet:空间注意力机制下的LiDAR点云实时语义分割方法

语义分割是智能机器人由感知智能迈向认知智能的重要基础,当前针对点云数据的语义分割方法存在实时性差、精度低等现象。本文系统分析了点云经球面投影所得的距离图像与自然图像的差异,为基于距离图像的实时语义分割网络设计提供了思路。通过分析发现,距离图像具有强空间相关性的特点,将强空间相关性与注意力机制相结合,提出基于空间注意力机制下的LiDAR点云实时语义分割方法SANet。该方法能够高效地聚合空间分布特征与上下文特征,且模型参数量较少,满足实时性的要求。在SemanticKITTI数据集上的试验表明,与其他优秀算法相比,SANet兼顾了实时性与准确性,显著提高了LiDAR点云语义分割的精度,可为自动驾驶及其他机器人应用领域提供辅助支撑。     

Segmentation of Airborne Point Cloud Data for Automatic Building Roof Extraction

Roof plane segmentation is a complex task since point cloud data carry no connection information and do not provide any semantic characteristics of the underlying scanned surfaces. Point cloud density, complex roof profiles, and occlusion add another layer of complexity which often encounter in practice. In this article, we present a new technique that provides a better interpolation of roof regions where multiple surfaces intersect creating non-manifold points. As a result, these geometric features are preserved to achieve automated identification and segmentation of the roof planes from unstructured laser data. The proposed technique has been tested using the International Society for Photogrammetry and Remote Sensing benchmark and three Australian datasets, which differ in terrain, point density, building sizes, and vegetation. The qualitative and quantitative results show the robustness of the methodology and indicate that the proposed technique can eliminate vegetation and extract buildings as well as their non-occluding parts from the complex scenes at a high success rate for building detection (between 83.9% and 100% per-object completeness) and roof plane extraction (between 73.9% and 96% per-object completeness). The proposed method works more robustly than some existing methods in the presence of occlusion and low point sampling as indicated by the correctness of above 95% for all the datasets.     

一种基于空间网格的地物要素点云提取方法

LiDAR点云的分类提取是点云数据处理中的首要步骤。为了提高复杂场景中点云数据分类提取方法的适用性,文中根据三维数学形态学思想,提出一种基于地物空间形状特征的点云提取方法。方法首先建立网格索引,划分网格空间,进行点云数据组织,然后根据地物在网格空间中的形状特征设计出四种参数可控的空间网格算子,最后结合点云反射强度信息自动提取特定地物点云。通过对复杂场景中的铁路地物要素LiDAR点云中建筑、电力杆线、铁路轨道的提取和郊区机载LiDAR点云中的地面与建筑屋顶的提取,验证提取算法的适用性,为点云分类提取功能模块的程序设计提供便捷方法。     

基于深度残差网络的机载LiDAR点云分类

机载LiDAR点云的分类是利用其进行城市场景三维重建的关键步骤之一。为充分利用现有的图像领域性能较好的深度学习网络模型,提高点云分类精度,并降低训练时间和对训练样本数量的要求,本文提出一种基于深度残差网络的机载LiDAR点云分类方法。首先提取归一化高程、表面变化率、强度和归一化植被指数4种具有较高区分度的点云低层次特征;然后通过设置不同的邻域大小和视角,利用所提出的点云特征图生成策略,得到多尺度和多视角点云特征图;再将点云特征图输入到预训练的深度残差网络,提取多尺度和多视角深层次特征;最后构建并训练神经网络分类器,利用训练的模型对待分类点云进行预测,经后处理得到分类结果。利用ISPRS三维语义标记竞赛的公开标准数据集进行试验,结果表明,本文方法可有效区分建筑物、地面、车辆等8类地物,分类结果的总体精度为87.1%,可为城市场景三维重建提供可靠的信息。     

基于LiDAR点云的建筑物分割深度学习模型研究

本文针对深度神经网络算法应用于机载激光点云进行大规模建筑物提取的问题,分别选取PointNet++和PointCNN两个网络模型进行了改进和对比。对于PointCNN,通过参数调整,使其更适合大场景信息提取。对于PointNet++,为了增加更多特征,加快大场景下网络模型的训练效率,在网络体系结构中添加了一种新的特征提取层——K-means层。另外,通过在测试数据集上的训练和验证发现,本文基于深度学习方法的分类较好地克服了点云的无序特性,能够更好地利用点之间的空间相关性,改进后两种模型的精度均达96%以上,在建筑物提取的时间效率和效果上优于原始模型。     

车载联合机载LiDAR点云数据的建筑物立面精细分割

从数据量庞大且散乱的车载LiDAR点云中分割出建筑物立面数据是一项繁琐而艰巨的工作。本文提出一种结合机载LiDAR点云的车载LiDAR点云建筑物立面分割方法。该方法在空-地点云严格配准的基础上,从机载LiDAR点云中分割出每栋建筑物的顶部点云,提取建筑物顶部外轮廓线并进行规则矢量化处理,设置轮廓线缓冲区实现立面点云的粗分割;再采用基于稳健特征值的平面拟合法对单栋建筑物的每个立面进行去噪滤波,实现建筑物立面的精细分割。试验结果证明了该算法对城市场景中车载LiDAR点云处理的有效性。     

三维激光扫描技术在天津市历史文化街区三维模型库建立中的应用探讨

利用地面三维激光扫描技术,获取历史文化街区内建筑、场景的高精细的点云数据,将点云与1∶500比例尺的DLG平面文件进行匹配,获取建筑的平面及高程信息。根据获取成果制作天津市历史文化街区重点保护建筑、场景的高精细三维建模,实现历史文化街区内各类建筑、场景的三维仿真,建立数字化档案库。为历史建筑的保护提供数字化档案信息,可以永久的记录城市面貌、建筑风貌以及文化底蕴,实现历史文化街区的保护、复原、修缮、规划及研究等工作。     

基于几何特征约束的建筑物点云配准算法

针对人工建筑物表面存在的几何特征关系提出了基于几何特征约束的建筑物点云配准算法,根据点云数据中平面与平面重合关系,推导点在平面上和平面法线平行的2种线性不等约束条件。在6独立参数模型中增加几何特征约束的不等约束条件组成了附有约束条件的配准模型。通过对建筑物3维激光扫描点云数据的采集和处理,详细分析了几何特征约束配准算法的处理结果。试验结果分析表明几何特征约束条件可以合理地改善3维空间转换参数解算结果,提出的配准模型较适合于人工建筑物点云数据的配准。     

最小割与深度学习联合优化的室内粘连点云分割方法

随着数字城市的发展,城市三维模型重建对三维点云结构化的需求与精度要求越来越高。如何有效准确地分割室内语义模型与三维重构是当前研究的热点问题。点云分割分类是室内点云结构化的重要基础,如何将粘连点云构件进行准确分割并用于室内点云结构化,是当前城市建模的难点。本文提出了一种面向室内粘连点云数据的分割分类方法。首先,利用深度学习网络处理室内点云数据;其次,对点云数据进行标签分类,得到目标标签点云;然后,利用欧氏算法对目标点云进行聚类分割,通过室内语义构件包围盒信息计算各目标中心点坐标与水平半径;最后,利用点云最小割实现室内粘连点云的准确分割。利用3组室内场景中获取的数据对分割方法的精度及有效性进行了验证。结果表明,该分割优化方法具有较高的精度与数据完整性。     

融合语义特征与GPS位置的地面激光点云拼接方法

拼接是地面激光点云数据处理的必要步骤,但基于同名点的点云拼接方式已成为阻碍点云处理效率提升的长期瓶颈,而直接匹配点云识别同名特征的方法亦对点云重叠区域具有较高的要求。本文提出一种融合语义特征与GPS位置的地面激光点云拼接方法,通过语义知识自动识别出原始三维点云中所包含的地面特征与建筑物立面特征,并使用这两种面状特征结合点云测站中心的GPS位置作为同名标靶进行点云初始拼接,随后使用点到面最小距离约束下的ICP进行点云精确拼接。实验表明,本方法可以有效提高地面激光点云拼接的整体效率,尤其对于包含平面结构（如马路、建筑物）的场景具有良好的拼接效果。