基于深度学习的大规模点云语义分割方法综述

为了展示深度学习在点云处理上最新进展,同时促进对点云语义分割方法的研究,该文对基于深度学习的大规模点云语义分割方法进行了综述。在介绍8个室内和室外语义分割数据集的基础上,重点对近几年的深度学习点云语义分割方法进行了归纳和分析,并在S3DIS、Semantic3D、Toronto3D、ISPRS Vaihingen 3D和SemanticKITTI数据集上对不同方法进行了比较,并构建了相应的基准。最后对目前点云语义分割算法存在的问题和未来趋势进行了分析。     

联合点云压缩的多特征融合点云语义分割方法

针对PointNet++对点云空间相关性特征提取能力不足,同时难以适用于大场景高密度LiDAR点云语义分割的问题,提出一种联合点云压缩的多特征融合LiDAR点云语义分割方法。首先利用点云压缩算法降低点云密度,并使用PointNet++提取简化点云的深度语义特征,再利用拟合算法计算完整点云的深度特征;之后提取人工设计的空间相关性特征与深度特征进行串联;最后利用随机森林算法对完整点云进行语义分割。通过在ISPRS提供的LiDAR点云语义分割标准数据集进行实验,证明提出方法的有效性,总体精度较PointNet++提升了5.3%。     

融合多特征深度学习的地面激光点云语义分割

针对当前点云语义分割研究对地面站激光点云特征利用不足、正确率较低的问题,该文提出了一种基于多尺度球形邻域特征的深度神经网络算法。该算法基于多尺度球形邻域计算的地面激光点云的粗糙度、高斯曲率,以及全方差、线性度等基于协方差的多种特征,结合XYZ坐标、RGB颜色、激光反射强度组成47维特征向量作为神经网络的输入,经过多组参数组合实验优化神经网络结构,最后通过softmax分类器输出每个点的类别。利用Semantic-3D测试集验证所提的深度神经网络模型,取得了较好的分类精度,总体正确率和平均交并比分别达到了86.6%和55.0%。实验结果表明,所提算法充分利用了地面站激光点云的特征,可有效提升语义分割的正确率。     

三维激光点云配电房结构及设备语义分割方法

针对配电房点云场景的三维重建需求问题,该文提出了一种配电房结构及设备点云的自动化语义分割方法。对于配电房主体结构点云,先采用区域增长的方法获取所有结构面的点云块,再基于随机采样一致性平面拟合的方法,对属于同一结构面的点云进行精准合并;对配电房内部设备点云,先采用欧式聚类的方法对每个设备点云进行聚类分割,再采用点云投影与栅格化的方法生成每个设备的主面图像,最后基于深度残差网络搭建深度神经网络对每个设备主面图像进行分类,得到每个设备点云的语义信息。实验证明,该文提出的方法对配电房点云分割的正确率优于0.9,设备识别的正确率优于96%,能够满足后续配电房及设备三维重建的要求。     

面向点云语义分割的多特征融合PointNet++网络

PointNet和PointNet++方法以最大池化为聚合函数使得深度神经网络可直接分类无序点云,得到了较高的分类精度,但对点云空间相关性局部特征提取能力不足,制约了点云语义分割精度的提升。针对该问题,设计了一种面向点云语义分割的多特征融合PointNet++网络,在PointNet++网络中加入一个特征编码器,并以最小信息熵法计算的最优邻域来计算人工特征作为特征编码器的输入。在ISPRS提供的Vaihingen区域三维点云分类标准数据集上进行语义分割实验对比,结果表明多特征融合PointNet++网络语义分割精度比PointNet和PointNet++分别提高了4.3%和3.2%。     

基于语义特征的堤防外坡激光脚点分割

在缺乏影像等辅助数据的情况下,本文直接利用激光雷达LiDAR点云数据,提取水系边缘,并在此基础上实现基于语义分割的堤防外坡激光点云提取方法。分两步进行边坡的提取:首先获取LiDAR数据中水体边缘轮廓线,进一步获取堤防边坡的下缘线;然后以下缘线为增长基线,通过最小二乘平面拟合,利用区域增长的方法,将边坡平面提取出来,从而获取边坡脚点。     

结合自注意力机制的多特征融合点云语义分割网络

由于三维激光点云的无序性、稀疏性、非结构性以及光谱纹理信息缺乏,使得点云的语义信息提取十分困难,而可以直接对原始非结构化点云进行语义分割的PointNet++网络无法考虑点云的空间相关性。针对这个问题,本文提出了一种结合自注意力机制的多特征融合点云语义分割网络,使用PointNet++和非局部信息统计注意力模块分别提取点云的多尺度特征和空间相关性特征,并融合两种特征以进行最终的点云分割。通过在ISPRS 3D语义分割数据集上进行对比实验,证明本文通过自注意力机制提取的空间相关性特征优于人工设计的特征,可以明显提高点云语义分割的精度,本文方法较PointNet++总体精度提升了4.5%。     

基于深度残差网络与梯度优化的室内点云语义分割

三维点云语义分割是大型场景点云数据理解和分析的关键步骤之一。为实现室内场景点云更高精度的分割,提出一种基于深度残差网络与梯度优化的语义分割方法(DRN-GO),通过加深集抽象模块与特征传递模块的层数,加强对点云的特征学习,并在网络层之间引入残差网络进行特征链接。为防止网络层次的增加导致模型过拟合,在编解码后的全连接层部分加入Dropout结构,并在每层网络输入前对数据进行批量归一化处理,从而确保模型的稳定性。本文选用斯坦福大型室内数据集S3DIS设计实验,结果表明,DRN-GO方法相比PointNet++在精度上得到了大幅度提升。     

顾及法向量的点云语义分割方法

针对在复杂场景下激光雷达点云数据的语义分割研究中,存在点云特征损失大、点云语义挖掘不足和分割精度不高等问题,该文提出了一种将法向量和RandLA-Net相结合的点云语义分割方法。把点云法向量与RandLA-Net网络的局部特征聚合模块融合,提取局部语义聚合特征,利用softmax分类器对每个点进行分类。实现了复杂场景下LiDAR点云数据的语义分割。通过对Oakland点云数据集和德国Vaihingen城市语义数据集进行实验分析,验证了本文算法具有较强的泛化能力,本文算法在Oakland点云数据集和Vaihingen城市语义数据集上的平均交并比分别为96.38%和92.49%,与RandLA-Net网络相比,该算法充分利用了激光点云数据的语义特征,有效地提高了点云语义分割的准确性。     

融合语义特征与GPS位置的地面激光点云拼接方法

拼接是地面激光点云数据处理的必要步骤,但基于同名点的点云拼接方式已成为阻碍点云处理效率提升的长期瓶颈,而直接匹配点云识别同名特征的方法亦对点云重叠区域具有较高的要求。本文提出一种融合语义特征与GPS位置的地面激光点云拼接方法,通过语义知识自动识别出原始三维点云中所包含的地面特征与建筑物立面特征,并使用这两种面状特征结合点云测站中心的GPS位置作为同名标靶进行点云初始拼接,随后使用点到面最小距离约束下的ICP进行点云精确拼接。实验表明,本方法可以有效提高地面激光点云拼接的整体效率,尤其对于包含平面结构（如马路、建筑物）的场景具有良好的拼接效果。     

SANet:空间注意力机制下的LiDAR点云实时语义分割方法

语义分割是智能机器人由感知智能迈向认知智能的重要基础,当前针对点云数据的语义分割方法存在实时性差、精度低等现象。本文系统分析了点云经球面投影所得的距离图像与自然图像的差异,为基于距离图像的实时语义分割网络设计提供了思路。通过分析发现,距离图像具有强空间相关性的特点,将强空间相关性与注意力机制相结合,提出基于空间注意力机制下的LiDAR点云实时语义分割方法SANet。该方法能够高效地聚合空间分布特征与上下文特征,且模型参数量较少,满足实时性的要求。在SemanticKITTI数据集上的试验表明,与其他优秀算法相比,SANet兼顾了实时性与准确性,显著提高了LiDAR点云语义分割的精度,可为自动驾驶及其他机器人应用领域提供辅助支撑。     

多因子激光雷达点云分区精简算法

激光雷达点云密度较大时会导致数据冗余,对点云数据的计算、存储及显示造成困难。本文针对激光雷达地形扫描点云的精简问题,提出了一种多因子分区点云精简方法。首先在改进点云组织方式的基础上,使用变异系数定权法并综合4种传统的点云特征提取因子,得到最终的综合评价因子,以划分特征点与非特征点;然后使用改进的八叉树将所有点依据其位置与数量划分为子集,并根据每个子集的特征点数量确定是否保留其中部分非特征点。该方法可更全面客观地对数据进行特征评估与选择,得到最具代表性的点,实现更高精度的精简。试验显示,多因子分区方法的误差比其他方法低20%～50%,且在整体试验区域精度的均匀性高5%～70%,证明该方法更优越。     

面向地面点识别的机载LiDAR点云分割方法研究

提出一种面向地面目标识别的机载LiDAR点云分割方法。方法首先求每个激光脚点的法向量和残差,由此确定种子点和种子平面;然后对种子点进行区域生长,生长的过程中以邻接点到种子平面的距离和邻接点与种子点的法向量角度差作为相似性的度量标准;当全部的扫描点都被划分,则算法终止。实验表明,文中提出的分割方法,对于城区区域和农村区域的地面目标有很好的识别效果。     

特征空间聚类的电力线激光雷达点云分割方法

针对现有电力线激光雷达点云分割方法中存在的问题,该文提出了一种采用特征空间K-means聚类的单档电力线激光雷达点云分割方法:利用电力线LiDAR点云的水平坐标信息进行直线拟合,并对LiDAR点沿直线方向进行分段;将每一段LiDAR点云投影到相应的电力线切平面(该平面垂直于拟合直线);最后使用K-means聚类方法进行投影点的聚类,且相邻的段和段之间通过投影中心点进行类别的传递和规则化。实验表明,该方法可以较好地进行单档电力线LiDAR点云分割,且对电力线根数、电力线类型、电力线空间配置结构、档距长度、点云不规则断裂等因素不敏感。     

结合形态学和TIN三角网的机载LiDAR点云滤波算法

针对传统不规则三角网滤波精度依赖于初始种子点选取的问题,提出一种结合形态学与不规则三角网的机载LiDAR点云滤波算法。首先采用KD树粗差剔除方法对异常点进行剔除,然后利用数学形态学滤波算法对粗差剔除后的点云进行粗滤波,最后采用改进的不规则三角网滤波算法对上述结果进行精滤波。三角网迭代滤波过程中每次对滤波得到的地面点进行整体构网,减少了构网次数以及离散点之间的相互影响。实验选取国际摄影测量与遥感协会提供的3组测试数据进行滤波,结果表明本文方法能够有效降低I类误差和II类误差,验证本文滤波算法的可靠性。     

融合超体素与成对链接聚类的LiDAR点云分割算法

针对现有的LiDAR点云分割算法稳健性差、效率低的问题,本文提出了一种新的层次化聚类分割算法。该算法首先把点云生成自适应分辨率的超体素,然后以超体素为基元,改进成对链接的分割算法,实现三维点云的分割。试验结果表明,该分割算法与现有的分割方法相比,具有更好的稳健性和更高的计算效率,避免了点云过分割和欠分割的问题。本文算法在分割细节方面更加突出,分割结果可有效地保证后续数据处理工作的精度。     

车载联合机载点云数据的建筑物立面建模

针对建筑物立面几何模型构建的难题,该文提出了一套完整的建筑物立面提取方法。在车载-机载LiDAR点云数据精确配准的基础上,首先提取出机载建筑物的外轮廓线,通过设置轮廓线缓冲区实现立面点云分割,然后采用随机抽样一致性(RANSAC)平面探测算法探测建筑物主立面,最后结合立面语义规则及面片之间的拓扑关系构建建筑物立面的三维线框模型。实验结果表明,新方法能准确、有效地构建建筑物立面模型。     

LiDAR测量点云融合影像的分块滤波方法

针对现有LiDAR地面点滤波算法对复杂地形地物适应性不强的问题,本文提出了一种融合点云与地面影像分块滤波的方法。首先,将地面影像与点云匹配,使点云从影像中获取更多的光谱纹理信息。然后,分析地物光谱、林地相对密度、点云高程特征、地面DSM模型及其坡度,并基于决策级融合将原始点云切割成若干独立的区块。最后,根据每块区域不同的多元细节特征,对IPTD滤波算法进行改进并利用搜索法优化参数,得到最优且稳健的结果。利用滤波后的总地面点通过插值算法得到的DEM模型和相关试验验证了本文算法的优越性。     

机载LiDAR点云生成多尺度DEM方法

为了利用机载激光雷达点云生成高保真、多尺度的数字高程模型(DEM),提出了一种基于综合生成策略的方法:首先,利用点云数据中的地面点生成高分辨率、高保真的DEM作为基础DEM;然后,通过迭代的方式对上一层较高分辨的DEM进行综合获取较低分辨率、高保真的DEM。实验表明,本文方法不仅具有可行性,而且生成的多尺度DEM具有高保真的特性。