几何特征与神经网络联合优化的室内三维点云语义分割方法

室内三维点云数据精准语义分割是实现深层次室内空间应用的基础。针对现有三维点云数据语义分割方法存在目标不完整和不一致的问题,本文提出了一种几何特征与深度神经网络联合优化的室内三维点云语义分割方法。该方法首先利用深度学习实现室内结构信息语义标签的初步提取,然后利用几何与颜色特征的点云分割方法对原始数据进行精确分割,最后利用概率模型将深度学习语义分割结果与几何分割结果进行交叉融合,实现语义分割结果的联合优化。基于开放数据集对本文提出的分割方法进行了精度和有效性验证,分别采用室内场景简单到复杂的三组室内点云数据进行了测试,试验结果表明,本文提出的方法能够有效提升室内三维点云语义分割精度。     

结合自注意力机制的多特征融合点云语义分割网络

由于三维激光点云的无序性、稀疏性、非结构性以及光谱纹理信息缺乏，使得点云的语义信息提取十分困难，而可以直接对原始非结构化点云进行语义分割的PointNet++网络无法考虑点云的空间相关性。针对这个问题，本文提出了一种结合自注意力机制的多特征融合点云语义分割网络，使用PointNet++和非局部信息统计注意力模块分别提取点云的多尺度特征和空间相关性特征，并融合两种特征以进行最终的点云分割。通过在ISPRS 3D语义分割数据集上进行对比实验，证明本文通过自注意力机制提取的空间相关性特征优于人工设计的特征，可以明显提高点云语义分割的精度，本文方法较PointNet++总体精度提升了4.5%。     

基于深度残差网络与梯度优化的室内点云语义分割

三维点云语义分割是大型场景点云数据理解和分析的关键步骤之一。为实现室内场景点云更高精度的分割,提出一种基于深度残差网络与梯度优化的语义分割方法(DRN-GO),通过加深集抽象模块与特征传递模块的层数,加强对点云的特征学习,并在网络层之间引入残差网络进行特征链接。为防止网络层次的增加导致模型过拟合,在编解码后的全连接层部分加入Dropout结构,并在每层网络输入前对数据进行批量归一化处理,从而确保模型的稳定性。本文选用斯坦福大型室内数据集S3DIS设计实验,结果表明,DRN-GO方法相比PointNet++在精度上得到了大幅度提升。     

联合点云压缩的多特征融合点云语义分割方法

针对PointNet++对点云空间相关性特征提取能力不足,同时难以适用于大场景高密度LiDAR点云语义分割的问题,提出一种联合点云压缩的多特征融合LiDAR点云语义分割方法。首先利用点云压缩算法降低点云密度,并使用PointNet++提取简化点云的深度语义特征,再利用拟合算法计算完整点云的深度特征;之后提取人工设计的空间相关性特征与深度特征进行串联;最后利用随机森林算法对完整点云进行语义分割。通过在ISPRS提供的LiDAR点云语义分割标准数据集进行实验,证明提出方法的有效性,总体精度较PointNet++提升了5.3%。     

利用局部几何特征与空洞邻域的点云语义分割

点云具有数据量大、无拓扑结构等特点,现有的深度学习语义分割模型难以充分挖掘大范围邻域内点云中所隐藏的几何特征。由此提出了一种基于空洞邻域并结合角度等几何特征作为模型输入的点云语义分割模型。首先,在局部邻域构建过程中,将图像处理的空洞卷积操作扩展至点云,建立空洞邻域结构,以扩大感受野;然后,在特征提取过程中,将中心点与邻域点之间相对坐标、距离、角度等基本几何特征作为模型输入,最大程度挖掘邻域内的几何特征;最后,基于所提邻域结构与特征提取算法构建了点云语义分割模型。采用Semantic3D数据集进行实验验证,结果表明,所提模型分割效果优于对比的点云语义分割算法,空洞邻域与局部几何输入特征能够有效改善点云语义模型的性能。     

最小割与深度学习联合优化的室内粘连点云分割方法

随着数字城市的发展,城市三维模型重建对三维点云结构化的需求与精度要求越来越高。如何有效准确地分割室内语义模型与三维重构是当前研究的热点问题。点云分割分类是室内点云结构化的重要基础,如何将粘连点云构件进行准确分割并用于室内点云结构化,是当前城市建模的难点。本文提出了一种面向室内粘连点云数据的分割分类方法。首先,利用深度学习网络处理室内点云数据;其次,对点云数据进行标签分类,得到目标标签点云;然后,利用欧氏算法对目标点云进行聚类分割,通过室内语义构件包围盒信息计算各目标中心点坐标与水平半径;最后,利用点云最小割实现室内粘连点云的准确分割。利用3组室内场景中获取的数据对分割方法的精度及有效性进行了验证。结果表明,该分割优化方法具有较高的精度与数据完整性。     

面向点云语义分割的多特征融合PointNet++网络

PointNet和PointNet++方法以最大池化为聚合函数使得深度神经网络可直接分类无序点云,得到了较高的分类精度,但对点云空间相关性局部特征提取能力不足,制约了点云语义分割精度的提升。针对该问题,设计了一种面向点云语义分割的多特征融合PointNet++网络,在PointNet++网络中加入一个特征编码器,并以最小信息熵法计算的最优邻域来计算人工特征作为特征编码器的输入。在ISPRS提供的Vaihingen区域三维点云分类标准数据集上进行语义分割实验对比,结果表明多特征融合PointNet++网络语义分割精度比PointNet和PointNet++分别提高了4.3%和3.2%。     

图像语义分割辅助的车载激光点云道路提取方法

针对车载激光扫描系统获得的点云数据量大,难以获得有效特征进行分割分类提取道路的现状,提出一种深度学习图像语义分割辅助的激光点云道路提取方法。采用二维图像语义分割、数据融合配准粗分类、三维霍夫变换点云平面分割拟合和局部优化点云细分类的四步工作流程对车载激光点云进行道路提取。在2段不同的城市道路点云数据中进行提取与评测,获取的道路数据正确率与完整率均达到99%以上,提取质量优异,可满足实际应用需求。经实验分析,该方法可有效提取不同道路情况的道路点云,对点云数据的原始条件约束较少,相比其他方法在普适性和鲁棒性上都有大幅的提升。     

城市竣工测绘典型要素语义分割PointNet++深度学习模型适用性分析

处理三维激光扫描仪获取的城市竣工测绘点云场景数据的传统方法存在较多局限性,无法适应信息化社会对产品高效处理的需求。基于此,本文分析了城市竣工测绘点云场景分类需求,研究了利用深度学习网络模型对点云场景进行自动化处理的方法。首先,对输入的城市竣工测绘数据进行预处理,以实现点云降采样、去噪、地面点与非地面点分割;然后,人工标注5个区域场景数据毫米级标签,进行数据增强;最后,测试PointNet++网络在城市竣工测绘点云场景下的语义分割性能和效果。测试结果表明,在少量样本下,PointNet++网络可以较好地实现城市竣工测绘点云场景的激光点云语义分割,总体mIoU达73.06%,能够满足城市竣工测绘点云语义自动化分割需求,为城市竣工测绘点云数据处理提供了新思路。     

融合CNN和MRF的激光点云层次化语义分割方法

三维点云语义分割的结果包含着对场景中多个目标的识别,是三维场景信息提取的重要环节,在智慧城市等多个领域扮演关键角色.由于三维激光点云数据量庞大、场景复杂性高等问题,大多数现有方法只能以相对较低的识别率提取有限类型的对象.本文提出了一种在三维激光点云场景中结合残差学习和马尔可夫随机场(MRF)优化的层次化多类型目标自动提取框架.该框架首先将点云滤波为地面点和非地面点;然后从非地面点中提取建筑物以降低场景复杂度;接着基于现有深度模型引入残差学习模块对剩下点云进行逐点分类;最后采用马尔可夫随机场进行后处理和分类结果优化,以提高激光点云语义分割的准确率.对3个室外大规模点云场景分别进行的试验结果表明,本文方法可以对多种类型的点云场景进行有效语义分割,每个数据集的3项指标(召回率、精确度和F1值)分别为(94.6％、96.8％、95.7％)、(88.5％、90.5％、89.2％)和(95.3％、95.2％、95.3％).此外,与现有较前沿方法相比,本文方法显著提高了语义分割性能.     

点云深度学习基准数据集

为推进深度学习方法在点云配准、语义分割、实例分割等领域的发展,武汉大学联合国内外多家高等院校和研究机构发布了包含多类型场景的地面站点云配准基准数据集WHU-TLS和包含语义、实例的城市级车载点云基准数据集WHU-MLS。其中,WHU-TLS基准数据集涵盖了地铁站、高铁站、山地、公园、校园、住宅、河岸、文化遗产建筑、地下矿道、隧道等10种不同的环境,共包含115个测站、17.4亿个三维点以及点云之间的真实转换矩阵,为点云配准提供了迄今为止最大规模的基准数据集。WHU-MLS基准数据集涵盖了地面特征(机动车道、道路标线、井盖、非机动车道),动态目标(行人、车辆),植被(树木、树丛、低矮植被),杆状地物及其附属结构(电线杆、独立提示牌、路灯、信号灯、独立探头等),建筑和结构设施(房屋、道路隔离结构、围墙和栅栏)以及其他公共和便利设施(垃圾桶、邮筒、消防栓、街头座椅、电力线等)等6大类30余小类地物要素,共包含2亿多个点和超过5000个实例对象,为语义分割、实例分割点云深度学习网络的训练、测试和性能评估提供了当前最为丰富的基准数据集。     

利用3D Voronoi图的兔子点云聚类分割

利用基于3D Voronoi多面体分割三维空间,并将其应用于具有典型三维特征的点云数据的聚类分割.通过对点云数据的离散体元表示,透过Voronoi单元的特征参数实现了三维点集的度量、提取和结构分析,揭示了点集间存在的相互关系,并通过3D Voronoi图所确定的空间邻近关系完成点集间相似度的测度和聚类.以三维兔子点云为样本数据的实验分析表明,本文所提出的思路聚类分割特征明显.     

基于PointCNN的车载行道树点云分割方法

利用点云卷积网络(PointCNN)为语义分割算法基础处理无序点云来提取行道树点云，经过模型建立、样本训练、点云分割等步骤从地物点云中精确分割出行道树点云，并对三个数据集的应用结果作精度评定，其最终结果的误差在有效范围内，并对PointCNN中的参数进行分析，完善算法的应用以适应于道路环境下行道树点云的提取。本次研究中考虑到训练各类型行道树类型，且受非行道树点云目标干扰小，在复杂道路环境下的数据分割工作有很好的效果。     

高分辨率遥感图像双解耦语义分割网络模型

语义分割是高空间分辨率遥感图像分析和理解的核心内容之一。现有基于深度学习的语义分割网络会导致遥感图像高频信息损失,边界分割不准确。针对此问题,本文提出一种双解耦语义分割网络模型,将提取的两级特征图解耦为具有高频特性的边界特征和具有低频特性的主体特征,并将解耦后的边界和主体特征图进行融合,从而改善高分辨率遥感图像语义分割性能。进一步提出了一种顾及边界和主体的损失函数,对地物要素及其边界和主体部分进行优化学习。在ISPRS Vaihingen和Potsdam 2D高空间分辨率遥感图像数据集上进行试验,与已有的遥感图像语义分割网络模型结果比较,双解耦语义分割网络模型能有效提高地物要素分割精度。     

融合多特征深度学习的地面激光点云语义分割

针对当前点云语义分割研究对地面站激光点云特征利用不足、正确率较低的问题,该文提出了一种基于多尺度球形邻域特征的深度神经网络算法。该算法基于多尺度球形邻域计算的地面激光点云的粗糙度、高斯曲率,以及全方差、线性度等基于协方差的多种特征,结合XYZ坐标、RGB颜色、激光反射强度组成47维特征向量作为神经网络的输入,经过多组参数组合实验优化神经网络结构,最后通过softmax分类器输出每个点的类别。利用Semantic-3D测试集验证所提的深度神经网络模型,取得了较好的分类精度,总体正确率和平均交并比分别达到了86.6%和55.0%。实验结果表明,所提算法充分利用了地面站激光点云的特征,可有效提升语义分割的正确率。     

三维点云深度学习分类模型学习策略分析——以机载多光谱LiDAR点云为例

近年来，随着三维计算机视觉的发展，三维点云深度学习方法得到越来越多学者的关注。然而，目前大多数三维点云深度学习方法仅在标准数据集上进行精度和性能评估，这些方法在设计过程中通常会根据特定数据集设定特定的学习策略以达到最佳点云分类精度，从而影响模型的泛化能力。在三维点云深度学习方法的遥感应用中，往往会出现诸如复杂的网络模型方法并不一定取得更好的数据处理精度，以及原始网络模型学习策略并不一定获得最优结果等问题。对此，为了探究学习策略对三维点云深度学习方法在实际遥感应用的影响，文中以机载多光谱LiDAR点云分类应用为例，以深度学习经典模型PointNet++为主，在分析当前学习策略的基础上构建一套较为通用的深度学习策略，以提高点云分类精度的稳定性和鲁棒性。机载多光谱LiDAR点云分类实验表明，学习策略对于点云分类精度影响不容忽视，学习策略的调整可以有效地提高模型对海量三维点云分类能力。     

SANet:空间注意力机制下的LiDAR点云实时语义分割方法

语义分割是智能机器人由感知智能迈向认知智能的重要基础,当前针对点云数据的语义分割方法存在实时性差、精度低等现象。本文系统分析了点云经球面投影所得的距离图像与自然图像的差异,为基于距离图像的实时语义分割网络设计提供了思路。通过分析发现,距离图像具有强空间相关性的特点,将强空间相关性与注意力机制相结合,提出基于空间注意力机制下的LiDAR点云实时语义分割方法SANet。该方法能够高效地聚合空间分布特征与上下文特征,且模型参数量较少,满足实时性的要求。在SemanticKITTI数据集上的试验表明,与其他优秀算法相比,SANet兼顾了实时性与准确性,显著提高了LiDAR点云语义分割的精度,可为自动驾驶及其他机器人应用领域提供辅助支撑。     

3D点云震害建筑物深度学习样本增强方法

针对震后复杂场景下LiDAR点云建筑物破坏类型自动识别问题，为满足应急救援时效性、准确性需求，告别传统人工震害特征提取，充分挖掘点云数据中灾区建筑物震害信息，进一步实现建筑物自动化智能化识别。本文将3D点云深度学习方法应用于建筑物震害识别，构建了包含倒塌、局部倒塌、未倒塌3种建筑物破坏类型的点云数据集。基于PointNet++网络探究了各类别样本量及其均衡性对识别精度的影响，并提出破坏建筑物样本增强方法，丰富了各类别样本点云形态。利用2010年海地7.0级地震后机载LiDAR数据，在PointNet++网络中进行了样本增强前后分类精度比较、样本量以及均衡性分析实验，样本增强后倒塌和局部倒塌的分类精度分别提高近27%和17%，模型整体平均分类精度、Kappa系数均有近15%的提升。实验结果表明三维建筑物震害深度学习模型在各类别样本量足够且均衡时，才能取得较好的分类识别效果。     

深度学习在测绘地理信息中的应用研究

近年来,深度学习技术逐渐兴起和发展并应用于各行各业,特别是在测绘地理信息行业中也存在许多应用的领域。本文讨论深度学习技术在测绘地理行业中的应用,并针对其中点云数据的语义分割进行了实验,通过对实验结果的简单分析,提出了加速深度学习技术投入生产的几条建议。     

全卷积神经网络的车辆点云目标精细化检测

针对无人驾驶技术高速发展中车辆目标的3D检测仍存在局限性的问题,该文提出了一种基于全卷积神经网络的车辆点云三维目标检测框架。进行了深度学习技术在二维图像的目标检测成熟应用的调查,将全卷积神经网络的目标检测扩展到三维点云数据。该算法在KITTI数据集上进行了测试,并与先前基于点云的车辆检测方法进行比较表明算法性能有着显著提高。研究结果可以应用于激光雷达点云实现车辆检测任务,从而可以较好地服务于自动驾驶。