一种探讨点云深度学习决策的PointNet++解析网络

针对三维点云数据分类深度学习可解释性研究,提出一种探讨点云深度学习决策的PointNet++解析网络,探索隐藏在PointNet++网络中的特征信息。根据二维图像解译工作中的类激活映射图,提出了三维点云的类激活映射图,并将点云类激活映射图作为探索PointNet++网络分类决策的依据,采用多层感知机取代全连接层,并使用均值池化层来聚合卷积特征。实验数据为ModelNet40数据集,验证了所提出的PointNet++解析网络的可行性。研究结果表明,所提算法达到了较高的分类精度并且能够对PointNet++分类决策进行探讨,提取直接有助于决策制定的特征区域。     

面向点云语义分割的多特征融合PointNet++网络

PointNet和PointNet++方法以最大池化为聚合函数使得深度神经网络可直接分类无序点云,得到了较高的分类精度,但对点云空间相关性局部特征提取能力不足,制约了点云语义分割精度的提升。针对该问题,设计了一种面向点云语义分割的多特征融合PointNet++网络,在PointNet++网络中加入一个特征编码器,并以最小信息熵法计算的最优邻域来计算人工特征作为特征编码器的输入。在ISPRS提供的Vaihingen区域三维点云分类标准数据集上进行语义分割实验对比,结果表明多特征融合PointNet++网络语义分割精度比PointNet和PointNet++分别提高了4.3%和3.2%。     

3D点云震害建筑物深度学习样本增强方法

针对震后复杂场景下LiDAR点云建筑物破坏类型自动识别问题,为满足应急救援时效性、准确性需求,告别传统人工震害特征提取,充分挖掘点云数据中灾区建筑物震害信息,进一步实现建筑物自动化智能化识别。本文将3D点云深度学习方法应用于建筑物震害识别,构建了包含倒塌、局部倒塌、未倒塌3种建筑物破坏类型的点云数据集。基于PointNet++网络探究了各类别样本量及其均衡性对识别精度的影响,并提出破坏建筑物样本增强方法,丰富了各类别样本点云形态。利用2010年海地7.0级地震后机载LiDAR数据,在PointNet++网络中进行了样本增强前后分类精度比较、样本量以及均衡性分析实验,样本增强后倒塌和局部倒塌的分类精度分别提高近27%和17%,模型整体平均分类精度、Kappa系数均有近15%的提升。实验结果表明三维建筑物震害深度学习模型在各类别样本量足够且均衡时,才能取得较好的分类识别效果。     

联合点云压缩的多特征融合点云语义分割方法

针对PointNet++对点云空间相关性特征提取能力不足,同时难以适用于大场景高密度LiDAR点云语义分割的问题,提出一种联合点云压缩的多特征融合LiDAR点云语义分割方法。首先利用点云压缩算法降低点云密度,并使用PointNet++提取简化点云的深度语义特征,再利用拟合算法计算完整点云的深度特征;之后提取人工设计的空间相关性特征与深度特征进行串联;最后利用随机森林算法对完整点云进行语义分割。通过在ISPRS提供的LiDAR点云语义分割标准数据集进行实验,证明提出方法的有效性,总体精度较PointNet++提升了5.3%。     

基于点云卷积的点云分类方法研究

基于深度学习方法,借鉴二维图像卷积的思想,设计了一种适合三维点云的卷积操作。点云卷积的作用域是局部球形邻域,输入为三维坐标和空间几何关系。通过点云卷积提取局部特征,使用最远点采样算法采集邻域中心点,根据半径构建球形局部邻域,使用多层感知器（multi-layer perceptron,MLP）网络学习空间关系权重,将学习到的关系权重和输入特征相乘,实现卷积操作。基于三维点云卷积,构建了一个多层分类网络模型实现点云分类。使用道路场景的黄石路数据集进行分类实验,结果证明了所提方法的有效性。     

基于LiDAR点云的建筑物分割深度学习模型研究

本文针对深度神经网络算法应用于机载激光点云进行大规模建筑物提取的问题,分别选取PointNet++和PointCNN两个网络模型进行了改进和对比。对于PointCNN,通过参数调整,使其更适合大场景信息提取。对于PointNet++,为了增加更多特征,加快大场景下网络模型的训练效率,在网络体系结构中添加了一种新的特征提取层——K-means层。另外,通过在测试数据集上的训练和验证发现,本文基于深度学习方法的分类较好地克服了点云的无序特性,能够更好地利用点之间的空间相关性,改进后两种模型的精度均达96%以上,在建筑物提取的时间效率和效果上优于原始模型。     

最小割与深度学习联合优化的室内粘连点云分割方法

随着数字城市的发展,城市三维模型重建对三维点云结构化的需求与精度要求越来越高。如何有效准确地分割室内语义模型与三维重构是当前研究的热点问题。点云分割分类是室内点云结构化的重要基础,如何将粘连点云构件进行准确分割并用于室内点云结构化,是当前城市建模的难点。本文提出了一种面向室内粘连点云数据的分割分类方法。首先,利用深度学习网络处理室内点云数据;其次,对点云数据进行标签分类,得到目标标签点云;然后,利用欧氏算法对目标点云进行聚类分割,通过室内语义构件包围盒信息计算各目标中心点坐标与水平半径;最后,利用点云最小割实现室内粘连点云的准确分割。利用3组室内场景中获取的数据对分割方法的精度及有效性进行了验证。结果表明,该分割优化方法具有较高的精度与数据完整性。     

三维点云深度学习分类模型学习策略分析——以机载多光谱LiDAR点云为例

近年来,随着三维计算机视觉的发展,三维点云深度学习方法得到越来越多学者的关注。然而,目前大多数三维点云深度学习方法仅在标准数据集上进行精度和性能评估,这些方法在设计过程中通常会根据特定数据集设定特定的学习策略以达到最佳点云分类精度,从而影响模型的泛化能力。在三维点云深度学习方法的遥感应用中,往往会出现诸如复杂的网络模型方法并不一定取得更好的数据处理精度,以及原始网络模型学习策略并不一定获得最优结果等问题。对此,为了探究学习策略对三维点云深度学习方法在实际遥感应用的影响,文中以机载多光谱LiDAR点云分类应用为例,以深度学习经典模型PointNet++为主,在分析当前学习策略的基础上构建一套较为通用的深度学习策略,以提高点云分类精度的稳定性和鲁棒性。机载多光谱LiDAR点云分类实验表明,学习策略对于点云分类精度影响不容忽视,学习策略的调整可以有效地提高模型对海量三维点云分类能力。     

基于深度学习的移动激光点云数据自动分类方法研究EI北大核心CSCD

随着物联网、大数据、人工智能等技术的快速发展,智慧城市成为国内外学者研究的热点领域。城市三维地理空间信息的获取与处理是建设智慧城市的基础,也是亟待解决的关键技术之一。目前,移动激光点云分类多为人工和半自动方式,数据解译的自动化程度低,导致点云利用率下降,制约了移动激光点云在高精地图、自动驾驶和智慧城市等领域的应用。     

基于深度残差网络的机载LiDAR点云分类

机载LiDAR点云的分类是利用其进行城市场景三维重建的关键步骤之一。为充分利用现有的图像领域性能较好的深度学习网络模型,提高点云分类精度,并降低训练时间和对训练样本数量的要求,本文提出一种基于深度残差网络的机载LiDAR点云分类方法。首先提取归一化高程、表面变化率、强度和归一化植被指数4种具有较高区分度的点云低层次特征;然后通过设置不同的邻域大小和视角,利用所提出的点云特征图生成策略,得到多尺度和多视角点云特征图;再将点云特征图输入到预训练的深度残差网络,提取多尺度和多视角深层次特征;最后构建并训练神经网络分类器,利用训练的模型对待分类点云进行预测,经后处理得到分类结果。利用ISPRS三维语义标记竞赛的公开标准数据集进行试验,结果表明,本文方法可有效区分建筑物、地面、车辆等8类地物,分类结果的总体精度为87.1%,可为城市场景三维重建提供可靠的信息。     

融合多特征深度学习的地面激光点云语义分割

针对当前点云语义分割研究对地面站激光点云特征利用不足、正确率较低的问题,该文提出了一种基于多尺度球形邻域特征的深度神经网络算法。该算法基于多尺度球形邻域计算的地面激光点云的粗糙度、高斯曲率,以及全方差、线性度等基于协方差的多种特征,结合XYZ坐标、RGB颜色、激光反射强度组成47维特征向量作为神经网络的输入,经过多组参数组合实验优化神经网络结构,最后通过softmax分类器输出每个点的类别。利用Semantic-3D测试集验证所提的深度神经网络模型,取得了较好的分类精度,总体正确率和平均交并比分别达到了86.6%和55.0%。实验结果表明,所提算法充分利用了地面站激光点云的特征,可有效提升语义分割的正确率。     

Waveform-based point cloud classification in land-cover identification

Full-waveform topographic LiDAR data provide more detailed information about objects along the path of a laser pulse than discrete-return (echo) topographic LiDAR data. Full-waveform topographic LiDAR data consist of a succession of cross-section profiles of landscapes and each waveform can be decomposed into a sum of echoes. The echo number reveals critical information in classifying land cover types. Most land covers contain one echo, whereas topographic LiDAR data in trees and roof edges contained multi-echo waveform features. To identify land-cover types, waveform-based classifier was integrated single-echo and multi-echo classifiers for point cloud classification.The experimental area was the Namasha district of Southern Taiwan, and the land-cover objects were categorized as roads, trees (canopy), grass (grass and crop), bare (bare ground), and buildings (buildings and roof edges). Waveform features were analyzed with respect to the single- and multi-echo laser-path samples, and the critical waveform features were selected according to the Bhattacharyya distance. Next, waveform-based classifiers were performed using support vector machine (SVM) with the local, spatial features of waveform topographic LiDAR information, and optical image information. Results showed that by using fused waveform and optical information, the waveform-based classifiers achieved the highest overall accuracy in identifying land-cover point clouds among the models, especially when compared to an echo-based classifier.     

矿区地表彩色点云的自动分类

以矿区的彩色三维激光点云数据为研究对象，提出了矿区点云快速自动分类及目标提取的方法。首先根据彩色点云的RGB值计算HSV空间中的H值，根据各地物间H值的差异，分别对地面点与非地面点根据地物颜色先验值进行点的提取。然后对提取的点进行聚类计算，利用各类地物点云在空间分布上的显著差异，采用分层截面投影，由投影点最小包围盒的长宽比及面积比对矿区地物点云进行自动分类与提取。最后以Riegl VZ-1000扫描仪采集的某矿区地表点云数据为试验对象，验证本文算法的可行性和实用性。     

一种基于ISS-SHOT特征的点云配准算法

针对点云配准过程中易产生错误对应点、收敛速度慢、配准时间长等问题,提出了一种基于内部形态描述子(ISS)及方向直方图描述子(SHOT)特征的点云配准算法。运用体素格网法下采样后,采用ISS算法提取特征点,并用SHOT对特征点进行描述,利用余弦相似度匹配对应点对,再采用RANSAC算法剔除错误对应点对,使得两片点云获得良好的初始位姿,最后采用点到平面的ICP算法进行精确配准。试验结果表明,与传统ICP算法及基于ISS的SAC-IA+ICP算法相比,本文算法配准精度及配准效率更高,对数据量大、重叠率较低点云具有很好的稳健性。     

点云深度学习基准数据集

为推进深度学习方法在点云配准、语义分割、实例分割等领域的发展,武汉大学联合国内外多家高等院校和研究机构发布了包含多类型场景的地面站点云配准基准数据集WHU-TLS和包含语义、实例的城市级车载点云基准数据集WHU-MLS.其中,WHU-TLS基准数据集涵盖了地铁站、高铁站、山地、公园、校园、住宅、河岸、文化遗产建筑、地下...