RandLA-Net: 大场景下点云的有效语义分割
本文是2020.5月份刊出的文章，发在2020CVPR

作者来自于牛津大学，中山大学，国防科大(https://www.shenlanxueyuan.com/open/course/53)。

论文解读的参考之一：https://cloud.tencent.com/developer/article/1694704

论文：https://arxiv.org/pdf/1911.11236.pdf

代码：https://github.com/QingyongHu/RandLA-Net

作者：Qingyong Hu
链接：https://zhuanlan.zhihu.com/p/105433460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
先上效果图：

1

2

亮点：

• Local Feature Aggregation Module

Introduction

实现高效、准确的大场景三维点云语义分割是当前三维场景理解、环境智能感知的关键问题之一。然而，由于深度传感器直接获取的原始点云通常是非规则化 (irregular)、非结构化 (unstructure)并且无序 (orderless)的，目前广泛使用的卷积神经网络并不能直接应用于这类数据。

【针对目前点云分割存在速度慢、显存需求大的问题，该文提出以一种高效率学习的方法。从论文的结果来看，该文不仅在计算时间和计算资源上大幅缩减，分割效果也是达到甚至超过了SOTA。

采样

大规模点云处理的一个挑战在于如何快速且有效地进行采样，从而加速应用所需的时间和计算资源。针对这个问题，本文的一个贡献在于比对了现有方法的效率，结论是尽管最远点采样是最流行的作法，但是对于LiDAR数据，每一帧上万个点需要处理，随机采样是最适合的，速度快并且performance也不错。但是随机采样可能会丢失重要的点，所以作者提出Local Feature Aggregation。https://www.cnblogs.com/xiaoaoran/p/12342144.html】

Motivation

自从2017年能够直接在非规则点云上进行处理的PointNet [1] 被提出以来，越来越多的研究者开始尝试提出能够直接处理非规则点云的网络结构，出现了许多诸如PointNet++ [2], PointCNN [3], PointConv [4] 等一系列具有代表性的工作。尽管这些方法在三维目标识别和语义分割等任务上都取得了很好的效果，但大多数方法依然还局限于在非常小(small-scale)的点云上(e.g., PointNet, PointNet++, Pointconv等一系列方法在处理S3DIS数据集时都需要先将点云切成一个个1m×1m的小点云块, 然后在每个点云块中采样得到4096个点输入网络)。这种预处理方式虽然说方便了后续的网络训练和测试，但同时也存在着一定的问题。举例来说，将整个场景切成非常小的点云块是否会损失整体的几何结构？用一个个小点云块训练出来的网络是否能够有效地学习到空间中的几何结构呢？

 

 

作者：Qingyong Hu
链接：https://zhuanlan.zhihu.com/p/105433460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

带着这样的疑问，我们对PointNet在S3DIS数据集Area 5上的分割结果进行了可视化。如上图highlight的区域所示，PointNet错误地将一张桌子的左半部分识别为桌子，而将右半部分识别为椅子。造成这样明显不一致结果的原因是什么呢？可以看到，这张桌子在预处理切块(左图)的时候就已经被切分成几个小的点云块，而后再分别不相关地地输入到网络中。也就是说，在点云目标几何结构已经被切块所破坏的前提下，网络是难以有效地学习到桌子的整体几何结构的。

既然切块太小会导致整几何结构被破坏，那我能不能把块切大一点？这样不就可以在一定程度上更好地保留原始点云的信息了吗？

图 2. PointNet和PointNet++在S3DIS Area5的对比实验结果。S3DIS中的数据分别被切割为1m×1m到5m×5m的点云块，然后再输入到网络中进行训练和测试。

对此，我们也进一步设计了对比实验，把切块的尺寸从最初的1m×1m增加到5m×5m(每个block中的点数也相应地从4096增加至102400)，得到的实验结果如上图所示，可以看到：

• PointNet的mIoU结果出现了比较明显性能上的下降。我们分析这主要是由于在PointNet框架中，每个点的特征是由shared MLP提取的per-point feature(没有学习点与点之间的交互，即没有local geometry特征)以及global max-pooling提取的global feature组成(点数越大，max-pooling丢掉的信息越多,10万个点的时候，其实大多数点的特征都会被丢掉)。当输入点云的规模越来越大时，通过简单的global max-pooling得到的全局特征能发挥的作用就越来越小，进而导致分割性能随着block size增大而持续地下降
• PointNet++的分割性能随着block_size的增大有了一定提升，这是符合我们预期的(因为它注意到了点云局部集合特征，i.e., local geometry)。然而，从右边的时间变化曲线我们也可以进一步看到，网络inference的时间也随着block_size增大而出现了显著的增长，从最开始的每3s/百万点增加到需要接近100s/百万点(降采样策略FPS造成的)。

上述实验结果表明：简单地增大block_size也并不能有效地解决这个问题。通过进一步分析我们发现，阻碍当前大多数方法直接处理大场景点云的原因主要有以下三点：

• 网络的降采样策略。现有的大多数算法采用的降采样策略要么计算代价比较昂贵，要么内存占用大。比如说，目前广泛采用的最远点采样(farthest-point sampling)需要花费超过200秒的时间来将100万个点组成的点云降采样到原始规模的10%。
• 许多方法的特征学习模块依赖于计算代价高的kernelisation或graph construction。
• 现有大多数方法在提取特征时感受野(receptive fields)比较有限，难以高效准确地学习到大场景点云中复杂的几何结构信息

当然，最近也有一些工作已经开始尝试去直接处理大规模点云。比如说SPG用超图(super graph)和超点(superpoints)来表征大场景点云，FCPN和PCT等方法结合了voxel和point的优势来处理大规模点云。尽管这些方法也达到了不错的分割效果，但大多数方法的预处理计算量太大或内存占用高，难以在实际应用中部署。

本文的目标是设计一种轻量级，计算效率高(computationally-efficient)、内存占用少(memory-efficient)的网络结构，并且能够直接处理大规模3D点云，而不需要诸如voxelization/block partition/graph construction等预处理/后处理操作。然而，这个任务非常具有挑战性，因为这种网络结构需要:

• 一种内存和计算效率高的采样方法，以实现对大规模点云持续地降采样，确保网络能够适应当前GPU内存及计算能力的限制；
• 一种有效的局部特征学习模块，通过逐步增加每个点的感受野的方式来学习和感知复杂的几何空间结构。

基于这样的目标，我们提出了一种基于简单高效的随机降采样和局部特征聚合的网络结构(RandLA-Net)。该方法不仅在诸如Semantic3D和SemanticKITTI等大场景点云分割数据集上取得了非常好的效果，并且具有非常高的效率(e.g. 比基于图的方法SPG快了接近200倍)。 本文的主要贡献包括以下三点：

• 我们对现有的降采样方法进行了分析和比较，认为随机降采样是一种适合大规模点云高效学习的方法
• 我们提出一种有效的局部特征聚合模块，通过逐步增加每个点的感受野来更好地学习和保留大场景点云中复杂的几何结构
• RandLA-Net在多个大场景点云的数据集上都展现出了非常好的效果以及非常优异的内存效率以及计算效率

我们研究了大场景下三维点云的有效语义分割问题。依赖成本昂贵的采样技术或计算量大的预处理/后处理步骤，大多数现有的方法只能在小尺度点云上训练和操作。本文中，我们引入了一种高效的轻量级的网络神经架构，直接推断大规模场景下每点点云的语义。我们的方法的关键是使用随机点抽样而不是更复杂点选择方法。尽管计算和存储效率高，随机抽样可能偶然地放弃关键特性。为了克服这个问题，我们引入了一种新的局部特征聚合模块，以逐步增加每个三维点的感受野，从而有效地保留几何细节。广泛的实验表明，我们的RandLA-Net可以处理100万个点，比现有的方法有高达200倍的速度。此外，我们的RandLA-Net在两个大规模基准语义Semantic3D 和KITTI上明显优于最先进的语义分割方法。

大场景下有小的3维点云语义分割对于实时智能系统，例如自动驾驶和增强现实来说是一件基础和必不可少的能力。挑战之一是深度传感器获取的原始点云通常是不规则采样，具有非结构化和无序的特点。尽管深度卷神经积网络在结构化的2维计算机视觉任务上有优秀的表现，但它们不能直接被用于这种非结构化数据。

    最近，在直接处理3维点云方面，PointNet网络做了开创性的工作，它是一种很有前景的方法。它使用共享的多层感知机学习每一个点的特征，它计算效率高，但未能捕捉到每个点的更广泛的上下文信息。

【上下文信息------做图像的，上下文特征是很常见的，其实上下文大概去理解就是图像中的每一个像素点不可能是孤立的，一个像素一定和周围像素是有一定的关系的，大量像素的互相联系才产生了图像中的各种物体，所以上下文特征就指像素以及周边像素的某种联系。

图2. 在Randla-net的每一层中，大规模点云被显著的下采样，但能够保留精确语义分割所需的特征。

•  基于连续松弛的采样(CRS)：CRS方法[1,66]使用重新参数化技巧将采样操作放宽到连续域进行端到端训练。 特别是，每个采样点都是基于对整点云的加权和来学习的。 当用一次矩阵乘法同时采样所有新点时，它会产生一个大的权重矩阵，从而导致负担不起的内存成本。 例如，估计需要超过300GB的内存占用来采样100万个点中的10%。

 图3. 本文所提出的局部特征聚合模块。 顶部面板显示了提取特征的局部空间编码块，以及基于局部上下文和几何的加权最重要邻域特征的注意池机制。 底部面板显示了如何将这些组件中的两个连接在一起，在残余块中增加感受野大小。【这个图就是为了能够弥补RS所提出来的局部特征聚合提取的方案，关键词：多层叠加】

• 基于策略梯度的抽样(PGS)：PGS将抽样操作描述为马尔可夫决策过程[62]。 它依次学习概率分布来采样点。 然而，当点云较大时，由于勘探空间极大，所学概率具有较高的方差。 例如，对100万个点中的10%进行采样，勘探空间为 ，不太可能学习有效的采样策略。 我们经验性地发现，如果PGS用于大点云，网络很难收敛。

对于大场景点云，FPS, IDIS和GS的计算代价都比较高， CRS对GPU内存的要求太高，而PGS难以学到一个有效的采样策略(sampling policy)。相比之下，随机采样具有以下两个优点：1)计算效率高, 因为是常数计算复杂度, 与输入点数无关 2)内存开销少，采样过程并不需要额外的内存消耗。因此，对于大场景点云作为输入的情况，我们何不尝试下随机降采样呢？

但新的问题又来了：随机地对点云进行降采样势必会导致有用的信息被丢失，如何克服这个问题？

作者：Qingyong Hu
链接：https://zhuanlan.zhihu.com/p/105433460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

　　

总的来说，FPS、IDIS和GS的计算成本太高，无法应用于大规模点云。 CRS方法内存占用过多，PGS很难学习。 相反，随机抽样具有以下两个优点：

1)它具有显著的计算效率，因为它与输入点的总数无关。

2)它不需要额外的内存来计算。

因此，我们安全地得出结论，与所有现有的替代方案相比，随机抽样是处理大规模点云的最合适的方法。 然而，随机抽样可能会导致许多有用的点特征被删除。 为了克服这一问题，我们提出了一个强大的局部特征聚合模块，如下一节所示。

3.3.局部特征聚合

为了缓解这个问题，我们进一步提出了与随机采样互补的局部特征聚合模块(Local feature aggregation)。 如图所示，该模块主要包括三个子模块:1)局部空间编码(LocSE), 2) attentive pooling, 3)扩张残差块(dilated residual block)。

该部分能并行处理点，包含三个units:1) local spatial encoding (LocSE), 2) attentive pooling, and 3) dilated residual block.

作者：Qingyong Hu
链接：https://zhuanlan.zhihu.com/p/105433460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

如图3所示，我们的局部特征聚合模块并行应用于每个3D点，它由三个神经单元组成：

1)局部空间编码(Locse)

2)注意池化

3)扩张残余块

(1)局部空间编码

对于每个采样点，在原所有点云中找其KNN个临近点（欧氏距离）；再将该点和临近点以及他们之间的差concatenate并用MLP学习得到相对位置（公式1）每个采样点得到相对位置后，将其和该点的特征concate，得到该点的一系列最终的增强采样点，组成一个向量。

此模块用于显式地对输入的点云的三维坐标信息进行编码。不同于直接将各个点的三维坐标作为一个普通的通道特征输入到网络中，LocSE模块旨在显式地去编码三维点云的空间几何形状信息，从而使得网络能够从各个点的相对位置以及距离信息中更好地学习到空间的几何结构。具体来说分为以下步骤：

• 首先，我们用 最近邻搜索算法为每一个点 找到欧氏空间中最近的个邻域点
• 对于 的个最近邻点 , 我们显式地对点的相对位置进行编码，将中心点的三维坐标 , 邻域点的三维坐标 , 相对坐标 以及欧式距离 连接(concatenation)到一起。如下所示：

公式（1）

• 最后我们将邻域点 对应的点特征 与编码后的相对点位置 连接到一起，得到新的点特征 。

作者：Qingyong Hu
链接：https://zhuanlan.zhihu.com/p/105433460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

给定一个点云P和每个点特征(例如，原始的 RGB，或中间学到的特征)，这个局部空间编码单元显式嵌入所有相邻点的x-y-z坐标，使对应的点特征总是意识到它们的相对空间位置。这允许局部空间编码单元显式地观察局部几何样式从而最终有利于整个网络有效地学习复杂的局部结构。特别地，本单元包括以下步骤:

• 找到邻近的点。 对于第i点，它的相邻点首先由(KNN)算法收集以提高效率。 该KNN算法是基于逐点欧氏距离的。
• 相对点位置编码。 对于距离中心点pi的最近k个最近点

我们显式地编码相对点位置如下：

 其中pi和是点的x-y-z位置，⊕是级联操作，|| . ||计算相邻点和中心点之间的欧几里德距离。 似乎是从冗余点位置编码的。 有趣的是，这往往有助于网络学习局部特性，并在实践中获得良好的性能。

• 点特征增强。 对于每个邻域点，编码的相对点位置与其相应的点特征连接，获得 的增广特征向量。 最终，locse单元的输出是一组新的相邻特征 ，它显式地编码中心点pi的局部几何结构。 然而,在[36]中位置用于学习点的得分，而我们的LocSE显式编码要增加的相对位置相邻的点特征。

（2）注意力池化

用attention的方式取代max/mean pooling进行特征融合

此模块用于将上述单元输出的邻域点特征集聚合到一起。现有的大多数算法通常采用启发式的max/mean/sum pooling来hard integrate邻域点特征集，这样做有可能导致许多有用的信息被丢失。不同于此，我们希望通过attention mechanism来自动学习和聚合邻域点特征集中有用的信息。具体来说，对于一个邻域特征点集合 ，我们首先设计一个共享函数 来为每一个点学习一个单独的attention score，其中: 是共享MLP的可学习参数。然后，我们将学习到的attention score视作一个能够自动选择重要特征的soft mask，最终得到的特征是这些邻域特征点集的加权求和，如下所示:

作者：Qingyong Hu
链接：https://zhuanlan.zhihu.com/p/105433460
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

该神经单元用于聚合邻近点特征集。 现有的工作通常[44,33]使用max/mean池化来硬集成相邻的特性，导致大多数信息丢失。 相反，我们求助于强大的注意力机制来自动学习重要的局部特征。 特别是，在[65]的启发下，我们注意力池化单元包括以下步骤。

• 计算注意力分数。 给定一组局部特征

   

   

  ，我们设计了一个共享函数g()来学习每个特征的唯一注意力分数。 基本上，函数g()由一个共享的MLP和Softmax组成。 它的正式定义如下：

 

 其中w是共享MLP的可学习权重。

• 加权求和。 学习的注意力分数可以看作是一个软掩码，它自动选择重要的特征。 在形式上，这些特征被加权归纳如下：

 

 总之，给定输入点云p，对于第一点pi，我们的locse和注意池单元学会聚合其k个最近点的几何模式和特征，并最终生成信息丰富的特征向量。

考虑到输入的点云会被持续大幅度的降采样，因此显著地增加每个点的感受野是非常有必要的。换句话来说也就是，我们希望即便RandLA-Net随机地丢弃某些点的特征，输入点云的整体的几何细节也能够被保留下来。基于这样一个想法，我们将多个LocSE，Attentive Pooling以及skip connection连接在一起组成扩张残差块(Dilated Residual Block)。下图进一步说明了扩展残差块的作用，可以看到: 红色的点在第一次LocSE/Attentive Pooling操作后的有效感受野是与之相邻的 个相邻点，然后在第二次聚合以后最多能够将感受野扩展到 个邻域点。相比于直接增大K最近搜索中的K值而言，这是一种更加廉价高效的方式来增大每个点的感受野以及促进邻域点之间的feature propogation。通过后面的ablation实验，我们的扩张残差块最终使用两组LocSE和attentive pooling单元，以平衡最终的分割性能以及计算效率。

 

 

 

 图4. 放大的残余块的插图，它显著增加了每个点的感受野（虚线圆），彩色点代表聚集的特征。L：局部空间编码，a：注意力池化。

 总的来说，我们的局部特征聚合模块旨在通过显式考虑相邻的几何形状和显著增加的感受野来有效地保持复杂的局部结构。 此外，该模块仅由前馈MLPs组成，因此计算效率高。

3.4.Implementation

我们通过叠加多个局部特征聚合模块和随机采样层来实现randla-net。 详细的体系结构见附录。 我们使用带有默认参数的adam优化器。 初始学习率设定为0.01，每个世代后下降5%。 最邻近点k的数目设置为16。为了并行训练我们的Randla-net，我们从每个点云中采样固定数量的点（～10的5次方）作为输入。 在测试过程中，整个原始点云被输入到我们的网络中，以推断每个点的语义，而不需要预/后处理，如几何或块划分。 所有实验都是在NVIDIA RTX2080ti GPU上进行的。

4.实验

4.1.本节中随机抽样的效率，

我们对现有抽样策略的效率进行了实证评估，主要从计算时间和GPU内存消耗两个方面来考量包括FPS、IDIS、RS、GS、CRS和PGS，这些方法在第3.2节中已经讨论过，我们进行了以下4组实验

• 组1. 给定一个小型点云(～10的3次方点)，我们使用每一种抽样方法来逐步向下抽样。【仿照PointNet++的主体框架，我们持续地对点云进行降采样，总共五次降采样，每次采样仅保留原始点云中25%的点】具体来说，点云是向下采样的通过五个步骤，每个步骤只保留25%的点，即四倍抽取比。这意味着只留下~(1/4)5(次方)×10^3个点(?)。该向下采样策略仿真程序在pointnet++[44]中使用。

图5. 不同采样方法的时间和内存消耗。虚线表示估计值(由于有限的GPU内存)。

• 2/3/4组。点云总数增加，向大规模发展，即：10的4次方，10的5次方分和10的6次方分。我们使用相同的5个抽样步骤(同组1)

分析

图5比较了不同采样方法下处理不同规模点云总时间和内存的消耗量。可以看出:

1)对于小规模的点云~10^3, 上述采样方法在计算时间和内存消耗的差距并不明显, 总体来说都是可接受的

2)对于大规模点云~10^6, FPS/IDIS/GS所需要的计算时间显著增加, 而CRS需要占用大量的GPU内存(图b虚线)。相比之下，随机抽样总体上具有更好的时间和存储效率。这个结果清楚地证明了大多数现有深度学习网络[44,33,60,36,70,66]只能这样处理和优化规模点云，主要是因为他们依赖耗时耗算力的抽样方法。受这个现象启发，我们使用了有效的随机抽样策略RandLA-Net。

4.2. Efficiency of RandLA-Net

在本节中，我们系统地评估RandLA-Net用于现实世界大规模点云上语义分割的整体效率。特别是,我们评估RandLA-Net上SemanticKITTI[3]数据集上的表现，评估我们的网络在08序列(序列8:一共4071帧)上的总耗时。我们也在相同的数据集上评估了近期代表作品的时间消耗[43, 44, 33, 26, 54]。公平起见，我们在每一帧中将相同数量的点(81920)输入到baseline以及我们的RandLA-Net中。此外，我们还评估RandLA-Net和baseline的内存消耗。特别是，我们不仅报告每个网络的参数总数，还要测量每个网络在单次传递中可以作为输入的最大3D点数量，以推断逐点语义。注意，所有实验都是在同样的机器一个AMD 3700X @3.6GHz的CPU和一块NVIDIA GPU RTX2080Ti显卡上。

表1. 不同方法在处理SemanticKITTI数据集的序列8的总时间、模型参数和最多可处理点数的对比

分析。表1定量地显示了不同方法总时间和内存消耗。它可以可以看出，

1)SPG[26]网络参数最少，但处理时间最长点云，这是由于几何空间划分和超图构建等步骤的计算代价较高;

2) PointNet + +[44]和PointCNN[33]在计算上也很耗时主要是由于FPS的采样操作在处理大规模点云时比较耗时;

3) PointNet[43]和KPConv[54]无法一次性处理大规模数量的点云(例如10的6次方点)，主要原因是没有降采样操作(PointNet)或者模型较为复杂。

4)得益于简单的随机抽样加上高效的MLP局部特征聚合模块，我们的RandLA-Net耗时最少(~23帧/秒)，并且能够一次性推断高达10^6数量的点云的逐点语义信息。

4.3. Semantic Segmentation on Benchmarks

在这一节中，我们在三个大型公共数据集户外Semantic3D[17]和SemanticKITTI[3]，以及室内S3DIS[2]评估RandLA-Net的语义分割能力。
(1)对Semantic3D的评价。Semantic3D数据集[17]包括15个用于训练的点云和15个用于在线测试的点云。每个点云有包含多达1亿个点，覆盖在真实的三维空间中，可达160×240×30米。原始的三维点共有8类，包含三维坐标，RGB信息和强度。我们只使用3D坐标和颜色信息来训练和测试我们的RandLANet。所有类别的平均交并比(mIoU)和整体准确度(OA)被用作标准度量。为了公平比较，我们只包括最近发表的强的基准测试的结果[4,52,53,46,69,56,26]以及目前最先进的方法KPConv[54]。

表2. 不同方法用于Semantic3D (reduced-8)[17]的定量结果。只比较了最近发表的方法。于2020年3月31日访问。

表2给出了不同方法的定量结果。RandLA-Net明显优于所有现有的方法采用mIoU和OA。值得注意的是，RandLANet在8个类中的6个类上也取得了卓越的性能，除了低植被和扫描艺术。

表3. 不同方法对SemanticKITTI[3]的定量结果。只比较最近发表的方法和所有的分数均从在线单次扫描评估轨迹中获得。于2020年3月31日访问。

图6. RandLA-Net对SemanticKITTI[3]验证集的定性结果。红色圆圈表示失败的案例

(2)对SemanticKITTI的评价。SemanticKITTI [3]由属于21个序列的43552个密集注释的激光雷达扫描组成。每次扫描都是一个大规模的点云在三维空间中，空间跨度为约105点，长度为160×160×20米。正式来说，序列00 ~ 07和和序列09 ~ 10(19130帧)作为训练集，序列08(4071帧)作为验证集，序列11 ~ 21(20351帧)用于在线测试。原始的3D点只有坐标信息，没有颜色信息。10个类别的平均交并比得分被用作度量标准。

表3显示了我们的RandLANet与两类最近的方法的定量比较，即1)基于点的方法[43,26,494,44,51]和2)基于投影的方法方法[58,59,3,40]，图6显示了RandLA-Net在验证分割上的一些定性结果。它可以可以看到，我们的RandLA-Net远超过所有基于点的方法[43,26,49,44,51]。我们也优于所有基于投影的方法[58,59,3,40]，但这种优势不是很明显，主要是因为RangeNet++[40]实现对小对象分类有更好的结果，如交通标志。然而，我们的RandLA-Net比RangeNet++[40]少40倍的网络参数，而且计算效率更高，因为它不需要算力较高的前/后投影的步骤。

(3)对S3DIS的评价。S3DIS数据集[2]由6个大区域的271个房间组成。每一个点云是一个中型的单人房间(～20×15×5米)密集的三维点。为了评估我们的RandLA-Net的语义分割，我们使用标准的6-fold交叉验证。IoU (mIoU)的均值等级精度(mAcc)和总体精度(OA)总共13个类进行比较。如表4所示，我们的RandLA-Net达到了平均水平或者比最先进的方法性能更好。请注意大多数基准[44,33,70,69,57,6]趋向于使用复杂但昂贵的操作或取样优化小块点云(如1×1米)，相对较小的房间被分成小块。相比之下,RandLA-Net将整个房间作为输入，并且能够在一次传递中有效地推断每点语义。

表4. 不同方法在S3DIS数据集上的定量的结果[2](6-fold交叉验证)。只有最近出版的方法被包括在内。

4.4. 消融研究(Ablation study)
由于充分研究了随机抽样的影响第4.1节，我们对我们的本地特性聚合模块进行了以下消融研究。所有消融网络对序列00 ~ 07和09 ~ 10进行训练，并在数据集[3]的序列08上测试。(1)去除局部空间编码(LocSE)。这个单元使每个3D点可以显式地观察其局部几何。删除locSE后，我们直接输入local将特性点到后续的注意力池中。

(2 ~ 4)用max/mean/sum替换注意池。注意池单元学习自动结合所有的局部点特征。相比之下,广泛使用的max/mean/sum 池化倾向于硬选择或结合特征，因此它们的性能可能不是最优的。

(5)对膨胀残块进行简化。膨胀的残余块堆积了多个LocSE单元和注意池，大大地膨胀了接收野每个3d点。通过简化这个块，我们只使用了一个LocSE单元和注意池，也就是说，在我们的原始RandLA-Net我们不连接多个块。表5比较了所有消融网络的mIoU得分。由此，我们可以看出:

1)受到影响最大的移除空间嵌入链和注意池模块。图4中突出显示了如何使用两个链接的区块从一个更广泛的邻域来传播信息，也就是大约K的平方个点而不是k个点。对于随机抽样尤其重要，因为随机抽样不能保证保留一组特定的点。

2)删除的局部空间编码单元对性能的影响次之，说明该模块对于有效学习局部和相对几何上下文是必要的。

3)去除注意力模块，不能有效保留有用的特征，这会降低性能。从这个消融研究，我们可以看到提出的神经单元如何的进行互补，以达到我们的最高水平性能

注解：

• 从（1）中可以看到，去掉LocSE，也就是单纯使用Attention的方式并不是很有效。
• 从（2）-（4）可以看出Attention的效果也是有的，比单纯的pooling好
• 从（5）可以看出扩展感受野的必要性

表5所示. 基于我们的完整的RandLA-Net，所有消融网络的平均IoU分数

5. 结论
在本文中，通过使用轻量级网络架构，我们证明了高效和有效地分割大规模点云是可能的。与此形成鲜明对比的是对于大多数依赖于算力计算代价高的抽样策略的方法，我们在我们的系统中使用随机抽样框架大大减少了内存占用计算成本。局部特性聚合模块可以有效地保存来自邻域的有用特征(持续地增大每个点的有效感受野，以确保大多数有效信息不会因为随机采样而丢失)。大量的实验显示了我们的方法的高效率和最先进的表现。利用最新的工作[64]把我们的工作扩展到用于研究大规模点云上端到端的3D实例分割，以及用于点云的实时动态处理上面将是一件很有趣的事情。

鸣谢:本研究部分由中国留学基金委奖学金资助。

郭玉兰是由国家自然科学基金资助。
国家自然科学基金(第61972435号)广东省(2019A1515011271)，深圳科技及创新委员会

我的思考【https://blog.csdn.net/wqwqqwqw1231/article/details/105604389】

我看的语义分割这方面的论文不多，目前大多针对点云处理的backbone的方法都会做语义分割的实验，基本都是使用FPS。所以本文使用RS能做到SOTA的效果证明，只要特征能提取的有效，则FPS不是必须的。

Dilated Residual Block其实和PointNet++中的SA相比有以下不同：
1）LocSE中使用的kNN，这也就保证了稀疏的地方仍然能够找到临近点提取特征，而SA中用的是一定半径内的球形邻域，这就在稀疏的地方就不是很好使了。
2）在Ablation Studies证明了的Attention操作是优于pooling的，这个操作将临近点之间的特征联系起来，而不是单单max pooling了。
3）Dilated Residual Block的串联结构有效的增大了感受野，SA中并联的MSG结构则提取multi-scale的特征。

我认为可以试一下做一下将RS改为FPS的实验，看看最终效果涨不涨，来证明FPS是否确实是在效果上可以被RS替代。

附录
A.抽样评价的细节。
我们在4.1节中提供了不同抽样方法的实施细节。从拥有N个点(或者点特征)的大规模点云P中抽样K个点(或者点特征)：
1. 最远点抽样(FPS):我们遵循pointnet++[44]提供的实现，它也是广泛应用于[33,60,36,6,70]。特别是FPS作为一个运行在GPU上的运算符进行实现。
2. 逆密度重要抽样(IDIS):给定点pi，通过计算点pi和它的邻域t个点之间的距离之和去近似计算它的密度ρ。正式:

式中，表示邻域点的集中第j个点的坐标。参数t被设置为16。所有的点根据所有点的逆密度1/ρ排序。最后，选择最前面的K个点。

3.随机抽样(RS):我们使用python numpy包实现随机抽样。具体来说,我们首先使用numpy函数umpy.random.choice()生成K个索引。然后我们利用这些点的索引收集相应的空间坐标和每个点的特征。
4. 基于生成器的采样(GS):遵循[12]提供的代码去实现。我们先训练ProgressiveNet[12]，目的是根据他们和任务的相关性把原始点云转变为有序点集。之后前K个点被保留，剩下的点被丢弃。
5. 连续松弛采样(CRS)
通过自主gumbel-softmax抽样[1][66]去实现。给定一个点特征集p∈R^N×(d+3)，每个点包含三维坐标和点特征，我们首先通过MLP层参数化的分数函数估计一个概率分数向量s∈R^N，即s = softmax(MLP(P))，它学习a分类分布。然后，伴随着Gumbel噪声g∈R^N从Gumbel(0;1)分布。计算每个采样点特征向量y∈R^d+3:

其中s(i)和g(i)分别表示向量s和g中的第i个元素，P ⁽ⁱ⁾表示矩阵P中第i行输入向量。是退火温度。当它趋近于0的时候，方程5趋于离散分布，并依据概率p(y = p⁽ⁱ⁾) = s⁽ⁱ⁾对P中的每一行向量进行采样。

6. 基于策略梯度的采样:给定一个带有三维坐标的点特征集p∈R^N×(d+3)和每个点特征，我们首先通过MLP函数为每个点特征预测一个分数s，即s =softmax (MLP (P)) + ξ ξ是0均值高斯噪声，带有随机方差Σ。在这之后，我们根据前K个得分值对P中的K个向量采样。抽样每个点/向量可以被看作是一个独立的行为，它们的一个序列形成了一个马尔可夫序列决策过程(MDP)，有以下政策函数:

a_i是点集P中是否采样第i个向量的二值决策，θ为多层感知机的网络参数。因此，为了合理地改进采样策略，使采样过程具有一定的可扩展，我们应用加强算法[50]作为梯度估计。分割精度R被当作整个采样过程中的奖励值J = R。使用下面的估计梯度进行优化:

其中M为批大小，b^c和b(P ⁽ⁱ⁾)为缓解政策梯度高方差问题的两个控制变量[41]。 

图7. 我们的RandLA-Net的详细架构。(N;D)分别表示点数和特征维数。FC:全连通层，LFA:局部特征聚集，RS:随机抽样，MLP:共享多层感知器，US:上采样，DP:随机丢弃

B.网络架构细节
图7显示了RandLANet的详细架构，整个网络就是由局部特征聚合模块堆叠而成的。

【最后，我们将随机采样以及局部特征聚合模块组合到一起，基于标准的encoder-decoder结构组建了RandLA-Net。网络的详细结构如下图所示，可以看到，输入的点云在RandLA-Net中持续地进行降采样以节约计算资源及内存开销。此外，RandLA-Net中的所有模块都由简单高效的feed-forward MLP组成，因此具有非常高的计算效率。最后，在解码器中的上采样阶段，不同于广泛采用的三线性插值(trilinear interpolation)，我们选择了更加高效的最近邻插值(nearest interpolation)，进一步提升了算法的效率】

网络遵循广泛使用具有跳跃连接的编码器-解码器架构。输入点云首先喂到一个共享的MLP层，以提取每个点的特征。四个编码和解码层然后用于学习每个点的特性。最后，三层全连接并使用dropout层对语义标签进行预测每一个点。各部分详情如下:

网络输入:输入为大规模点云，尺寸为N×d_in时，批维度会降低(为简单起见)，其中N为点的个数，d_in为每个输入点的特征维数。对于这两个S3DIS[2]和Semantic3D[17]数据集，每个点为由其三维坐标和颜色信息表示(即x-y-z-R-G-B)，而SemanticKITTI的每个点[3]数据集仅由3D坐标表示。
编码层:我们使用了四个编码层网络的大小逐步减小点云的规模和增加每个点的特征维度。每个编码层由一个局部特征聚合模块(3.3节)和一个随机抽样组成操作(3.2节)。点云以四倍抽取率向下采样。特别是,每一层之后只有25%的点特征被保留后，即(N->N/4->N/16->N/64->N/256)。同时，每一层的点特征维数逐渐增大以保存更多的信息，即(8->32->128->256->512)

解码层:上述编码层之后，使用了4层解码层。对于每一层解码层，我们首先使用KNN算法为每一个查询点找到一个最近的邻域点，点特征集通过最近邻插值向上采样。接下来,上采样的特征图与编码层产生的中间特征图通过跳跃连接被合并，然后将共享的MLP应用于刚刚合并的特征图。

最终语义预测:每个点的最终语义标签是通过三个共享的全连接层获得的(N, 64)->(N, 32)->(N, nclass)和随机丢弃层。丢弃率为0.5。

网络输出:RandLA-Net的输出为所有点的预测语义，大小为N×n_class，其中n_class是类的数量。

C. 在LocSE网络上的消融研究

在3.3节中，我们对相对点位置进行编码由下式可知:

在此框架中，我们进一步研究了不同空间信息的影响。特别是，我们进行
以下是更多关于LocSE的消融实验:
?1)只对点p_i的坐标进行编码。
?2)只对相邻点p_i^k的坐标进行编码。
?3)对点pi的坐标和它的邻域点p_i^k进行编码。
?4)对点pi的坐标和它的邻域点p_i^k，以及欧氏距离IIp_i?p_i^k||进行编码。
?5)对点p_i和相邻点p_i^k的坐标，以及p_i和相邻点p_i^k的相对位置pi - p_i^k进行编码。
表6比较了所有消融网络在SemanticKITTI数据集上的交并比得分。我们可以看到

1)明确编码所有空间信息有最好的mIoU交并比表现。

2)相对位置p_i - p_i^k在这一成分中起重要作用因为相对点的位置使网络能够注意到局部几何特征。

3)仅对点位置p_i或p_i^k进行编码不太可能改进性能，因为相对位置没有显式编码。

表6. 不同空间信息编码下RandLa-Net的交并比结果

D. 对扩张的残余块进一步消融研究
在我们的RandLA-Net中，我们堆叠了两个LocSE和专注池化单元作为标准的扩大剩余块，使感受野逐渐增大。为了进一步评估聚集单元的数量对影响整个网络的影响，我们做了以下两组实验。
?1)我们简化了膨胀的剩余块，只使用一个LocSE单元和注意池。
?2)我们增加了一个本地单元和注意池，也就是说，有三个聚合单元链接在一起。

表7. 在残余块中使用不同数量的组合单元RandLA-Net的交并比得分

表7显示了在SemanticKITTI[3]数据集上验证分割的不同消融网络平均交并比得分。可以看出:

1)中只有一个聚集单元由于感受野的限制，扩张的残块导致分割性能显著下降。

2)每个块的三个聚合单元没有提高按预期的准确性。这是因为感受野的显著增加和大量的可训练参数往往会过度拟合。

E.注意力得分可视化
为了更好地理解助理解注意池化，使习得注意力得分可视化。然而,由于注意池操作在一个相对较小的局部点集上(即K=16)，在如此小的局部区域内很难识别有意义的点集形状。所以，我们将方程2中定义的学习注意力权重矩阵W可视化。如图8所示，注意权重在第一个编码层中有较大的值，则在随后的层中逐渐变得光滑且稳定。
这说明注意池在开始时倾向于选择突出的或关键的特征。点云被显著地向下采样之后，注意池层倾向于保留这些点特征中的大多数特征。

图8。学习到的注意力矩阵在不同层的可视化。从左上至右下:16×16注意力矩阵，64×64注意力矩阵，128×128注意力矩阵，256×256注意力矩阵。黄色代表高的注意力得分。

F.关于Semantic3D的附加结果
更多的RandLA-Net对Semantic3D[17]数据集分割(reducated -8)的定性结果如图9所示。
G. 关于SemanticKITTI的附加结果

图10显示了我们的RandLANet对SemanticKITTI[3]验证集的更多定性结果。红色的盒子展示了失败的案例。可以看出，属于其他车辆的点很容易被误分类为car，主要是由于没有颜色的部分点云很难从两个相似的类中区分出来。此外，我们的方法趋向于在自行车、摩托车、自行车手和摩托车手类别上失败，由于数据集中极度的不平衡点分布。例如，植被的点云比摩托车手点云南的多7000倍。

图9。RandLA-Net对Semantic3D的reduced-8分割的定性结果。从左到右:全RGB彩色点云，全点云的预测语义标签，彩色点云的详细视图，预测语义标签的详细视图。请注意,测试集的语义标签不是公开的

H. S3DIS附加结果
我们在8中报告了RandLA-Net在S3DIS[2]数据集上详细的六倍交叉验证结果。图11显示了我们的方法有更多的定性结果。

I.视频说明

我们提供一个视频来显示RandLA-Net在室内和室外数据集上定性的结果，可以在https://www.youtube.com/watch?v=Ar3eY_lwzMk&t=9s. 查看

图10. RandLA-Net对SemanticKITTI[3]验证分割的定性结果。红色框显示失败案例.

表8所示。不同方法在S3DIS[2]的定量结果(6-fold交叉验证)。总体精度(OA， %)，平均类别精(mAcc， %)、平均交并比(mIoU， %)和每个类别的交并比(%)。

图11。在S3DIS中，我们的RandLA-Net对S3DIS区域1-6的完整点云的语义分割结果。左:全RGB输入云;中间:预测标签;右:真实标签。

 (4) SemanticKITTI部分的代码阅读：

git clone --depth=1 https://github.com/QingyongHu/RandLA-Net && cd RandLA-Net

代码克隆。

conda create -n randlanet python=3.5
source activate randlanet
pip install -r helper_requirements.txt
sh compile_op.sh

conda建立深度学习的环境：

#利用conda建立一个新环境，同时指定该坏境中python的版本
conda create -n myenv python=3.5
-n应该是new的意思

source activate randlanet

 激活、关闭环境

source activate envname、source deactivate 已经过时。

pip install -r helper_requirements.txt
安装helper_requirements.txt内容中的所有包

sh compile_op.sh

 sh是一个shell，运行sh a.sh，表示我使用sh来解释这个脚本。

表示在本地编译C++代码。

二、项目结构

整个项目文件非常简洁。

 表来自：https://blog.csdn.net/qq_43058685/article/details/105089579

data_prepare_semantickitti.py文件的运行：

helper_tool.py文件里面：

from open3d import linux as open3d

改成：

import open3d

import cpp_wrappers.cpp_subsampling.grid_subsampling as cpp_subsampling
import nearest_neighbors.lib.python.nearest_neighbors as nearest_neighbors

改成：

import utils.cpp_wrappers.cpp_subsampling.grid_subsampling as cpp_subsampling
import utils.nearest_neighbors.lib.python.nearest_neighbors as nearest_neighbors

如果还是不能运行，就在RandLA-Net文件夹下打开终端，运行：

sh compile_op.sh

 sematic-kitti.yaml文件显示了semantic数据集的基本情况：

# This file is covered by the LICENSE file in the root of this project.
labels: 
  0 : "unlabeled"    #未标记
  1 : "outlier" #噪声点
  10: "car"      #小汽车
  11: "bicycle"   #自行车
  13: "bus"     #公共汽车
  15: "motorcycle"  #摩托车
  16: "on-rails"    #在轨电车
  18: "truck"    #卡车
  20: "other-vehicle"   #其它机动车辆
  30: "person"    #行人
  31: "bicyclist"    #骑自行车的人
  32: "motorcyclist"   #骑摩托车的人
  40: "road"    #道路
  44: "parking"   #停车区域
  48: "sidewalk"   #人行道
  49: "other-ground"   #其它路面
  50: "building"   #建筑物
  51: "fence"    #篱笆
  52: "other-structure"   #其它结构物
  60: "lane-marking"   #车道标线
  70: "vegetation"  #植被
  71: "trunk"   #树干
  72: "terrain"   #远离城镇、有田野、树林和农场的地区
  80: "pole"   #杆状物
  81: "traffic-sign"   #交通标志
  99: "other-object"   #其它物体
  252: "moving-car"   #移动的小汽车
  253: "moving-bicyclist"   #移动的骑车人
  254: "moving-person"   #移动的人
  255: "moving-motorcyclist"   #移动的摩托车骑行者
  256: "moving-on-rails"   #在轨道上移动的物体
  257: "moving-bus"   #移动的公共汽车
  258: "moving-truck"   #移动的卡车
  259: "moving-other-vehicle"   其它移动的激动车辆
color_map: # bgr   颜色图，指的是每个类别的物体的着色
  0 : [0, 0, 0]
  1 : [0, 0, 255]
  10: [245, 150, 100]
  11: [245, 230, 100]
  13: [250, 80, 100]
  15: [150, 60, 30]
  16: [255, 0, 0]
  18: [180, 30, 80]
  20: [255, 0, 0]
  30: [30, 30, 255]
  31: [200, 40, 255]
  32: [90, 30, 150]
  40: [255, 0, 255]
  44: [255, 150, 255]
  48: [75, 0, 75]
  49: [75, 0, 175]
  50: [0, 200, 255]
  51: [50, 120, 255]
  52: [0, 150, 255]
  60: [170, 255, 150]
  70: [0, 175, 0]
  71: [0, 60, 135]
  72: [80, 240, 150]
  80: [150, 240, 255]
  81: [0, 0, 255]
  99: [255, 255, 50]
  252: [245, 150, 100]
  256: [255, 0, 0]
  253: [200, 40, 255]
  254: [30, 30, 255]
  255: [90, 30, 150]
  257: [250, 80, 100]
  258: [180, 30, 80]
  259: [255, 0, 0]
content: # as a ratio with the total number of points   各个类别的物体的占比
  0: 0.018889854628292943
  1: 0.0002937197336781505
  10: 0.040818519255974316
  11: 0.00016609538710764618
  13: 2.7879693665067774e-05
  15: 0.00039838616015114444
  16: 0.0
  18: 0.0020633612104619787
  20: 0.0016218197275284021
  30: 0.00017698551338515307
  31: 1.1065903904919655e-08
  32: 5.532951952459828e-09
  40: 0.1987493871255525
  44: 0.014717169549888214
  48: 0.14392298360372
  49: 0.0039048553037472045
  50: 0.1326861944777486
  51: 0.0723592229456223
  52: 0.002395131480328884
  60: 4.7084144280367186e-05
  70: 0.26681502148037506
  71: 0.006035012012626033
  72: 0.07814222006271769
  80: 0.002855498193863172
  81: 0.0006155958086189918
  99: 0.009923127583046915
  252: 0.001789309418528068
  253: 0.00012709999297008662
  254: 0.00016059776092534436
  255: 3.745553104802113e-05
  256: 0.0
  257: 0.00011351574470342043
  258: 0.00010157861367183268
  259: 4.3840131989471124e-05
# classes that are indistinguishable from single scan or inconsistent in
# ground truth are mapped to their closest equivalent

#通过一帧扫描中无法区分的类或与真实类别不一致的类映射到它们最接近的等价类

learning_map:    #映射图
  0 : 0     # "unlabeled"
  1 : 0     # "outlier" mapped to "unlabeled" ----------异常点映射到无标签类----------------mapped
  10: 1     # "car"
  11: 2     # "bicycle"
  13: 5     # "bus" mapped to "other-vehicle" ------公共汽车映射到其它机动车辆--------------------mapped
  15: 3     # "motorcycle"
  16: 5     # "on-rails" mapped to "other-vehicle" ---有轨电车映射到其它机动车辆------------------mapped
  18: 4     # "truck"
  20: 5     # "other-vehicle"
  30: 6     # "person"
  31: 7     # "bicyclist"
  32: 8     # "motorcyclist"
  40: 9     # "road"
  44: 10    # "parking"
  48: 11    # "sidewalk"
  49: 12    # "other-ground"
  50: 13    # "building"
  51: 14    # "fence"
  52: 0     # "other-structure" mapped to "unlabeled" ----其它结构物映射到无标签类别--------------mapped
  60: 9     # "lane-marking" to "road" -------车道标线映射到道路--------------------------mapped
  70: 15    # "vegetation"
  71: 16    # "trunk"
  72: 17    # "terrain"
  80: 18    # "pole"
  81: 19    # "traffic-sign"
  99: 0     # "other-object" to "unlabeled" -----其它物体映射到无标签类别-----------------------mapped
  252: 1    # "moving-car" to "car" -----移动的小汽车映射到小汽车类-------------------------------mapped
  253: 7    # "moving-bicyclist" to "bicyclist" ----移动的自行车骑行者映射到自行车骑行者--------------------mapped
  254: 6    # "moving-person" to "person" -----移动的人映射到人-------------------------mapped
  255: 8    # "moving-motorcyclist" to "motorcyclist" ---移动的摩托车骑行者映射到摩托车骑行者---------------mapped
  256: 5    # "moving-on-rails" mapped to "other-vehicle" ---电车轨道上移动的物体映射到其它车辆-----------mapped
  257: 5    # "moving-bus" mapped to "other-vehicle" ----移动的公共汽车映射到其它车辆---------------mapped
  258: 4    # "moving-truck" to "truck" ----移动的卡车映射到卡车----------------------------mapped
  259: 5    # "moving-other"-vehicle to "other-vehicle" ----其它移动车辆映射到其它车辆------------mapped
learning_map_inv: # inverse of previous map
  0: 0      # "unlabeled", and others ignored
  1: 10     # "car"
  2: 11     # "bicycle"
  3: 15     # "motorcycle"
  4: 18     # "truck"
  5: 20     # "other-vehicle"
  6: 30     # "person"
  7: 31     # "bicyclist"
  8: 32     # "motorcyclist"
  9: 40     # "road"
  10: 44    # "parking"
  11: 48    # "sidewalk"
  12: 49    # "other-ground"
  13: 50    # "building"
  14: 51    # "fence"
  15: 70    # "vegetation"
  16: 71    # "trunk"
  17: 72    # "terrain"
  18: 80    # "pole"
  19: 81    # "traffic-sign"
learning_ignore: # Ignore classes
  0: True      # "unlabeled", and others ignored
  1: False     # "car"
  2: False     # "bicycle"
  3: False     # "motorcycle"
  4: False     # "truck"
  5: False     # "other-vehicle"
  6: False     # "person"
  7: False     # "bicyclist"
  8: False     # "motorcyclist"
  9: False     # "road"
  10: False    # "parking"
  11: False    # "sidewalk"
  12: False    # "other-ground"
  13: False    # "building"
  14: False    # "fence"
  15: False    # "vegetation"
  16: False    # "trunk"
  17: False    # "terrain"
  18: False    # "pole"
  19: False    # "traffic-sign"
split: # sequence numbers   训练、验证与测试的分割情况
  train:
    - 00
    - 01
    - 02
    - 03
    - 04
    - 05
    - 06
    - 07
    - 09
    - 10
  valid:
    - 08
  test:
    - 11
    - 12
    - 13
    - 14
    - 15
    - 16
    - 17
    - 18
    - 19
    - 20
    - 21

没看出来那个learning_map是什么意思(?),哪位高手能告知一下？

dataset_path = ‘/data/semantic_kitti/dataset/sequences‘
output_path = ‘/data/semantic_kitti/dataset/sequences‘ + ‘_‘ + str(grid_size)

改成：

dataset_path = ‘sequences的全路径‘
output_path = ‘真实路径‘

 sequences--00包含004541个扫描场景。

对000000.bin可视化：

利用代码中的变量points和labels将点云坐标文件000000.bin和对应标签文件000000.label存到一起并可视化：

pointsandlabels=np.hstack((points,labels.reshape(labels.shape[0],1)))
filename=r‘/media/dell/D/qcc/RandLA-Net/data/semantic_kitti/dataset/sequences_saveastxtfile_Qin/00/000000.txt‘
np.savetxt(filename, pointsandlabels, fmt="%.8f,%.8f,%.8f,%d", delimiter=‘,‘)

得到文件(共124668个点，约12万左右个点)：

利用下面这两句可视化000081.bin:

scan_id=‘000001.bin‘
points = DP.load_pc_kitti(join(pc_path, scan_id))
labels = DP.load_label_kitti(join(label_path, str(scan_id[:-4]) + ‘.label‘), remap_lut)

scan_id=‘000000.bin‘
points = DP.load_pc_kitti(join(pc_path, scan_id))
labels = DP.load_label_kitti(join(label_path, str(scan_id[:-4]) + ‘.label‘), remap_lut)
pointsandlabels=np.hstack((points,labels.reshape(labels.shape[0],1)))
filename=r‘/media/dell/D/qcc/RandLA-Net/data/semantic_kitti/dataset/sequences_saveastxtfile_Qin/00/000000.xyz‘
np.savetxt(filename, pointsandlabels, fmt="%.8f %.8f %.8f %d", delimiter=‘,‘)

结果：

可视化004540.bin:

 这些文件的的点云尺寸都大约一致，应该是实际场景中切割出来后再经过坐标转换的点云。点云场景长约160m，宽约107m,高约13~25m。

：

 ：

：

 x的坐标的范围是大约-70m~80m，y的坐标范围约为-50~50m, z的坐标范围大约为-15~5m.

对点云进行降采样：

sub_points, sub_labels = DP.grid_sub_sampling(points, labels=labels, grid_size=grid_size)

 以sequences00里面的000018.xyz为例，降采样的效果如下图：

 data_prepare_semantickitti.py第54行：

proj_inds = np.squeeze(search_tree.query(points, return_distance=False))

意思是：对构建的采样子集建立k_d搜索树，然后查询原点集中每个点的k个最邻近子集点，默认K=1.查询范围是采样点。

函数：query(self, X, k=1, return_distance=True, dualtree=False, breadth_first=False)

函数作用：在(k_d搜索)树中查询k个最近邻。

参数：X：数组，是查询参考点，或者说中心点。

k: 要返回的最邻近点的数量，默认是1

                return_distance : boolean (default = True)
                    if True, return a tuple (d, i) of distances and indices
                    if False, return array i

Returns
                -------
                i       : if return_distance == False
                (d,i) :  if return_distance == True
        
                d : array of doubles - shape: x.shape[:-1] + (k,)
                    each entry gives the list of distances to the
                    neighbors of the corresponding point
        
                i : array of integers - shape: x.shape[:-1] + (k,)
                    each entry gives the list of indices of
                    neighbors of the corresponding point 

Examples
                --------
                Query for neighbors in a given radius
        
                >>> import numpy as np
                >>> np.random.seed(0)
                >>> X = np.random.random((10, 3))  # 10 points in 3 dimensions
                >>> tree = BinaryTree(X, leaf_size=2)     # doctest: +SKIP
                >>> print(tree.query_radius(X[0], r=0.3, count_only=True))
                3
                >>> ind = tree.query_radius(X[0], r=0.3)  # doctest: +SKIP
                >>> print(ind)  # indices of neighbors within distance 0.3
                [3 0 1](相当于一个3维坐标)

proj_inds = np.squeeze(search_tree.query(points, return_distance=False))

返回的索引是采样点集的索引值，因为最小索引值是0，最大索引值是88108(以sequences08中的000000.bin点云文件为例)，而采样点个数正是88109个。所以，应该是针对初始点云中的每一个点在降采样点云中寻找最邻近点。

对sequences00~10(训练集，08除外)进行随机采样，并：

• 保存随机采样的点云坐标和标签[到文件夹[velodyne]  [labels]]
• 对随机采样点云构建k_d树，并保存[到文件夹[KDTree]]

其中sequences08(验证集)用来验证，并：

• 保存随机采样的点云坐标和标签[到文件夹[velodyne]  [labels]]
• 对随机采样点云构建k_d树，并保存[到文件夹KDTree]
• 保存初始点云(00xxxx.bin)从采样点中找到的k个邻近点索引[到文件夹proj]

 对测试集sequences11~21：

• 保存随机采样的点云坐标[到文件夹velodyne],不保存对应标签。
• 对随机采样点云构建k_d树，并保存[到文件夹KDTree]
• 保存初始点云(00xxxx.bin)从采样点中找到的k个邻近点索引[到文件夹proj]

RandLA-Net: Efficient Semantic Segmentation of Large-Scale Point Clouds翻译和解读