Registration of 3D Point Clouds with Low Overlap----S Huang - 2020 - ethz.ch

• Abstract
• 1.Introduction
• • 1.1. Objective of this Thesis
  • 1.2. Structure of this Thesis
• 2.Related Work
• • 2.1 3D深度学习
  • 2.2 学习提取特征
  • • 2.2.1 手动提取特征
    • 2.2.2 学习提取特征
  • 2.3.学习过滤外点
  • • 2.3.1 外点过滤网络
    • 2.3.2 可微RANSAC
    • 2.3.3 邻域一致性网络
  • 2.4 深度一致性配准
• 3. 方法
• • 3.1. 准备工作
  • 3.2. 特征提取 Feature extraction
  • • 3.2.1. 稀疏卷积 Sparse convolution
    • 3.2.2 矩阵学习 Metric learning
    • 3.2.3. 全连接卷积几何特征 Fully Convolutional Geometric Features
  • 3.3 特征匹配 Feature matching
  • • 3.3.1 Argmax 采样器
    • 3.3.2. 软采样 Softmax sampler
    • 3.3.3. 软采样改进 Gumbel-Softmax sampler
  • 3.4. 外点过滤 Outlier filtering
  • • 3.4.1. PointCN
    • 3.4.2. Order-Aware Network
    • 3.4.3. 拓展到点云配准 Extension to point cloud registration
  • 3.5. 转换评估 Transformation estimation
  • • 3.5.1. Kabsch algorithm
    • 3.5.2。几何损失
  • 3.6. 基于patch裁剪 Patch-based pruning
  • • 3.6.1. 采样和分类 Sampling and clustering
    • 3.6.2. 点集聚合 Set aggregation
    • 3.6.3. 部分分配 Partial assignment
  • 3.7. 完整模型 Our complete model
• 4 实验 Experiments
• • 4.1. 评价指标 Evaluation metrics
  • 4.2 数据集 Dataset and benchmark
  • • 4.2.1 3DMatch benchmark
    • 4.2.2 LowOverlap benchmark
  • 4.3 结果 Results
  • • 4.3.1 参考方法 Baseline methods
    • 4.3.2 本文方法 Our methods
• 5 结论和未来工作 Conclusion and future work
• 5.1 结论
• 5.2 未来工作 Future work

Abstract

低重叠点云配准问题的两个主要挑战：i)完全卷积的局部几何特征被不相干的全局背景给污染；
ii)over-complete对应集上的内点率受到低重叠率p的上界限制。
提出的方法是一个剪枝（pruning）模块，首先将局部特征聚合到全局patch-wise descriptors，然后用 可微的最优传输层（differentiable optimal transport layer）解决局部分配问题。

它直接将点云配准模型加入到重叠区域，显着地减少了特征匹配的搜索空间。我们的剪枝模块是轻和有效的，可以很容易地插入到深点云配准模型。我们在两个基准上证明了两种深度学习模型的改进性能，在低重叠区域有显著的改善。

1.Introduction

1.1. Objective of this Thesis

低重叠点云配准有两方面的意义：一方面可以减少获得整个场景所需的扫描来减少时间；另一方面，它允许更多的配对片段被配准，可以捕捉更细节的局部几何信息同时提高配准的精度 。
本文解决的问题：
1.为什么当前基于学习的配准点云方法在低重叠率上失效？
2.如何改进？

1.2. Structure of this Thesis

本文的组织如下:第二章回顾了基于correspondence的端到端点云配准的几个基本组件。第三章介绍了本文所采用的方法。3.1节详细介绍了点集的基本性质和基本点云处理方法。第3.2节介绍特征提取模型，第3.3节介绍hard特征和soft特征匹配方法。第3.4节讨论了为每个对应输出相关权值的滤波网络，这些权值与对应集一起被用来得到最终的姿态估计，在第3.5节中解释了这一点。我们的主要贡献在第3.6节和第3.7节中阐述。第四章给出了实验结果和讨论。最后，在第五章对本文进行了总结和展望

2.Related Work

2.1 3D深度学习

2.2 学习提取特征

2.2.1 手动提取特征

两种方法实现三维局部描述符的旋转不变性
1）.估计一个唯一的局部参考框架(LRF)，然后在特征提取前对局部patch进行变换，得到正则表示。
这种LRF通常是基于局部patch的样本协方差矩阵的值分解
2）.以内在的旋转不变性 点对特征（PPF)作为特征提取的基础。方法包括FPFH,PPFH

3D的局部特征没有能达到2D做到的效果

2.2.2 学习提取特征

3DMatch [Zeng et al., 2017]体素化每个关键点周围的区域，利用modified AlexNet去学习局部描述符；PPFNet [Deng et al., 2018b]采样不同的局部patches，用Pointnet提取每个局部context，依赖于max-pooling融合来自所有补丁的全局context，并将其concat到局部context也就是局部描述符，最后描述符由N-tuple loss优化；PPF-FoldNet [Deng et al., 2018a]利用纯 点对特征（PPF)实现特征旋转不变性，并以自监督的方式学习;3DFeat-Net [Yew and Lee, 2018]联合学习三维特征检测器和描述符进行弱监督点云匹配;3DSmoothNet[Gojcic et al., 2019a]基于LRF规范局部patch。
这种基于补丁的处理效率很低，因为中间网络激活不会在相邻的补丁之间重用。

FCGF [Choy et al., 2019b] 建立在稀疏卷积的基础上，比3DSmoothNet快290倍；USIP [Li and Lee, 2019]是一种自我监督的方法，它最小化了一个点云中的每个点与另一个旋转平移点云中最近邻之间距离的倒角损失的概率；D3Feat [Bai et al., 2020]是D2-Net 和KPConv 的结合，它同时输出每个点的显著性得分和局部描述符；Liet等人[Li et al.， 2020]通过将可微渲染器集成到神经网络中，提出了一种用于3D点云的端到端可学习局部多视图描述符。

2.3.学习过滤外点

启发式方法包括Lowe 's比率检验， mutual check是有效的独立数据的过滤外点的初始步骤。
通常RANSAC随机抽样一致性算法 [Fischler and Bolles, 1981]在此基础上确定最终的内集并估计转换模型。在这一节中，我们将介绍几种针对异常值过滤的深度学习模型。

2.3.1 外点过滤网络

[Ranftl and Koltun, 2018] 指出在一个过完备的对应集上的inliers和outlier分布式可以学习的，利用深度学习的方法直接分类了inliers和outliers；PointCN提出context normalisation，将全局context纳入置换不变网络（pointnet）------pointnet独立用在每一个点上，因此不能捕捉局部context；OANet [Zhang et al.， 2019]通过将correspondences映射到更少的节点来克服这一问题，然后在空间维度上应用权重共享感知器来建立空间相关性；ACNet [Sun et al.， 2019]将注意机制嵌入到PointCN中，以排除归一化过程中异常值的影响。

2.3.2 可微RANSAC

2.3.3 邻域一致性网络

将过滤离群值的问题定义为通过分析四维空间中的邻域一致模式来识别空间一致的匹配，而这种一致可以通过卷积操作的激活来反映。4D空间中的卷积具有计算扩展性，因此不能实现高精度的局部对应，Roccoet等人[Rocco等人，2020]识别了此类4D空间的稀疏性质，并使用稀疏卷积克服了这一缺点。

2.4 深度一致性配准

PointNetLK [Aoki et al., 2019]将PointNet [Qi et al.， 2017a]和Lucas & Kanade算法[Lucas et al.，1981]结合，将它们展开成一个单一的可训练循环深度神经网络；PCRNet [Sarode et al., 2019]使用Pointnets直接回归3个平移和4个归一化旋转四元数；CorsNet [Kurobe et al., 2020]将从一个点云到另一个点云的每个点偏移量regress；DeepICP [Lu et al.， 2019]从自动驾驶汽车的车载传感器中获取初始姿态估计，建立粗糙对应集，然后使用点网提取特征，最终基于奇异值分解(svd)对topk匹配进行精化；DCP [Wang and Solomon, 2019a]使用DGCNN [Wang et al.， 2019]先提取独立特征，然后使用对称Transformer [V aswani et al.， 2017]模块学习两点云之间的共上下文信息，最后的位姿也使用奇异值分解来求解；PRNet [Wang and Solomon, 2019b]将DCP [Wang and Solomon, 2019a]扩展到局部-局部配准，使用topk算子在特征匹配前确定共同点；RPM-Net [Yew和Lee, 2020]通过引入一个可微分的Sinkhorn层[Sinkhorn和Knopp, 1967]，采用扩展的垃圾箱行和列来处理非公共点，来接近部分到部分的分配；Gojcicet al.[Gojcic et al.， 2020]提出了首个端到端可学习的、多视图的3D点云算法。在其简单的两两配准形式中，它使用FCGF [Choy等人，2019b]进行高效的特征提取，使用改进的OANet [Zhang等人，2019]进行离群点过滤，并使用加权奇异值分解(SVD)进行最终的姿态估计；DGR [Choy et al.， 2020a]与[Gojcic et al.， 2020]共享FCGF和加权svd层，而使用6D卷积网络对内层和离群值进行分类。

3. 方法

我们提出了一种剪枝方案，采样输入点云的几个子集patch pair，它们有很高的概率覆盖重叠区域。这些patches被进一步用来确定correspondences，过滤离群值和估计姿态。从输入点云P来采样子集I被称为P\I，通过这个操作，我们直接减少了特征匹配的搜寻空间，潜在的提升了重叠率，将原来困难的任务转化为了一个相对简单的。

This chapter is organized as follows:
1.介绍了点集的性质、点云采样方法和三维欧几里德空间
2.提出了全卷积几何特征(FCGF) [Choy，2019b]用于高效的特征提取。
3.我们谈到了学习寻找良好对应(LTFGC) [Moo Yi，2018]和顺序感知网络(OANet) 用于离群点过滤，以及它们对点云配准的扩展。
4.我们展示了用于三维姿态估计的Kabsch算法[Kabsch, 1976]。
5.提出了一种采样最优子集的剪枝方法。
6.我们给出了完整的模型。

3.1. 准备工作

3.2. 特征提取 Feature extraction

特征提取提供了描述局部和全局context的每个点/体素的associateted特征，是特征匹配和下游应用的关键。 理想情况下，在同一点云内，数据空间中相邻点的接近性被保留在特征空间中;在两个点云之间，经过gt变换后的空间相邻点比特征空间中的其他点更接近。

3.2.1. 稀疏卷积 Sparse convolution

3.2.2 矩阵学习 Metric learning

3.2.3. 全连接卷积几何特征 Fully Convolutional Geometric Features

Network architecture
FCGF [Choy等人，2019b]特征是基于Minkowski Engine构建的全卷积几何特征，使用UNet结构与跳过连接和残留块提取稀疏卷积特征。网络架构包括一个逐步捕获局部和全局上下文的收缩路径，以及一个支持精确local的对称扩展路径。扩展路径采用跳过连接，将收缩路径中的低级特征连接到上采样操作中的高级特征。
Loss function
首先，batch sample不遵循独立同分布(i.i.d)。例如在分类任务的embedding时，特征提取模型使用输入图像/点云，输出单个特征作为全局描述符要求 输入点云满足iid。而卷积网络特征提取模型提取点云为每个点输出相关特征，空间上相邻的点产生的相邻特征在特征空间上也是相关的。
其次，在全卷积网络中使用的特征数量比标准度量学习问题中使用的特征数量大几个数量级，因此在批量中使用所有的两两距离是不可行的。
考虑到这两个挑战，FCGF使用了hardest-contrastive损失和hardest-triplet损失。首先 FCGF采样锚点和一组候选点挖掘每个场景。然后对于positive pair (fi, fj)，挖掘hardest negatives fi− , fj−
移除在相应锚点的一定半径范围内的false negative，最后挖掘quadruplet使用；两两配对损失，形成全卷机对比损失。
Implementation details
On 3DMatch dataset，FCGF对扫描都应用了不同的数据增强，包括随机缩放和旋转。这种旋转增强是一种简单而有效的方法，可以使FCGF不受相机相对姿态变化的影响。使用颜色或法线作为稀疏张量特征会导致过拟合，因为3DMatch数据集不够多样化，尽管有数据增强技巧。

3.3 特征匹配 Feature matching

特征匹配是建立两个点云之间对应关系的步骤。我们得到D(fi, fj) = 2−2fiT fj。我们知道当两个特征相似时，D(fi, fj)→0;当两个特征不相似时，D(fi, fj) > m−。因此，内积可以很好地衡量两个特征之间的相似性，当两个特征相似时，这个分数较高，反之亦然。
一般来说，我们有两种方式来确定最终的对应，他们是硬argmax采样器和软softmax采样器。

3.3.1 Argmax 采样器

argmax采样器的行为类似于最近邻搜索，在图3.4所示的一个玩具示例中，计算了pi和候选之间的特征相似度得分后，我们将候选分配给PI作为其对应关系，因为其相似度最高(特征空间距离最小)

其中m(pi, Q)是确定pi与Q的对应关系的函数，FQ∈RN×C表示特征，Q∈RN×3表示坐标
argmax采样器的一个缺点是它是不可微的。由于argmax操作，梯度在反向传播时只能传递argmax-indexed特征，这可能会导致高方差，导致训练时不稳定，因此在端到端模型中是有问题的。在实践中，argmax采样器通常只在test阶段使用，以产生清晰的对应。在train阶段，它被一个软版本取代，以提高稳定性。

3.3.2. 软采样 Softmax sampler

为了缓解argmax采样器的不可微性，softmax采样器使用一种概率方法生成从一个点云到另一个点云的“软映射”。

我们给每个候选点qi基于他们到查询点pi的距离分配权重。形式上，这些权重是由softmax函数给出的相似度分数：
Softmax函数在任何地方都是可微的，因此可以在训练期间使用，以增加稳定性。然而，由于softmax采样器使用“软映射”，权值分散，使得对应不清晰。在最优的情况，每个查询最多有一个对应，它的权值应该是1。
控制软地图的硬度或平滑度，我们可以引入一个温度参数λ:

在极限λ→0时，软映射收敛到确定性最近邻搜索
在实践中，这通常发生在训练结束时，当网络对其预测有信心时。此外，我们还发现适当的温度λ初始化对于最终得到精确的对应关系是很重要的

3.3.3. 软采样改进 Gumbel-Softmax sampler

提出使用Gumbel-Softmax [Jang等人，2016]在训练开始时获得清晰的对应，同时保持可微性
Gumbel-Softmax映射函数

(gi1, …, gij, …, giN)是iid

3.4. 外点过滤 Outlier filtering

离群值过滤 过滤特征匹配中的离群值。对于correspondence集O，过滤网络F预测权值w∈[0,1]，表明可能是内层。即使我们的特征被训练成保持在特征空间中的相邻邻近度，它们仍然很不完美，这就造成了特征匹配时的模糊性
为了过滤离群值，一个经典的解决方案是首先应用包括比率检验[Lowe, 2004]和相互检验在内的启发式方法，然后使用RANSAC [Fischler and Bolles, 1981]进行稳健估计。

3.4.1. PointCN

PointCN将两个2D点(4×N)之间的N个标准化correspondence作为输入，并为每个correspondence预测一个权重，该权重编码内部的可能性。权重共享感知机(Pointnet)独立处理每个对应，因此对排列不变，对输入大小灵活。
Context normalisation
通过对每个感知器的输出分别进行标准化，我们有效地将全局上下文编码到特征图的分布中，使我们的模型能够感知场景几何和摄像机运动，从而能够区分内层和异常值。
Network architecture
共有5个连续的估计模块。如图3.10所示，每个模块由两个步骤组成，第一步从上一个模块中取对应和关联的权值来估计模型，第二步取之前估计的模型的对应和残差，生成新的权值。

Loss function
我们可以形成两个损失项。首先，预测内层的可能性可以被视为一个二元分类任务，我们的模型将correspondence分类为内层或离群值。因此，我们可以应用二元交叉熵损失Lc来监督分类。其次，模型估计模块是一个加权最小二乘问题，其封闭解也是可微的，因此我们可以在最终估计的基本矩阵或本质矩阵上形成回归损失Le。

3.4.2. Order-Aware Network

Order-Aware Network(OANet) ，首先，它引入了可微分的池化和非池化层来捕获PointCN中缺失的local上下文。其次，引入了与PointCN互补的空间关联层，以更好地捕获全局上下文。通过这两个修改，它改进了离群值过滤的结果。
Local context
PointCN的一个缺点是，它对每个correspondence分别应用mlp，因此它不能捕获local上下文，这在Pointnet++中已经显示出了重要的意义。引入了一个可微分的池化层来将correspondence映射到clusters.具体来说，将N个correspondences映射到M个节点，其中N > M，直接学习到一个权值矩阵spool。不同的节点通过学习不同的权值向量来处理不同的local上下文。通过同样的方法学习另一个权值矩阵Sunpool，将M个节点上采样到N个correspondence
Spatial correlation
PointCN的另一个缺点是，它通过特征的均值和方差来编码全局上下文，这忽略了correspondence之间的底层复杂关系。OANet [Zhang et al.， 2019]通过引入可微分的空间关联层克服了这一问题

N个特征首先经过可微的池化层形成M个节点来编码不同的局部上下文，然后通过6个顺序感知的过滤网络将节点关联起来以更好地建模全局上下文。
如图3.12所示，N个特征首先经过可微的池化层形成M个节点，编码不同的局部上下文，然后6个感知顺序的过滤网络将节点关联起来，从而更好地建模全局上下文。

顺序感知过滤块如图3.13所示，它有两个PointCN模块，中间有一个空间关联层。这样设计的动机是池中的节点按规范顺序排列，它们之间的关系可能是有用的。空间关联层直接在空间维上使用权重共享感知器对这种关系进行编码。注意，PointCN在通道维上应用权重共享感知器，因此这两个操作是正交的，因此是互补的。因此，感知顺序的过滤模块将两者结合起来，以更好地捕获全局上下文。

3.4.3. 拓展到点云配准 Extension to point cloud registration

除了输入(从4 × N改为6 × N)外，为了估计最终的模型，加权8点算法也被加权kabsch算法代替[kabsch, 1976]，后者我们将在3.5节详细介绍。

我们的过滤网络,它由一个初始步骤和细化步骤,第一步需要通讯集和预测权重,精炼步骤需要通信集连同他们的重量和残差对此前估计的模型,然后预测新的权重。

3.5. 转换评估 Transformation estimation

点云配准可以表述为一个加权最小二乘问题。给定一组对应和相关权值，最佳变换将使它们的L2距离最小化:

其中m(pi, Q)决定了pi与Q的对应关系。对于好的对应关系，ˆR和ˆt在欧氏空间中最小化它们的L2距离，而对于坏的对应关系，它们的权值接近于0，因此在最小化问题中忽略了它们的影响。

3.5.1. Kabsch algorithm

给定两个点云P和Q，结合它们的特征匹配函数m和权值{wl}，我们总结出了闭式解,kabsch如下:
我们首先确定p和q的加权质心p和q:

则中心点云计算为:

则加权协方差矩阵S可计算为:

其中W = diag(w1，…(wN)为对角权重矩阵。
考虑奇异值分解S = UΣVT，解为:

det表示计算行列式，这里使用det是为了避免生成反射矩阵。最后，ˆt计算如下:

Kabsch算法是可微的[Paszke et al.， 2017]，因此可以插入到端到端模型中进行稳健估计

3.5.2。几何损失

在端到端点云配准模型中，给定地面真相和估计转换，我们有几个选项来测量偏差和监督训练
Frobenius norm:
相对变换矩阵的Frobenius范数:

其中矩阵a的Frobenis范数定义如下

L2 norm

L1 norm

3.6. 基于patch裁剪 Patch-based pruning

我们的目标变成挖掘落在重叠区域的两个点云的子集，这可以通过分析它们的外观相似性来完成。
在接下来的部分中，我们首先提出了一个简单而有效的聚类和集合聚合方法，然后我们引入了一个最优传输层来解决部分分配问题

3.6.1. 采样和分类 Sampling and clustering

第一步是为每个点云构建几个子集(补丁)。
我们分两个步骤构建补丁。考虑点云P，首先，我们应用迭代最远点采样(FPS) [Qi等人，2017b]来确定K个质心；其次，利用K近邻搜索法形成K个patch。每个patch的大小M取决于输入的大小和patch的数量。在实践中，我们通过网格搜索来确定这一点。
其他先进的方法包括几何同质分割[Landrieu和Simonovsky, 2018]有大的计算消耗。

3.6.2. 点集聚合 Set aggregation

集合聚合为每个补丁计算一个紧凑的全局描述符，我们有两个选择:一个是直接从坐标中学习全局描述符，例如Pointnet中的瓶颈；另一种是聚合逐点的FCGF。第二种它具有更丰富的全局和局部context，有助于消除类似补丁的歧义

一个patch有相关坐标Cs和特征Fs，我们的目标是将它们聚集到一个全局描述符Gs上。在处理坐标不变性时，max-pooling和average-pooling将每个点视为平等的，无法捕捉复杂的全局context，我们采用data-dependent attentive pooling[Hu et al., 2020]具体来说，我们首先学习一个线性层W来映射特征向量来关联权重s，然后我们对加权的特征向量应用另一个MLP来生成我们最终的全局描述符

实际上，max-pooling和average-pooling可以被看作是专注pooling的特殊情况，其中s等于[0，…, 1,…， 0]和1/M，使MLP成为同一层

3.6.3. 部分分配 Partial assignment

部分分配决定了topk配准对用于注册
Outlier bins：具体来说，我们首先从全局描述符{Gs}构建K × K得分矩阵S，然后将其扩展到满足的(K + 1) × (K + 1)矩阵S
Optimal transport：给定增广得分矩阵S，我们的目标是找到定义两个patch集之间对应的部分分配矩阵P∈R(K+1)×(K+1)
Sinkhorn’s algorithm

Loss function：

构建的三个子集方法与 cofinet不太一样，设置的标准是Oij>50%则（i，j）为匹配集M，否则为I或J

3.7. 完整模型 Our complete model

我们提出的低重叠三维点云配准完整模型如图3.14所示。考虑两个点云P和Q，首先将它们体素化成三维网格，然后运行特征提取模型得到FCGF特征[Choy et al.， 2019b]。接下来，我们从每个点云中采样N个点和相关特征，以实现高效的批处理。然后，对样本topk patch对进行基于patch的剪枝。每个patch对由我们的滤波网络独立处理，以确定内层值和离群值。最后，我们使用inlier ratio作为指标，从总topk对中选择一个patch对，然后对其运行Kabsch算法，得到最终的姿态估计

我们发现内层比率是确定重叠最多的patch对的可靠指标。直觉上，一个高重叠的patch对在一个过完备的对应集中有更多的ground truth inliers，因此我们的过滤网络受离群值的影响更小，在预测inliers时更有信心。我们通过设定预测对数的阈值来衡量这种置信度，并对内部比率进行计算。

4 实验 Experiments

4.1. 评价指标 Evaluation metrics

Overlap ratio

当min(αij， αji)≥0.3时，Pi和Pj重叠
Feature match recall

其中M为片段对的数目，τ1为特征空间中对应(p, q)的欧几里德距离的阈值。τ2是对应集内层比的阈值，可由RANSAC所需迭代次数k的理论分析确定。求出至少n = 3个对应点，成功率p = 99.9%，当τ2 = 0.05时，迭代次数为k≈55000;K = 860，如果τ2 = 0.2)。

特征匹配的召回率优于精度，因为后者可以通过剪枝片段对任意增加.FCGF特征[Choy等人，2019b]可以在严格的内层比和内层距离阈值的情况下保持高查全率，这是一个很有前景的高效和精确的姿态估计特征。
Relative translation and rotation error

Geometric registration recall

τ被定义为0.2米

4.2 数据集 Dataset and benchmark

4.2.1 3DMatch benchmark

4.2.2 LowOverlap benchmark

官方的3DMatch基准[Zeng et al.， 2017]只考虑重叠超过30%的点云配准4，而本文针对的是低重叠区域。对于8个测试场景的所有片段集，我们计算每个片段对之间的重叠率，并构造一个新的基准，我们称之为LowOverlap基准。根据重叠率将其分为4个层次:5%-10%、10%-20%、20%-30%和30%-40%，每一层次分别有1591、2315、1477和989对片段。

4.3 结果 Results

4.3.1 参考方法 Baseline methods

Hand-crafted filtering methods
RANSAC [Fischler and Bolles, 1981]与启发式(Lowe’s ratio test [Lowe, 2004]和互检)和谨慎的超参数调优一起，在40年的时间里一直是过滤异常值的经典方法，即使在今天，它们仍然难以被击败[Jin et al.， 2020]。截断最小二乘估计和半定松弛(TEASER++) [Y ang等人，2020]是一个相当近期的工作，它允许认证注册。它提供了最终解决方案的可靠性指标，并允许拒绝注册，这对同时定位与映射(SLAM)系统中的环路闭合检测特别有用。我们采用Open3D [Zhou et al.， 2018]的RANSAC实现，最大通信距离为5厘米，两个收敛准则分别为50000和1000。对于TEASER++，我们取作者6的3DMatch数据集后面的超参数。我们为每个点cloud7采样5000个点和相关特征，并报告结果，作为一个初步的离群值过滤器，相互检查或不检查。相互检查被证明是一个有效的初步步骤，它可以过滤掉大约90%的通信。详细结果见表4.1和表4.2，*表示方法相互检验。我们可以看到，RANSAC从两个基准的相互检查中获益，而TEASER++则受到影响。一方面，相互检验增加了式4.2中的内层比τ2，使RANSAC在给定固定迭代的情况下，能够对更好的假设集进行抽样。另一方面，它也减少了内层的真实数量，从而损害了TEASER++的性能。RANSAC和TEASER++在高重叠区域的表现相似，但在低重叠区域的表现差距较大(见表4.2)。

Deep point cloud registration
尽管有许多端到端点云配准模型[Aoki et al.， 2019, Sarode et al.， 2019, Wang and Solomon, 2019a]，但大多数模型只处理几乎100%重叠的点云。图4.3显示了这种注册的例子。据我们所知，PRNet [Wang and Solomon, 2019b]和RPMNet [Yew and Lee, 2020]是仅有的两种以部分到部分注册为目标的开源模式。然而，它们仍然局限于模拟的ModelNet40数据集[Wu et al.， 2015]，并在大约50%的重叠情况下进行训练。我们在3DMatch数据集上训练DCP [Wang and Solomon, 2019a]和PRNet [Wang and Solomon, 2019b]，不能得到合理的结果，这在DGR [Choy et al.， 2020a]的表1中也得到了证实。对于RPM-Net[Yew and Lee, 2020]，我们将特征提取模型替换为FCGF [Choy等人，2019b]，最终在3DMatch基准上的注册召回率为0.549。此外，我们还将SuperGlue [Sarlin et al.， 2020]的前端替换为FCGF，并将其扩展到3D点云配准，召回率提高到0.605，仍远低于RANSAC或TEASER++。主要原因是两个模型中的Sinkhorn层不能提供足够的自信对应。我们将此归因于ModelNet40和3DMatch数据集之间的领域差距。深层模型更容易学习ModelNet40数据集中大多数形状的规范表示。此外，由于重复的、平面的局部几何形状，3DMatch数据集在特征匹配方面有更多的歧义

4.3.2 本文方法 Our methods

我们将modified LTFGC [Moo Yi et al.， 2018]和OANet [Zhang et al.， 2019]作为过滤网络在我们的模型中进行了测试。在3DMatch训练数据集上从头开始训练过滤网络。我们把所有的碎片对超过20%的重叠,随机抽样2048点每个点云,建立通讯,然后用分类训练他们损失只使用亚当优化器(Kingma,英航2014)100时代,学习速率初始化0.0001分,在20除以10,50和80时代。剪枝方案也是单独训练的，它是一个非常轻的网络，使用负对数似然损失可以在10个epoch内训练。patch号K设为10，每个patch有512个点，覆盖整个点云的四分之一。在从部分分配矩阵中删除垃圾箱行和列之后，我们从100种可能性中选取10个补丁对。

5 结论和未来工作 Conclusion and future work

5.1 结论

在本论文中，我们研究了低重叠的3D点云的配准任务，并展示了使用剪枝方案对配对配准的改进结果[Gojcic等人，2020]。我们首先发现在标准3DMatch基准上的性能[Zeng et al.， 2017]几乎饱和，通过分析失败的情况，我们发现这些片段对大多数有低重叠。然后我们报道大多数端到端深点云配准模型在真实扫描上无法实现合理的性能，这是由于真实扫描上的低重叠以及ModelNet40 [Su et al.， 2015]和3DMatch [Zeng et al.， 2017]之间的领域差距，由于重复的、平面的局部几何形状，特征匹配具有更多的模糊性，因此后者比较困难。接下来，我们分析了Gojcic等人[Gojcic et al.， 2020]提出的基于学习的成对配准管道，发现对于低重叠片段对，它仍然可以在离群点过滤步骤上中断。我们观察到重叠区域的两个相交斑块具有相似的几何形状，这种形状对欧几里德变换具有鲁棒性，因此我们提出了一种剪枝算法来挖掘重叠最多的斑块对，并利用它们进行进一步的配准。具体来说，我们的剪枝方案首先从输入点云构建几个patch，然后用一个简单的池化模型对局部特征进行聚合，并预测一个全局的patch描述符。最后，一个可微分的Sinkhorn层[culturi, 2013]解决了由垃圾箱行和列扩展的分数矩阵的部分分配问题。该剪枝方案轻便灵活，可以很容易地插入到深点云配准模型中。我们希望它能成为深度学习时代探索这一挑战性任务的一个良好开端。

5.2 未来工作 Future work

Co-contextual learning 在二维特征匹配中，共情境学习已经表现出了很强的性能[Sarlin等，2020]。其高层思想是特征提取模型独立地作用于每一幅图像，使所提取的特征不知道被匹配的另一幅图像，从而在特征匹配阶段造成许多歧义。协同上下文学习通过允许两个特征集相互通信来工作，然后通过消息传递公式聚合信息来更新特征[Gilmer等人，2017]在一个完整图上。我们发现这样的方案对图像匹配非常有效，它几乎使原始特征的内层比率加倍。此外，该算法大大降低了相似度第二高与最高的比例，从92%降至70%，使特征匹配的模糊性降低。我们已经进行了大量的实验，将这个想法扩展到点云配准，但只是得到了一些改进。一个可能的突破是旋转不变位置编码。
Soft attention scores在现阶段，我们通过简单地删除它们来对点进行困难的修剪，如果我们在第一步中未能找到重叠最多的patch对，这是有问题的。软剪枝方案将依赖于逐点的注意分数来指导特征匹配和对应加权。这是更健壮的，因为我们模型的所有组件都可以访问完整的输入，而不考虑它们的订单，注意力得分被更新，这样所有组件最终达成一致。
Hierarchical structure我们的模型以一种一次性的方式修剪点，不管重叠区域的实际大小，最终的patch覆盖了输入的25%。理想情况下，该模型遵循由粗到细的策略，首先取稀疏点云，粗略确定重叠区域，然后消耗稠密点云，更精确地处理重叠区域。我们希望上述软注意分数能够使这种层次结构成为可能。
Fine-tuning the whole model目前，我们分别训练模型的各个部分，最后将它们组合在一起。理论上，我们的模型仍然可以从整体的微调中受益。

在LowOverlap基准上实现中间修剪结果的可视化：我们随机抽样12个片段对，第一行显示输入，第二行显示剪枝结果。请注意，每个补丁实际上只有512个点，为了更好的可视化，我们对原始点云应用半径搜索来获得密集的表示。

https://ethz.ch/content/dam/ethz/special-interest/baug/igp/photogrammetry-remote-sensing-dam/documents/pdf/Student_Theses/MA_Shengyu%20Huang.pdf