Abstract
这篇文章提出了PointWeb
,一种在点云的局部邻域上下文中提取特征的新方法,与之前工作不同是,我们在局部邻域中稠密的将每个点和其他点连接起来。目的是基于局部区域的特征来指定每个点的特征,以更好地表示该区域。提出了一种新的特征调整模块,即AFA(Adaptive Feature Adjustment)模块,用于发现点之间的相互作用。
待补充
PointNet
直接使用MLP去处理原始点信息,紧随其后的PointNet++
引入了分层结构和局部特征信息进一步提高性能,其与将像素的特征与其局部邻域集成在一起的2D卷积不同,PointNet++
中局部区域的特征聚合是通过最大池实现的。如下图a,对于DGCNN
,它通过将中心点的特征与其通过knn
计算的临近点之间的特征差作为另外的输入维度连接起来,然后进行MLP
和max-pooling
来聚合每个局部区域中的信息。这里仅仅考虑了中心点的对关系,因为区域信息的聚合操作也是通过简单的max-pooling
实现的,所以区域信息的整合依然是有限的。
补充部分Beg-PointCNN
CNN之所以获得如此大的成功,关键在于他的Conv
操作,该操作可以利用图像中密集表示的数据中的局部相关性,得到局部集合结构。此处的想法就是可不可以将其在PointCloud
中应用该种想法。
\(\mathcal{X}-Conv\)来鹅城只为两件事:
- 对每个代表点周围的点特征做集成。
- 在隐空间对输入做重排去除输入顺序的影响。
上面两件事的作用可以类比为CNN
里面的Conv
操作。
作者提出了一种在卷积角度处理点云问题的框架,其中最关键的部分被称为\(\mathcal{X}-Conv\),他的主要作用就是解决了上面两件事。
CNN
采用Conv
这种结构对规则的欧氏空间的图像等数据进行逐层的信息整合,本文提出一种\(\mathcal{X}-Conv\)的一种类似卷积的结构来实现相同的目标。他的核心是学习一个\(K \times K\)的特征重排矩阵\(\mathcal{X}\),作用是对任意顺序输入的特征重新排列使模型对输入顺序不变,理想情况下这个矩阵是\(0-1\)矩阵,实际上学习到的并不是完全的二值分布,但是仍然是有效的。