文章目录
1. 链接
斯坦福大学在读博士生祁芮中台：点云上的深度学习及其在三维场景理解中的应用
一、简介
3D deep learning,与2维的图像深度学习不同，这由3维数据的自身的复杂性造成的。
3维数据表示方法：point cloud; mesh; volumatric; multi-view images RGB(D)。
点云的表示，更接近原始数据，且表示方式更简单。
之前的目标检测工作：
（1）先把不规则表示的点云表示成栅格后的点云。
缺点是：计算的空间、时间复杂度都随着分辨率的增长，呈3次方的增长。低分辨率会降低量化的精度。
（2）把3D点云投影到2D平面，得到2D数据
缺点：损失了3D信息，还需要考虑投影的角度。
（3）先手工处理，再全链接。
缺点：受到手工处理的影响。
二、直接在点云上学习的深度学习方法–PointNet
2.1. 端到端学习。
2.2. 点云置换不变行。
选择对称函数。在对称函数中，函数的输出值不随输入变数的排列而改变，这些排列形成一个群，也就是对称群。
如何用神经网络构建对称函数？
把每个点映射到更高维的空间，再进行。冗余的表示不容易丢失点云信息。
MLP多层感知器，g最大值池化。
2.3. 整个网络
2.4 对比其他网络优异性 MIOU
2.5 轻量网络
2.6 对数据丢失鲁棒性高
因为仅仅需要关键点即可。max池化后的示意图。
三、PointNet++
3.1 相比pointnet，pointnet++的讲解
pointnet要么对单独1个点，要么对全部点。没有local context.难以对精细的物体做分割。平移后会改变（x,y)，没有平移不变性。
pointnet++对局部区域，重复的使用pointnet。得到了多级的特征学习；使用局部坐标系实现了平移不变性；因为都使用pointnet具有置换不变性。
提取局部的点云放到局部坐标系下。
x,y代表整个小区域，在整个点云中的位置；向量特征F，代表小区域的几何形状。
重复以上工作，得到了一系列的点，每个点代表了它所在的小区域的点的特点。（点集的简化）
选择小区域—小区域点的提取—选定局部坐标系—应用pointnet。
类似CNN。
分类：
上采样后，语义分割：问一下
3.2 如何选择小区域的大小
CNN中选择小的kernel.
3D点云中，采样率不均匀。近密远疏。
采用 dropout ,DP;
多尺度组multi-scale groups.MSG
多层multi-res group.MRG
3.3 应用于非欧式空间non-euclidean space
在欧几里得几何中，平行线任何位置的间距相等。在非欧几何中，平行的直线只在局部平行，就象地球的经线只在赤道上平行。
可以分析内部点的特征。intrinsic point feature.
三、应用–3D目标检测、3D场云分析
3.1 基于视椎的立体识别
在行人等小物体的检测上排名考前。
3.2 归一化操作
矩阵旋转坐标改变。