毕设进了图网络的坑,感觉有点难,一点点慢慢学吧,本文方法是《Rethinking Table Recognition using Graph Neural Networks》中关系建模环节中的主要方法。
## 概述
本文是对经典的PointNet进行改进,主要目标是设计一个可以直接使用点云作为输入的CNN架构,可适用于分类、分割等任务。主要的创新点是提出了一个新的可微网络模块EdgeConv(边卷积操作)来提取局部邻域信息。
其整体的网络结构如下所示,值得注意的有:
- 整体的网络结构与PointNet的结构类似,最重要的区别就是使用EdgeConv代替MLP;
- 对于每个EdgeConv模块,我们即考虑全局特征,有考虑局部特征,,聚合函数 ;
- EdgeConv模块中KNN图的K值是一个超参,分类网络中K=20,而在分割网络中K=30;
- 在分割网络中,将global descripter和每层的local descripter进行连接后对每个点输出一个预测分数;
- 每层后的mlp都是为了计算边特征(edge features),实现动态的图卷积。
## Edge Convolution
- 上图是 EdgeConv 的示意图。假设一个F维点云,其中 F 表示每个点的维度,最简单的可能是 x, y, z 三维,另外还可能引入每个点颜色、法线等信息。
- 给定一个有向图 用来表示点云的局部结构,其中顶点为,边为 ,边特征函数,其中 h 是
- 上图1就描述了一个点Xi和其邻近点Xj 的边特征eij求解过程,h使用全连接,用tf.layers.dense实现。(注:Dense and fully connected are two names for the same thing.)
- 特征聚合函数描述的是结点参数更新的过程,定义为□,其定义是: