【论文阅读】SkeletonNet Mining Deep Part Features for 3-D Action Recognition

之前的构建的时空编码图都是以直接排列关节点的坐标来构建。这种时空编码图虽然能够通过归一化来克服平移不变性（translation）和尺度不变性（scale），但是始终存在一个缺陷：就是它始终对于旋转（rotation）是敏感的。本文为了解决这个问题，不再直接使用关节点的坐标，而是根据关节点计算平移、尺度、旋转不变性的特征，基于该特征构建时空编码图，从而达到目的。

网络结构

整个网络结构如上图所示，每一个部分都可以计算出一张CD时空编码图和NM时空编码图，一共5个部分，总共可以计算出10张图，将这些图stack输入到卷积神经网络中即可得到最终的结果。

CD和NM特征

文章提出的平移、尺度、旋转不变性的特征分别称为 余弦距离（CD）和归一化幅值（NM）。

CD和NM特征

CD就是指余弦特征，NM特征就是指归一化关节点之间的向量，所以其能够保持旋转不变性，具体的计算方式如下：

1. 将人体骨骼分成$K=5$K=5个部分，分别为脊柱、左右胳膊和左右大腿。
2. 对于第$k$k个部分，首先确定一个开始关节点$p_{0}$p0​。
3. 然后计算所有的部份内向量（with-in part），部份内的向量是指所有该部分内的其他关节点与该部分的开始关节点之间的向量$\left \{ p_{in}-p_{0} \right \}${pin​−p0​}。
4. 然后计算所有的部分外向量（between-part），部分间向量是指所有不在此部分内的关节点与该部分的开始关节点组成的向量$\left \{ p_{between}-p_{0} \right \}${pbetween​−p0​}。
5. 计算CD特征：对于每一个向量，分别计算部份内向量与部分间向量与之的余弦夹角,即$\frac{u.v}{\left \| u \right \|.\left \| v \right \|}$∥u∥.∥v∥u.v​
6. 计算NM特征，对于人体骨骼的每一个部分，都会选择一个参考向量，所以归一化幅值特征的计算公式为：$\frac{\left \| u \right \|}{\left \| u_{0} \right \|}$∥u0​∥∥u∥​

实验

上表中是和其他方法的对比，可以看到 这种CD和NM组成的时空编码图的效果最好，第一种方法是指直接使用关节点构建时空编码图，但是这种时空编码图不能保证旋转不变性。第二种是使用FTP对时序建模，结果也没有构建时空编码图使用CNN分类的效果好，应该是因为使用CNN的话有多时间尺度的优势。