【论文阅读】Joint Distance Maps Based Action Recognition With Convolutional Neural Networks
这篇文章使用的是 成对关节点之间的欧拉距离来构建时空编码图,但是并没有什么理论支撑比之前使用坐标和使用CDNM特征构建的更有优势,但是可以当成一个方法的拓展。
实验方法
整个实验框架就是,分别构建xy、xz、yz和xyz空间的关节距离时空编码图,然后将4种不同空间的编码图分别输入到CNN中,对结果进行融合。
关节距离时空编码图
关节距离时空编码图的构建也是非常地简单,就是计算所有成对关节点之间的欧拉距离,然后concat在一起作为帧级特征向量,比如说有m个骨骼关节点,则可以计算m(m-1)/2个成对关节距离。然后归一化的时候也是按一条序列归一化,取时空编码图中的最大值归一化到[0,255]。
得到的关节距离时空编码图如下图所示:
实验结果
上表是使用不同融合方法的结果对比,可以看到使用Multiply-Score融合的效果最好,我认为是因为这种融合方式对于置信度不高的类别更加敏感,也就是说 如果某一类的信任度有一次比较低,那么这个类就不是很可信。