【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network
这是基于骨骼的行为识别方法中,使用时空编码图的开山之作,后续还会介绍许多使用时空编码图的方法。
正文
整个方法的结构很简单,如上图所示,首先将骨骼序列编码为一张时空编码图,然后将时空编码图输入到卷积神经网络中,得到行为类别的识别结果。
时空编码图的构建
在时空编码图构建的过程中,首先将人体骨架分成5个部分,分别为:四肢和躯干,然后每一部分的关节点组成一个向量,所有部分的向量再组合成一个大的向量。最后沿着时间顺序将每一帧的向量堆叠在一起,组成一张时空编码图,其中骨骼的x、y、z坐标分别为时空编码图中的RGB通道。
在训练的时候,将骨骼关节点的坐标归一化到[0,255],就是使用的最基本的归一化的方法,然后将其resize到 60×60。
一些行为的时空编码图的效果如下图所示:
其他的就没有啥好介绍的了。