【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network

【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network

这是基于骨骼的行为识别方法中,使用时空编码图的开山之作,后续还会介绍许多使用时空编码图的方法。

正文

【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network
整个方法的结构很简单,如上图所示,首先将骨骼序列编码为一张时空编码图,然后将时空编码图输入到卷积神经网络中,得到行为类别的识别结果。

时空编码图的构建

在时空编码图构建的过程中,首先将人体骨架分成5个部分,分别为:四肢和躯干,然后每一部分的关节点组成一个向量,所有部分的向量再组合成一个大的向量。最后沿着时间顺序将每一帧的向量堆叠在一起,组成一张时空编码图,其中骨骼的xxx、yyy、zzz坐标分别为时空编码图中的RGB通道。

在训练的时候,将骨骼关节点的坐标归一化到[0,255],就是使用的最基本的归一化的方法,然后将其resize到 60×6060 \times 6060×60。

一些行为的时空编码图的效果如下图所示:
【论文阅读】Skeleton Based Action Recognition with Convolutional Neural Network
其他的就没有啥好介绍的了。

上一篇:文章阅读-VoxNet: A 3D Convolutional Neural Network for Real-Time Object Recognition


下一篇:【论文阅读】Joint Distance Maps Based Action Recognition With Convolutional Neural Networks