基于python飞桨PaddleHub实现将视频动作转化为皮影戏
飞桨(PaddlePaddle)是集深度学习核心框架、工具组件和服务平台为一体的技术先进、功能完备的开源深度学习平台,已被中国企业广泛使用,深度契合企业应用需求,拥有活跃的开发者社区生态。提供丰富的官方支持模型集合,我们这里将要使用到其中的骨骼节点检测模型,通过PaddleHub提供的人体骨骼关键点检测预训练模型,我们就可以快速实现皮影戏的效果。
这里说一下这个项目的大体实现流程,先将现有的视频按帧剪切为一张张的图片,并保存到本地,使用PaddleHub提供的人体骨骼关键点检测预训练模型来获取每张图片里人物作出动作时的骨骼关键节点模型,例如左手、左脚、右手、右脚、躯干以及头颅的位置以及方向,在PaddleHub获取到人体骨骼关键点模型之后,就可以对这些关键点进行连接,从而形成了人体姿态。接着我们将皮影的身体躯干素材拼接到模型上,这就完成了将图片里的人物动作转化为皮影戏。
将每张图片都这样操作,保存拼接之后的的图片,将所有的图片合成为视频即可让皮影跟随人体姿态进行运动,就达到“皮影戏”的效果。