当 VR 遇上人工智能最火的“深度学习”,一种新的手势识别技术就诞生了

支持体感交互的VR设备能大大提高虚拟现实体验,不过像HTC Vive这种采用手柄交互的方式,并不能带来更接近现实的操作体验,笔者曾发表过一篇文章《目前主流动作捕捉技术深度解读,HTC Vive 等 VR 设备是如何实体感交互的?》谈到目前主流的交互技术,认为未来采用类似Leap Motion的手势识别技术才是王道。

不过,这种技术并未发展成熟,准确率和精细度都有待提高,目前也有不少技术公司、机构等朝着这个方向努力,近日也有消息透露,普渡大学C Design Lab实验室研发出了一个名为“DeepHand”的新系统。


这个系统专为手势识别技术而打造,其特点是使用了卷积神经网络来模仿人类大脑,可进行深度学习,理解手部关节和运动的变化,提高识别的准确率和精细度。

当 VR 遇上人工智能最火的“深度学习”,一种新的手势识别技术就诞生了


普渡大学的Karthik Ramani教授表示:“我们把它称为空间用户界面,因为你是在空间中与电脑进行交互,而不是通过触摸屏和键盘。如果用户想从虚拟桌面上捡起物品,驾驶虚拟汽车的话,很明显手部是关键。我们可以实时监测到你的手部位置,你的手指位置,以及你的手部和手指所有的动作。”


DeepHand采用类似Leap Motion的双摄像头深度感应相机来捕捉用户的手部,配备了专门的算法来解释手部运动,研究人员通过250万个手部姿势和形状组合来“训练”DeepHand。手指关节的位置被指定为“特征向量”,可以快速检索,然后,系统会从数据库中挑选一个最合适的数据来呈现给相机。


DeepHand可以识别出手部的关节角度,并通过数字组合来表达出这些角度的变化和形状组合。需要注意的是,这个系统需要“训练”,简单点说就是需要对各种手势动作进行录入,动作录入越多,识别的准确率则越高。

当 VR 遇上人工智能最火的“深度学习”,一种新的手势识别技术就诞生了


手势识别技术已越来越成熟,这其实是一种基于计算机视觉动作捕捉的技术,相比使用手柄交互其操作更接近真实体验,也无需像诺亦腾那种设备需要佩戴手套,使用起来更加自然。


不足的是,这种技术需要庞大的程序计算量,对硬件设备有一定配置要求,同时受外界环境影响大,比如环境光线昏暗、背景杂乱、有遮挡物等都无法很好的完成动作捕捉。


但这些问题迟早会被解决,比如光线昏暗无法捕捉的问题,使用红外夜视技术也许是个不错的解决方案。因此,在日后这种技术很可能会延伸到腿部甚至整个身体的识别以及交互。

上一篇:《工业控制网络安全技术与实践》一一2.4 工业控制系统现场设备的种类


下一篇:《工业控制网络安全技术与实践》一一1.6 本章习题