VR技术实现手势识别还需要攻克哪些方面的难点

（文章来源：yivian）

VR终极手部交互范式并不是单纯的“手势识别”，它要满足4个基础条件，这些条件同时也是需要攻克的难点：1. 空间定位：理想的空间定位能力，得到手部与人眼(头显)的精准相对位置关系，是正确渲染及交互的基础;2. 手部追踪：一只正常人手大概有二十多自由度，加上手腕小臂总计约28个，追踪需要精准，可靠，低延迟。

3. 触觉反馈：给人以更明确更加符合直觉的反馈效果(基于视觉原理的裸手操作难以给人明确的反馈);4. 工业设计：(实体外设需轻便以降低疲劳，同时不会影响手部自身活动等，以及符合人体工程学佩戴舒适等)四个基础条件中有时可作为一个整体讨论，统称为追踪定位能力，是手部交互的基石，也是通常学术界所看重的技术难点。

手部追踪定位能力决定了人在虚拟世界能否像现实世界中一样自由使用灵巧的双手。低品质的追踪定位增加了用户疲劳度，降低了输入效率(要将手置于可识别区域以减少追踪失效，增大动作幅度以弥补精度不足或自由度的缺失)，以及带来不确定性输入的困扰。同时追踪定位能力前置条件，决定了能否在准确的位置和时间触发产生反馈效果。所有VR手部追踪产品只需对照这四点基础条件进行判断。

LeapMotion，微软HL2的手部追踪，OC6上Oculus Quest推出的手部追踪，代表了人类在以计算机视觉为基础的手部追踪的最高水准。已经展示出了双手自然交互的魅力，并已经在许多低交互需求的场景产生价值。然而依旧受原理机制的天花板所限制，低品质的追踪定位能力并不能提供真正可靠舒适的交互体验。LeapMoTIon公司从融资近亿美金到最终3000万被收购，已经充分说明了基于计算机视觉的手部交互技术的局限性。

需要说明的是AR环境与VR有所差异，为了开放的外部现实环境，即使体验相对较差，AR也会优先采取裸手方案。相比VR环境已成为基础配置的6DoF手柄交互以及专门设计优化的OculusTouch和Knuckles手部控制器，当今AR头显更多采用效果差强人意的3DoF遥控器和基于计算机视觉的裸手方案。CTRL—Labs现正与Facebook谈被收购事宜，拟5-10亿美金。是当今唯一融资额度巨大，对外宣称想把此技术运用于VR/AR交互控制的公司。

经过近几年的行业发展，较好的VR头显均实现了6DoF的手柄空间定位，很好地完成了这项基础而又重要的条件要求。数据手套是个一言难尽的话题。很多人的偏见是认为手套形态设备就会很“准”，同时也认为使用数据手套会降低舒适度。现实并非如此，数据手套形态与“准”并无因果关系，市面上充斥的是大量低水准昂贵的鸡肋产品;而工业设计及传感方案的好坏决定最终舒适程度。

基于数据手套捕捉人手姿态时主要使用的传感器类型(技术原理)，包括且不限于机械外骨骼传感器式、光纤传感器式，弯曲传感器式，磁感应式，惯性传感器(一般为包括加3轴速度计、3轴陀螺仪和3轴磁力计的九轴IMU)式等。每一种类别情况要考虑的问题均不相同，但总的来说，任何一种方案想要做好绝非易事。这也是为什么长久以来没有诞生一种低成本完成的可靠精细手部动作捕捉的技术。

当今即便普通商用版数据手套，有时用于一些低水平的影视动作捕捉，需要复杂耗时的人工后期修正处理。若基础追踪定位能力都无法达标，在此基础上去追求更是是本末倒置的做法。仅从动作捕捉效果考量，当今纸面参数最好的数据手套，是顶配级别的光纤式数据手套，售价大概在15-20W人民币每套，成本约在数万人民币。其追踪效果大概与排除了可靠性和视野问题的顶级计算机视觉手部动捕方案相当。

过去很长时间，计算机视觉有了长足的发展，人们总想把一切问题都交由计算机(视觉)去解决。计算机目前是一个相对低进入门槛却高产出门槛的行业，吸收了大量资源，也导致流向其它重要行业的资源十分有限。数据手套在看似无限前景的计算机视觉行业的夹缝里艰难进步，各种方案层出不穷却未能出现真正好的大一统式的产品变革。可以说当今的数据手套方案与诸如Valve Knuckles和Oculus Touch这样的新型手柄相比，并无优势可言。