为了使虚拟现实(VR)体验高度可信，捕捉表情追踪眼球 HTC新VR面部系统曝光

随着其他虚拟现实头盔制造商有望为其即将推出的机型带来面部和眼球追踪功能，HTC希望通过为其Vive Focus 3提供新的配件来保持步伐。该公司表示，这些附件将提供 “更自然和沉浸式的VR体验”，并实现无障碍功能，如凝视控制。

99美元的面部追踪器使用一个单声道相机，从佩戴者的嘴唇、下巴、脸颊、下巴、牙齿和舌头捕捉表情。其目的是在化身上实时复制用户的 “逼真的面部表情和嘴部动作”。

宏达电表示，面部追踪器具有60Hz的追踪率，并能 “以最小的延迟使嘴唇与声音同步”--该系统的响应时间低于10毫秒。该设备可插入耳机的USB-C接口，重量约为11.6克，所以它应该不会给你的脑袋带来负担。

至于售价249美元的眼部追踪器，它有一个双摄像头系统，可以捕捉到目光的方向和来源，眨眼以及你的瞳孔大小和位置。它的重量约为54克，以磁力吸附在耳机上。宏达电指出，“真实的 ”眼睛活动可以改善VR中的非语言互动。更重要的是，眼球追踪模块可用于研究目的。

该公司建议，演讲辅导、培训和客户服务管理是很好的使用案例。今年早些时候，HTC为头盔发布了一个腕部追踪器配件，它补充说，眼睛和面部追踪可能有助于促进在虚拟社交环境中更好地参与，如活动、远程会议和闲逛。

这些附件甚至可能被用于动作捕捉，以帮助在电视、电影和游戏中对角色的面部进行动画处理。宏达电表示，在Vive Wave SDK和即将推出的OpenXR支持的帮助下，开发者可以将用户的生物识别数据整合到应用程序中。此外，还有Unity、虚幻游戏引擎和Native的整合。

人脸识别，是基于人的面部特征进行身份识别的生物识别技术，可以被用来解锁智能手机，提供对建筑物的安全访问，并加快机场的护照检查等。现在，人脸识别在VR中也有应用。

来自澳大利亚、新西兰和印度的国际研究小组将人脸识别技术提升到一个新的水平，利用人的表情在VR环境中操纵物体，无需使用手持控制器或触摸板。

在由昆士兰大学领导的一项世界首创的研究中，人机交互专家使用神经处理技术来捕捉一个人微笑、皱眉和咬紧牙关时的样子，并使用每种表情来触发VR环境中的特定动作。

研究人员称，系统已被设计为通过脑电图(EEG)耳机识别不同的面部表情。微笑用来触发“移动”命令，皱眉触发“停止”命令，咬紧牙关触发“行为”命令，以此代替手持控制器执行这些动作。

研究人员设计三个虚拟环境，快乐、中性和恐惧，并测量每个人沉浸在每个场景时的认知状态和生理状态。通过再现微笑、皱眉和咬紧牙关这三种普遍的面部表情，探索环境变化是否会触发三种表情中的一种。

例如，在快乐环境中，参与者的任务是穿过公园，用网捕捉蝴蝶。用户微笑时移动，皱眉时停止;在中性环境中，参与者的任务是在车间里穿梭，捡起散落在各处的物品。咬紧牙关会触发一个动作，这里是捡起物品，而开始和停止的命令是由微笑和皱眉触发;在可怕的环境中也采用了同样的面部表情，参与者在地下基地中穿梭，射击僵尸。

总体而言，虽然手持控制器的性能可能会更好，因为它们比面部表情更直观。但是参与者表示，感觉更沉浸在面部表情控制的VR体验中。

最后，研究人员表示，这项技术也可用于补充手持式控制器，在那里面部表情是一种更自然的互动形式。此外，还将允许残疾人(包括截肢者和运动神经元疾病患者)在VR中进行免提交互。

为了使虚拟现实(VR)体验高度可信，Facebook Reality Labs(FRL)的研究人员开发了一种名为“Codec Avatars”的系统，使VR用户能够与他人互动，同时精确地表现自己的形象实时动画。Facebook的研究科学家Shih-En Wei说：“我们的工作证明，可以精确地从紧密安装在VR头显上的摄像头制作逼真的化身。”

研究人员配置了一个带有最少传感器的头显，用于面部捕捉，系统可以在VR中实现双向，真实的社交互动。该团队表示，VR系统可以使用最少的头显摄像头(HMC)精确跟踪用户的实时面部表情，从而以非常详细的个人形象为头像设置动画。

通过使用每个像素比较转换后的图像，不仅仅是面部特征以及3D化身的渲染，我们可以通过可微分渲染在跟踪头显的图像和3D化身的状态之间进行精确映射。

在映射建立后，训练神经网络从实时的最小一组摄像机图像中预测人脸参数。除了为VR中的化身设置动画外，Facebook团队还在构建系统，使人们能够通过一些图像或视频快速轻松地创建自己的头像。

Facebook团队将在7月28日至8月1日期间在洛杉矶举行的“SIGGRAPH 2019”上展示他们的VR实时面部动画系统。

研究人员还将展示人工智能(AI)技术。网络(GAN)执行一致的多视图图像样式转换，以自动将HMC红外图像转换为看起来像呈现的化身，但具有与VR用户相同的面部表情的图像。

，近期Facebook也公布了一项基于容积捕捉的动态全身虚拟形象方案：可感知驱动信号的全身动态虚拟形象系统。其特点是采用一个根据条件变化的自动编码模型，可以将姿态、面部关键点等不完整的驱动信号转化成动画数据，生动且逼真的体现人体结构和动态外观变化。

实际上，全身动态形象生成所面临的困难是，包括面部在内的全身动作捕捉信息不完整，因此通过解析动捕系统获得驱动信号，来实现更加通用的全身动态模型效果。此外，还结合潜在空间模型，来捕捉动态虚拟形象所需的其余信息。利用驱动数据，该方案生成的变分模型将包含一小部分由缺失数据组成的不确定内容，然后通过算法来预测和分配这一部分的数据。