浅谈眼球追踪解决VR/AR三大问题

眼球追踪就是这样一个让机器人更懂人类的技术。

眼球追踪主要是研究眼球运动信息的获取、建模和模拟。一是根据眼球和眼球周边的特征变化进行跟踪，二是根据虹膜角度变化进行跟踪，三是主动投射红外线等光束到虹膜来提取特征。

早在2012年，眼控技术研究科技公司Tobii宣布研发出了适配Windows 8的眼控Gaze界面。这是一家做眼球追踪技术较早的瑞典公司。2007年公司估值1400万美元，2009年则达到了2680万美元。2012年，英特尔注资2100万美元进Tobii公司，也是出于对windows 8操作系统一次投资。2014年，Tobii 推出了第二代智能眼镜 Glass 2，利用每个镜片配备 2 个摄像头以及相应的软件技术，实现对眼球动作的精准捕捉。

Tobii 智能眼镜

英特尔虽然很早就收购了眼球追踪的公司，但是经过多年，眼球追踪依然未成为笔记本电脑的核心交互方式。而VR的发展却让我们看到了眼球追踪技术应用的更多的可能性。

Oculus的创始人Palmer Luckey曾表示，眼部跟踪技术会成为VR技术未来的一个“重要组成部分”。不仅能实现注视点渲染技术，它还能用来创造一种视觉深度，以创作出更好的用户界面。

（1）减少眩晕

VR要带给人沉浸感，就要做到能让人在虚拟空间里自然运动，这需要通过运动追踪来改变场景的呈现。目前的VR设备主要是利用空间定位技术来捕捉人的身体的位置运动，用惯性传感器来捕捉人的头部的运动，人在转动头部时，视角会发生相应的变化。

但是这只是比较初级的动作捕捉，人其实大多数时候都是通过转动眼球而不是头部来改变视觉。人们习惯用眼球转动（而不是头部转动）去观察。

目前的VR只追踪头部不追踪眼球运动容易使人眩晕（MoTIon Sickness）。人类对于头部转动和相对应的视野的变化是极度敏感的。如果用户的头转动了，而相对的，视野转动有延迟，只要很微小的延迟就能感觉得到。有多微小呢？研究表明，头动和视野的延迟不能超过20ms，不然就会非常明显。而眼球追踪技术运用在这里正好可以解决这一问题，以眼球的变化来控制场景的变化。

（2）注视点渲染

场景的变化很必要，但是要让VR呈现出同自然世界一样的场景和空间感所需的信息量和计算量是极大的。目前的VR大多数是将全部场景以同等的清晰度来呈现，用户移动头部和身体时虚拟物体也会相应地变换位置，视点拉近和退后都会影响景深，这些变化都需要大量的计算和不断更新。

目前的VR能达到每秒36次的刷新，而要达到人眼场景转换的速度则需要2000-3000次每秒，要实时渲染出这些场景，就连很高配的电脑都达不到。

而事实上，VR根本就不需要也不应该以全部的清晰度来呈现场景里的所有物体。在日常生活中，我们都明白“近大远小”，并且当我们注视一个物体时，这个物体会变清晰而其他物体会变模糊，这样我们看物体才有空间感和景深。如果当我们的视线转移了，画面中的物体还是全部清晰的，那么我们的眼睛就会感到“不适应”，并且会因为处理过多信息而疲劳。

注视点渲染的效果

注视点渲染可以解决VR里画面呈现的问题，通过追踪眼睛的注视点，计算机可以只清晰渲染出注视点的场景，而将周边的场景模糊呈现。这样我们眼睛在虚拟环境中看物体和在自然场景中看物体的体验就会变得一致，这样虚拟和现实的切换就不会有明显的障碍，由视点和运动带来的眩晕也会减轻。

Oculus首席科学家Michale Abrash在谈及VR趋势时说道，VR将在5年内解决聚焦的景深问题。而视点渲染技术和眼球追踪技术是关键的解决办法。前文已写到，英伟达与七鑫易维展开合作将从底层技术实现GPU基于眼球追踪的注视点优化渲染技术。

（3）眼球触发的交互界面

VR中的交互目前还是一个尚需探索的领域，用户已经习惯了2D的平面界面信息呈现，在进入VR里时会出现信息迷失的状态。在很多的试验中发现，用户不会通过转动头部来获取整个环境信息，也很难自己找到隐藏的菜单和选项，通常需要工作人员的指引或者是游戏语音的引导。

眼控VR将会为VR带来全新的玩法，在射击类游戏中可以由眼睛控制光标锁定，当用户闭上一只眼时自动调出瞄准镜等，还可以根据玩家在游戏场景中注视点不同触发不同的剧情，当玩家注视路口时，会自动出现地图导航，当注视NPC不同部位触发不同的剧情等。除此之外眼控的交互方式还可以应用于游戏菜单，不需要使用的菜单会自动隐藏，使用时通过眼控触发，使VR界面更加干净。

当然，虚拟现实中的交互方式还有待探索，不管是Leap MoTIon主张的手势交互，还是眼球控制的技术点交互，都必须符合人们的交互习惯。

眼球追踪的下一步怎么走？

虽然各大巨头都各自收购、投资了眼球追踪技术公司，眼球追踪技术在解决VR因为的眩晕症、提升沉浸感、增强交互方面都有极大的作用，眼球追踪技术已然成为AR/VR发展的关键性和基础性技术。