索尼全球首款VR2头显采用Tobii眼球追踪技术:带来更加身临其境的游戏体验
扫描二维码
随时随地手机看文章
眼球追踪是一项科学应用技术,用户无需触摸屏幕即可翻动页面。从原理上看,眼球追踪主要是研究眼球运动信息的获取、建模和模拟,用途颇广。而获取眼球运动信息的设备除了红外设备之外,还可以是图像采集设备,甚至一般电脑或手机上的摄像头,其在软件的支持下也可以实现眼球跟踪。
眼球追踪技术是一项科学应用技术,一是根据眼球和眼球周边的特征变化进行跟踪,二是根据虹膜角度变化进行跟踪,三是主动投射红外线等光束到虹膜来提取特征。眼球追踪技术是当代心理学研究的重要技术,广泛运用于实验心理学、应用心理学、工程心理学、认知神经科学等领域。当人的眼睛看向不同方向时,眼部会有细微的变化,这些变化会产生可以提取的特征,计算机可以通过图像捕捉或扫描提取这些特征,从而实时追踪眼睛的变化,预测用户的状态和需求,并进行响应,达到用眼睛控制设备的目的。
眼动追踪技术已成为心理学,神经营销学,神经认知,用户体验,基础研究及市场研究等多个领域视觉行为和人类行为的技术手段之一。该技术还可以用于医学分析和筛查。从眼动的历史发展进程来看,早期的眼动追踪系统是侵入性的且不能移动,受限非常严重,仅在有限的实验中使用,并且在现在社会受到伦理方面的考验。随着眼动追踪系统的发展,现代的眼动追踪系统利用红外光进行捕捉眼球运动,该系统是非侵入的且更加方便易用。在本文中,我将介绍眼动跟踪技术,并讨论大多数系统用于跟踪眼睛的方法。
7月2日消息,总部位于瑞典的高科技集团Tobii宣布,该公司将为索尼即将推出的PlayStationVR2头显提供眼球追踪技术。
Tobii首席执行官AnandSrivatsa称:“PlayStationVR2为沉浸式虚拟现实(VR)娱乐建立了一个新的基线,并将使全球数百万用户体验到眼球追踪的力量。我们与索尼互动娱乐公司(SIE)的合作是对Tobii世界领先的技术能力的持续验证,以大众市场规模提供尖端的解决方案。”
Tobii公司表示,与索尼的这项交易的收入预计将占其2022年收入的10%以上。
索尼在2021年正式公布了新一代VR头显PlayStationVR2,之后在2022年的CES上披露了其规格。索尼称,与前代产品相比,PSVR2性能和互动性都得到了增强,能给消费者带来更加身临其境的游戏体验。
了解到,PlayStationVR2提供了4KHDR、110度的视野和凹陷渲染。通过OLED显示屏,玩家可以预期每只眼睛的显示分辨率为2000×2040,流畅的帧率为90/120Hz。通过由内向外的追踪,PSVR2通过嵌入VR头盔的集成摄像头追踪你和你的控制器。
索尼官方此前介绍称,通过眼球追踪,PSVR2可以检测到你的眼睛的运动,所以简单地看一下特定的方向就可以为游戏角色创造一个额外的输入。这使玩家能够以新的和栩栩如生的方式进行更直观的互动,允许提高情绪反应和加强表达,为游戏提供一个新的真实水平。
值得一提的是,PlayStationVR2的真机照前些天已经在网上流出,据分析师郭明錤此前消息,索尼已经完成了PSVR2的硬件开发,硬件供应链可以开始在2022年第三季度开始量产,但是否今年推出还是未知数。
据报道,2022年5月10日,华为技术有限公司申请的“根据眼球焦点控制显示屏的方法和头戴电子设备”专利获授权。根据该专利摘要显示,该方法的主要工作原理是,在用户观看显示屏图像时,检测用户眼球的聚焦焦点,当发现这一焦点距离不在看屏幕的范围内(也即没有在看屏幕)一段时间,系统自动关闭显示屏。
相较于学术圈中对眼动追踪技术的进展,似乎华为的这项专利技术并不是多么的惊艳。甚至说是普通。因此,这其中涉及的眼球追踪技术就引起大家的广泛关注。
通常,眼睛跟踪系统包括一个或多个摄像头、光源和计算处理单元。在机器学习和高级图像处理的帮助下,算法将相机输入的照片转换为眼球运动数据。当然,并非每个设备原理都如此。针对不同的设备和应用场景,技术路线并不统一。这就导致虽然开发一个在受控环境中的眼动追踪系统相对容易(比如端坐在电脑前,使用眼球来控制电脑),但要打造一个符合每个人、无处不在的眼动追踪系统,并辅之以各种类型的输出设备,情况就复杂得多。
目前的技术难点
- 因人而异的眼睛,包括大小,形状,颜色,视网膜反射率。更进一步地,还要考虑不同人的视力情况;
- 由于依赖光学原理,那么必须考虑使用过程中的环境光的影响;
- 由于眼球最终的高精密性,身体的移动,或一些部位的振动,都可能改变检测到的眼球运动行为;
- 产生大量的检测数据,对数据实时运算处理能力有较大考验;
- 正如第一点所说,眼球运动转化的数据因人而异。所以最终的工业化大规模生产也是一大难点。
- 隐私保护问题。眼睛是心灵的窗户,如果对于眼球的实时监测,并辅之以长期训练学习的人工智能,会透露出我们心中所想或基本情绪,因此对于眼球跟踪技术的使用,个人隐私的数据保护也是一大问题。
应用前景
1. 一种新的输入设备
类似于鼠标,键盘,触摸板/屏,操作杆等,眼球识别追踪设备也可以作为一种新的输入设备。当与其他输入方式结合使用时,眼动追踪可以为应用程序开发人员提供新的ideas去开发具有更好用户体验的应用程序,譬如阅读浏览,游戏,摄影等领域的app。
2. 在VR上的应用,或者说当前比较热门的元宇宙,当我们想要看某个物品,可以用眼睛聚焦的方式控制,而非靠手调节,将更贴近我们的生理习惯。在这方面眼动追踪技术应用是目前最多的。
3. 心理学方面的应用是显而易见的。可以辅助心理从业人员更全面了解被测试人员的心理状态。推而广之,对于婴幼儿,在没有发展语言能力的期间可以帮助成人了解婴儿的需求,这需要大量的机器学习来发现眼神与心理之间的关联。
4. 在市场营销中的应用。一个很简单的应用即是,广告平台可以统计用户聚焦于广告上的次数和时长来更为理性的判断投放广告的效果,而非页面打开量。
5. 临床医学方面,对于病人,该技术可以提供失去表达能力的人一种新的表达途径。对于医生,在手术室,可以用眼动聚焦的技术,感知同伴的意图,增进各人员的配合。
6. 对于教育行业,老师可以通过各个学生的眼睛焦点来判断学生的关注点,并作相应的回应。