VR技术赋予视障人士辨别方向和物体识别的能力
扫描二维码
随时随地手机看文章
计算机有视觉而人没有,我们为什么不试图让前者帮助后者呢?或许这就CARA背后的主旨,CARA 是加州理工学院开发的一款新的 HoloLens 应用程序。
该软件借助 HoloLens 的深度感知能力,使用计算机视觉算法扫描环境并识别物体。然后,该应用程序向视力受损的用户告知物体的存在,使用空间音频让用户确定物体在他们空间中的相对位置。
加州理工学院(Caltech)生物科学教授、神经生物学执行官马库斯 · 梅斯特(Markus Meister)博士和本杰明 · f · 比亚吉尼(Benjamin f. Biaggini)博士在一份声明中表示:“想象一下,在这个世界里你周围所有的物体都有声音,都能和你说话。无论你注视着什么,你关注的不同物体都会被激活,并对你说出它们的名字。你能想象在这样一个世界里四处走动,完成一些我们通常使用视觉系统完成的任务吗?这就是我们在这里所做的——为物体赋予声音。”
Cara 是由研究生 Yang Liu 领导的科学家团队在 Meister 的实验室开发的,可以提供了几种模式来帮助使用者。当 HoloLens 扫描环境时,系统的聚光模式可以根据用户的视线来识别物体,而Scan模式则可以从左到右来识别物体。
研究小组通过设计一条通往加州理工学院贝克曼行为生物学大楼的路线来测试这个应用程序。在使用Cara 系统时,每个测试对象都成功地根据HoloLens的导航走出迷宫。 此外,研究小组还设计了一个虚拟现实环境,作为其他研究人员评估自己辅助设备的考试。
该应用程序仍在开发中,目前的工作包括改进和加强计算机视觉算法。这个团队设想在银行、酒店和商店等场所部署软件来帮助客户浏览他们的环境。Meister 、 Liu以及合著者、南加州大学的博士后学者 Noelle Stiles,在一篇名为《AR为盲人提供认知帮助的能力》的研究论文中详细说明了该研究小组的发现。
去年,游戏开发者 Javier Davalos 用 HoloLens 创造了一个类似的概念验证。他的版本也使用环境扫描识别表面和空间音频给用户提示他们的相对位置,但不是以口述识别的对象的形式:演示应用程序会在用户接近障碍物的时候增强音量,并发出警报。
我们很欣喜的看到,越来越多的从事增强现实和视觉辅助工具应用的公司在用各种技术来帮助残疾人。比如,此外VR网曾报道过的纽约大学的学生团队开发了一个可以实时翻译手语的应用程序,甚至 Magic Leap 也获得了类似的专利技术。与此同时,Starks 的AR耳机也可以通过头戴式显示器为听力受损的人提供字幕。经常有人把增强现实描述为给普通人“超能力”,如果你了解自己的超级英雄传说,这可能是件好事,当然也可能是件坏事。但是现在,为了给那些没有拥有能力的人提供虚拟视觉的礼物,至少我们在用这些能力做好事。