一次降落伞事故成为增强现实取得进展的关键

时间：2022-10-13 09:45:04

关键字：传感器感知覆盖虚拟卡具

手机看文章

扫描二维码
随时随地手机看文章

[导读]我爬进一个覆盖着传感器、电机、齿轮和轴承的上半身外骨骼设备中，然后身体前倾，抬起头，把脸贴在视觉系统吊在天花板下方的目镜上。在我面前，我看到的是一块漆成黑色的大木板，中间有金属孔网格。木板是真实的。我手中的钉子也是真实的。我尝试以最快的速度将钉子从一个孔移动到另一个孔。当我开始移动钉子时，目标孔上会出现一个虚拟锥体，以及一个向虚拟椎体缓慢移动的虚拟台面。当我将钉子沿着平面滑向锥体并插入孔中时，我能感觉到这个台面的存在。这就是20世纪90年代初开发的虚拟卡具（Virtual Fixtures）平台，用于测试“感知覆盖”的潜力，提高人执行灵巧性的手动任务的表现。它奏效了。

1992年，首个交互式增强现实系统设备“从天而降”。

我爬进一个覆盖着传感器、电机、齿轮和轴承的上半身外骨骼设备中，然后身体前倾，抬起头，把脸贴在视觉系统吊在天花板下方的目镜上。在我面前，我看到的是一块漆成黑色的大木板，中间有金属孔网格。木板是真实的。我手中的钉子也是真实的。我尝试以最快的速度将钉子从一个孔移动到另一个孔。当我开始移动钉子时，目标孔上会出现一个虚拟锥体，以及一个向虚拟椎体缓慢移动的虚拟台面。当我将钉子沿着平面滑向锥体并插入孔中时，我能感觉到这个台面的存在。这就是20世纪90年代初开发的虚拟卡具（Virtual Fixtures）平台，用于测试“感知覆盖”的潜力，提高人执行灵巧性的手动任务的表现。它奏效了。

如今，虚拟现实专家将这个平台称为首个交互式增强现实（AR）系统，其让用户能够在单一沉浸现实中，同时与真实对象和虚拟对象互动。

该项目始于1991年，这项工作是我当年在斯坦福大学攻读博士学位的课题之一。历经三年，我制作了多个原型，最终完成项目时，我组装的系统填满了半个房间，所用的硬件价值近百万美元。我还从人体测试中采集了大量数据，明确表明采用虚拟对象增强真实工作空间，可显著提高用户在精密任务中的表现。

鉴于时间较短，这项目听起来一切顺利，但由于预算紧张且设备需求巨大，项目多次接近“脱轨”。事实上，要不是因为1992年夏天一个降落伞（一个真实的，而非虚拟的降落伞）在俄亥俄州代顿湛蓝的天空中开伞失败，这项工作可能早就流产了。在解释这次降落伞事故如何推动增强现实发展之前，我先介绍一些历史背景。30年前，虚拟现实（VR）领域尚处于起步阶段。虚拟现实一词本身是杰伦•拉尼尔（Jaron Lanier）在1987年创造的，当时他正试图商业化第一批头戴式耳机和手套。该项工作以伊万•萨瑟兰（Ivan Sutherland）的早期研究为基础，伊万开创了头戴式显示技术和头部追踪技术，这两个关键部件促进了虚拟现实领域的发展。当时，将现实世界和虚拟世界融合为沉浸式、交互式的单一现实的增强现实还不具有存在的意义。当时，我还是斯坦福大学的研究生，也是美国国家航空航天局艾姆斯研究中心的兼职研究员，对创造虚拟世界很感兴趣。在斯坦福大学，我在设计研究中心工作，该中心的团队重点研究人与技术的交汇，创造了非常早期的虚拟现实手套、沉浸式视觉系统和3D音响系统。在美国国家航空航天局，我在艾姆斯研究中心的高级显示和空间感知实验室工作，这里的研究人员探索实现逼真、沉浸式虚拟世界所需的基本参数。

当然，知道如何创建高质量的虚拟现实体验与能够真正实现这一体验并不是一回事。当时市面上最好的个人电脑是工作频率为33兆赫的英特尔486处理器，根据通货膨胀调整后的成本约合8000美元，计算速度甚至不及当今廉价游戏计算机的千分之一。另一个选择是投资6万美元购买一台Silicon Graphics的工作站，其计算速度仍然不到今天普通个人电脑的百分之一。因此，尽管20世纪80年代末、90年代初的虚拟现实研究人员从事的是一项开创性的工作，但粗糙的图形、笨重的耳机和糟糕的延迟会令人头晕目眩或感到恶心，虚拟体验并不好。我那时在美国国家航空航天局执行一个研究项目，优化早期3D视觉系统中的深度感觉，我就是那些因延迟而头晕目眩的人之一。当时创造的图像的确是虚拟的，与现实相差甚远。尽管如此，我并未因头晕或保真度低而气馁，因为我确信硬件会稳步改进。相反，我为当时虚拟现实验的封闭和孤立而感到担心。我希望扩展这项技术，将虚拟现实的性能释放到现实世界中。我梦想着创造一个混在一起的现实世界，让虚拟物体以真实的方式存在于身体周边的环境中，宛若周边真实世界的一部分，让人们能够与之接触与互动，就如同它们真实存在一样。当时我知道一种非常基础的混合现实，即军事飞行员使用的平视显示器，它让飞行数据出现在飞行员的视线中，飞行员不需要低头看驾驶舱仪表。我自己并未有过这样的体验，而是在《壮志凌云》《终结者》等20世纪80年代的热门电影中熟悉了它们。《壮志凌云》的空战中，飞行员面前的玻璃板上出现了发光的十字准线；《终结者》中，十字准线结合文本和数字数据，成为虚构机器人对周围世界的一部分视角信息。这两种混合现实没有丝毫的沉浸感，图像呈现在平面上，而非连接3D空间的现实世界。但它们暗示了一种有趣的可能性。我想我可以完全超越简单的十字准线和平面上的文本，我要创建一些虚拟物体，让它们在空间上显示为普通环境中的真实物体。我希望给这些虚拟物体灌注真实的物理特性。我需要大量资源来实现这一愿景，我在斯坦福大学和美国国家航空航天局获得的资源远远不够。因此，我向美国空军阿姆斯特朗实验室的人体感官反馈研究组提交了这一概念，该实验室现为空军研究实验室的一部分。为解释混合现实世界和虚拟世界的实用价值，我用简单的金属尺子做个比喻。如果你要在现实世界中画一条直线，你可以徒手慢慢地画，即使花费了大量的脑力，画出的线条仍然不会特别直；而如果你有一把尺子，就可以又快又省力地完成这个任务了。现在想象一下，你拿的不是真正的尺子，而是一把虚拟尺子，让它马上出现在现实世界中，完美地显示在真实环境里。这把虚拟尺子在感觉上是真实存在的，真实到可以用它来引导真正的铅笔。因为尺子是虚拟的，所以它可以是任意形状和大小，具有金属直尺永远无法实现的有益且有用的特性。当然，尺子只是一个比喻。我向空军描绘的应用范围很广，从增强制造拓展到外科手术。例如，需要进行危险手术的外科医生可能使用笨重的金属卡具来稳定双手，避开重要器官，而如果可以发明增强手术新工具——虚拟卡具来引导真实的手术刀，这种真实不仅是视觉上的，还是身体感觉上的，情况就不一样了。因为卡具是虚拟的，因此它可以直接穿过患者的身体，不需要切口就可以进入患者的身体组织之中。这一概念令军方兴奋不已，军方的兴趣不仅在于外科手术这类现场任务，还在于使用遥控机器人执行的远程任务。举例而言，地球上的技术人员可以在虚拟卡具和工作现场的视频图像的辅助下，远程控制机器人修复卫星。空军同意提供足够的资金，支付我在斯坦福大学的费用和少量的设备预算。我还能在俄亥俄州代顿附近的怀特帕特森空军基地使用计算机和其他设备，这一点也许更为重要。被称为虚拟卡具的项目终于盘活了，其目标是构建一个原型，用于人类受试者进行严格测试。我成为了一个马不停蹄出差的研究员，在斯坦福大学研究核心思想，在美国国家航空航天局艾姆斯中心具体化基础技术，在怀特帕特森基地组装整个系统。现在来谈谈那些降落伞。作为20出头的年轻研究员，当时的我渴望了解周围不同实验室正在进行的多个项目。我在怀特帕特森基密切关注的项目是设计新的降落伞。如你所想，降落伞研究团队提出新设计时，并不是把它绑在一个人身上进行测试，而是将降落伞绑到装有传感器和仪器的假人装置上。两名工程师带着硬件登上飞机，投下假人装置并相伴起跳，观察伞布的展开情况。接着听我的故事，你会明白为何降落伞成为早期增强现实系统开发的关键。回到虚拟卡具项目，我的目标是证明一个基本概念，即可以用逼真的虚拟对象来增强真实的工作区域，帮助用户执行灵巧性高的人工作业。要验证这一概念，我不会让用户进行外科手术或修理卫星，而是需要可重复的简单任务来测定量化人工作业的表现。美国空军已有一项使用多年的标准化作业，用于测试人在不同精神和身体压力下的敏捷性。这个插钉子作业被称为菲茨定律，即让测试对象在大钉板上的各个孔之间快速移动金属钉子。于是，我开始组装系统，将虚拟卡具与真实钉板融合，创建3D空间完美的混合现实体验。我的目标是让虚拟物体尽可能逼真，真实钉子撞在虚拟卡具上的感觉和撞到真实钉板一样真实。我编写了软件来仿真各种虚拟卡具，从简单的台面，防止人手超越目标孔，到造型细腻的圆锥体，帮助用户将真正的钉子钉到真实的孔洞中。我创建了虚拟覆盖层，模拟材质且具有相应的声音，有些覆盖层甚至能够模拟穿过浓稠的虚拟蜂蜜液体的感觉。为提高真实性，我对每个虚拟元素的物理特性进行建模，在3个维度上准确表示元素的位置，与用户对真实木板的感知保持一致。当用户将手移至与虚拟平面相对应的区域时，外壳装置中的电机会向后推一下，这一接口技术现在通常称为触觉反馈。它的感觉十分真实，你甚至可以沿着虚拟平面的边缘滑动，就像将铅笔沿着真正的尺子移动一样。为将虚拟元素与真实的钉板准确对齐，需要高质量的摄像头。当时的摄像头比今天贵得多，我已经没有预算再买摄像头了。这是一个令人沮丧的障碍：空军让我使用了各种令人惊叹的硬件，但对于一台简单的摄像头，他们却无能为力。似乎每个研究项目都需要摄像头，其中大多数项目的优先级都远高于我的项目。这便将故事带回到了测试试验型降落伞的跳伞工程师。有一天，这些工程师来实验室聊天；他们提到降落伞未能打开，假人装置垂直坠落到地上，所有的传感器和摄像头都摔毁了。这对我的项目而言也不是一个好消息，因为我知道，如果大楼里还有额外的摄像机，一定会被工程师拿走。后来我问工程师是否可以给我看看他们测试失败的残骸。变形的金属、悬着的电路和破碎的摄像机杂乱地丢在一起。尽管这些摄像机外壳破裂、镜头损坏，看起来很糟糕，但我仍然想知道能不能找到一个还能使用的，满足我的需求。奇迹出现了，我利用摔坏的6个工作单元拼凑出2个工作单元。于是，利用“从天而降”摔在地上的摄像机，交互式增强现实系统的首次人体测试终于实现了。要了解这些摄像头对系统的重要性，不妨想想如今简单的增强现实应用程序，例如《精灵宝可梦》。如果手机背面没有摄像头实时捕捉并显示现实世界，那就不是增强现实体验，而只是个标准的视频游戏。虚拟卡具系统亦是如此。多亏了那个失败的降落伞装置的摄像头，我顺利创建出具有精确空间表现的混合现实，提供可同时在真实和虚拟环境中进行接触和交互的沉浸式体验。至于项目的试验部分，我进行了一系列人体研究，用户在研究中体验了利用各种虚拟卡具叠加真实任务板的感知。最有用的卡具是锥体和台面，当用户将钉子对准孔洞时，卡具可以对用户的手进行引导。最有效的则是身体试验，在现实世界中不易制造的东西，在虚拟环境中却很容易实现。例如，我通过编程实现了对钉子具有“磁性吸引力”的虚拟台面。对用户而言，就有了钉子好像被吸到台面上的感觉，然后他们可以沿着台面滑动钉子，直到钉子又被吸了一下。这类卡具可将试验中的速度和灵巧度提高1倍以上。在我们当时考虑的虚拟卡具的各类应用中，最具商业可行性的是在远程或危险环境中手动控制机器人，例如危险废弃物的清理。如果通信距给远程遥控机器人操作带来了延迟，那么虚拟卡具对于提高人的灵巧度将变得更加有价值。今天，研究人员仍在探索将虚拟卡具用于远程遥控机器人应用，并取得了巨大成功，包括卫星修复和机器人辅助手术。

而我选择了完全不同的方向，推动增强现实实现更多主流应用。因为虚拟卡具项目对我个人影响最大的并不是在插钉子任务中提高性能，而是当人类受试者爬出系统时，脸上洋溢着灿烂的笑容，陶醉于刚才非凡的经历。许多人主动和我说，这项技术有一天将会无处不在。

我同意他们的看法。我当时确信我们会在20世纪90年代末看到这项沉浸式技术成为主流。事实上，人们在尝试这些早期原型时的热情反响，真的令我深受鼓舞。我在1993年创立了Immersion公司，以实现主流消费应用为目标。当然，目标并没有很快实现。冒着再次犯错的风险，我真诚地相信，虚拟现实和增强现实（现在通常被称为元宇宙）将在21世纪20年代末成为大多数人生活的重要组成部分。基于近期大公司改进技术的投资激增，我预测到21世纪30年代初，增强现实将取代手机，成为我们访问数字内容的主要界面。另外，在30年前早期体验过增强现实的测试对象中，没有一个人知道自己使用的是从飞机上掉下来的硬件。但他们确实知道，自己是第一批伸手触摸到增强现实未来的人。

作者：Louis Rosenberg