增强现实（AR）技术的研究进展及应用

 摘 要：增强现实技术是近年来的一个研究热点，有着广泛的应用前景增强。现实是把计算机产生的虚拟物体或其他信息合成到用户感知的真实世界中的一种技术。它是对真实世界的补充，而不是完全替代真实世界。显示技术和跟踪注册技术是增强现实系统关键技术，也是研究的重点本文简要介绍了头盔显示器、显示投影式显示、手持式显示器显示和普通显示器显示等显示技术以及跟踪注册技术。最后提到了目前增强现实技术应用和将来的发展方向。

引 言

增强现实(Augmented Reality 简称AR) 技术是近年来的一个研究热点，有着广泛的应用前景。它是对现实世界的补充，使得虚拟物体从感官上成为周围真实环境的组成部分。与传统的虚拟现实(Virtual Reality 简称VR)不同，增强现实只是实现对现实环境的增强，加深了对现实环境的感受。

增强现实增强了用户对现实世界的感知能力和与现实世界的交互能力如图【1】。

Milgram根据用户界面中计算机生成信息的比例的大小定义了一个真实环境到虚拟环境连续体，他认为增强现实是混合现实环境中的一部分。

1 增强现实的显示技术

增强现实系统设计最基本的问题就是实现虚拟信息和现实世界的融合。显示技术是增强现实系统的基本技术之一。一般而言，可以把增强现实的显示技术分为以下几类：头盔显示器、显示投影式显示、手持式显示器显示和普通显示器显示。

1.1 头盔显示器(Head-mounted display, 简称HMD)显示

现有的虚拟现实技术的人机界面中大多采用头盔显示真实世界器。主要原因是头盔显示器较其他几种显示技术而言沉浸感最强。因为用于增强显示系统的头盔显示器能够看到周围的真实环境，所以叫做透视式(see-through)头盔显示器。

透视式头盔显示器一般分为视频透视式(Vedio seethrough)和光学透视式(Optical see-through )。前者是利用摄像机对真实世界进行同步拍摄，将信号送入虚拟现实工作站在虚拟工作站中将虚拟场景生成器生成的虚拟物体同真实世界中采集的信息融合，然后输出到头盔显示器。而后者则是利用光学组合仪器直接将虚拟物体同真实世界在人眼中融合，实现增强(如 图2).

还有一种更为奇特的方法是虚拟视网膜显示技术(Virtual Retinal Display 简称VRD )。华盛顿大学的人机界面实验室(HIT Lab) 研究出的VRD 是通过将低功率的激光直接投射到人眼的视网膜上，从而将虚拟物体添加到现实世界中来。

1.2 投影式显示projection display

投影式显示是将虚拟的信息直接投影到要增强的物体上，从而实现增强。日本Chuo 大学研究出的PARTNER 增强现实系统可以用于人员训练，并且使一个没有受过训练的试验人员通过系统的提示，成功地拆卸了一台便携式OHP(Over Head Projector)。

另外一种投影式显示方式是采用放在头上的投影机(Head-Mounted Projective Display 简称HMPD)来进行投影。美国伊利诺斯洲立大学和密歇根洲立大学的一些研究人员研究出一种HMPD 的原型系统。该系统由一个微型投影镜头一个戴在头上的显示器和一个双面自反射屏幕组成。

由计算机生成的虚拟物体显示在HMPD 的微型显示器上，虚拟物体通过投影镜头折射后再由与视线成45 的分光器反射到自反射的屏幕上面。自反射的屏幕将入射光线沿入射角反射回去进入人眼中从而实现了虚拟物体与真实环境的重叠(如图3 所示)。

1.3 手持式显示器(Hand Held Display 简称HHD)显示

通过采用摄像机等其他辅助部件，一些增强现实系统采用了手持式显示器。美国华盛顿大学人机界面技术实验室设计出了一个便携式的MagicBook 增强现实系统 。该系统采用一种基于视觉的跟踪方法把虚拟的模型重叠在真实的书籍上，产生一个增强现实的场景同时该界面也支持多用户的协同工作。日本的SONY计算机科学实验室也研究出一种手持式显示器，利用这种显示器，构建了TransVision 协同式工作环境。

1.4 普通显示器显示Monitor-based Display

增强现实系统也可以采用普通显示器显示。在这种系统中，通过摄像机获得的真实世界的图像与计算机生成的虚拟物体合成之后在显示器输出。在需要时也可以输出为立体图像这时需要用户戴上立体眼镜。

2 增强现实的注册技术

注册技术是增强现实系统最为关键的技术之一，注册实际上就是将计算机生成的虚拟物体和真实环境中景象“对齐”的过程。注册必须先确定虚拟物体与观察者之间的关系，然后通过正确的几何投影将虚拟物体投影到观察者的视野中。注册一般分为动态注册和静态注册。动态注册是摄像机与真实物体相对运动的情况下，确定二者的相对位置静态注册是摄像机与真实物体相对静止的情况下确定二者的相对位置。 在目前的增强现实系统中，绝大多数是采用的动态注册。动态注册技术一般可以分为两种，基于跟踪器的注册技术和基于视觉的注册技术。

2.1 基于跟踪器的注册技术

跟踪的主要目的是记录真实世界里的观察者的方向和位置，以便保持虚拟空间和真实空间的连续性，实现精确的注册一般主要有以下几种：跟踪技术飞行时间定位跟踪、机构联接、跟踪相差跟踪、场跟踪、复合跟踪系统。

1) 飞行时间(Time of Flight,简称TOF)定位跟踪系统

这种方法就是利用一些手段测量运动目标和参照物之间的距离，然后推导出运动目标在虚拟环境中的坐标。前提是假定脉冲信号的传播速度为常数，通过测定接收装置接收相临两次脉冲信号之间的时间来确定运动目标相对于参照物的距离。

2) 机构联接跟踪系统

最为典型的机构联接跟踪方式是直接用机构联接参照物和运动目标。机械式的跟踪一般可以分为两类:一种各种机构的组合,另外一种就是采用弹簧来联接.当弹簧处于张紧状态时,就可以通过弹簧的参数计算出距离.

3) 相差(phase difference )跟踪系统

相差跟踪系统是通过测量参照物和运动目标上的同频率信号的相位差来进行跟踪的.采用的信号大多数是超声波信号,它的缺点就是会有误差积累,同时超声波信号易受环境的温度湿度和超声波噪声的影响.其优点就是能够有比较高的数据采集速度比TOF 超声波跟踪系统有更高的精度.

4) 场跟踪系统

用来跟踪的场包括电磁场和重力场,用得比较普遍的是电磁场.电磁场跟踪采用的是线圈作为信号发生器,通过测量通过接收器的磁通量就可以确定接收器和信号源之间的相对距离.

电磁场跟踪系统价格便宜结构紧凑而且重量轻广泛应用于各种增强现实系统中.另外一种场跟踪系统是基于重力场的,采用的测量仪器一般是倾角计和加速度计.

5) 复合跟踪系统

复合跟踪系统指的是在同一增强现实系统中采用两种以上的跟踪方式,以实现各种跟踪方式的优势互补.但是复合跟踪系统往往会提高系统的复杂性和成本.

2.2 基于视觉的注册技术

基于视觉的注册是通过给定的一幅或者多幅图像来确定摄像机和真实世界中目标的相对位置和方向.就目前的研究情况来看基于视觉的注册主要有两种情况,一种是事先对相机定标,对获取的图像进行分析.计算相机的位置;另外一种是通过仿射变换来实现注册。

1) 通过对相机定标注册

相机定标就是获取相机的内部参数然后根据这些参数和获取的图像来计算相机的位置和方向。这实际上是一个从三维场景到二维成像平面的转换过程。通常关心的相机参数包括镜头的焦距以及传感器像元的高度、宽度、高宽比等。

国内也有研究人员从事动态注册的研究[3]。文献[3]介绍了相机定标以及跟踪的算法，并且以PC 为平台，实现了这个算法。

2) 通过仿射变换注册

通过仿射变换注册实际上是计算机图形学和计算机视觉技术在增强现实系统设计中的一个运用。Konenderink 等人曾提出，给定三维空间中任何至少四个不共面的点空间中任何一个点的投影变换都可以用这四个点的变换结果的线性组合来表示。

通过引入全局仿射坐标系的定义，将虚拟物体和真实世界置于同一个统一的坐标系下面，从而很方便地实现了注册。不仅如此该注册方法也实现了深度的估计。国

外Kiriakos等人也讨论过类似的系统，并且通过该方法设计出了具体的增强现实系统 。通过仿射变换实现注册是增强现实注册技术的一个突破它绕开了传统的跟踪、定标等一些繁琐而且容易出现较大误差的注册方法，实现了通过计算机视觉的分析进行注册。

3 增强现实系统的运用

由于增强现实系统既有虚拟的成分，同时也有现实世界的真实环境使得增强现实系统成为除了现实世界之外的最有沉浸感的环境。增强现实系统将成为一种新型的媒介，逐渐深入到从医学到军事等各个领域。

3.1 医学

增强现实运用到医疗中，可以使外科医生在给病人动手术的过程中，看到注册到病人身体上的CT 或者MRI 图像。不仅如此，增强现实系统还可以用于医疗教育培训中。另外，增强现实还可用于虚拟人体解剖图、虚拟人体功能、虚拟手术模拟、远程手术等并且可以用于康复医疗。

3.2 娱乐

增强现实系统广泛应用于各种娱乐活动中。虚拟演播室技术是增强现实在传统视频合成技术的基础上发展的结果。 同时增强现实技术还可用于各种游戏体育比赛的转播等。

3.3 机器人技术

增强现实技术可以用于机器人视觉、遥控机器人等方面。采用增强现实技术可以给空间机器人的操作员一个具有沉浸感的环境，使得操作起来更容易。除了空间机器人以外在许多诸如采矿深海潜水等许多危险的工作环境中，也可以采用增强现实技术。

3.4 制造维护和维修

当设备维护人员在维护一台陌生的设备的时候，往往需要看很多的手册，利用增强现实系统则可以避免这一点日本Chuo 大学工业和系统工程系研究出的PARTNER 系统就指导了一个没有经过训练的人员成功地拆卸了一台投影机。这种系统一般是用增强现实技术为维护人员提供辅助信息。

3.5 其他

增强现实系统还广泛运用于军事训练、商业等领域。增强现实技术在商业中的应用主要是用于广告业例如在体育比赛转播中插入广告等。Daniela Hall等人还研制出了一种用于办公室环境的增强现实系统Magicboard，华盛顿大学将增强现实技术运用于远程会议系统。

4 增强现实技术的发展展望

虽然增强现实技术在近20 年来取得了很大的发展，但是还是存在很多技术方面的难题。例如透视式系统没有足够的亮度、分辨率和对比度。目前的大多数系统都是运用于预知的环境中，而在非预知的环境中的增强现实系统比较少。同时，如果增强现实系统运用于户外用户必须戴上计算机、传感器、显示器、电池等许多设备。从而使得系统显得笨重，所以系统的微型化和低能耗也是一个重要的研究方向。

在网络高度发展的今天，增强现实系统的网络化也是一个重要的发展趋势。通过网络，可以减少一些装备，同时也可以大大提高增强现实系统的效能。图4 是Keith 等提出的增强现实系统网络化的构想图，通过GPS 无线接入网络可以将增强现实系统连上因特网。

和虚拟现实系统不同,增强现实系统的实时性要求非常高。前者的某些数据可以事先计算好，而增强现实系统中的虚拟物体必须实时地生成，并被准确地描绘到现实世界的景象中。这就要求降低系统的延迟性，提高软件的计算速度。

5 结论

增强现实技术是一个多学科交叉的领域，它包括计算机视觉、计算机图形学、传感器、网络、GPS等许多技术在现实化的增强显示中，人们能够把真实世界和电脑图形重合在一起，便可以得到对真实世界更深的理解。因此，AR被人们称为“更真实的现实”。AR不仅在与VR有相似的应用领域，但是由于其具有能够对真实环境的增强输出特性，在医疗研究和解剖训练、精密仪器制造和维修、军用飞机导航、工程设计和远程机器人控制等领域，具有VR技术更加明显的优势。相信随着技术的日益成熟，AR将会走进人们的生活，为人们接受。