可穿戴计算技术及其应用的新发展
扫描二维码
随时随地手机看文章
摘要:可穿戴计算技术是伴随着计算机、微电子和通信技术发展起来的新兴学科,随着科技的进步和人们生活水平的提高这项技术的应用研究也正处于难得的机遇期。阐述了可穿戴计算区别于传统计算的优越特性及其在医疗、军事、教育、助残、体育、娱乐行业、老年人生活辅助方面的重要学术和应用价值,以及可穿戴计算对新一代信息与计算科学技术的巨大推动作用。介绍了可穿戴计算技术的产业化发展情况,说明现代科学技术发展和实际应用的迫切需求使得该领域的科学技术发展迅猛,也使得可穿戴计算技术的发展呈现出研究上的多学科交叉融合与产业化的同步跟进相互促进的新特点。
关键词:可穿戴计算,人机交互,现场作业辅助,可穿戴性
0 引言
20世纪90年代后期,可穿戴计算[1]研究热潮逐渐兴起,其创新概念层出不穷,研究范畴也不断扩展,重要的学术和应用研究成果不断涌现,目前已成为国际计算领域重要的前沿研究方向。回顾iPhone手机和iPad平板电脑对移动计算领域带来的冲击,可以预见,可穿戴计算不仅是学术界的前瞻性研究方向,而且可能引发新一轮的技术革命,并促使移动计算或智能手机产业领域的重新洗牌。这给可穿戴计算前瞻研究和产业发展提出了重大挑战,同时也提供了原始创新和跨越发展的契机。
本文以可穿戴计算技术的应用为出发点,介绍了国内外研究工作者在该领域的研究进展,总结了发展趋势以及亟待解决的问题。
1 可穿戴计算技术的发展历程与现状
作为新的计算模式,可穿戴计算的概念、隐喻、构架、形态和功能都在不断演进,目前尚无较规范、明确和完备的定义。国际上公认的可穿戴式计算机的发明人之一,加拿大的斯蒂夫·曼恩(Steve M)教授认为可穿戴计算机是这样一类计算机系统:“属于用户的个人空间(personal space),由穿戴者控制,同时具有操作和互动的持续性,即always on and always accessible”[2]。
可穿戴计算机的思想和雏形早在20世纪60年代就已出现,比较有代表性的是美国麻省理工学院学生索普(Thorp)和香农(Shannon)等人研制的用于轮盘赌的计算机。20世纪70~80年代史蒂夫·曼(Steve M)基于Apple-II 6502型计算机研制出典型的配有头戴显示器、形态化的可穿戴计算机原型。
20世纪80~90年代,随着计算机软硬件和互联网技术的迅速发展,来自多伦多大学、麻省理工学院、卡耐基梅隆大学、哥伦比亚大学和施乐欧洲实验室等科研机构的研究人员开发出一批具有代表性的可穿戴计算机原型(如Wearable Wireless Webcam[3],KARMA[4],Forget-Me-Not[5],VuMan I[6]等)。
1997年,麻省理工学院、卡耐基梅隆大学、佐治亚理工学院联合举办了第一届国际可穿戴计算机学术会议(IEEE international symposium on wearable computers,ISWC),该国际会议自首次召开以来,每年举行一次,已举办了14届。期间美国国防部高级研究计划局(the defense advanced research projects agency,DARPA)以及波音公司也多次举办可穿戴计算机方面的研讨会。从此,可穿戴计算开始得到学术界和产业界的广泛重视,逐渐在工业、医疗、军事、教育、娱乐等诸多领域表现出重要的研究价值和应用潜力。
对可穿戴计算的基础研究,美国和欧盟都已投入了巨资。例如,欧盟委员会于2004年启动了世界上最大的单项民用可穿戴计算研究项目——wearIT@work[7],历时5年。美国国家科学基金会(National Science Foundation)在以人为中心的计算(human-centered computing)等专项中也持续地资助了一批可穿戴计算方面的研究项目。此外,来自军方的大力支持也是推动可穿戴计算技术飞速发展的重要力量,美国国防部高级研究计划局、美国陆军通信电子司令部和美国国家航空航天局(National Aeronautics and Space Administration,NASA)等都是可穿戴计算研究的重要资助者。另外美国、俄罗斯、法国、英国、日本和韩国的多所大学的工程学院、科学技术院等研究机构均有专门的实验室或研究组专注于可穿戴计算技术的研究。中国学者也在20世纪90年代后期,开展了可穿戴计算研究,几乎与国际可穿戴计算研究同步。
2 可穿戴计算技术的应用
伴随着学科的发展,可穿戴计算的核心概念、系统基础构架、感知与交互等科学方法和技术研究问题与普适计算、以人为中心的计算(human-centered computing,HCC)、社会感知计算、信息物理系统(cyber-physical system,CPS)等相关学科领域和前沿学术方向形成了交叉融合趋势,如图1所示,可能在下一代可穿戴计算研究中促成一些创新应用模式的涌现。
2.1 蓝领计算
可穿戴计算终端特殊的“携带”和“交互”方式催生出了“蓝领计算”模式。这是一种崭新的现场作业信息支撑模式,强调用户在工作空间(work space)任务,特别是关键时刻工作(intense time critical work)执行时和在生活空间(daily life space)进行活动时,能得到信息空间(cyber space)的自然、有效和多人协作(group collaboration)的支持。典型的应用包括特殊场合下的维修与安装作业支撑系统,如图2所示[8],诊疗辅助系统、行为监测与健康保护系统等[9]和数字化单兵系统。蓝领计算也是目前可穿戴计算最独特和成功的应用模式之一。
图1 可穿戴计算的学术链及与相关学科的交叉融合
图2 可穿戴作业辅助系统
(电子科技大学移动计算中心,2010年)
2.2 人机交互与协同
可穿戴计算突出了对人的感知和智能的增强,可穿戴传感系统实现了近体域富传感分布,而持续、增强和介入模式则可以使用户感官通道同时关注虚实2个信息空间或者实现顺利切换于2者之间,传统的人机交互的2个基本环节,即控制信息和显示信息的交换环节在可穿戴计算方式下出现了显著变化。例如,可穿戴传感系统或网络能支持高效的个人上下文感知和识别(context awareness and recognition)[10],典型的如眼动跟踪[11]、位置、姿态和生理感知及手势[12]以及情感识别等,将使控制信息交换环节以更加自然和协调的方式进行。另外,在显示信息的交换环节,可以采用适应柔性触觉/触摸显示等多形态、异构显示设备特征,还可通过对显示信息流持续的跟踪、融合、调整等来实现对可穿戴计算基本模式Augmentation和Mediation的支持。可穿戴计算可以结合感知计算和协同计算领域研究成果,研究新的可穿戴交互隐喻表征、范式设计和适应度分析方法,进而发展适合的交互技术。图3左为加拿大皇后大学媒体实验室发布的一款名为“PaperPhone(纸手机)”的概念设备,将柔性显示屏和柔性主板组合而成的手机变成现实、可穿戴投影显示[13];图3右上为微软在Santa Barbara举行的ACM研讨会上演示了一种名为OmniTouch的穿戴式设备以及投影触控互动技术和头戴音视觉显示[14];图3右下为是谷歌的一款名为Project Glass的穿戴式“眼镜”计算产品。
图3 依次为柔性触摸显式、可穿戴投影显示和头戴音视觉显示
2.3 老年人生活辅助
可穿戴计算从诞生之日起,其目的之一便是人体局部功能增强与辅助,伴随着随着社会老龄化问题的日益突出,老年人的生活辅助特别是够长期在自己熟悉的环境中尽可能长时间有尊严的生活,已经成为一个国际上的研究重点,欧盟耗资4 000多万欧元开展了WearIT@work[7]项目,于2009年结束,历时5年,以及第七框架支持的AAL JP项目(总经费7亿欧元,2008~2013年)将可穿戴计算支持的AAL(ambient assisted living)作为核心研究内容之一,在此基础上典型的应用包括智能家居[15]、老年人日常活动监测及跌倒报警等。
3 可穿戴计算未来发展急需解决的问题
3.1 可穿戴计算系统的摩擦性、耐受性和排异性
由于人和可穿戴系统或装置在物理空间上的贴近,使人更容易受到一些来自于不合理性人因设计(如尺寸、形态、重量、材料、穿戴部位)等方面的负面影响,从而引起摩擦性和耐受性问题;此外,系统运作时会产生一定的辐射、热量、噪声、振动等,这也可能引发耐受性问题,造成恶劣的用户体验(如clumsy和obstructive等)[16],另外潜意识的抗拒和排斥,对于植入式电子装置而言则存在排异性问题。这些因素使得传统的基于静态模型的人因分析[17]方法不能很好地适应可穿戴性研究问题,需要构建适合可穿戴计算的新形态基础平台结构、开发新型传感电路材料、分析研究典型任务场景等动态评估模型,以解决可穿戴计算的可用性问题。图4所示为荷兰Xsens Technologies公司的MVN BIOMECH系统,可用于穿戴性及舒适性评估。
图4 运动状态下的可穿戴性问题及舒适性评估
3.2 人体供电模式
可穿戴计算系统作为一种移动终端,电源是保障“续航能力”和可穿戴性的关键,目前主要采取低功耗设计及配置高性能电池等相关的供电方法。但这至今仍是一个挑战性的课题,行走发电、基于衣物的太阳能发电、基于织物的柔性平面电池等都是重要的发展方向,最近《Narure》上QIN,Y等人撰文,称可采取一种特殊纤维织物,使得人们的日常活动中,纤维互相摩擦产生电能为便携设备供电[18]。
3.3 可穿戴群体智能与社区
在可穿戴计算的感知增强、智能增强、体能增强和环境增强支持下,使得人能够更加积极和理性的参与社会化组织的合作和竞争关系中去,引发更大量和频繁的“人—人”、“人—群组”和“群组—环境”非线性相互作用,将促进具有典型“整体涌现性”、“自发性”和“自下而上”特征的可穿戴群体智能(wearable based swarm intelligent)的出现。因此探索该智能形式影响下新形态的社会组织方式和结构,研究实现个人行为识别和挖掘、人机闭环中的信息增益策略,维护可穿戴群体智能的涌现性基础;研究基于可穿戴社区等创新组织结构,构建复杂适应系统,提高复杂任务执行能力和开放环境应对能力等具有重要的现实意义。如英国兰卡斯特大学Gerd Kortuem等人提出的可穿戴社区[19]概念等,如图5所示。
图5 可穿戴社区模式下的“人—人”、“人—群组”交互协同
3.4 身体传感网络及可穿戴传感系统
身体传感网络与可穿戴传感系统,是可穿戴计算领域的重要研究方向,主要支持对人的感知能力的增强、环境增强、个人参数获取和自然人机交互,这需要从底层建立支持富传感特征的可穿戴计算体系构架和网络。目前在身体传感网络(body sensor network和body area network)研究领域,很多研究依赖于IEEE 802.15.4/Zigbee,IEEE 802.11,Bluetooth,GPRS和ANT等标准来连接感知各种人体生理和行为状态的微节点,组建身体域内(intrabody)和身体域外(out-body)的数据通信网络[20]。国际BSN通信标准IEEE 802.15.6也正在制定中。面对生理和行为状态感知的多源异构传感数据汇聚、计算处理和传输通信需求[21],以及运动人体带来的动态网络拓扑[22]、信道竞争[23]、体内信号衰减[24]等挑战,需要探索新的身体传感网络层次体系结构、超低功耗及高可靠组网通信和信息流模型方法。
另外,可穿戴计算的隐私和安全问题、可穿戴生理计算和可穿戴机器人(wearable robot)等也是当前可穿戴计算领域的热点方向。
围绕可穿戴计算新兴方向和未来趋势开展研究,符合《国家中长期科学和技术发展纲要(2006—2020)》中“前沿技术一信息技术”的发展规划,将应对下一代移动无线通信、物联网、云计算、生物计算,乃至纳米计算和DNA计算等相关前沿方向对个人域计算系统和技术提出的需求和挑战,为新形态和新模式移动个人计算终端和系统提供支撑理论和关键技术,可缩小我国在可穿戴计算领域与世界主要发达国家之间日益增大的差距,具有重要的学术和应用研究价值。
4 可穿戴计算的新发展趋势及产业化前景
近年来,可穿戴计算领域的研究范畴不断得到扩展和充实,已成为国际计算机学术领域稳定的前沿研究方向,逐步产生了一些重要的核心理论和关键技术,重要的研究成果不断涌现,主要可概括为以下方面:
1)自然、和谐的新形态可穿戴计算机及人机接口。
早期可穿戴计算系统主要基于集中式主机和外围交互、传感和电源等装置实现。国外Quantum,VIA,Xybernaut,Symbol等企业和美国CMU大学等先后推出了一系列采用集中式结构的可穿戴计算机产品,依次如图6所示;2000年国内也推出了可穿戴计算机样机Netdaily I,受到包括中央电视台在内的国内媒体的广泛关注和报道。如图7所示。
图6 集中式可穿戴计算机主机产品
图7 可穿戴计算机样机Netdaily I(重庆大学,1999年)
在集中式主机结构下,配备的大量传感装置、人机交互装置和主机设备往往会给人员带来舒适性和用户体验方面的负面影响,不能很好与人体结构以及日常的穿着、行为方式等相协调。对计算系统结构进行模块化划分,针对各个模块的具体功能以及交互控制方式,将其集成或分别嵌入到衣物、鞋帽、眼镜、手表、手套、腰带甚至挂饰中,实现各种新形态的可穿戴人机接口装置,是近年来的热点研究方向。典型的研究工作除Google公司正在开展的Project Glass项目之外,还包括:瑞士ETH Züirich大学的腰带式可穿戴计算机(Q-belt-integrated-computer,QBIC)如图8a;德国不莱梅大学AAL实验室用于控制轮椅运动的帽子,中国香港大学用于捕获人体运动状态的鞋子[25],如图8b;以及欧盟可穿戴计算项目wearIT@work中用于制造、物流、消防、航空等领域现场作业辅助的马甲(wearable computerized clothing)[26],如图8c,等等。
图8 腰带、鞋子和衣物等形态的可穿戴计算装置
2)核心材料、电路和结构研究。
新形态可穿戴计算机及人机接口的实现需要来自材料和结构等方面创新研究成果的支持。其中:
材料方面,典型的研究成果包括:文献[27]中通过可印制在织物上的电路材料实现的红外通信、温度感知和LED显示等为实现潜在的“计算机衣服”提供了可能;文献[28]中将热塑弹性应力传感器混纺编织到织物中,则为实现能够识别人体运动的智能服装提供了技术手段;文献[29]则在纺线级详细地讨论了电路功能到衣物的大规模编织制造方法,包括传统硅基电路的可编织化方法和织物总线结构的构建方法等。文献[30]则讨论了一种Planor-fashionable circuit board并将其应用于老年日常生理监测。
结构方面,典型的研究成果包括:文献[31]结合物理化学方法,提出了一种“胶体计算”模式,以其为基础构建层次化的体系结构来支持纺线、单一传感器和传感簇等不同粒度计算单元的实现和管理;文献[32]从方法学的角度出发,探讨了如何基于计算产生热量和人员典型姿态/行为/舒适度下的生理机能反应等因素开展”可穿戴性(wearability)”结构设计研究;文献[29]中也涉及到了编织电路的可悬垂性、受力稳定性以及可洗性等结构性和可用性研究。
可穿戴计算在材料、构件和系统结构方面还有许多创新研究,这里就不一一列举。
3)身体传感网络与多情景(context)下的感知计算和通信。
各种创新材料和结构的应用使得可穿戴计算系统包含的各种传感、计算处理、通信、交互等功能得以微型化和模块化,并以附着(attach)或植入(implant)等方式部署在人体或织物上,相互之间通过IEEE 802.15.4/Zigbee、IEEE 802.1l、Bluetooth、GPRS、ANT等协议标准进行体域内(intra-body)和体域外(out-body)的数据通信,建立其身体传感网络(body sensor network),其具备了良好的对人体生理、运动、行为等状态以及人所处的多种变化场景的感知能力。BSN的专用标准IEEE 802.15.6正在制定之中。
这方面的典型研究工作包括:文献[33]中基于BSN提出了“增强皮肤”的概念,通过空间信息感知实现虚拟触觉的“Haptic Radar”原型;文献[34]中提出了一种基于可穿戴计算机配置的惯性传感和电磁跟踪器实现的位置坐标推算方法(dead reckoning),能实现人员数百米移动范围内误差小于10%的位置坐标估计,提供实时、低开销的位置感知服务支持;美国Harvord大学CodeBlue项目中基于BSN微节点研究长期低功耗的人体脉搏、血氧、心电、肌电和运动等传感数据采集方法[35],类似的老年健康BSN研究工作还包括麻省理工的帕金森症健康服务项目Livenet,欧盟第五框架项目MobiHealth,以及微软的HealthGear项目等;文献[36]中结合移动和普适计算研究中的情景感知计算研究,提出了适合可穿戴计算的情景知识分类方法(taxonomy)等。
4)融合、增强和介入的可穿戴人机交互和计算智能。
构建高效的人机自然交互和协同,是提高可穿戴计算可用性的一个重要问题。而可穿戴计算的穿戴使用、持续运作模式和以人为中心的形态结构基础为实现融合、增强和介入等模式的自然人机交互提供了良好的支持,并可能催生新的计算智能形式。
人机交互技术和范式研究方面:文献[37]开展了人员在静止和运动状态下基于头戴显示界面进行的鼠标拖拽任务实验,评估了轨迹球(trackball)、触控板(touchpad)、陀螺鼠标(gyroscopic mouse)和单手键鼠(Twiddler2)等可穿戴计算机常用的交互装置在静止和运动不同状态下的实用性能;文献[38]针对以编织电路为基础实现的单重和多重交互输入装置,开展了静止和运动状态下的输入效率对比分析;文献[39]构建了一种适合手势交互的人机界面;文献[40]等讨论了适合头戴显示器(HMD)输出方式的可穿戴人机接口设计;文献[12]中设计了一种佩戴于人体腕关节,基于压电传感构建的采集人员手部运动时骨骼传导声音信号实现人员手势识别的交互输入装置;文献[41]使用压力传感电阻条(FSR)来检测人体肌肉运动产生的压力传感信息,进而实现可穿戴的人员手势识别装置。
交互范式和计算智能研究方面:文献[42]基于手势识别及投影显示技术等方面的研究成果,提出了“第六感人机交互”的可穿戴人机交互创新概念;Mann提出了一种新的HI(humanistic intelligence)概念,即一种初级人机协调的智能形式[10]。
可穿戴增强和介入现实交互研究方面:文献[43]针对穿戴视频传感获取的场景视频信息,识别抽取视频关键帧,结合已校准的图像特征,帮助用户识别场景中的人员、设备、建筑等实体信息;文献[43]实现了一种新的视觉增强模式Through-wall Collaboration;文献[44]中,作者实现了一种鲁棒的、无标识(mark)的人员手指实时识别和跟踪算法,并在跟踪视频流中重建相对于人员伸展开手掌的六自由度摄像头姿态,进而实现了一种新的Handy AR系统;文献[44]和[45]开展了可穿戴计算视觉、可穿戴增强现实等方面的研究工作;文献[46]开展了基于头戴显示器的介入现实研究工作。
在产业界,欧洲宇航防务集团(EADS)、美国的NASA、波音公司、IBM研究中心、Nokia研究中心、施乐帕克研究中心(Xerox PARC)以及ViA,Sony,Panasonic,Sharp等机构都是可穿戴计算研究的早期资助方、试用方,或者是直接参与方。例如,在欧盟委员会资助的可穿戴计算研究项目——WeorIT@work中,就有包括微软、惠普、斯柯达、卡尔蔡司、西门子、欧洲航空防务及航天公司等在内的,来自16个国家的42个单位。另外,国际上包括IBM,Sony,Nokia等IT巨头在内的一批企业正在酝酿成立可穿戴计算国际产业联盟(Alliances),相关的技术标准也正在制定中。而苹果、谷歌也正在加快研发可穿戴计算产品。
目前,可穿戴计算技术在生产制造、航空、航天、物流等工业领域已得到成功应用,相关产品已经进入市场,在医疗、消防、反恐、教育、助残、体育、娱乐等行业的应用也不断见诸报端。这预示可穿戴计算机已被预测将在未来数年内成为下一代(next generation)主流的,新的计算机形态之一,并通过在重要行业内的推广和普及,带来每年数亿至数十亿美元的市场和产业价值[20]。鉴于此,在学术领域开展深入研究的同时,积极开展面向工业、教育、医疗、娱乐等行业的应用示范和评估工作,将促进可穿戴移动网络终端(wearable terminal)、可穿戴消费电子(wearable consumer electronics)、可穿戴计算应用工程(wearable engineering)等新产业方向的形成和发展,加快可穿戴计算的产品化步伐,最终形成一条完整的产业链。
5 结束语
可穿戴计算提出了新的课题与挑战,拓展了计算机功能,开辟了新的计算应用领域。这种计算模式促使我们从全新的角度审视人和计算机的关系,从而带来人机关系的变革,促成人-机紧密结合(inextricably intertwined)与协同(synergy)的新型关系。这是一种“人—机共生”(symbiosis)的形式,最终将向“电子人”(cyborg,一种人机混合体)[47]演进。正如摩托罗拉公司的技术未来学家约瑟夫·德沃夏克(Josephl.DVORAK)博士所指出的,“20世纪90年代计算技术反映在微处理器的优势上,21世纪初的前十年反映在网络的优势上,在21世纪的第2个十年则要体现在人的优势上。在强调发挥人的优势这点上,可穿戴计算作为一种自然的技术定将会繁荣发展[48]。可以预计,随着相关技术的进一步成熟,成本的下降,可穿戴计算系统将出现旺盛的市场需求,产生重大的经济效益和社会效益。