从苹果ForceTouch看智能硬件的人机交互发展

苹果iPhone6S的发布，通过siri、Force Touch、Haptics技术打开了全新的人机交互时代。

从2011年开始，智能手机与平板电脑历经爆发性成长，手势触控技术开始取代键盘鼠标，带来了一场人机交互革命。2014年底，智能硬件迎来大爆发，预计2015年全球互联设备将达到49亿台，到2020年更上看250亿台。随着智能硬件的迅速放量，从最早的单一控制功能，到最后实现复杂的应用场景，原有的人机交互技术，如触控、语音、体感、生物辨识正逐渐融合，而类似于触觉反馈、虚拟现实(VR)等新兴人机交互技术正逐渐显现。

智能纤维：透过布料实现触控交互

在智能手机上，触控已经是必不可少的操控方式。但是到了可穿戴设备以及智能硬件上，由于产品尺寸以及待机时长的限制，触控交互不如智能手机上那么方便了，可实现的功能也非常有限。因此，在最初一代产品中，类似于智能手表这样的产品只能成为手机配件，大部份的交互方式还需要透过手机来实现。

如何在方寸之间实现更多的功能，而且还得确保产品的美观?

Apple Watch的解决方式是重新定义用户的操作手势及用户体验——“横向滑动”切换页面、“点按”选择内容，“长按”则是打开菜单。此外，Apple Watch还增加了表冠(crown)与实体按键。在操控方式上，表冠既可轻按又可以旋转缩放屏幕大小。此外，Apple Watch还透过不同的震动方式来提示如何转向。Apple Watch出现的意义并不是为了颠覆手表产业，而是真正让可穿戴设备可以脱离手机的的地心引力而存在，使其能够独立展开形成完整的应用生态。

除了苹果(Apple)，Google也在积极探索智能可穿戴设备的人机交互方式。早在几个月前最新的Google I/O大会上，专攻尖端技术的ATAP团队展示了透过衣物进行交互的技术Project Jacquard。

Project Jacquard透过衣物进行交互

这个技术的思路是在纺织品中加入电路，与康宁(Corning)发布的概念宣传片《Glass 2塑造的一天》相较，未来人机交互的主角不再仅仅是各种玻璃，而是可以将衣服、裤子、汽车坐垫或窗帘都变成可交互的媒介。人们可以透过各种织物来控制手机、计算机、可穿戴设备甚至家电。

目前，ATAP团队已经与日本一家布料厂合作，将导电的线路与棉线编织在一起，并保留柔软的触感，以及支持不同色彩、棉质/化纤/丝质的质料。另外，他们还与Levi’s合作设计了一款搭载Project Jacquard的棉质外套，外套的触摸感应区可以辨识多点触摸，并支持一定距离内的隔空操作。

这种新开发的纱线能以3D技术来纺织，并与微控制器联机以制作低功耗触摸板;Schwesig表示，这种线路本身就具备低功耗特性，预期嵌入在衣物时能连续运作一星期。虽然能量采集是搭配这种纺织品会很不错，但ATAP团队还没着手开发相关技术。

将导电的线路与棉线编织在一起，可实现交互功能

Google还展示了新开发智能纤维的数种应用情境，包括用户能用多种手势来开灯或是在手机上操作音乐播放。Schwesig表示这种纱线也能运用于汽车内装，但Jacquard项目是以一种通用技术来进行研发，未特别针对某个使用情境。

这种技术的应用想象空间非常大，例如早上穿外套准备上班的时候，手机就自动预定Uber;穿上慢跑鞋后自动追踪运动数据;在衣服袖子上滑动一下，就可以解锁手机并对它下达语音指令等。与其用手环监测运动参数，不如直接用鞋子来得更精确。

这种织物技术面临的挑战是如何确保电子电路和芯片不怕高温熨烫以及洗衣机水泡，同时让这种交互方式尽可能精准。此外，由于牵涉到纺织业以及服装产业，涉及的供应链过于复杂，材料的测试流程也很多。

Force Touch的前世今生，核心算法来自……

以触控技术而言，手势控制虽然无法实现更精准的控制，但是透过算法使得人机交互显得更加“智能”，可以透过不同的手势和姿态判断用户的使用场景，这似乎更适于应用在可穿戴设备上。Google眼镜尽管是一款过于前卫的产品，但是它的人机交互方式主要还是采用手势或自然动作实现。例如用户只要眨眨眼睛就能拍照。

Apple的手势应用主要采用压力触控(Force Touch)技术，这项技术的软件算法来自于生物识别安全公司Privaris。目前，该公司已经把大部分专利转移给苹果。这种技术是一种可以区分轻触和用力按压的功能，可以支持大量的新手势。它的原理是将压力敏感融入多点触控输入机制中，用户只要用力长按，就可以启动二级动作。Apple Watch的压力触控常被视为类似Mac计算机右击的功能，用以打开下一层的设备和菜单选项，如果没有这种机制，很难将这些操作融合到一个非常小的接口。

Apple Watch的压力触控技术

这种技术已经从Apple Watch扩展到Apple的其它产品线，如新一代iPhone以及Macbook系列，未来可能将继续使用到苹果的其他产品线如ipad。此外，压力触控还将与实时的触觉反馈配合使用，除了现有的多点触控功能，还能让开发者为高端用户开发专有的功能。事实上，压力触控带来的应用还不止是实现某些操控手势，由于支持不同的压力变化，使得用户在触控屏幕上实现精确的作画及书写成为可能。在苹果最新发布会上，展示了利用ipad Pro配合Applepencil制作出的精美画作。

华为(Hwawei)在新一代iPhone上市之前抢先在手机上采用类似的技术。华为消费者终端董事长余承东在参展德国柏林IFA大会上发布了旗舰手机Mate S，现场展示的‘The Power of touch’压力触控技术，能够称量橘子的重量。

实际上，美国Z-origin的 Z-Tohch则是较早的触控探索者;TI公司早前推出过基于高电压的新一代振动马达的驱动芯片;美国“IMMERSION”公司拥有基于“触觉交互”的大量技术储备与专利;中国的衡业新材也在研发“新一代触摸反馈”的核心硬件。早在2009年黑莓(Blackberry)就在Storm系列手机上采用过类似的屏幕按压技术SurePress了，不过用户在使用时必须按压很大的力量，因此用户体验非常糟糕。

谷歌逆天发明，精准的毫米波手势控制

相较于Apple Watch的Force Touch 压力触控方式，Google的手势控制方案Project Soli更具有颠覆性，用户可以透过搓动手指实现控制音量大小、切换歌曲、隔空调节耳机音量等功能。

这项技术是一种60GHz的毫米波技术。也就是说，无论是控制手表、平板，还是手机等设备接口，将不再受制于屏幕。不必再透过接触触控屏幕来实现触控，通过脉冲雷达波在任意空间撷取用户的手势，即可实现对设备的控制。这也就是我们平常所说的体感交互，而现在Google在这当中应用了更精准的新技术。

毫米波技术，手势控制方案

透过搓动手指控制手表

这是一种基于无线电波反射建立的交互系统，5mm波长的无线电波能够探测到5m空间范围内的精细动作，目前Soli可以感测/辨识手指的捏转、搓动与传动等动作，感应误差精密到毫米级。这种技术的困难在于要在尽量最小的尺寸范围整合无线电波发射天线与接收天线。此外，这种操控方式在实际应用中是否有实际意义，例如打个响指切歌是否真的比单击按键切歌方便?这些都缺少更加真实应用案例和用户体验。

手机震动就是触觉反馈Haptics的最初应用

苹果在iphone6S上内置了一个振动器，将Force Touch技术与触觉反馈(Haptics)技术相结合。Haptics是一种透过马达和触摸板搭配实现不同触觉体验的技术。手机震动就是Haptics最初的应用，目前几乎大部份的智能手表和手环都具有振动反馈功能。

这一技术最早从Sony开始尝试，并推出了第一代Haptics技术的手机，三星(Samsung)甚至生产了一款型号带触觉字样的手机——三星Haptic 2。Apple在2007年提交了相关专利，在题为《光滑触控表面实现按键触感的若干方法》中描述了如何让用户感觉屏幕的凸起和凹陷。

比如，日本DOCOMO生产的一款“RAKURAKU”老人手机，其振动回馈可以让在老人触摸屏幕有触感，如按压键盘一样的实物感，还曾风靡一时;日本松下也推出独特振动回馈的平板;韩国PANTECH(潘泰)也推出过精敏振动的平板等等。

Haptics触觉反馈技术

Haptics技术的3种振动器应用形式

Haptics技术的建置目前有三种主要方式：偏转质量(ERM)、线性共振(LRA)、压电传动。其中目前比较成熟的技术是ERM和LRA技术，主要透过转自马达和线性马达实现振动反馈，其中线性马达更能实现不同方向的振动。

在手机领域，线性马达目前已经逐渐普及，而在汽车电子领域，主要仍采用转子马达。至于采用压电传动的稀土马达，其原理主要是采用具有压电效应的多晶体逆压电效应，在该晶体产生形变时产生电流，而在为晶体施加电压时，晶体产生形变。目前包括三星、AAC、村田(Murata)、TDK与TI都正积极开发Haptics相关产品。

Haptics的压电传动实现方式

在游戏与虚拟现实等应用中，Haptics技术可为用户带来身历其境的触觉体验。微软亚洲研究院正尝试将Haptics技术应用在消费产品和可穿戴设备上。此外，透过对采用Haptics技术的键盘进行测试，结果显示拥有触摸反馈的键盘，其输入速度和正确率比单纯利用视觉或声音反馈单键盘更高许多。

未来在网购体验中，Haptics将可能在手机或平板电脑的触控屏幕上仿真商品的真实纹理与质地。此外，在智能手表中采用Haptics技术，将可透过压电效应实现各种控制。例如将压电组件置于触控表面下，透过电流实现类似于实体按键的触控效果，或者透过压力实现待机一键启动等。

聪明如siri，语音交互只会更智能

苹果最近正在大举招募人工智能专家，旨在挑战谷歌在人工智能领域的领先地位。在苹果最新发布的iOS 9系统中，智能机器人Siri可通过学习辨识声音ID。

在智能硬件时代，人机交互的核心需求正朝向处理复杂任务的趋势变迁。直接透过语言对话是处理复杂任务的理想人机交互方式。用户希望能有一个真正智能的“随身管家/秘书/数字助手”，而不仅仅是一个语音转文字的工具。从iPhone推出Siri开始，包括Nuance等语音技术供货商正持续优化语音交互技术，以求实现最佳体验，其主要发展方向集中于语音识别与语音合成。

智能手表厂商映趣科技(inWatch) CEO王小彬认为，智能手表的交互方式应该做到尽量减少设备接触，透过语音技术解放双手。这一点在车载设备上有更严格的要求，目前有不少智能硬件厂商正针对车载环境开发智能后视镜及导航产品。智能后视镜厂商威仕特CEO闻政表示，过去语音技术只能由机械辨识“去哪儿”，而不能理解“我想去哪儿”，而现在要做到“我不知道去哪儿，你推荐我一个地方去”。

首家采用认知交互模型设计语音交互系统的思必驰(AI Speech)在传统语音识别和合成技术上导入交互人工智能，透过情境理解和多轮交互，针对最终任务完成度和用户体验进行系统设计和优化。什么是“交互人工智能”?所谓的“人工智能”包括运算智能、感知/表达智能、认知智能与抽象思维等四大智能模块。思必驰认为认知型的对话是语音交互的未来，不仅仅是简单的辨识语音，而是真正能够让机器像人一样进行分析、推理与处理指令。

在具体使用中语音交互面临环境噪声、辨识率的问题。思必驰的解决方式是透过麦克风数组模块+云端服务来实现自动回音消除以及远程语音识别。

类似苹果的语音助手Siri，国内华为荣耀7的智灵键采用独立物理按键语音连接互联网。能够唤醒语音助手，并且深化语音助手功能，将语音功能和很多日常软件打通。例如嘀嘀打车、微博、备忘录、菜谱、地图等软件都能够实现语音操控。

人工智能+大数据，人机交互的究极形态

日前，百度结合语音识别和图像识别功能，推出全新的机器人助理度秘(duer)——个人数字助理。

整体而言，单一的人机交互方式无法满足智能硬件多元应用场景的需要，从自然人机交互的未来趋势来看，高度便利的多模态自然人机口语交互方式是最自然且想的人机交互方式。所谓多模态人机交互是指融合视觉、听觉、触觉、嗅觉甚至味觉的交互方式，其表达效率和信息都优于单一的视觉或听觉模式。

简单来说，未来的人机交互模式中，输入信息的方式将变得越来越简单、随意与任性，例如随口说句话、比个手势、打个响指或甚至使个眼色就能告诉机器一项信息。但是机器能否理解你发出的信息就是人工智能的范畴了，如果你不想出现机器听不懂你说“我想静静”到底是什么意思，就有必要让机器反问你一句“你到底是想一个人静静?还是想念静静?”

甚至到了最后，用户再也不用主动发出信息，透过眼球追踪、触觉反馈、各种传感器，机器将自动监测分析用户所在的环境、状态甚至情感信息，协助用户进行选择或提供服务。例如当你睡着了，机器系统将主动关灯、关电视甚至帮你盖被子。这可以说是人机交互的最高境界了，到了这个阶段硬件才可以真正称得上是“智能”。不过要实现如此高度智能化的前提是，设备必须透过许多的“大数据”来进行演算分析，让智能设备记住你的行为习惯和偏好并越来越懂你，甚至有一天比你自己还要了解你。