苹果Siri正确率明显提高 但仍落后于谷歌
扫描二维码
随时随地手机看文章
5个月前,市场调研机构Loup Ventures进行了一项横评测试,对象主要是多家科技公司的智能扬声器产品,一一测试这些产品针对不同问题的表现如何。日前,该机构又进行了一项新的横评,而这一次测试对象是智能手机的AI智能语音助理。虽然Siri依然不算最出色的一款,但回到问题的正确率却得到了显著提高。
为了得到更客观的结果,Loup Ventures在测试过程中分别在智能手机上对苹果Siri、谷歌Google Assistant、亚马逊Alexa和微软Cortana问了800个问题,并将测试结果与早期2017年4月的测试进行对比。
在最新的测试中,苹果的人工智能语音助理Siri能够理解99%的问题,并正确回答了78.5%的问题。这是非常明显的进步,因为在2017年4月时在类似的以AI为重点的测试的中,仅回答正确了66.1%。
Loup Ventures并没有将这个成绩与今年2月的测试对比,他们认为智能音箱和智能手机之间有显著差异,而这一次是纯粹手机平台的比拼。当时针对HomePod的测试中,Siri只有在某些类型的问题回答中表现出色,大量问题仍仅限于能在扬声器上可执行的操作上。因此在那次针对智能音箱的横评中Siri只能垫底,因为782道问题的正确率却只有52.3%。
Loup Ventures的评测主要根据两个指标来对每个智能语音助理评分:“它理解被问的问题吗?”和“它给出了正确的回答吗?”。这些问题分为五个类别,包括地点(例如:“最近的咖啡店在哪里?”)、商务(“你能帮我订购新的纸巾吗?”)、导航(“我如何坐公交到达市中心?”)、信息和命令。
关于测试的环境条件,Siri是运行iOS 11.4系统的iPhone版,Google Assistant是Pixel XL手机版,Alexa是iOS版本,Cortana也是iOS版。至于结果,在“命令”问题类别中Siri表现最出色,90%的问题都回答正确了,优于所有竞争对手。而其他类别,“地点”问题正确率为87%、“导航”类别83%,“信息”类别70%,“商务交易”仅60%。
其实Siri在“命令”这一问题分类中领先并没有什么奇怪的,因为iOS是苹果自家的封闭平台,通过Siri控制iPhone、智能家居、Apple Music等自然都能完成,而其他第三方app如Cortana和Alexa都有限制。说实话,自家平台做好是应该的,至少确保用户通过Siri能够顺利控制iPhone或在HomePod上播放音乐,这的确已经是很低的要求了。
而除了“命令”类别的问题之外,Google Assistant在所有类别中都有明显优势,正确率最高。Loup Ventures称赞谷歌语音搜索的“精选摘要”功能,因为可以通过语音读取,关键是大多数情况下给出的都正好是想要的搜索结果。Alexa和Cortana在测试中表现不佳,毕竟iOS平台限制了它们在iPhone上的发挥,基本仅限于app本身,无法达到Siri系统级别的执行任务操作。
总的来说,在800个问题测试中,Google Assistant回答问题正确率达到了85.5%,并且理解所有的问题。Siri的回答正确率为78.5%,有11个明显错误的回答。Alexa回答正确率为61.4%,13个错误。而Cortana是最为落后,回答正确率仅为52.4%,错误达到19个。
Loup Ventures表示,自2017年4月以来的15个月时间里,Siri回答问题的正确率提高了13个百分点。当iOS 12正式推出之后,伴随着Siri捷径功能的出世,相信Siri将获得更多功能上的提升。