在唇读方面人工智能系统远远胜过人工识别
扫描二维码
随时随地手机看文章
语音识别技术已经成为科技圈的亮点,无论是百度的度秘,还是搜索刚刚开发的要取代口译人员的机器人,语音识别技术真的是越来越强大了。 Jamie Condliff 在本文介绍了新的研究,证明人工智能不仅可以通过语音识别人们说话内容,即使听不到声音,人工智能已经可以顺利地读取唇语了,甚至比人工还要有效很多。
众所周知,唇读是非常困难的,很大程度上取决于语言的语境和对其的了解,而这些都只通过视觉来呈现的。但是研究者们正向我们表明,机器学习能够比专业唇读者更有效地来识别那些无声视频的台词。
在一个项目中,来自牛津大学计算机科学系的一个团队开发了一个名为LipNet的全新人工智能系统,据Quartz新闻网站报道,这个系统建立在GRID的数据集基础上,而GRID是由人们朗读三秒钟句子的清晰的面部视频合辑构成。每个句子都遵循相同模式的字符串。
这个团队用这一数据集去训练神经网络,与执行语音辨认的性质类似。在这一过程中,尽管神经网络随着时间推移能够识别出口型变化,也能学会把这一信息与所说内容的解释联系起来。但是人工智能系统并不会断断续续地分析连续镜头,而是考虑整体内容,使得它能够从分析的句子中理解其中的语境。这一点非常重要,因为人们的口型往往比人们发出的声音要少很多。
测试的时候,这一人工智能系统能够准确地识别出93.4%的话语,许多人工唇读志愿者也做了同样的测试,但是准确率只有52.3%。
据New ScienTIst报道,另外一个来自牛津大学工程科学系并一直与谷歌的DeepMind这一人工智能系统合作的团队完成了一项更加困难的的任务。他们所使用的并不是像GRID那样整齐一致的数据集,而是一系列从英国广播公司电视台截取的100,000个小视频。这些小视频囊括许多语种,并且其中有不同的光线效果和说话人头部位置的移动。
牛津大学和DeepMind的团队用了类似的方法,成功地开发出一个识别率达到46.8%的人工智能系统。这远远超过了人工识别的准确率,人工识别要做到毫无差错的准确率只有12.4%。当然,准确率之所以这么低是有很多原因的,包括从光线和方向转换到更深层次的语言复杂程度。
撇开差异来说,这两次试验表明,人工智能系统在唇读方面远远胜过人工识别,我们不难想象,这种软件的应用潜力是巨大的。在将来,网络电话Skype可以弥补很多不足,比如当呼叫者处于较吵的环境时,又或者说可以让那些听力有障碍的人也能拿起手机去“听”别人在说什么。