搜狗发布唇语识别技术，“读唇”这事的商业价值是什么？

12月初的世界互联网大会上，搜狗发布了一项“唇语识别”技术。唇语识别，简单说就是通过图像识别你的口型，转写出你说的内容。

在国外的技术界，2016年谷歌和牛津大学的深度学习项目组曾经共同研发唇语识别技术，在那一年的视频节目测试中，机器唇语识别的准确率达到46.8%，高于人类唇语专家12.4%的识别率。今年3月，数据可视化服务商海云数据也发布了类似的唇语识别技术。

放在以往，阅读唇语这件事在人们印象中，多是小说里武侠和特工的特异功能。但当我们要用机器解决这个问题，就意味着它有足够的商业空间，让公司乐于把它批量的大规模应用，做成产品。那么机器读唇究竟有什么应用价值?

接受36氪采访时搜狗语音交互中心技术总监陈伟表示，目前唇语识别的落地场景主要有两种：其一，在多数语言场景下，摄像头的覆盖率远远高于麦克风，但通过摄像头获得的是图像数据，目前主要用于监控简单的行为，但很难知道例如安防这类场景中图像中的人物在说什么，使用唇语识别技术就可以通过嘴的动作获取大量内容信息。

其二，唇语识别可以作为辅助技术，提升语音识别技术现阶段的准确率。搜狗的唇语识别技术目前在开放的口语测试级上可以达到50%-60%的准确率，在限定场景中可以达到90%。这个数字对于现阶段的唇语识别技术而言，是不错的水准，但对于商用尚欠火候。毕竟各家大厂语音识别准确率普遍达到97%后，依旧不能令消费者完全满意。不过唇语识别可以作为语音识别的辅助技术出现，比如去弥合97%的语音识别率剩余那3%的台阶。

“提升语音识别的准确率需要降低噪音，行业内有两条路在走，一条是通过麦克风阵列等硬件方式做音频信号的增强，屏蔽噪音，另一条是加入‘多模态信息’，就比如唇语识别提供的视觉信息。”陈伟解释称。

以下是采访内容：

问：相比麦克风阵列提升语音识别准确率，用唇语识别技术去解决，在技术上的提升空间是否更大?现实落地中是否面临增加摄像头会增加成本的问题?

陈伟：我们做的事情不是说马上就要落地，对现阶段来说，我认为麦克风阵列依然比唇语更靠谱，解决噪声的问题，落地的速度上，麦克风序列都已经是落地的阶段了，而唇语阵列刚刚研发完成了第一步，后面要跟音频做一些结合做一些进一步降噪的工作，所以这个事面向的时间段是不一样的，就是可能可是当前的，但是唇语可能是明年，我们计划在一年内有一些落地的项目在做。

在噪声的环境下，语音识别的可能不准确率不止3%，甚至在40%、50%或0。这种情况下“唇语识别”比麦克风识别强，假如说声音非常的嘈杂，麦克风阵列就算加了一些硬件也解决不了这个问题，有它的一些局限性在，但是唇语相当于绕过了噪声，通过视觉的方式来解决。

问：现在唇语识别最刚需的场景是什么?

陈伟：安防其实也很刚需，我们现在花很多的精力去解决噪声问题，关于成本，其实加一个摄像头不及加一个麦克风阵列的成本高。

问：唇语识别会涉及到用户隐私方面的限制吗?

陈伟：目前的状态还没有到那个阶段，我们还在探索这件事能和哪些刚需场景结合在一起。

问：“唇语识别”未来的应用前景会有哪些?

陈伟：未来唇语可以放在安防，还有助残上面，甚至对一些早期陌生的电影，以前的电影里面，就像卓别林的很多的电影没有声音，能不能给它配字幕，有很多新的东西，就是能不能从一个人的唇动把字读出来，目前做的事很局限，我们限定在一些交互的刚需场景里面，所以在这些特定的刚需场景里面我们想把它放进去，未来像我们车载、家居、机器人倒推唇语怎么跟它结合，但是并不是限定在这些场景。

问：你提到在限定场景唇语识别的准确率能达到90%?

陈伟：这个是没有问题的，因为在限定场景下，比如说我们现在有一个集合，我们可以对语音做一些增强，这样的话准确率高很多，因为我们有10万词，可能和垂直场景下几千词的交流这不是一个量级。

比如说在车里面，启动音乐它的准确率就很高，因为在特定的集合里面，我们有1000多个命令词，包括古诗和绕口令。这不是一个写死的状态，而是一个可以灵活操作的事情，而且这件事情其实是可以依赖任务去定制的，我们这个技术是通用的技术而不是限定的场景。

问：你觉得做这个过程的中最大的难点是什么?

陈伟：其实是泛化性。因为我们之前的数据都是来自网上爬取的新闻类的节目，筛讯的都是类似主持人这样的，因为他们是经过标准训练的人群，唇型的发音是标准的，但是很多普通人发音是不标准的。如果发音标准的主持人(识别准确率)是60%，但是普通人的话像我们之前的那个阶段可能就20%、30%，我们后来针对这个问题去录制了很多的普通人的一些数据，把这样的数据加进来之后，在普通人的泛化性上得到很大的提升。