当前位置:首页 > 智能硬件 > 智能硬件
[导读]近日,来自加州大学旧金山分校的研究者开发出了一种能将大脑信号转换为语音的虚拟假体语音系统,可帮助癫痫和其他神经性疾病患者还原语音能力。

 这项研究成果于 4 月 24 日发表在《自然》杂志上,并得到了多家媒体的报道,其中就包括《纽约时报》。AI 科技评论将《纽约时报》的这篇报道编译如下。

「我在脑海中将每一个句子都过十遍,或删掉一个单词,或再添加一个形容词,并通过背诵来逐段地琢磨我的文字。」Jean-Dominique Bauby 在他的回忆录《潜水钟和蝴蝶》中这样写道。作为一位记者兼编辑,Bauby 在这本书里回忆了那次让他的全身都几乎无法动弹的瘫痪性中风之前和之后的生活。他眨着眼皮,逐字将书中的内容读出来。

成千上万的人由于在事故或争斗中受伤,或患上中风或肌萎缩侧索硬化(ALS)等神经退行性疾病而丧失说话能力,都同样地遭遇着沟通困境。

而现在,科学家们在报告中提出,他们已经开发了一种虚拟的假体语音系统,该系统能够解码大脑的说话意图,并将它们转化为基本可以理解的言语,而不需要移动任何肌肉,甚至是口腔内的肌肉。(物理学家兼作家斯蒂芬 · 霍金,曾经就使用他脸颊上的肌肉在键盘上打出字符,然后计算机再将这些字符合成为语音。)

佛罗里达州杰克逊维尔市梅奥医学中心(Mayo clinic)的神经科医生兼神经科学家 Anthony Ritaccio 博士并非该研究组的成员,他表示:「这(AI 科技评论注:解码大脑信号)是一项艰巨的工作,它推动我们进入了语音还原的另一个层次」。

实际上,此前研究人员就已经开发出了其他的虚拟语音辅助工具。它们都通过解码负责识别字母和单词以及口头表示的大脑信号来实现语音辅助,但是这些方法在自然语言表达的速度和流动性上尚显不足。

这个新系统的相关工作于周三发表在《自然》杂志上,它译解了大脑在说话期间用来指导声带运动(如舌头与口腔的碰撞、嘴唇缩窄等)的控制命令,产生的句子在可理解的同时,也接近于说话者自然的说话节奏。

专家们认为,这项新的工作成果代表了一次「原理论证」,它预示着某些事情经过进一步的实验和提升后可能实现的目标。研究者在能正常说话的人身上测试了该系统,不过还尚未将其放在那些身患造成解码难度或无法实现的神经性疾病或重伤(例如常见的中风)的患者身上进行测试。

针对新的试验,加州大学旧金山分校和加州大学伯克利分校的科学家们招募了五名在医院接受癫痫手术评估的患者。

ECoG 电极矩阵由能够记录大脑活动的颅内电极组成(图源:加州大学旧金山分校)

Gopala Anumanchipalli 是加州大学旧金山分校的神经学家,他正拿着一个跟在当前研究中所使用的电极矩阵非常相似的电极矩阵(图源:加州大学旧金山分校)

许多癫痫患者都由于药物治疗效果不佳而选择接受脑部手术。在手术前,医生必须首先找到癫痫在每个人的大脑中发作的「热点」,这通过在大脑中或大脑表面上放置电极,并听取明显的电风暴 (electrical storms) 来完成。

对此位置进行精确定位可能需要耗费数周时间。在此期间,患者通过在涉及到运动和听觉信号的大脑区域里面或附近植入电极来度日。这些患者往往会同意在这些植入物体上搭载其他额外的实验。

加州大学旧金山分校的这五名此类患者就接受在他们身上测试虚拟语音生成器。研究者在他们每个人的大脑中都植入了一个或两个电极矩阵:邮票大小的衬垫包裹了数百个被放置在大脑表层的微小电极。

当每个志愿者在背诵数百个句子时,电极就会记录下运动皮层中神经元的发射模式。研究人员将这些模式与患者在自然说话期间所发生的嘴唇、舌头、喉部以及下颌的微妙运动联系起来。之后,研究团队再将这些运动转译为成口头表达的句子。

另外在实验中,研究者还让以英语为母语的人听取句子来测试虚拟语音生成器的流畅度,最终发现虚拟系统说出的 70% 的内容都是可理解的。

 

Edward Chang 博士致力于研究大脑如何产生和分析语音,他开发了一个为癫痫和其他神经性疾病患者还原语音能力的假体。(图源:加州大学旧金山分校)

这项新研究工作的论文作者、加州大学旧金山分校神经外科教授 Edward Chang 博士表示,「实验显示,我们通过解码指导发音的大脑活动模拟出来的语音,比根据从大脑中提取出来的声音表示而合成的语音更准确,也更自然。」Edward Chang 博士的同事是同在加州大学旧金山分校的 Gopala K. Anumanchipalli 以及同时在加州大学旧金山分校和加州大学伯克利分校任教的 Josh Chartier。

以前基于植入物的通信系统,每分钟可生成大约 8 个单词。而这项新成果每分钟能以自然的说话节奏生成约 150 个单词。

研究人员还发现,其他人可以使用和调整基于某个人的大脑活动的合成语音系统——这就暗示着现有的虚拟系统在未来某一天都能够对外开放。

该团队正计划展开临床试验以进一步测试该系统。而临床试验面临的最大挑战,可能是寻找合适的患者:让人类丧失说活能力的中风,往往也会损害或影响到支持语音发音的大脑区域。

尽管如此,众所周知,脑机接口技术(相关技术可查看雷锋网 AI 科技评论此前的一篇相关报道)领域正在迅速发展,世界各地的研究团队也正在改进这项技术,未来有可能实现对特定伤患进行脑器接口技术的量身定制。

埃默里大学、佐治亚理工学院的生物医学工程师 Chethan Pandarinath 和 Yahia H. Ali 在一篇附随评论中写道:「随着这项新技术的持续进步,我们能够期待有言语障碍的人能够(凭借这项技术)重新获得自由表达个人想法的能力,并与其周围的世界重新建立联系。」

论文:《Speech synthesis from neural decoding of spoken sentences》

下载地址:https://www.nature.com/articles/s41586-019-1119-1

摘要:将神经活动转换成语音的技术对于因神经系统损伤而无法正常交流的人来说,是革命性的。从神经活动中解码语音极具挑战性,因为说话者需要对声道发声进行非常精准、快速的多维度控制。这项新研究设计了一个神经解码器,以显式地利用人类大脑皮层活动中进行了编码的运动表示和声音表示来合成语音。首先,用循环神经网络直接将记录的大脑皮层活动解码为发音运动的表示,然后将这些表示转换为语音。在封闭的词汇测试中,听众可以识别和转录出利用大脑皮层活动合成的语音。中间的发音动态即使在数据有限的情况下也能帮助提升性能。讲话者可以较大程度地保存经过解码的发音运动表示,从而使得解码器的组件可在不同参与者之间迁移。此外,该解码器还可以在参与者默念句子时合成语音。这些发现都提升了使用神经假体技术还原语音交流能力的临床可行性。

 

本站声明: 本文章由作者或相关机构授权发布,目的在于传递更多信息,并不代表本站赞同其观点,本站亦不保证或承诺内容真实性等。需要转载请联系该专栏作者,如若文章内容侵犯您的权益,请及时联系本站删除。
换一批
延伸阅读

9月2日消息,不造车的华为或将催生出更大的独角兽公司,随着阿维塔和赛力斯的入局,华为引望愈发显得引人瞩目。

关键字: 阿维塔 塞力斯 华为

加利福尼亚州圣克拉拉县2024年8月30日 /美通社/ -- 数字化转型技术解决方案公司Trianz今天宣布,该公司与Amazon Web Services (AWS)签订了...

关键字: AWS AN BSP 数字化

伦敦2024年8月29日 /美通社/ -- 英国汽车技术公司SODA.Auto推出其旗舰产品SODA V,这是全球首款涵盖汽车工程师从创意到认证的所有需求的工具,可用于创建软件定义汽车。 SODA V工具的开发耗时1.5...

关键字: 汽车 人工智能 智能驱动 BSP

北京2024年8月28日 /美通社/ -- 越来越多用户希望企业业务能7×24不间断运行,同时企业却面临越来越多业务中断的风险,如企业系统复杂性的增加,频繁的功能更新和发布等。如何确保业务连续性,提升韧性,成...

关键字: 亚马逊 解密 控制平面 BSP

8月30日消息,据媒体报道,腾讯和网易近期正在缩减他们对日本游戏市场的投资。

关键字: 腾讯 编码器 CPU

8月28日消息,今天上午,2024中国国际大数据产业博览会开幕式在贵阳举行,华为董事、质量流程IT总裁陶景文发表了演讲。

关键字: 华为 12nm EDA 半导体

8月28日消息,在2024中国国际大数据产业博览会上,华为常务董事、华为云CEO张平安发表演讲称,数字世界的话语权最终是由生态的繁荣决定的。

关键字: 华为 12nm 手机 卫星通信

要点: 有效应对环境变化,经营业绩稳中有升 落实提质增效举措,毛利润率延续升势 战略布局成效显著,战新业务引领增长 以科技创新为引领,提升企业核心竞争力 坚持高质量发展策略,塑强核心竞争优势...

关键字: 通信 BSP 电信运营商 数字经济

北京2024年8月27日 /美通社/ -- 8月21日,由中央广播电视总台与中国电影电视技术学会联合牵头组建的NVI技术创新联盟在BIRTV2024超高清全产业链发展研讨会上宣布正式成立。 活动现场 NVI技术创新联...

关键字: VI 传输协议 音频 BSP

北京2024年8月27日 /美通社/ -- 在8月23日举办的2024年长三角生态绿色一体化发展示范区联合招商会上,软通动力信息技术(集团)股份有限公司(以下简称"软通动力")与长三角投资(上海)有限...

关键字: BSP 信息技术
关闭
关闭