Kelly Servick（Kelly is a staff writer at Science）于1月2日发表在《Science》

Brianup 翻译

对瘫痪或不能说话的人来说，他们想表达的语言被束缚在大脑中，没有人能解译这些信号。最近，有3个研究团队通过在脑部临床手术时对大脑皮层安置电极采集大脑信号，并将采集到的信号转换为机器语音，使大脑活动转换为语言取得关键进展。他们用神经网络模型对采集到的脑电进行信号处理，并将脑电信号与人们听觉可识别的单词或语句进行重建。

中风后的人经常失去说话能力，仅能通过眼睛或微小动作控制光标或在屏幕上选择单字（像著名的宇宙物理学家霍金一样，只能通过脸颊的移动去触发安置在眼镜上的开关），如果有一种脑机装置能直接生成语音，那么他们能表达更多，控制音调和语气，重新拥有进行快速对话的能力。

这项技术的难度很高，哥伦比亚大学计算机科学家Nima Mesgarani表示，他们正在努力找在不同时间点神经元激活和关闭的模式，从而推断语音表达，而从一种状态到另一种状态的映射并不那么显而易见。同时，这些信号如何翻译成语音因人而异，计算机模型必须针对每个独立的个体进行训练。这些模型需要非常精细的数据，这也意味着需要进行开颅手术。

研究人员只有在极少数情形下才能进行这种侵入式的大脑信号记录。一种是在进行脑肿瘤切除手术时，安置在大脑皮层的电极用于帮助外科手术大夫进行手术定位，避免切除关键的语言和控制部分。另一种是在癫痫病人手术前，当癫痫病人植入电极用于定位癫痫发作的起始部位时，但这种情况一般来说最多能够收集20到30分钟的数据，因此数据采集非常有限。

这项研究的研究人员，将这些及其来之不易的大脑信号数据输入人工神经网络，通过神经网络来处理其中的复杂模式，从而使得神经网络能够在输入脑电信号时，同步进行对应的语音表达。

癫痫病人进行语言转换脑电信号记录

Mesgarani的团队依靠从5个癫痫病人获取的脑电数据，构建神经网络分析了从大脑听觉皮层信号（该脑区在说话和聆听时激活状态下，病人在听故事时人们进行1到9的数数后），计算机依据采集到的神经信号重建1到9的数字语音表达，能够达到75%的准确率。

另一组由德国Bremen大学神经科学家Miguel Angrick和荷兰Maastricht大学的Christian Herff领导的研究组，依靠从6位正在进行脑肿瘤切除手术病人采集的脑电数据进行了对应的研究和试验。一个麦克风用来捕捉当他们读单音节单词时的语音，同时电极记录大脑的语言规划区域和运动区域（这两部分区域负责发送指令给声道发音）的脑电信号，神经网络对电极采集到的脑电信号和语音进行训练识别，然后再用未知脑电信号进行重建，最后得到40%可识别的计算机生成的单词。

最后，加州大学旧金山分校的神经外科医生Edward Chang，通过癫痫病人不同脑区语言和运动区的脑电信号记录，进行了大声朗读整个句子的构建和识别试验。在一项测试任务中，166个人听到其中一句话并且要在10个已知的选项中选择，一些句子能够被超过80%的准确率正确识别。他们甚至扩展模型，通过对默念单词和对应脑电信号的来建模识别，正如Herff所说，这是一项重要的结果，使得我们梦想的语言能力修复成为了可能。

然而，圣地亚哥州立大学的研究语言产生的神经科学家Stephanie Riès说：“我们真正期待的是当病人不能说话时这些方法如何进行”，当一个人安静的说并听他们的语音不能等同于说和听时的大脑信号，如果没有外部声音去匹配大脑活动信号，对电脑来说就算识别内部语言表达的开始和结束都会很难。

美国国家适应性神经技术中心的神经工程师Gerwin Schalk说：“解码语言是一个大挑战，现在还是无法知道如何去做”。

Herff说，一种方法是给使用脑机接口设备的用户反馈，即如果他们能够听到电脑的即时语言，那么他们能够调整他们的大脑想法去得到他们想要的结果。不管是对用户还是对神经网络模型，有足够的训练，人脑和电脑最终可以找到平衡点。

人工智能和机器算法给我们带来了极大的方便，未来一定会更美好！！让我们拭目以待吧！

ICP经营许可证办理电话：400 668 6635 

有更多疑问可以添加微信咨询办理客服 点击立即咨询