《Nature》子刊：不仅是语言，机器翻译还能把脑波「翻译」成文字

选自自然神经科学

机器编译的核心

参与:张骞神经

如果人脑的神经信号也被视为一种语言，那么应用机器翻译架构来解释神经信号的可行性似乎并不令人惊讶。在《自然神经科学》的一篇论文中，旧金山加利福尼亚大学的研究人员将这一想法付诸实践。他们使用编码器-解码器框架将大脑神经信号转换成单词，将250个单词的封闭句子集的错误率降低到3%。

论文链接:https://www.nature.com/articles/s4159020-0608-8

在过去的十年中，脑-机接口(BMI)已经从动物实验转变为人类实验，其中代表性的结果是四肢瘫患者能够恢复一定的运动能力，并在空的维度上实现两个自由度的连续运动。虽然这种类型的控件也可以与虚拟键盘结合使用来生成文本，但是即使在理想的光标控制下，码字速率仍然局限于单指键入，这在当前是不可能的。另一种选择是直接解码口语，但是到目前为止，这种BMI仅限于解码孤立的音素或单音节词，或者在由中等数量的单词(大约100个单词)组成的连续语音中正确解码不到40%的单词。

为了获得更高的准确性，旧金山加利福尼亚大学的研究人员使用了“从神经活动解码语音”和“机器翻译”之间的概念相似性。这两项任务的目标是在同一基本分析单元的两种不同表示之间建立映射。更具体地说，它们都将任意长度的序列转换成另一个任意长度的序列(任意意味着输入和输出序列具有不同的长度，并且彼此之间没有决定性的关系)。

在这项研究中，研究人员试图一次解码一个句子，就像大多数当前的机器翻译算法一样，因此这两个任务实际上被映射到相同类型的输出，即一个单词序列对应一个句子。另一方面，这两个任务的输入是完全不同的:分别是神经信号和文本。然而，目前的机器翻译体系结构可以通过人工神经网络直接从数据中学习特征，这表明机器翻译的端到端学习算法几乎可以直接应用于语音解码。

为了验证这一假设，研究人员利用从脑电图(ECoG)获得的神经信号和相应口语的转录，在语音生成过程中训练了一个“序列到序列”框架。此外，这项任务和机器翻译之间最重要的区别是后者的数据集可以包含超过100万个句子，但是构成这项研究基础的脑电图研究中的单个参与者通常只能提供几千个句子。

为了在相对不足的训练数据中利用端到端学习的优势，研究人员使用了一种仅包含30-50个不同句子的受限“语言”，并且在某些情况下，采用了来自其他参与者的数据并转移了其他语音任务的学习。

这项研究的参与者从以下两个数据集中大声朗读句子:一组图片描述(30个句子，大约125个不同的单词)，通常以对话的形式；或者MOCHATIMIT14(460个句子，大约1800个不同的单词)，它是在50个句子中进行的(最后一组60个句子)。研究人员称之为MOCHA-1、MOCHA-2等。在时间允许的情况下，重复分组会话。对于测试，研究人员只考虑重复至少三次的句子集(即提供一个测试集和至少两个训练集)，这在实践中将MOCHA-TIMIT集限制为MOCHA-1(50个句子，大约250个不同的单词)。

方法

首先，将简要描述解码过程，如下图所示:

研究人员要求参与者大声朗读句子，同时使用高密度ECoG网格记录他们大脑边缘皮层的神经活动。

在每个电极上，ECoG信号的高频分量(70-150赫兹，即“高γ”)的包络(即在该范围内的分析信号的幅度)被提取在大约200赫兹。然后，将获得的序列(每个序列对应一个句子)作为输入数据传输到“编码器-解码器”型人工神经网络。

网络分为三个阶段:

时间卷积:相似的特征可能在ECoG数据序列的不同点被再现，并且完全连接的前馈网络不能利用这些特征。

编码器RNN:下采样序列由RNN顺序处理。在每个时间步长中，编码器RNN的输入由每个下采样序列的当前样本及其自身的先前状态组成。然后最终隐藏状态(上图中的黄色条)提供了整个序列的单个高维编码，而不考虑序列长度。为了指导编码器在训练过程中找到一个有用的解决方案，研究人员还要求编码器在每个时间步预测语音音频信号的表示，即梅尔频率倒谱系数序列。

解码器RNN:最后，高维状态必须切换回另一个序列，即单词序列。因此，我们初始化第二个RNN，然后训练在每个时间步解码一个字或序列结束标记(解码在该点终止)。在输出序列的每个步骤中，除了其先前的隐藏状态之外，解码器将参与者实际说出的句子中的先前单词作为输入(在模型训练阶段)，或者将先前步骤中预测的单词作为输入(在测试阶段)。与以往语音音素的语音解码方法相比，该方法以单词为目标。

网络架构。

同时训练整个网络，使得编码器产生的值接近目标MFCC，并且解码器为每个目标字分配高概率。请注意，MFCC目标提供了一种“辅助损失”，这是一种多任务学习的形式。它的目的只是引导网络找到一个足够好的解决词序解码问题的方法。在测试期间，MFCC预测被丢弃，并且解码完全基于解码器RNN的输出。所有的训练都是通过反向传播的随机梯度下降来进行的，并且对所有的层都应用了下降。

实验结果

在整个实验中，研究人员使用平均单词错误率(WER，基于所有测试句子计算)来量化表现，所以完美解码的WER是0%。作为参考，在语音转录中，5%的WER是专业的，20-25%是可以接受的。这也是语音识别技术被广泛使用的标准，尽管它的参考词汇表要大得多。

让我们首先考虑当一个示例参与者说50句MOCHA-1(大约250个不同的单词)时，编码器-解码器框架的性能(见下图)。下图中参与者的平均WER值约为3%。过去，WER最先进的语音解码方法是60%，并且实验是用小词汇量(100个单词)进行的。

解码句子的WERs。

编码器-解码器网络卓越性能的来源是什么？为了量化各种因素的贡献，研究人员系统地删除或削弱它们，并从头开始训练网络。上图中的第二个方框显示了在空之间对数据进行下采样，以模拟低密度ECoG网格的性能。具体来说，在网格的两个维度中，只剩下四分之一的通道(即，64个通道，而不是256个通道)。WER大约是原始值的四倍，并且仍然在可用范围内，这表明除了高密度网络之外的其他因素对于算法的重要性。

第三个方框显示了MFCC在训练过程中没有被锁定时的表现。它的WER接近于用低密度网格数据训练的模型的WER，但仍明显优于以前的语音解码方法。

接下来，研究人员认为输入层是一个完全连通的网络，而不是一个复杂的网络(第四个方框)，WER达到了原始值的8倍。

然后考虑实现高性能需要多少数据。下图显示了四个参与者的WER作为神经网络训练重复次数的函数。没有参与者的总培训数据超过40分钟。当重复训练至少有15次时，WER可能低于25%。

在下图中，有两个参与者，他们在MOCHA句子上的训练时间很少(参与者a/绿色实线，参与者d/棕色实线)，因此解码性能很差。

本文由 在线网速测试 整理编辑，转载请注明出处。