言语脑机接口
尝试说话时，运动皮层还在发出信号。植入的电极读出它们，神经网络和语言模型把它们变成文字。
向下滚动
从尝试说话到文字
一位渐冻症参与者已经说不出别人听得懂的话。2023 年 7 月，医生在他左脑的中央前回放进四块微电极阵列。手术后第 25 天第一次使用，录下 30 分钟他尝试说话时的信号，就能用 50 个词的词表解码，词错误率 0.44%。
第二天又训练了 1.4 小时，换成 125,000 个词的词表，词错误率 9.8%。数据越攒越多，到第 15 次降到 2.5%。8.4 个月里，他用它说了 248 个多小时的话。
他按自己的速度说，每分钟约 32 个词，日常对话约 160 个。2023 年发表的另一项研究里，参与者同样患渐冻症，每分钟说 62 个词；125,000 词时，词错误率是 23.8%。
50 词：0.44% · 125,000 词：9.8%，后来 2.5% · 共 248 小时
失去的和留下的
渐冻症（肌萎缩侧索硬化）损害运动神经元，就是脑和脊髓里控制随意运动的神经细胞。它们退化以后，不再把信号送到肌肉，说话、吞咽、走路都越来越难。患者通常仍能推理、记忆和理解。
脑干的卒中可以让人进入闭锁状态：清醒、能思考和理解，却不能动身体，也不能说话，多数人还能眨眼、上下转动眼睛。
在这些参与者的运动皮层里，说话时嘴唇、舌头、下颌和喉的动作信息瘫痪多年后仍然读得出来，只是到不了肌肉。言语脑机接口直接从皮层读，绕过断掉的那一段。
运动神经元不再传信号 · 闭锁 · 皮层里的信息还在
阵列放在哪里
中央前回在中央沟的前面。它靠下的一段，外侧裂上方的 6v 区，是口面部的运动皮层；单个电极上就能读到嘴唇、下颌、舌头和喉的动作混在一起。图上涂成朱红的就是这一段。
2023 年的研究放了四块阵列：两块在 6v 区，两块在额下回的 44 区（布罗卡区的一部分）。44 区几乎读不出说话的信息，解码只用了 6v 区的 128 个电极。
2024 年那位参与者的四块都在左侧中央前回：6v 区的腹侧和背侧、4 区和 55b 区，共 256 个电极。人和人的脑回不尽相同，论文说，能不能每次都放到读得出说话的位置，还要更多验证。
6v：口面部运动皮层 · 44 区几乎读不出 · 四块共 256 个电极
一块微电极阵列
每块阵列是一小片硅，3.2 × 3.2 毫米，上面竖着 8 × 8 = 64 根针，每根长 1.5 毫米；厂家给出的针距是 400 微米。针和底座是同一块硅。
针身包着一层聚对二甲苯（Parylene-C）绝缘，针尖镀着氧化铱。每个针尖上有一个约 50 微米的记录点，设计上记录附近一个或几个神经元的放电。
手术时打开约 5 × 5 厘米的颅骨，用高速的气动插入器把阵列压进皮层 1.5 毫米。背面的引线汇成一束金线，穿过颅骨接到连接座上，连接座用钛螺钉固定在颅骨外面。旁边的阵列放大了 20 倍，连接座放大了 2 倍。
8 × 8 根 · 3.2 毫米见方 · 长 1.5 毫米 · 针距 400 微米
从放电到特征
每个电极上的电压每秒记录 30,000 次。附近的神经元放电时，电压会猛地往下跳一下。
解码器不去分辨是哪个神经元，只数两样：电压低于阈值（噪声均方根的 −4.5 倍）的次数，和放电频段的功率，每 20 毫秒算一次。论文说，这两样拿来解码，和逐个分出的神经元差不多。
256 个电极、每个两样，就是每 20 毫秒 512 个数。它们先按各自的平均值和波动标准化，再平滑一下，送进神经网络。
每秒 30,000 次 · 阈值 −4.5 倍均方根 · 每 20 毫秒 512 个数
神经网络读出音素
解码器是一个循环神经网络：五层门控循环单元（GRU），每层 512 个单元。它每 80 毫秒读一次最近 280 毫秒的数据，给出 41 个概率：39 个英语音素、词与词之间的停顿，和训练用的“空白”。
训练有个难处：参与者说不清，没人知道每一刻他在发哪个音。所以用 CTC（联结时序分类）训练：只告诉网络这句话的音素顺序，由它自己对上时间。
信号每天都会慢慢变，网络最前面有一层每天单独学的输入层，先把当天的数据校正一下。只看网络本身、每步取最可能的音，2023 年那项研究的音素错误率约 20%。
5 层 × 512 · 每 80 毫秒 · 41 个输出 · 音素错误率约 20%
语言模型挑出词
一串音素还不是句子。语言模型知道有哪些词、哪些词常连在一起，从音素的概率里找出最可能的一串词。2023 年那项研究用 CMU 发音词典里的 125,000 个词，在网上的大量文字里统计三个词一组的搭配。
它每 80 毫秒走一步，用束搜索留下最好的一批候选，每步不到 1 毫秒，屏幕上的字跟着更新。2024 年的系统还用一个 67 亿参数的大语言模型（OPT）给最可能的 100 句候选重新打分。
它能纠错，也会改错。论文里的一个例子：要说的是 “we don’t listen to the radio at work at all”，有 4 个音解错了；“listen” 还是对的，“radio” 却变成了 “reader”。
125,000 词 · 三词一组 · 每步不到 1 毫秒 · 67 亿参数的模型重新打分
词表越大，越容易错
2023 年那项研究里，词表只有 50 个词时，词错误率是 9.1%；换成 125,000 个词，是 23.8%（两组测试句子不同）。网络本身解出的音素，两种情况错得差不多，都在 20% 左右。
原因之一：词越多，只差一个音的“邻居”越多。在 CMU 词典里，50 个词中居中的那个词，一个音之内约有 50 个别的词；“I” 有 142 个，其中 “eye” 读音完全一样。在 50 个词里，多数词一个音之内没有别的词。
论文把同一批数据配上大小不同的词表重新解码：词表要小到 50 到 100 个词才明显更准；到 1,000 个词左右，错误率就和大词表差不多了。
50 词：9.1% · 125,000 词：23.8% · 1,000 词以上差不多
训练和校准
2023 年那项研究里，每个测试日先录下参与者尝试说的 260 到 480 句话（约 41 分钟），连同以前所有的数据重新训练网络，连录带训平均每天约 140 分钟。离线测算，不重新训练时词错误率约 30%。
2024 年的系统，第一天录 30 分钟、213 句就用上了 50 个词；第二天再录了 1.4 小时，就换成 125,000 个词。后来每说完一句，就用这一句把网络微调一次。
在只供他自己使用的 29 天里，他三次觉得错得比平常多，要求重新校准；每次约 7.5 分钟，尝试说出屏幕上的 20 句话。
每天约 41 分钟（2023）· 第一天 30 分钟（2024）· 校准一次约 7.5 分钟
把信号变成声音
2023 年另一组研究者用的是贴在皮层表面、不插进去的电极：一张片子上 253 个，中心相距 3 毫米。参与者是一位脑干卒中多年后不能说话的女性。解码文字的中位数是每分钟 78 个词、词错误率 25.5%（词表 1,024 个词）；同时合成语音，驱动一个虚拟头像的表情。
2025 年，2024 年那位参与者用上了直接出声的解码器：不经过文字，每 10 毫秒从神经信号算出一小段声音，音色按他患病前的声音训练。论文说，从采集信号到合成出声音样本，用时不超过 10 毫秒（不含声卡播放）。
听的人从六句里挑出他说的那一句，平均挑对 94%；直接写下听到的话，词错误率中位数 43.75%；他自己开口说时，这个数是 96.43%。他还能用它问问题、强调某个词，唱三个音高的简单曲调。
表面电极 253 个 · 不超过 10 毫秒出声 · 听写词错误率 43.75%
不出声的内心话
2025 年一项研究请四位参与者只在心里说、不尝试动嘴。运动皮层里也有信号，像是尝试说话时的弱化版；实时解码 50 个词时，词错误率 14% 到 33%。
问题随之而来：只在心里想的话，会不会被解出来？研究者试了两种保护：训练时把心里默念的句子都标成“静音”，这一种目前只在离线数据上验证过；或者先在心里默念一个平时几乎不会说的口令，解码器才开始输出。实时测试中，口令判断对了 80 次中的 79 次。
论文也写明，自由思考时解不出完整、能听懂的句子。这些系统读的是运动皮层里和说话有关的活动，不是想法本身。
心里说：50 词 14–33% · 口令 79 / 80 · 自由思考解不出句子
它还不是什么
它还不是产品。这些研究都在临床试验里进行，用的是研究用器械。到 2024 年，BrainGate 系列试验共有 19 位参与者，过去多数解码的是手臂和手的动作；几篇言语论文各有一到四位参与者。
要开颅，头上留着穿出头皮的连接座。BrainGate 的 14 位参与者在 2004 到 2021 年间共植入 12,203 天，发生 68 次与器械有关的不良事件，其中 6 次严重，最常见的是连接座周围的皮肤刺激；没有一次需要取出器械。
它读的是尝试说话时运动皮层的信号，不是念头；网络要定期重新训练或校准；接上系统、启动程序，2024 年那位参与者也还需要研究人员帮忙。人工耳蜗把信号送进听神经，言语脑机接口反过来，把皮层的信号读出来。
临床试验 · 研究用器械 · 要开颅 · 读的是尝试说话
拆开一块阵列
放大的这块按 20 : 1 画。针和底座是同一块硅，拆不开；针身包着绝缘层，只露出镀着氧化铱的针尖。
背面每根针接一根引线，外面用硅胶封住；64 根引线汇成一束金线，通到连接座。
连接座放大 2 倍画：高 16.5 毫米、底面直径 19 毫米，用钛螺钉固定在颅骨上，上面接可以拔下的接头和电缆。焊点、硅胶和连接座的外形是本页画的。
针和底座 · 焊点和硅胶 · 金线束 · 连接座
实验台：词表的大小
选一句话、词表大小和音素错误率，按“解码”。模型先按音素错误率随机解错一些音（红色），再在词表里找读音最接近的词。每按一次都重新随机一遍。
词表只有 50 个词时，错一两个音，最接近的多半还是原来的词；换成 125,000 个词，一个音之差常常落到别的词上；读音完全一样的词，比如 “I” 和 “eye”，只能随便挑一个。
这是模型：音素错误率取论文里网络本身的数（19.7% 或 10.3%）；大词表只算一个音之内的邻居；没有上下文的语言模型，所以大词表错得比论文多得多。论文正是靠上下文，把 125,000 词的错误率降到 23.8% 和更低。
读数：错的音 · 错的词 · 模型平均
试一试把词表从 50 个词换成 125,000 个词：同一句话里，哪些词最容易被解成别的词？为什么像 “I” 这样的短词更容易错？
模型省略了什么
头像是一件真人大小的瓷像，不是哪一位参与者。脑按标准的侧面图画了主要的脑沟（外侧裂、中央沟、中央前沟和中央后沟、额上沟和额下沟、颞上沟、顶内沟），小的脑沟是生成的；涂成朱红的是中央前回靠下的一段。四块阵列按 3.2 毫米见方画在这一段上，“都在左侧中央前回”是 2024 年那项研究的说法，具体落点是本页的。两块阵列接一个连接座；导线、连接座的外形、电缆和电脑是示意。放大的阵列按 20 : 1、连接座按 2 : 1，两者比例不同。信号光点只表示先后顺序，不表示信号的速度和样子。屏幕上的句子来自实验台，词都在那 50 个词里。
几个容易误会的地方
它读的是尝试说话时运动皮层的活动，不是想法；自由思考时解不出完整的句子。词错误率是要改动多少词才能和本来要说的话一样，不是“听懂了多少”。50 词和 125,000 词的结果用的测试句子不同，不能直接相比。2024 年论文摘要里的“97.5% 准确率”，是照屏幕说句子时 2.5% 的词错误率换算来的，自由对话时是 3.7%。每篇论文只有一到四位参与者，说的都是英语，这些系统都还在临床试验中。
常见问题 · 5
- 言语脑机接口第一天能解码得多准？
手术后第 25 天第一次使用，录下 30 分钟他尝试说话时的信号，就能用 50 个词的词表解码，词错误率 0.44%。
01从尝试说话到文字 ↑- 说不出话的人，大脑里说话的信号还在吗？
在这些参与者的运动皮层里，说话时嘴唇、舌头、下颌和喉的动作信息瘫痪多年后仍然读得出来，只是到不了肌肉。
02失去的和留下的 ↑- 言语脑机接口的神经网络怎样工作？
解码器是一个循环神经网络：五层门控循环单元（GRU），每层 512 个单元。
06神经网络读出音素 ↑- 为什么词表越大，解码错得越多？
2023 年那项研究里，词表只有 50 个词时，词错误率是 9.1%；换成 125,000 个词，是 23.8%（两组测试句子不同）。
08词表越大，越容易错 ↑- 言语脑机接口能读出人的想法吗？
论文也写明，自由思考时解不出完整、能听懂的句子。
11不出声的内心话 ↑
资料来源
- Willett 等（2023）：A high-performance speech neuroprosthesis，Nature 620, 1031–1036
- Card 等（2024）：An Accurate and Rapidly Calibrating Speech Neuroprosthesis，N Engl J Med 391, 609–618
- Wairagkar 等（2025）：An instantaneous voice-synthesis neuroprosthesis，Nature 644, 145–152
- Metzger 等（2023）：A high-performance neuroprosthesis for speech decoding and avatar control，Nature 620, 1037–1046
- Kunz 等（2025）：Inner speech in motor cortex and implications for speech neuroprostheses，Cell 188, 4658–4673
- Moses 等（2021）：Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria，N Engl J Med 385, 217–227
- Rubin 等（2023）：Interim Safety Profile From the Feasibility Study of the BrainGate Neural Interface System，Neurology 100, e1177–e1192
- 美国国立神经疾病与卒中研究所（NINDS）：Amyotrophic Lateral Sclerosis (ALS)
- 美国国立神经疾病与卒中研究所（NINDS）：Locked-in syndrome
- ClinicalTrials.gov：NCT00912041（BrainGate2）
- Blackrock Neurotech：Utah Array（规格）
- Carnegie Mellon University：The CMU Pronouncing Dictionary 0.7b
数据
The bust is this page’s porcelain head at life size, not any participant. The hemisphere’s main sulci are drawn after a standard lateral view; the small folds are generated. The four arrays (64 electrodes, 3.2 × 3.2 mm, 1.5 mm long) sit on the left precentral gyrus as Card et al., NEJM 391, 609 (2024) describe; their exact places, the wire bundles, the pedestals’ outline (CerePort pedestal: 16.5 mm high, 19 mm base, Blackrock Neurotech’s specifications), the cables and the computer are drawn. The decoder’s sizes (features every 20 ms, a 5-layer GRU with 512 units, 41 outputs every 80 ms, CTC) and the language model (125,000 words, trigram) are from Willett et al., Nature 620, 1031 (2023) and its Supplementary Methods; the example of Fig. 2d is quoted from it. The laboratory is this page’s model: the 50-word set of Moses et al. (2021) as used by Willett et al. (2023); pronunciations from the CMU Pronouncing Dictionary 0.7b (Copyright © 1993–2015 Carnegie Mellon University, BSD-style licence); phoneme error rates of 19.7 % and 10.3 % from Willett et al. (2023) and Card et al. (2024); the error mix and the nearest-word rule are the model’s. Material presets, parts and the softbox studio of the site’s model kit are ported from AirsupHQ/machine-skill (MIT, © 2026 Air Supply Technologies Inc.).
本页的文字、图片和模型采用 CC BY-NC 4.0 许可：可以免费用于教学和其他非商业用途，可以修改，请注明出自 world.lapla.si。上面列出的第三方素材仍按各自的许可。
引用这幅图版
拉普拉斯的迷你世界，图版 F59《言语脑机接口》，https://world.lapla.si/zh/speechbci/，CC BY-NC 4.0，2026-10-28 更新。
沿这个问题继续
图版 53耳蜗怎样把声音拆开声音进了耳朵，最后落在一条盘起来的细管里。管里一层膜被声波推着起伏，高音在入口处鼓得最高，低音在尽头。几千个毛细胞把这种起伏变成神经信号。
图版 F03磁共振成像仪一台临床磁共振扫描仪：超导磁体、梯度线圈、射频线圈，一层套一层。氢原子核在磁场里进动，信号填满 k 空间，再经傅里叶变换成像。
图版 F13Transformer 的注意力一个两层、八个头的小 Transformer，在你的浏览器里逐字读一句话，猜下一个字母。每条丝线是一次“注意”，亮度就是它的权重。
图版 F22嵌入：意思的几何一只黑漆描金的球，上面嵌着小图和黄铜铭牌。每个都是一个小模型给出的方向：图和它的说明，指向几乎同一处。
图版 F18神经网络怎样学习一块按真实误差铣出来的铝制地形，一颗按真实梯度往下走的钢球，一架玻璃和黄铜做的小网络：正向的光把数送到输出，反向的光把每根杆该拧多少送回来。
