英国物理学斯蒂芬·霍金(Stephen Hawking)可能是最受欢迎的肌萎缩性侧索硬化症患者(ALS),该患者使用安装在眼镜上的传感器与世界交流。传感器在脸颊上使用肌肉的小动作在屏幕上选择字符。当他几乎每分钟输入一个完整的句子时,文本是由TC01合成器演讲综合的,给他带来了标志性的机器人声音。本文指出:但是自Hawking于2018年去世以来,发生了很多变化。最近的大脑计算机(BCI)界面设备使直接将神经活动转换为文本甚至说话成为可能。不幸的是,这些系统的延迟很大,通常会限制用户预先确定的词汇,并且他们无法处理诸如音调或节奏之类的口语。今天,戴维斯大学的一群科学家创建了一个神经假体,该假体立即将脑信号转换为声音 - 对和单词。这可能是我们迈向的第一步完全数字化的声音。 SMS”我们的主要目标是创建一个灵活的口头神经假体,使瘫痪的患者能够尽可能流利地说话,管理自己的节奏,并通过调整语气来改善表达方式,” UC Davis Neuropthesis研究员的领导者Maitreyee Wairagkar说。开发符合所有这些条件的假肢是一个重大挑战,因为这意味着Wairaggar团队应讨论基于BCI的solurscommunication面临的所有问题。他们有很多问题。第一个问题超出了文本 - 迄今为止开发的最成功的神经假体已将大脑信号转化为文本 - 假肢种植的患者仅出现在屏幕上。弗朗西斯·R·威利特(Francis R. Willett)带领斯坦福大学的一支团队以几乎25%的错误率实现大脑到文本翻译。 “当有ALS的女性试图说话时,她们可以阅读这些单词。四个单词中的三个是正确的。非常令人兴奋,但不够或晴天的沟通,”加州大学戴维斯大学的神经科学家Sergey Stavisky在2024年在斯坦福大学(Stanford)在斯坦福大学(Stanford)在斯坦福大学(Stanford)的一年后延迟和词典说,Stavisky的团队发表了自己的研究,他们对脑之间的精确度上的精确度(几乎是97.5%)。你的声音。它使您大声疾呼,使其他人更有可能干扰您 - 您可以唱歌,您可以使用字典中未找到的单词。但是,语音发展的最常见方法取决于文本中的综合语音,这直接导致了另一个BCI系统问题。 BCI,句子出现在屏幕上很长一段时间后,患者在他的脑海中完成了字符串。也有限的词汇。最新系统支持大约1300个单词的字典。当您尝试刺激时,系统会失败K不同的语言,使用更复杂的词汇,甚至是附近咖啡馆的状态不寻常的名称。因此,Wairagkar设计了自己的假体,将大脑信号转换为声音而不是言语,并实时这样做。接受声音的患者同意参加Wairagkar研究,代号为T15,是一名46岁的ALS患者。 “他认识他多年,当他讲话多年时,很难理解他很难理解,我可能会理解他说的5%。”在与UC Davis团队合作之前,T15使用陀螺仪头鼠标来控制计算机屏幕上的光标进行通信。要使用较早版本的Stavisky的脑文本系统,该患者在其腹侧中部前回的256个微电极,该区域是大脑中的一个区域,负责控制语音声音的肌肉。对于新的讲脑大脑的系统,Wairagkar及其同事依靠相同的256个电极。 Wairagkar说:“我们从单个神经元中记录了神经活动,这是我们可以从大脑中获得的最高分辨率信息。”然后将电极记录的信号发送到称为神经解码器的AI算法,该算法决定信号并提取语音特征,例如音调或发声。接下来,这些函数是对Vocoder的输入,即语音合成算法Na,旨在听起来像T15声音,当它仍然能够正常说话时。使用整个系统延迟的工作不到大约10毫秒 - 将声音确实立即转换为大脑信号。由于Wairagkar的神经假体将大脑信号转换为声音,因此它没有提供有限的单词支持选项。患者可以说他想说的话,包括伪单词和感叹号,例如“ um”,“ hmm”或“ uh”,而不是在词典中。因为该系统对音高或节奏等属性很敏感,所以他也可以使声音p发出声音problem,在句子中说出的最后一句话,语气略高,甚至唱着简短的旋律。但是Wairagkar的假体有局限性。提高了测试假体性能的清晰度,团队首先问Wwairagkar人类听众,他们接受了T15男性演讲的一些合成记录,这与一组六句话候选人的成绩单相匹配。在这里,结果非常完美,系统可实现100%的清晰度。当团队测试更加困难时,问题就开始了:一个开放转录测试,在没有任何候选转录的情况下,听众需要工作。在第二个试验中,错误单词单词为43.75%,这意味着参与者正确识别了一半以上的记录单词。与独立T15语音的清晰度相比,这无疑是一种改进,在同一T15测试中,同一组听众的单词错误为96.43%。但是,尽管这个有前途的老板还不够可靠,无法在一天 - 至日的com上设施。 Stavisky说:“我们不是可以用于公开谈话的时刻。我认为这是这个概念的证明。”他建议改善未来设计的一种方法是使用更多的电极。他认为:“如今,许多初创公司都在建造一千多个电极。如果您考虑我们使用250个电极所取得的成就,以及在1000或2000个电极中可以做什么,我认为它将起作用。”实现这一目标的工作已经进行。 Paradleromics是位于奥斯汀的总部位于德克萨斯州的德克萨斯州的德克萨斯州,重点介绍了语音神经图的临床试验,并且已经在寻求FDA批准。斯塔夫说:“他们有一个1,600个电子系统,他们对公众说讲话。” “我们的合着者戴维·布兰德曼(David Brandman)将成为这些试验的主要调查员,我们将在加州大学戴维斯(UC Davis)进行这项工作。”