bioRxiv preprint Score 75

想象言语也能发声:脑机接口实现语音合成

科学家利用大脑信号在想象说话时合成语音,为失语者带来新希望。

一项新研究利用想象言语时的皮层脑电图(ECoG)信号,成功合成了可理解的语音。研究人员提出了一种训练框架,利用说话任务中的音频作为“替代真实数据”,使模型学习从ECoG信号到语音的映射。该框架采用Transformer解码器生成log-mel声谱图,再通过预训练的Parallel WaveGAN转换为波形音频。

在13名参与者的实验中,合成语音的动态时间规整对齐皮尔逊相关系数达到较高水平,表明语音质量良好。该研究为无法发声的失语者提供了潜在交流工具。

目前该研究为预印本,尚未经过同行评审。未来工作将优化模型以处理更复杂的语言内容。

brain-computer interfacespeech synthesisneural decoding