基于颅内脑电的汉语语音基本单元神经编码与解码研究

What is the basic unit of speech processing in the brain is still poorly understood. However, answering this question is of great importance for revealing the neural mechanism of speech information processing, and for promoting the development of automatic speech recognition and brain-computer interfaces technologies. Considering the fast-changing nature of speech acoustic information and the distributed functional network of speech processing, intracranial EEG technology is used to obtain a fine spatio-temporal resolution of the neural responses to Chinese speech. To establish the neural representation model, we focus on the key stages of speech information processing at both the phoneme and syllable levels, and explore the temporal, spatio-spectral patterns of the elicited neural responses. These data are then analyzed to determine the basic speech processing unit and the corresponding neural coding scheme. Specifically, vowel, cosonant and tone are included when addressing the phoneme level to investigate the speciality of Chinese language. Based on these findings, a brain-computer interface for Chinese speech communication is constructed based on a Baysian decoding approach synthezing the neural representation models of both the phoneme and syllable levels.

大脑处理语音信息的基本单元尚不清楚，但认识这一机制对于理解语言的神经机理以及推动计算机语音识别技术、脑机接口技术的发展都具有重要意义。由于语音信息具有快速时变特性，加之言语处理脑区的空间特异性强，本课题采用神经外科颅内脑电技术获取大脑在汉语语音刺激下的精细时间和空间响应。为建立语音信息神经表征模型，本课题集中在语音信息处理的中枢和关键层次，探索音素层次以及更高一级的音节层次的神经响应时空频特性，确定其基本处理单元，以及神经编码空间的维度和结构。特别地，本课题针对汉语语音体系的特点，研究声母、韵母和声调不同的群体编码机制，并提出汉语音节层次的重要性。在编码研究的基础上，我们综合不同层次的神经表征模型，通过贝叶斯解码构建基于颅内脑电的汉语语音脑机接口系统。

语言是人类思维和信息沟通的重要载体。本课题研究语音基本单元在人脑听觉皮层的处理机制，尤其是汉语音素如何在人脑颞叶的听觉皮层中进行处理的。汉语是一种声调语言系统，普通话声调具有类别感知的特性。本研究通过中文受试颅内脑电的研究，发现高级皮层具有对汉语声调类别的选择性响应，声调类别感知不仅涉及到腹侧语言通路的颞上回、颞中回等皮层，而且也有背侧通路运动皮层的参与。这些区域的高频能量（60-140Hz）活动峰值的潜伏期不同，颞上回响应最早（~200ms）、颞中回响应最晚（~400ms），运动皮层响应介于两者之间。通过格兰杰因果分析，发现右侧腹侧通路存在一个从后颞叶到前颞叶的因果信息流，右侧前颞叶不仅受到腹侧通路的因果连接信息流输入，并且对背侧通路的运动皮层有因果作用。这些结果揭示了一个双通路、层次化处理的声调加工模型，腹侧语音处理通路和背侧运动皮层的动态交互是其重要特征。通过对多名受试在听自然语音的状态下的颅内脑电记录，本研究还发现了在颞叶的语音感知通路中具有对不同音素类别的选择性神经响应，证实了语音学定义的音素类别在中文连续语音的感知中存在对应的神经响应。音素的类别选择性反映了神经元群体对音素特征的提取和分析。本研究首先分析了颞叶初级听觉区域（颞横回与颞平面区域）对音素时频特征的编码，通过表征相似性分析，发现其神经表征接近音素的第一和第二共振峰所构建的声学模型；然后分析了颞上沟的高级听觉处理区域的表征相似性，发现它与行为学数据得到的音素感知相似性接近。这些结果表明颞叶对语音单元的特征编码呈现从低级到高级，从声学时频特征到感知区分特征的层次化处理规律。为了实现语音解码脑机接口，本研究还基于语音单元的选择性响应，构建了解码模型，获得了最高90%的元音二分类正确率，说明了基于颅内脑电实现语音单元解码脑机接口的可行性。以上相关成果在Nature Neuroscience，PNAS，Cerebral Cortex等期刊发表。