连续语音的神经编码及其与听觉和语言处理的关系

In daily life, speech is usually a continuous information stream, in the form of sentences and passages. When investigating the neurophysiological mechanisms underlying speech perception, however, research has mostly focus on the neural encoding of isolated syllables or isolated words. Little work has been done on the neurophysiological representation of continuous speech. The lack of efficient data analysis methods has been the major obstacle to study the neural representation of continuous speech. The current project will derive theoretical optimal methods to extract the neurophysiological responses to continuous speech, as measured by multi-channel electroencephalography (EEG) or magnetoencephalography (MEG). Also, the project will investigate the basic signatures of auditory and language processing of continuous speech, using a series of experiments that manipulates the acoustic properties and intelligibility of speech. In sum, the current study will develop a set of tools to effectively analyze EEG/MEG responses to continuous speech, and how such responses reflect auditory and language processing.

日常生活中的语音信息大多是连续性的，以句子或语段的形式存在。然而，传统的基于脑电图和脑磁图的电生理实验往往关注于脑对单个音节或单个词的处理，对连续语音神经编码的研究还很欠缺。制约连续语音研究的主要原因是缺乏有效的数据分析方法。本项目旨在完善、优化基于脑电、脑磁的连续语音响应分析方法，并研究脑电、脑磁响应与初级听觉处理及高级语言处理的关系。由于脑电及脑磁信号中存在大量背景噪声，一种新的信号分离方法将被用来优化提取出多通道脑电及脑磁信号中稳定编码连续语音的响应。在稳定获得连续语音响应之后，一系列实验将分别调节语音信号的声学特征及可理解度，以区分语音响应中编码声学特征的成分和编码语言信息的成分。综上，一方面本研究将提出一套有效分析脑电、脑磁连续语音响应的方法，为研究连续语音及其它连续感觉刺激的神经编码奠定基础。另一方面，本研究也将澄清连续语音声学特征和语言学特征在皮层的电生理表征。

语音是人类信息交流的基本载体。日常生活中，语音大多以句子或语段的形式存在，是连续的信息流。然而，传统的基于脑电图或脑磁图的电生理实验大多关注脑对单个音节或者单个词的加工，对连续语音神经编码的研究还很欠缺。制约连续语音研究的一个重要原因是缺乏有效的数据分析方法。本项目优化了连续语音神经响应的分析方法，并利用脑电图、脑磁图技术研究语音加工过程中初级听觉编码及高级语言加工之间的关系。在方法研究方面，本课题组提出一种新的信号分离方法来更稳定地从多通道脑电图、脑磁图信号中提取连续语音的神经响应，这种方法称为被试间相关成分分析（ISCCA）。在稳定获得连续语音神经响应的基础上，本项目利用一系列实验分别调节语音信号的声学特征及语言可懂度，以区分语音响应中编码声学特征的成分和编码语言信息的成分。本项目采用了两种方式来调节语言可理解度，一种方式在控制语音声学特征不变的前提下，通过启动范式调节被试的先验语言知识；另一种方式对比了大脑聆听母语与陌生语言时的神经响应。在调节语言可懂度的同时，本项目也通过混合干扰语音或者噪音来改变语音的声学特征。通过分析脑电图或脑磁图记录的语音包络跟踪响应，本项目发现语言知识和声学干扰均可调节颞上回听觉皮层对基本语音特征的编码，而且语言信息和声学干扰的调节作用均发生于听觉加工的较早期成分（潜伏期100毫秒左右）。上述一系列研究成果发表于《Cerebral Cortex》《NeuroImage》《Neuroscience and Biobehavioral Reviews》《Trends in Cognitive Sciences》等期刊（共发表论文11篇，本项目为其中7篇论文的第一标注）。综上，在方法研究方面，本项目提出了一套有效分析脑电图、脑磁图连续语音响应的算法；在科学问题研究方面，本项目发现高级语言加工可以反馈调节连续语音听觉特征的加工。