重读对口语加工中“时间选择性注意”的调控及其认知神经基础

As speech unfolds rapidly in time, selective temporal attention plays an important role during spoken language comprehension. Previous studies revealed that accentuation, as a prosodic cue to mark the relative prominence of the different words in sentence, can also modulate attention allocation in speech processing. However, previous studies considered the linguistic information at every time point as isolated information. What remained unknown is how and when accentuation guides selective temporal attention in continuous speech, as well as what's the cognitive and neural mechanisms underlying the modulation. With the help of ERP (event-related potential) and time-frequency analysis of EEG (electroencephalogram), this research project aims to 1) investigate how accentuation facilitates and inhibits selective temporal attention in the continuous speech and their time characteristics; 2) to explore the cognitive and neural mechanisms of those accentuation effects from the perspectives of 'prediction' and 'on-going brain oscillations modulation'; and 3) to examine how the attention modulated by accentuation influences semantic processing. The results of this research project will help to further reveal how and why prosodic information influences spoken language comprehension so that we can achieve a more comprehensive understanding of the role of semantic, syntactic, and phonological information in spoken language comprehension. Second, the results of this research project will also lead to further understanding of the characteristics and neuro-cognitive mechanisms of selective temporal attention. Last but not least, the results of this research project will function as a theoretical guide for detecting and treating language processing disorders.

口语是在时间维度上迅速展开的，"时间选择性注意"在口语理解中发挥着重要作用。重读是标记句中不同成分之间相对凸显关系的韵律信息，可调控口语加工中的注意分配。但是，已有研究仅仅考察了语流中单个时间点上的注意分配，不能反应重读调控"时间选择性注意"的本质特点，也没有揭示其认知神经基础。本项目将借助脑电技术，把事件相关电位分析和时频分析相结合，系统考察重读对口语加工中"时间选择性注意"的调控：1)从促进和抑制两个侧面，探索重读调控"时间选择性注意"的动态时间特点；2)从"预期"和"对脑电节律振荡的调控"的角度深入分析重读调控"时间选择性注意"的认知机制和神经基础；3)考察重读的注意调控作用对进一步语义加工的影响。这将有助于进一步揭示口语理解中韵律信息的作用机制。同时，此研究项目也会促进对"时间选择性注意"等一般认知过程的认识。最后，此项目还可为言语加工障碍群体的侦查和治疗提供理论指导。

口语是在时间维度上快速展开的。由于口语信息的复杂性和认知加工资源的有限性，“时间选择性注意”在口语理解中起着十分重要的作用。韵律信息是口语语流的一种时间组织结构，与时间维度的注意分配密切相关。但是，已有研究仅仅考察了语流中单个时间点上的注意分配，不能反应韵律信息调控“时间选择性注意”的本质特点，也没有揭示其认知神经基础。. 本项目借助脑电技术，把事件相关电位分析和时频分析相结合，系统考察韵律信息对口语加工中“时间选择性注意”的调控作用，并从“预期加工”和“神经振荡”的角度深入考察了韵律信息调控注意分配的认知和神经机制。研究结果发现：1）在重读音节“首音”后的200毫秒左右（probe-related N1 波幅增强）已表现出重读的注意促进作用，随着时间的动态流动、重读音节结束后会立刻出现注意抑制现象（probe-related N1 波幅降低）；同时，大脑会把更多的注意资源分配给含有更多语义信息量的时间窗口；注意调控过程中，韵律信息与语义信息具有“代偿式”的相互作用模式，此相互作用起始于200毫秒左右、并一直持续到注意抑制阶段。2）韵律特征调控注意的一个重要原因是，大脑能够对韵律声学线索进行“主动”“预期”加工：无论是音高升高还是降低，重读都表现出同样的注意促进效应；在关键词汇的“首音”出现之前，句子节奏已经诱发了alpha-beta频段神经振荡活动、开始调控注意。3）韵律和语义信息之间的“代偿式”相互作用模式一定程度上基于以下机制：两种信息的预期加工都与beta频段的神经振荡活动密切相关；但是，韵律特征的预期加工具有大脑右侧化优势，而语义预期加工具有大脑左侧化优势。4）韵律特征的早期注意调控效应（beta神经振荡效应）能很好地预测随后的语义理解效应（N400效应）。. 本项目首次系统、深入地揭示了口语理解过程中“时间选择性注意”的动态模式、及其认知和神经机制。研究结果不仅有助于建立口语加工的认知模型，而且能够为语音识别的计算过程以及语言加工障碍的侦查和治疗提供理论指导。