基于脑电信号的藏语拉萨话韵律认知理论研究

Combining EEG technology and speech engineering, this project intends to study the cognitive styles of speech prosody and affective prosody of Lhasa Tibetan and the affection that both prosodies' characters on semantic comprehension. The main study are three parts: first, it is about the cognitive mechanism for the tone, intonation and stress; second, it is about the recognition for the affective prosody; third, it is about the automatic processing for the prosodic emotion and semantic emotion. The innovation points of this project lay in: 1) using cognitive neuroscience to study the prosody of Tibetan speech; 2) combining EEG technology and traceability technology to study the cognitive features in time and space processing; 3) taking a comparative study between speech prosody and affective prosody. The problems we try to solve: 1) exploring the corresponding relation between prosodic perception and acoustic recognition by the analysis, and finding the differences between synthetic speech prosody and natural speech prosody in cognition;2) doing research on the time processing features with the EEG signal, doing research on the space processing features with the dipole localization, with the both results to find the influence that the changes of fundamental frequency, power and other parameters on the perception in synthetic speech and natural speech;3) exploring the models of prosody recognition and cognition for Lhasa Tibetan, and the recognition theories of prosody recognition for Lhasa Tibetan, which base on the a comparison between the speech prosody and affective prosody's process.

本项目将脑电技术与语音信息处理相结合，分析藏语拉萨话言语韵律、情感韵律认知方式，两种韵律特征对语义理解的影响。研究包括：声调、语调、重音的认知机制研究；韵律情绪的识别；韵律情绪和语义情绪的自动加工、韵律认知模型、韵律认知理论四部分。创新点:1）使用认知神经分析的方法，进行藏语拉萨话语音韵律认知研究。2）结合脑电信号与脑溯源技术，来研究大脑韵律信息处理的时空特征。3）将情感韵律和言语韵律对比研究。拟解决的关键科学问题：1）分析合成语音韵律与自然语流韵律在识别过程中的差异性，探究韵律感知和声学识别之间的对应关系。2）借助脑电信号，研究藏语拉萨话韵律认知的时间进程，借助偶极子定位探讨韵律加工的空间特性，分析言语与非言语过程中基频、能量等声学参数的改变对大脑感知的影响异同。3）对比言语韵律和情感韵律认知加工的异同。最终得到藏语拉萨话韵律感知神经模型,归纳出藏语拉萨话韵律识别的认知理论。

本项目主要完成了基于脑电信号的藏语拉萨话言语韵律认知研究和藏语拉萨话言语情感韵律认知机制研究两个方面的研究工作，得到以下结论，首次使用脑电技术对藏语拉萨话的语音韵律和情感韵律的认知机制进行了研究，得到了藏语韵律加工的脑机制和认知方式。基于脑电信号的对藏语拉萨话言语韵律认知研究，得到偏差刺激诱发的ERP比标准刺激诱发的ERP出现明显的负向偏转，实验结果支持韵律信息加工的半球优势取决于音高本身的语言功能这一观点。对藏语拉萨话言语情感韵律认知机制研究，得到在藏语拉萨话言语情感韵律认知加工过程中，被试即使是在无注意条件下仍然可以对情感韵律做出判断，说明在藏汉两种语言文化背景中，情感韵律呈现出了跨文化的一致性特征。以上结论为语言言语中的超音段特征对语言认知的贡献提供了定性的依据。对跨文化的认知机制进行了研究，比较分析了不同语言环境和机制下，人类对韵律感知的差异性，分析了多语人认知和语言习得脑机制。因此总结得出，同为汉藏语系的藏语和汉语两种语言在言语情感韵律方面存在的一致性特征很可能是影响藏汉双语者学习第二语言的重要因素。藏语拉萨话作为使用最为广泛的藏语方言之一，具有一套独特的语言韵律体系。同时藏族独特的文化，形成了与众不同的情感韵律。本项目将藏语工程研究与神经科学中的脑电技术结合，从交叉学科的角度对合成后的韵律信息进行认知探究，将自然语言与合成语言的认知效果进行比较，为藏语拉萨话韵律合成的感知、认知效果提供参考标准。为完善人类言语加工的理论模型提供新的思路，为多通道的感知机理的藏语语音的合成与识别技术提供新的研究方法，促进人机交互技术的在藏语中的实现。