汉语神经分析系统模型与行为研究

It has been a dream of human to 'read' the thinking process of brains. Professor Guenther of Speech Laboratory in Boston University has realized this dream,and the language background he depends on is the 29 basic English phonemes.While for thenative Chinese speakers, in order to "reading" their thinking process, it is necessary to study and discuss some special problems of brain mechanism during the Chinese speech processing and the influence on the speech recognition process. Thissubject is based on the DIVA (Directions Into Velocities of Articulators) proposed by Professor Guenther.It aims to describe and simulate the functions of the Chinese speech generation and acquisition on the neuroanatomical and neuropsychological levels, and by combining with the brain-computer interface to bulid a neuroanatomical computation model of Chinese speech generation and acquisition which has thereal biological significance and accords with the rules of Chinese speech sound generation.This work will lay theoretical and pratical foundation for doing further research on building the "Neuralynx System" with the thinking characters of Chinese.The research work of this subject has innovation significance in cognitive psychology ,control science, robotics and artificial intelligence and also has an important impact on the current methods of human-computer interaction.

将大脑中人的思维过程"阅读"出来，这一直是人类的一个梦想，波斯顿大学语音实验室的冈瑟教授实现了这一梦想。但他所依赖的语言背景是英文的29个基本音素。对于以汉语为母语的人来讲，要"阅读"其思维过程，需要对汉语语音加工脑机制的一些特殊问题，以及这些问题对语音识别过程的影响予以研究和探讨。本申请课题以冈瑟教授的DIVA(Directions Into Velocities of Articulators)模型为基础，在神经解剖学和神经心理学层次上描述和仿真汉语语音生成和获取的相关功能，最终通过与脑机接口的结合，构造出符合汉语语音发声规律、具有真正生物学意义的汉语语音生成与获取神经计算模型，从而为进一步构造具有汉语思维特征的神经分析系统奠定理论和实践基础。本申请课题所进行的研究，对于认知心理学、控制科学、机器人学以及人工智能具有十分重要的意义，对人机交互的现行方式也会产生重要影响。

针对申请课题提出的三项主要研究内容，课题组进行了充分研究和探讨，取得了较为满意的成果，现汇报如下：.一、已完成的工作. 1.构建了一种能分析英语单词重音的神经计算模型；2.提出了一种面向特征提取的脑电信号结构自适应稀疏分解模型；3.提出了一种基于DIVA模型对脑电信号进行约束处理的方法，用以剔除原始信号中的噪声、提取有效事件相关电位(ERP)成分；4.在Hoff－Arbib最小加加速度（minimum jerk）控制理论的基础上，提出了一种具有生物学意义的小脑控制模型，用以改进DIVA模型的控制机制；5.根据DIVA模型的定义和相关研究结论，对发音过程中适合汉语发音脑电信号处理的方法进行了研究，并构建了一种能更好地模拟语音感知、语音获取和语音生成的神经网络模型；6. 在DIVA模型的基础上研究了汉语元音（重点为复合元音）的发音方法，对汉语者脑区语音生成与获取的相关问题进行了探讨，所做的主要工作为： ⑴探讨了应用DIVA模型处理汉语复合元音的可能性与适用性；⑵以汉语二合元音为例，在讨论汉英两种语言发音脑机制异同点的基础上，对DIVA模型进行了修改和重构；⑶应用修改后的DIVA模型对汉语二合元音的发音进行了仿真实验，且改进后的模型能够正确生成汉语二合元音发音，且发音效果良好。.二、存在的问题和不足.围绕项目申请书所1.英语和汉语发音异同点的分析与研究不够充分；2.因仿真样本不够丰富，只是对典型的元音、复合元音和辅音的发音过程进行了模拟；3.与北师大的合作实验不够充分，数据的对接不够全面和深入；4.鉴于以上三点，改进后的DIVA模型的普适性有待进一步研究和提高。.三、取得的成果. 1.论文. 共发表论文31篇（仅对与项目主持人相关的数据进行统计，下同）。其中SCI收录8篇，EI收录14篇。31篇论文中，国际会议论文10篇，国内国际核心期刊14篇（包括《中国科学》、《计算机学报》等国内著名期刊），国内一般期刊7篇；2. 获专利授权5项。3.培养硕士研究生14人，在读博士生3人；. 总体看来，通过对DIVA模型结构的修改和完善，我们最终构建的模型不仅能对汉语单元音、复合元音以及典型辅音的发音进行正确模拟，而且能正确生成汉语单词甚至是简单的汉语句子。可以说，我们的研究获得了非常满意的结果，圆满完成了申请课题时所提出的全部预定目标！