具有表现力的维吾尔语可视语音合成技术研究

Speech and vision are important means of people communicating, and convey people's emotion, attitude, intention, speaking style and other prolific expressiveness.People communication becomes harmonious due to these prolific expressivenesses,which improve the efficiency of communication.This project aims to the research of Expressive Text-to-Visual-Speech synthesis in Uyghur.That is to say,according to the Uyghur text marked expression information,the expressive speech and animated avatar are synthesized which are synchronized and conformed with the Uyghur speech and the Uyghurs' expression.The main research contents include description of Uyghur viseme features,Uyghur text expression tagging methods,speech and facial expressiveness feature denotation and extraction ,Uyghur talking-head synchronized with speech.This research will enrich the theory and methods of Visual-Speech synthesis.In addition,it is significant for entertainment, education,E-commerce and security in Xinjiang. Especially, it has important practical significance to Uyghur television production and distance education. The Uyghur in Xinjiang is extremely similar with nationality in the Middle East and in Southwest Asia，so the research has a great future on application and business,and it's positive to raise the international standing of our country and extend international influence.

语音及视觉特征是人们交流的重要手段，它们传递着情感、态度、意图、说话风格等丰富的表现力信息，正是这些表现力信息，增强了人们对语言的理解,提高了交流的效率。本项目旨在进行文本驱动的有表现力的维吾尔语可视语音合成研究，即让计算机根据标注了表现力信息的维吾尔文文本，合成出同步的、符合维吾尔语语音和维吾尔族表情特点的、有表现力的语音和人脸动画头像。其主要研究内容包括维吾尔语视位特征的定量描述、维吾尔语文本表现力的标注、语音、脸像表现力特征的表示和提取、维吾尔语语音动画头像合成等。本项研究将丰富可视语音合成技术的理论与方法，对于新疆地区的影视娱乐、教育、电子商务、安全等方面具有重要意义，特别是对新疆维吾尔语电视制作和远程教育具有重要现实意义。新疆维吾尔语言与中东地区和中西南亚地区民族语言极度相似，开展这方面的研究具有广阔的应用前景和商业意义，对提高我国国际地位，扩大国际影响力也有不可忽视的积极作用。

语音及视觉特征是人们交流的重要手段，它们传递着情感、态度等丰富的表现力信息，正是这些表现力信息，增强了人们对语言的理解,提高了交流的效率。本项目的主要研究内容包括维吾尔语视位特征的定量描述、维吾尔语文本表现力的标注、语音、脸像表现力特征的表示和提取、维吾尔语语音动画头像合成等。.本项目的主要研究成果包括：第一：定义了维吾尔语元、辅音基本视位集、提出了“复合视位”的概念，建立了便于协同发音控制、具有线性函数特性的分段数学模型，并对所构建的模型，设计了控制参数使各段模型不相互影响，并通过坐标变换，将原空间的曲线拟合参数优化问题转化为线性回归问题，在很大程度上，简化了参数求解过程，并提高了曲线拟合的精度。第二：建立了维吾尔语情感语音语料库，分析了维吾尔语语音情感表现力特征，研究了维吾尔语元音情感特征。该语料库的建立丰富了维吾尔语情感语音语料内容，也是情感语音数据库设计与实现方法的有益补充；基于该语料库关于维吾尔语语音表现力特征的分析、元音情感特征分析是后续有关维吾尔语语音情感计算、语音合成与转换的重要基础。第三：建立了维吾尔语-汉语双语对齐语料，并基于双语对齐语料，提出了基于深度学习算法的维吾尔语情感词典建立方法。维吾尔语-汉语双语对齐语料及情感词典的建立，是维吾尔语文本情感分析的基础。第四：开展了基于维吾尔语语音驱动和文本驱动的唇部动画合成研究，以及情感语音识别与唇声同步研究、维吾尔语情感语音合成与转换研究，设计实现了具有表现力的维吾尔语可视语音合成原型系统。.本项研究丰富了可视语音合成技术的理论与方法，对于新疆地区的影视娱乐、教育、电子商务、安全等方面具有重要意义，特别是对新疆维吾尔语电视制作和远程教育具有重要现实意义。