汉藏双语跨语言语音转换中的关键技术研究

Cross-language voice conversion is an important research topic in human-computer interaction field.Tibetan is a long history language in China's national language. Mandarin is the common language of modern Chinese. Although two languages are all belongs to Sino-Tibetan, Mandarin and Tibetan Lhasa dialect have some similarities, and the same, Mandarin and Tibetan Lhasa dialect have their own characteristics.For this study,two basic problem must be solved:first,find out the method of Tibetan Text analysis and grapheme-to-phoneme conversion of Tibetan;second,how to generat Tibetan speech using inputed Mandarin text by Cross-language conversion method. In this study, based on the traditional method of phonetics and experimental phonetics method, we established prosody conversion model for Mandarin and Tibetan Lhasa dialect; and generated Tibetan Lhasa speech by Mandarin text using Cross-language conversion method,built Mandarin and Tibetan Cross-language conversion system.Methods and results of this study have important theoretical significance and application value to the research of Tibetan speech and Tibetan human-computer interaction ,and the same, they have important social significance in the protection and carry forward the Tibetan culture .

跨语言语音转换是人机交互领域的重要研究课题。藏语是我国一种历史悠久的民族语言，汉语普通话是现代汉民族的共同语，作为同属于汉藏语系的两种语言，汉语和藏语有相似的地方，也有各自的特点。对于本研究来说，需要解决两个基本问题：第一、如何实现藏语文本分析和字音转换方法；第二、如何利用输入的汉语文本，通过跨语言语音转换的方法，生成藏语的语音。本研究在传统语音学研究的基础上，结合实验语音学方法，建立汉语普通话和藏语拉萨话的双语语料库，并在语料库的基础上研究汉语普通话和藏语拉萨话的韵律特征，为汉藏双语建立韵律模型，通过跨语言语音转换的方法，利用汉语普通话文本生成藏语拉萨话语音，实现藏汉双语跨语言语音转换系统。本研究的方法和结果不但对藏语语音的研究和藏语人机语音交互的研究具有重要的理论意义和应用价值，而且在藏文化的保护和发扬上有重要的社会意义。

本项目在传统语音学研究的基础上，结合实验语音学方法，建立了汉藏双语平行语料库，在语料库的基础上研究汉语普通话和藏语拉萨话的韵律特征，分析汉语普通话和藏语拉萨话的声韵特点，提取声学参数，为汉语普通话和藏语拉萨话建立韵律转换模型，利用汉语普通话或藏语拉萨话的文本和语音作为输入，研究了跨语言转换中的关键技术，实现了藏汉双语跨语言语音转换系统，顺利完成项目目标，本项目主要研究成果如下：（1）在大语料库上分析连续的藏语拉萨话语音的声调、语调以及节奏特征，得出了藏语拉萨话的语音格局；（2）提出藏语拉萨话的韵律建模方法，建立了藏语拉萨话到汉语普通话之间的韵律转换模型； （3）实现了一个藏语拉萨话到汉语普通话的跨语言语音转换系统；基于韵律控制技术，生成了高表现力的跨语言转换语音； （4）在汉藏双语语音合成、手势到语音的转换、方言的文本分析方法和语音信号处理等方面展开了研究，实现了汉藏双语语音合成系统，研究了手语到汉语普通话和藏语拉萨话语音的转换方法，提出了一种EEMD与K-SVD字典训练结合的语音增强算法，利用FPGA实现了手势到语音的转换，基于ARM实现了说话人识别系统。. 本项目开发了一个汉藏双语跨语言转换系统，开发了包括藏语拉萨话语音语料库在内的7个语料库，获得软件著作权登记7项，申请发明专利2项，获得实用新型专利授权2项，发表包括SCI期刊论文和高水平国际会议论文在内的学术论文16篇。.