音视融合的韵律模式的个性化研究

现有个性化可视语音生成的算法主要考虑音节内部特征参数的统计特性，而忽略了在不同韵律层次上前后音节间的关联作用、以及其随时间变化的时程特征参数的作用。本项目针对此不足，对说话人在言语表达过程中的韵律表达模式进行分析，考察不同韵律层级内部语音视觉特征参数的变化规律，以及它们在不同层级间的交互作用，基于动态贝叶斯网络，建立音视融合的韵律模式的描述模型；并进一步对不同说话人的韵律模式之间的差异进行分析，提取反映说话人个性化的关键特征参数；并研究该关键特征参数在韵律模式表达过程（也即韵律模式的描述模型）中的作用机理，建立韵律模式的个性化模型；最后研究个性化韵律模式的生成与转换算法，综合语音和视觉，实现个性化的虚拟说话人合成。相关成果将加深对个性化韵律模式的产生机理的理解，为在计算机信息系统的人机交互中建立个性化的语音和视觉表达，提供必要的理论基础，积累相应的关键技术。本研究具有广泛的应用前景。