具有多音素过渡与韵律特征的电子喉元音/辅音异位等效嗓音源合成理论方法与应用实验研究

In view of low intelligibility and naturalness of electrolaryngeal speech caused by deficiency of consonant reconstruction and prosodic features, this project is planned to synthesize supra-glottal ectopic equivalent continuous voice source with transition and prosodic features of the phonemes, which will be transmitted into vocal tract with a linear transducer and articulated by reserved vocal tract. The main contents go as follow: 1) Establish physical model for consonant reconstruction and synthetic methods of supra-glottal equivalent voice source for laryngecomees, in order to solve construction problem of consonant for electrolarynx; 2) Improve the established model of supra-glottal vowel voice source, and form a unified theory and method for synthesis of supra-glottal ectopic equivalent vowel/consonant voice source, waveform concatenation, and speech reconstruction; 3) Research the method for synthesis and control of continuous voice source with transition and prosodic features of the phonemes, in order to reconstruct tones, intonation and emotion for electrolaryngeal speech. This project not only develop a new eptopic equivalent voice source for electrolarynx, and can greatly improve the intelligibility and naturalness of electrolaryngeal speech, which is of great significance for the development of voice rehabilitation.

本项目针对电子喉辅音重建与韵律特征缺失造成可懂度和自然度差的问题，提出合成具有多音素过渡和韵律特征的声门上异位等效元音/辅音嗓音源及连续嗓音源，利用线性振动器施加，并与保留完好的构语器官协同发声重建高质量的语音，其主要包括：1）建立喉切除条件下辅音重建的等效物理模型、声门上异位等效辅音嗓音源数学模型与合成理论方法，以解决现有电子喉辅音重建缺失的问题；2）完善我们已经建立的声门上元音嗓音源模型，形成统一的电子喉声门上异位等效元音/辅音嗓音源合成、连续嗓音源拼接理论方法及施加重建技术；3）研究基于多音素过渡与韵律特征的电子喉连续嗓音源合成理论与控制方法，以实现电子喉重建语音声调、语调和情感等特征的表达。本项目不仅发展了电子喉嗓音源的基础理论方法，而且将极大改善电子喉语音的可懂度和自然度，有望推进电子喉语音逼近正常语音。

本项目针对电子喉重建语音，特别是辅音和韵律特征缺失造成的可懂度低和自然度差等问题，研究了具有多音素过渡和韵律特征的电子喉声门上异位等效元音/辅音嗓音源及连续嗓音源合成与控制方法，旨在提高和改善重建语音质量和电子喉交流效率。主要研究内容和重要结果包括：.（1）基于对现有电子喉辅音声学特征和感知听觉特征分析，结合电子喉辅音重建的声学过程，建立了电子喉声门上辅音嗓音源模型与合成方法。研究结果显示该嗓音源能够极大改善电子喉重建语音的质量，特别是消除电子喉辅音浊音化，提高重建辅音的可懂度。.（2）完善了电子喉声门上元音嗓音源模型与合成方法，并且基于视频的模式识别方法实现了电子喉嗓音源的自动合成控制，为应用于日常电子喉语音交流提供了可能。研究表面，该电子喉嗓音源与控制方法能够在提高电子喉元音可懂度的基础上满足日常语音交流的需要。.（3） 针对韵律特征和连续语音重建，研究了基于频率变化的电子喉汉语声调重建方法、基于辅-元结构的连续嗓音源合成方法、以及基于肌肉电信号的嗓音源控制合成方法。在实验证实方法有效性的基础上，所有方法均已集成于电子喉语音交流系统。.（4）从能量角度出发，建立了电子喉语音发声效率基本理论和测量方法，实现了对电子喉重建过程的系统评价，揭示了电子喉语音重建中存在的电机转换效率和组织耦合效率低的问题，为电子喉重建技术改进提供了依据。.本项目研究建立的基本理论与关键技术不仅改善了电子喉重建语音的质量和提高了可懂度，而且通过系统开发建立应用于日常交流的电子喉语音交流系统，为技术转化和实际应用奠定了基础，为进一步改善喉切除患者生活质量提供了可能。