混叠声场景下的语音识别-合成补偿助听器关键算法研究

Speech comprehension in overlapping auditory scene is one of the mainly problem in digital hearing aid. It is difficult to separate and enhance the target speech from interferences due to their overlapping time-frequency features and spatial positions. Moreover, the loudness compensation algorithm of digital hearing aid cannot correct the complicated physiological defective of the impaired person and rebuild the analytic capacity about time-frequency and space differences. According to the above problems, the key algorithms of speech recognition and synthesis compensation in digital hearing aid are proposed at first time in this project, the detailed contents are as follows: (1)Auditory scenes classification and speech processing strategy aiming to hearing-aids application; (2)Target speech extraction research in overlapping speech scene based on audio perception; (3)Continuous speech recognition algorithm in noisy environment; (4)Speech synthesis and compensation algorithm in digital hearing aid. The scheme proposed in this project based on separating target speech by imitating human auditory and selective cortical representation, speech recognition and synthesis compensation will solve the comprehension problem of severe impaired person in overlapping speeches scene and improve the level of the hearing rectification. Meanwhile, the achievements of this study will bring enormous social and application benefit by having a great influence on the development of electronic cochlear implant, artificial auditory and virtual reality.

混叠场景下的语音理解是数字助听器设计的一大难题。目标语音与干扰声的时频特征和空间方位交叠性使得传统语音增强算法无法分离干扰，增强语音。同时，补偿算法也无法弥补听障患者的复杂的生理缺陷，恢复混叠场景下患者的时频和空间解析能力。针对以上问题，本课题率先研究针对语音识别与合成补偿的数字助听器核心算法，主要研究内容包括：(1) 面向助听环境的听觉场景分类与语音处理策略；(2) 仿人耳听觉机理的混叠语音场景下的目标语音提取研究；(3) 噪声下的连续语音识别算法研究；(4) 语音合成补偿算法研究。本课题提出了模仿人耳听觉感知选择性注意机制分离目标语音的方法和基于语音识别、合成与补偿的数字助听策略，可以从本质上解决重度听损患者在混叠语音场景下难以识别和理解目标语音的问题，提高听力康复水平。同时本课题的研究成果可以推进电子耳蜗、人工听觉、虚拟现实等领域的发展，具有重要的理论意义和广阔的应用前景。

本课题研究混叠场景下面向听力损失患者听力矫正需要的语音识别-合成补偿助听器关键算法，目的在于针对目标语音和干扰声在时频特性和空间方位混叠的情况下，研究提高听损患者言语理解能力的助听器语音处理算法。主要研究内容包括：1）混叠声场景下的语音识别-合成补偿助听器框架；2）基于人耳听觉特性的言语理解度提高方法；3）数字助听器个性化自适配方法；4）复杂声场景下的数字助听器啸叫抑制与语音增强方法等。. 经过本课题的研究，课题组出版《数字助听器信号处理关键技术》专著一部；发表科研论文50余篇，其中SCI和EI检索论文30余篇；申请发明专利10余项，其中授权8项；利用该项目培养博士后工作人员2名、博士研究生2名、硕士研究生6名。具体研究成果包括：1）针对混叠声场景下的目标语音增强需要，提出了基于人耳听觉特性的空间定位和方向性语音增强方法，仿照人耳听觉系统，借鉴耳蜗分频特性和听觉掩蔽特性，利用人耳哈斯效应进行声源定位计算，抗干扰性强，定位精度高，计算量小，适合应用于助听器等低功耗实时器件中。2）针对听损患者频率分辨率降低的问题，提出了非线性频率伸缩算法，通过在全带或子带中对频率分辨能力下降区域进行频率拉伸，提高患者的频率敏感度，可以有效提高患者的言语识别率。另外，针对老龄听障患者高频听力损失严重的问题，提出了自适应移频算法，充分利用患者残余的可听频带进行频率映射，提高患者的高频敏感度，进而在残留听力的情况下获取更多语音信息。3）针对复杂混叠声场景，提出了啸叫抑制与降噪算法，通过将滤波器状态分为收敛态、过渡态与稳态，并根据不同状态选择不同的步长，实现快速啸叫抑制能力。通过以上研究，课题组设计了基于语音识别与合成的数字助听器框架，完成了评估实验系统，研制了助听器样机，并参与我国自主知识产权的数字助听器信号处理专用芯片研发。本课题的研究对于促进数字助听器产业发展具有积极的意义。