基于言语可懂度理论的声电双模态刺激方法及模式研究

Cochlear implant (CI) is the main way to achieve hearing for people with severe hearing-loss, and it has been thought as one of the most successful applications of modern technology on clinic treatment. However, how to improve speech intelligibility in interference for persons with CI is still an open question in the related research fields. With the development of electrode design and surgery for CI, more and more CI users have residual hearing, and a combination of electric-acoustic stimulation (EAS) has been a trending pattern for CI users. This project will conduct a research titled as “Methods and patterns of electric-acoustic stimulation with speech intelligibility theories”according to the following three issues: 1) the representation of acoustical features of Mandarin Chinese speech by EAS and its effect on speech intelligibility in both energetic masking and informational masking; 2) the representation of binaural cues by EAS and its effect on speech intelligibility in different spatial conditions; 3) speech processing algorithms and computational models for predicting speech intelligibility for EAS. The output of this project will supply theory evidence for the research and development of CI and hearing aids, and it will also fill the technology blank of the signal processing algorithm for EAS in China.

人工耳蜗为重度与极重度听力损伤患者提供听力补偿，是现代医学科技的重大进展。如何提高耳蜗植入者在复杂场景中的言语可懂度是当前人工耳蜗面临的技术难题。随着人工耳蜗电极设计的发展与耳蜗植入手术水平的提升，越来越多的耳蜗植入者具备残余听力，声电双模态刺激已成为应用趋势。针对人工耳蜗研究领域的前沿科学问题，本项目拟开展基于言语可懂度理论的声电双模态刺激方法与模式研究，主要研究内容包括：1）声电双模态刺激下汉语语音声学特征的表示及其对言语可懂度的影响；2）声电双模态刺激下空间定位线索的表示及其对言语可懂度的影响；3）基于上述研究提出新的语音编码策略与可懂度计算模型。该项研究的突破将为人工耳蜗与数字助听器的研制与开发，以及听力康复策略的制定提供重要的理论依据，并填补国内针对声电双模态刺激的语音编码技术的空白。

如何提高耳蜗植入者在复杂场景中的言语可懂度是当前人工耳蜗面临的技术难题。随着人工耳蜗电极设计的发展与耳蜗植入手术水平的提升，越来越多的耳蜗植入者具备残余听力，声电双模态刺激已成为应用趋势。本项目针对人工耳蜗研究领域的前沿科学问题开展了三项研究工作：1) 研究了声电双模态刺激中汉语语音特征与言语可懂度之间的关系。本项目分别从声韵母及其过渡区间、基频轨迹等角度研究了声电双模态刺激对言语感知的影响，发现保留较少的声韵母过渡区间，可以获得较高的声调识别率与言语识别率，基频轨迹的失真则会降低声电双模态的优势。针对声调感知的进一步研究发现，相对于单独的电刺激而言，声电双模态刺激下的不同声调之间的边界更为清晰。这些研究为提出针对汉语的声电联合刺激语音编码方案提供了理论依据。 2) 研究了声电双模态刺激中双耳线索与言语可懂度之间的关系。本项目通过控制声、电刺激的相对时间偏移与响度差异研究了双耳线索与可懂度的关系，发现相对时延对可懂度会有较大的影响，时延越大，可懂度越低；响度差异对可懂度的影响也表现出类似的趋势。这些结果揭示了声电双模态刺激下双耳线索的匹配程度对可懂度的影响，为该模式下的人工耳蜗调机以及数字助听器的验配提供了理论依据。 3) 研究了声电双模态的汉语语音编码策略与可懂度计算模型。本项目提出在针对声电双模态刺激的汉语语音编码方法中，需要设计基频轨迹增强模块，以减少基频轨迹失真的影响；同时，需要对声、电刺激的相对时间偏移、响度差异进行控制。在可懂度模型方面，本项目测量了适用于汉语普通话的频带权重函数，并以此为基础提出了一种基于可懂度指数的听力评估方法。此外，为了更准确地刻画听力损失对言语可懂度的影响，提出了一种基于听力损失评价的言语可懂度模型。.项目资助期间，项目成员参加学术会议13次，发表学术论文25篇，申请中国专利2项，软件著作权1项，培养3名博士和7名硕士。