时域与频域信息在听力正常人及感音神经性聋患者言语识别中的作用

The speech strategy in current auditory rehabilitation equipment focuses on preservation of temporal information while loses frequency information. Recent research indicates that frequency information is very important for speech recognition in noise background. This may partly explain why the speech perception in noise is difficult with the current auditory rehabilitation equipment. However, which part of frequency information is the most important for speech recognition in noise has not been studied. So in this project, we will deal with Mandarin in the following ways: 1)vocoder process to remove the whole frequency information; 2) extraction of temporal fine structure to remove the whole temporal information; 3) sine wave process to remove part of the temporal and frequency information; 4) sine wave plus vocoder process to remain part of the temporal information and 5) sine wave plus extraction of temporal fine structure process to remain part of the frequency information to evaluate the speech recognition in normal hearing subjects and sensorineural hearing loss patients. The aim is to explore the role of the lost temporal and frequency information for speech recogniton in normal hearing subjects and sensorineural hearing loss patients. We expect that we can explore the mechanism of Mandarin speech recognition and provide theory and experiment evidence for the strategy of auditory rehabilitation equipment.

现有听觉康复设备的言语处理策略均侧重于时域信息的保留和传递而忽略了频域信息。近年来的研究表明，频域信息对于噪声中言语识别至关重要，这或可解释或部分解释现行听觉康复设备使用者噪声环境下言语识别困难的现象，然而，频域信息中的哪些信息对于噪声环境中的言语识别至关重要尚未见报道。本项目拟对汉语普通话进行1）声码器处理，完全去除频域信息；2）提取时间精细结构，完全去除时域信息；3）正弦波处理，去除部分时域及频域信息；4）声码器联合正弦波处理，仅包含部分时域信息；5）时间精细结构联合正弦波处理，仅包含部分频域信息，分别测试听力正常人及感音神经性聋患者对经过上述处理的汉语普通话言语信号的识别，探讨去除的部分或全部时域和频域信息在听力正常人及感音神经性聋患者言语识别中的作用，并进而探索汉语普通话言语识别机制，并为听力康复设备的言语处理策略提供理论与实验依据。

感音神经性聋患者通过助听器或电子耳蜗助听，可以恢复听觉敏感性，但言语交流功能不能全部恢复，特别是噪声下言语识别能力大大低于听力正常人。言语信息中的包络对于安静环境下言语识别非常重要，时间精细结构信息对于噪声环境下言语识别和音乐感知非常重要，为了进一步研究时域和频域信息在汉语普通话言语识别中的作用，本项目通过对汉语普通话言语测试信号中的时域与频域部分或全部去除，分析剩余的时域与频域信息对汉语普通话言语识别的作用。研究结果表明，听力正常人在安静环境下言语识别仅需要部分时域信息或部分频域信息即可，但在噪声环境下言语识别需要部分时域和全部频域信息。感音神经性聋患者在安静环境下言语识别需要全部时域信息，但在噪声环境下言语识别需要全部时域和频域信息。低频区的时域与频域信息对于汉语普通话言语识别的相对重要性高于英语等非声调语言，高频区的时域和频域信息对于汉语普通话言语识别的相对重要性低于英语等非声调语言。这可能与汉语的声调特性有关，基频信息是声调识别的重要信息，耳基频信息主要集中在低频，因此，低频段的时间包络和时间精细结构对于汉语普通话的句子识别非常重要。通过对陡降型感音神经性聋患者低频区的时间包络和时间精细结构识别，结果表明，陡降型感音神经性聋患者低频区的听觉敏感性正常，但是，低频区的时间精细结构处理能力仍然差于听力正常人，这说明高频区的听力损失可能通过跨通道作用使听觉敏感性正常的低频区时间精细结果处理能力下降，也说明听觉敏感性正常的低频区可能存在隐性听力损失，纯音测听不能作为听觉功能是否正常的唯一检测方法。本项目的研究结果可以为助听设备中设计针对汉语普通话言语识别的言语处理策略提供参考信息，要尽可能多地提供时域和频域信息，特别是要侧重于低频言语信息的提取与处理，为提高感音神经性聋患者在噪声环境下言语识别提供更好的助听设备以及更好的言语处理策略。