语音信息保护中的声学掩蔽研究

Speech is one of the most important forms of communication. The issue of privacy of voice has been dealt with as a research challenge. In order to protect the information of the conversation, the sound masking theory and method will be studied in this project. Firstly, the theory of the auditory perception, the mechanism of MEMS microphone working and the theory of speech signal processing will be investigated comprehensively. Secondly, the various factors that influence the masking effect will be considered and analyzed. Different kinds of sound masking signals will be designed in audio frequency and ultrasonic frequency, respectively. The subjective and objective experiments will be carried on to verify the theory work. Compared to the previous research work, the novel sound masking solution proposed by this project is much effective for depressing the speech intelligibility. The advantages can be summarized as follows: The annoyance level of our sound masking signal will be lower than noise signal's. Meanwhile, the current speech enhancement algorithms can hardly improve the intelligibility of the speech mixed with our masking signal. The work of this project is helpful to understand the important characteristics of speech intelligibility and the effect of sound masking. The productions of the project could be used in applications of private speech information protection.

为解决日常语言交流中语音易被窃听、盗录的问题，本项目围绕语音信息保护中的声学掩蔽开展研究。项目以对人耳听觉感知机理、传声器拾音机理和语音信号处理理论的深入研究为基础，通过理论、实验研究相结合的方式，重点探索并解决：1，超声对MEMS传声器接收性能的影响规律；2，信号处理算法对低信噪比语音的言语可懂度改善原理；3，低可懂度语音的可懂度主客观评价方法的科学问题。进而提出一系列超声、可听声掩蔽信号设计方法，以降低目标语音可懂度，实现信息保护的目的。 本项目首次在考虑传声器拾音和语音信号处理环节对言语可懂度影响的前提下开展声掩蔽研究，提出的声掩蔽方法具有掩蔽信号能量小、烦恼度低、能对抗可懂度增强算法的优点，可有效实现对目标语音信息的保护。项目工作对深入理解语音的信息掩蔽效应和影响言语可懂度的各种声学特征等关键因素都有重要意义，同时可为保护语音信息安全的后续应用研究提供理论依据，具有实际应用价值。

针对日常语言交流（speech communication）中因谈话导致信息泄露的问题，本项目围绕空气中超声波对传声器振膜振动影响的物理规律、影响言语可懂度的声学特征以及低可懂度语音的可懂度评价方法等科学问题开展研究，通过能量掩蔽、信息掩蔽等声学掩蔽（Sound Masking）方式，实现降低目标语音被窃听、盗录后的言语可懂度的目标，从而达到保护重要信息和隐私的目的。.本项目的主要成果为：(1)完成了超声掩蔽信号对MEMS传声器工作影响的实验研究：在研制完成包括干扰源的硬件实验平台的基础上，研究了高声压级超声激励下，MEMS麦克风接收特性，得到了拾取的语音信号的可懂度随干扰信号变化规律和实现超声录音阻断所需单频干扰信号的频率及相应的声压级。（2）在完成单通道语音增强算法对言语可懂度影响调研的基础上，完成了极低信噪比下Babble噪声和时间反转信号掩蔽效果的比较研究，分析得到两种掩蔽信号分别对声母、韵母和声调识别率的影响规律。（3）研究分析了短时客观评价方法、互信息归一化协差的语音传递指数、主观语音质量评估方法对掩蔽的汉语语音可懂度评价的适用性。（4）完成了不同频带信息对汉语可懂度的实验研究：研究了汉语日常句子经过低通、高通、带通和带阻滤波后对可懂度的影响，分析得出可懂度随频域滤波的变化规律以及带宽对句子可懂度的影响并与单音节字词进行对比和分析。（5）开展超声信号对手机等录音设备工作影响的研究，并完成了干扰研究便携式硬件平台的研制。.本项目研究以声学和现代信号处理为学科基础，结合理论推导、算法设计、实验验证等方式，在语音信息保护研究领域，针对日常谈话的反窃听、反录音应用开展研究，并提出了有效解决方案，取得系列成果。