驾驶舱话音记录器音源识别和说话人识别的基础研究

The background sound and voice information recorded in aircraft Cockpit Voice Recorders (CVRs) have long been considered as a crucial source of information in addition to flight data in aircraft accident investigations since in most cases they are the latent signal transducers and the only available source of human performance information. Learning from various experiences of the aircraft accident investigation communities of other ICAO members, such as NTSB of United States, MAK of Russia, ATSB of Australia and Taiwan of China, CAAC has been focusing its effort on in depth analysis of different kinds of CVR information. In the aspect of speech information, our research includes development of discourse analysis, speech analysis, and conversation analysis methods based on Chinese pilots'' speech characteristics to evaluate the pilot''s stress level, workload, fatigue, and possible alcohol or drug intoxication. In the aspect of non-speech information, we have applied wavelet transform (WT) and Chirp z-transform (CZT) algorithms to get more accurate spectrum characteristics. Different sound sources from the output of a given aircraft''s CVR can be successfully separated and identified using Adaptive Noise Cancellation (ANC), Blind Signal Separation (BSS), and Back Propagation Neural Network techniques. Knowledge and insights obtained from these researches will greatly improve CAAC''s aircraft accident investigation process.

现代航空器上安装的驾驶舱话音记录器（Cockpit Voice Recorder，CVR）是必不可少的机载设备，它通过四个独立声道记录着驾驶舱内最近2小时或30分钟的各种声音，包括机组内话、陆空管制通话、音响警告等，分析CVR上记录的话语声音和非话语声音信号是事故调查的重要手段。CVR记录的声音信号受多种因素影响而难以准确识别。目前国外对该信号的应用处于起步阶段，只是通过某一航空器事故案例进行分析，没有形成一套完整、系统的分析方法和技术。国内利用小波技术仅分析了部分开关声的声学特征，这影响着航空器事故原因的深入调查。本研究旨在利用哈希表、美尔倒谱系数及其差分技术，将CVR记录的话语声音信号和非话语声音信号进行音源识别和说话人（机组成员和空中交通管制员）识别，开展CVR记录识别方法的基础研究，提出针对多种不同类型信号的识别方法，从而更加有效、准确确定典型航空器事故发生的情境和发生原因。

项目背景：分析驾驶舱话音记录器（CVR）上记录的话语声音和非话语声音信号是事故调查的重要手段。CVR 记录的声音信号受多种因素影响，有时难以准确识别，这影响着航空器事故原因的深入调查。利用声学技术手段，如哈希表、美尔倒谱系数及其差分技术等，将CVR 记录的话语声音信号和非话语声音信号通过与样本比对进行音源识别和说话人（机组成员和空中交通管制员）识别，开展CVR 记录识别方法的基础研究，提出针对多种不同类型信号的识别方法，从而更加有效、准确确定典型航空器事故发生的情境和发生原因。.主要研究内容：音频和说话人多种特征提取方法研究；统计建模方法；语音分段及聚类方法研究；说话人识别方法研究；将音频和说话人识别方法应用在航空器事故调查案例的实验研究。.重要结果：建立了CVR记录中所需识别的非话语声音样本信息库，录制典型机型模拟机、地面测试飞机、航班运行飞机驾驶舱内关键按钮、拨动开关、操纵手柄声等音频作为样本，与实际CVR音频文件中待检测的音频进行比较、分类。将样本音频特征与驾驶舱话音记录器待检测的音频进行匹配，根据匹配程度给出检索结果，以精度和召回率作为系统性能的检测指标。说话人识别基于各个检测说话人的似然比分数，采用贝叶斯信息准则方法，把语音切割成不同说话人语音段，把这些语音段聚类到几个说话人，当似然比分数大于阈值时，表示是待检测的说话人。.关键数据：使用CVR非话语声音样本信息库作为音频检索系统的样本。采用基于哈希表的查询式搜索方法，将所有音频特征数据建立一个较大的哈希表，将音频文件的特征值序列和出现该特征值对应的待检测音频进行比较，计算之间的比特差异率。根据匹配程度给出检索结果，以精度和召回率作为系统性能指标。以NIST（美国国家标准技术研究院）06 SR评测为例，完成NIST说话人评测任务和实验数据，说话人识别时，系统能稳定达到说话人闭集识别候选选准率≧92%，说话人数<=50人；说话人确认时，系统稳定达到等错率≤10%。性能和国际最好水平相近或相当。.科学意义：CVR已成为航空器事故调查须依赖的工具之一，尤其对于那些目前不要求安装FDR的小型飞机而言，CVR记录更是最重要的信息来源之一。事故调查人员凭经验可以辨别出一些音频含义，而其他重要的CVR信息凭人耳无法辨别。利用当前先进的声音分析方法和技术手段，有效判断CVR记录信息中所蕴含的内容，对确定事故原因有重要意义。