基于深度学习的空管指挥安全监控关键技术研究

With the rapid increase of flights and complexity of air traffic situation, air traffic controllers (ATCOs) are suffering heavier workload and pressure. The wrong, forgotten, missed and other circumstances are inclined to appear during radiotelephony communication in air traffic control, which may cause serious man-made safety risks. Therefore, reducing communication-related problems, relieving workload of ATCOs and improving the overall aviation safety level under the current regulations and technical conditions have become an urgent issue of air traffic control in CAAC. In this project, we focus on four key technologies research based on deep learning , including ATC utterance and semantic annotation method, ATC speech recognition, ATC instruction interpretation and ATC instruction safety monitoring . Through these studies, four categories potential risks of controller-pilot communication can be resolved, including radiotelephone normative, pilot recitation consistency, flight behavior and regulatory compliance ,and control instruction safety. Further, this study can establish a baseline sample database for research on ATC speech recognition and semantic understanding. It can also make up the last un-digitized human-in-loop part of the ATC command and add an intelligent safety monitoring assistant to the dual duty mechanism . It provides the necessary theoretical and technical support and experimental basis for building an intelligent ATC system with independent intellectual property rights.

随着飞行流量激增，空情态势日益复杂，管制员工作负荷与压力越来越大，陆空通话指挥极易出现“错、忘、漏”等情况，造成严重的“人为”安全隐患。如何在现有管制规则和技术条件下减小陆空通话出错的概率，降低工作负荷，提升安全水平成为民航空管亟待解决的突出问题之一。本课题针对陆空通话过程中出现的问题，开展空管语音语义序列标注方法、基于深度学习的空管语音识别、基于深度学习的空管指令理解、空管指令安全实时监控标准与方法等问题的深入研究，以解决陆空通话规范性、飞行员复诵一致性、飞行行为与管制指令一致性和管制指令安全性4类管制通话潜在风险。预期可以建立研究用空管语音识别和语义理解的基线样本数据库；补全空管指挥“人在回路”中最后“未数字化”的一环，给空管双岗值班机制增加一个智能化的安全监视能力，以减少管制人为因素差错，降低工作负荷与压力；为构建具有自主知识产权智能空管系统提供必要的理论技术支撑与实验依据。

本项目针对飞行流量激增，空情态势日益复杂，管制员工作负荷与压力越来越大，陆空通话指挥极易出现“错、忘、漏”等人为安全风险，基于深度学习方法开展空管语音和指令序列标注规范、空管语音识别、空管指令解析和空管指令安全监控标准与方法等系统性研究，并构建样机系统进行试用和成果转化。. 本项目基于深度学习解决了复杂地空环境下中英文混合通话、管制员/飞行员口音差异、VHF语音高噪声低采样率等约束下的高精准空管语音识别和指令解析等关键技术难题。现已发表学术论文12篇（SCI 6篇，其中IEEE TNNLS1篇）、发明专利4项（授权3项，实审1项）、公开数据集ATCSpeech（60小时）。基于CNN+RNN+CTC训练了基于字符（英文26个字母，中文2000汉字）的中文和英文两种语音声学识别模型，同时基于N-GRAM和RNN-LM的字符级和单词级语言模型（LM），结合声学模型联合用于语音文本解码和整句重评分（Rescore），CER<2%。基于4层CNN网络训练中英文语种深度神经网络分类模型，分类准确率达到99.6%。项目构建的空管指令结构包括指令意图、指令参数、指令角色三部分，包括塔台、进近和区域三大类29种指令（包括高度调整、航向调整、速度调整、起飞、落地、穿越跑道等），以及指令中涉及的61种参数标签（包括航空公司、管制单位、高度、速度等参数值）。基于深度学习模型，采用多层RNN+CRF进行指令文本的意图分类和参数解析进行多标签/多任务联合训练，F1-score达到94%，分类准确率达到98.5%。. 基于本项目研究的语音识别、指令解析等关键技术研发的国内外首套管制安全防护系统(AISafe)于2020年7月28日正式在成都区管中心正式试运行，2020年11月已完成竣工验收；2021年12月第二套基于语音识别的管制安全防护系统也在民航湖南空管分局投入正式运行（长沙区域、进近和塔台）。. 本项目研究的空管语音识别和空管指令解析关键技术可有效降低管制指挥中的“错忘漏”情况，补上“人在回路”空地指挥模拟话音不能进入ATC系统自动处理的短板与难题，提高空管指挥智能化水平，切实巩固管制安全底线。本项目研究成果已实现成果转化，后期可望在民航空管领域大力推广，应用前景良好。