民航重要信息系统主动容灾保护关键技术研究

Data Backup and Disaster Recovery Technology are widely used in the information system of civil aviation for the sake of high availability and high availability. Traditional way of disaster tolerance is passive. We set redundant data before disaster happened and restore/recovery data from the redundant data after disaster. It is an extremely heavy method. Therefor we aim to predict possible disasters, such as fault and abnormality, and make them killed before occurred. This proactive disaster tolerance is a lighter method in contrast. We plan to carry out three sub-research, including 1. Failure prediction for hardware failure, Software exceptions and network attacks using machine learning, 2. Efficient backup and disaster recovery technology using forward error correction technology and wise de-duplication technology and 3. Latin-square data sharing and data Tamper Locating and Recovery technology guaranteeing data security from attacking.

民航重要信息系统为满足高可用性需求，广泛使用容灾技术。传统的容灾技术是典型的被动方式，即通过一系列技术手段预先设置冗余，在灾难发生后，利用冗余信息进行数据及业务恢复，这给业务系统带来沉重的负担。为此，本项目的核心研究思路是采用主动容灾思想，提前预测故障/异常/灾难的发生并进行主动处理，以更低的代价实现有效的容灾。拟进行三个方面的研究：1、对设备故障、软件异常和人为网络攻击，研究基于机器学习技术的主动预测/检测方法，准确、及早发现并处理潜在威胁，消除对系统可靠性和可用性的危害；2、研究采用前向纠错传输技术的基于机器学习的重复数据删除技术的高效的备份容灾方案，在保证容灾能力的前提下优化系统性能；3、研究基于拉丁方秘密共享的数据安全散布技术和数据篡改定位技术，以抵御人为攻击对数据的破坏。通过这些技术的紧密融合，构建完整的主动容灾框架。

民航重要信息系统的可靠性以及可用性是维系民航服务质量的关键，本项目针对民航信息系统展开主动容灾研究，并取得了高水平的研究成果。. 在基于机器学习的主动容灾方法中，我们主要从磁盘、负载、网络攻击等三个角度进行研究和分析:改进了基于RNN硬盘故障预测模型的训练算法，提高了预测模型在存储系统中的应用价值，之后又提出了精确度更高的基于VAE-LSTM、随机森林、TCBN组合模型的预测模型;设计了多种时序模型，对CPU负载等系统资源使用情况进行主动预测;设计了基于多层极限学习机的网络流量异常检测模型，主动检测网络攻击，减少人为破坏对系统的影响。. 在容灾性能优化方法中，我们将副本和纠删码结合，实现了混合容错分布式内存键值对系统ER-KV；提出了一种两级冗余编码方案来提高存储系统中的可靠性，通过字间编码和字内编码组合来实现更强的检错和纠错能力；设计了适应新型存储设备的重复数据删除指纹查找架构；提出了基于持久性内存的民航重复数据删除方法。. 在数据保护与恢复的关键技术中，我们提出了基于拉丁方自合痕和Shamir秘密共享的数据安全散布方案，以及适用于云存储系统的分布式的数据完整性审计架构；为了解决单层区块链性能不足问题，提出了多层区块链溯源模型。. 项目研究成果发表在计算机研究与发展、IEEE MSST、IEEE SRDS、IWQoS等国内外期刊和会议上。项目培养了1名博士生、8名硕士生。同时后期获得四项产学研项目的支持，促进了相关领域研究的发展。实验效果方面，项目提出一系列硬盘故障预测建模方法，在实际数据中心的数据集上，FDR达到95%以上，FAR小于0.01%，MR达到95%以上，MMR小于0.01%。项目提出的基于持久性内存的指纹查找架构可以减小超过95%的指纹查找时间，极大减少了数据备份的开销。ER-KV在容三错的情况下，内存消耗减少20%-33%，通过引入持久性内存，冗余数据的恢复速度提高15倍到80倍。基于拉丁方自合痕秘密共享的数据散布方案与现有方案相比，密钥分片恢复时间缩短3-5倍，文件分片恢复时间缩短2倍。