深度强化学习框架下基于序列分析的工控系统恶意软件识别及预警技术研究

The complicated properties in malware analysis and detection process of industrial control systems (ICS) impose considerable challenges to the implementation of identification and early warning for malware. In this proposal, a novel deep reinforcement learning algorithm is proposed to achieve serialization analysis and optimization for the above complex process. Firstly, considering a variety of anti-detection and anti-debugging characteristics of malware analysis and detection in ICS, a novel approach is proposed to serialize the dynamic behaviors of malware, while constructing a malicious behavior feature database and serialization models. Meanwhile, through the use of long-short term memory- (LSTM-) based reinforcement learning model, the implicit relationships among malicious behavior serializations are accordingly extracted. Secondly, in order to improve accuracy of malware detection in ICS, the malware detection method is developed through deep convolutional neural networks (DCNN), while designing the layers of DCNN and optimizing activation function. Specifically, the transfer learning technique is employed to address the limited data problem in malicious behavior feature database, to serve the purpose of improving the learning performance in identifying deep features of malware. Furthermore, the improved evolutionary algorithm is also used to optimize the structure and hyperparameters of DCNN to further improve the computational performance. Finally, the experimental platform is built, combining with the parallel technologies, and the experiments are conducted to verify the effectiveness of the proposed method. This proposal aims at providing a set of efficient and feasible methods for malware detection in ICS.

工控系统恶意软件的分析检测过程具有一些复杂特性，这给恶意软件的识别及预警带来了很大挑战，本项目针对此过程，研究基于深度强化学习的序列分析及优化处理新方法。首先，针对工控系统恶意软件的反检测反编译等特点，提出恶意软件动态行为的序列分析方法，构建恶意软件行为特征库和序列模型，同时，融合基于长短期记忆的强化学习模型，挖掘行为序列之间的内在关系。其次，为了提高恶意软件识别分类的准确率，研究基于深度卷积神经网络的检测算法，讨论其中的神经网络层次设计、激活函数优化构造等技术细节；同时，针对工控系统恶意软件行为库的规模有限问题，研究基于迁移学习的优化方法，改进恶意软件深度特征的算法学习能力。进一步地，结合改进的演化算法，对深度卷积神经网络的结构及其超参数进行优化，提高实际计算性能。最后，搭建实验平台，结合并行化技术，开展评估验证。本项目力求为工控系统恶意软件的识别及预警提供一套高效可行的设计分析方法。

工业控制系统是国家关键基础设施的重要组成部分，然而针对工业控制系统的恶意软件攻击复杂多变、防范难度大。本项目围绕工业控制系统中恶意软件的识别预警问题，结合强化学习、深度学习、迁移学习、演化计算等多种学习模式，研究了恶意软件特征序列分析及模型优化新方法。首先，基于策略梯度和Q学习研究了序列特征表示新方法，基于深度自动编码器研究了序列特征维度规约方法，设计了有限观察机，用以研究工控系统在遭受恶意软件攻击时的状态估计和稳定性评估，从方法设计和理论证明等方面实现了工业控制系统恶意软件序列的语义建模。其次，考虑到工控系统恶意软件检测在模型训练时数据集体量小、采集环境复杂、在模型应用时存在工业设备内存有限等局限性，本项目基于深度时序卷积模型研究了在小容量设备上的恶意软件特征提取与识别检测方法，基于最小核风险敏感损失准则、最小混合熵、正则化技术等研究了复杂环境下的鲁棒恶意软件识别与分类方法，基于迁移学习方法研究了恶意软件识别应用中的卷积网络迁移策略，从真实场景出发，提出的多种解决方案增强了工控系统中恶意软件的识别能力。进一步地，针对深度学习模型的学习效率问题，本项目基于Jaya演化计算方法和K均值聚类方法研究了数据集中异常值的识别方法，基于Rao算法和Jaya算法等演化计算方法以及并行技术研究了模型超参数的自动优化技术，从数据和模型两个方面实现了工控场景下恶意攻击检测的优化设计。最后，本项目通过结合序列分析、识别检测和优化设计等三个前期研究内容，搭建了一个工控系统恶意软件识别系统，并在真实工业攻击场景下进行了实验验证。本项目提出了一套体系化的工控系统恶意软件识别分类方法，涉及特征提取、系统状态估计、恶意软件检测、噪声数据识别、模型优化等多个方面，为工业场景中的安全防护提供了重要的理论和技术支撑。