基于多元行为模式的大规模网络威胁行为检测研究

In recent years, new network attacks, such as large-scale APT attacks and mobile malicious software, are becoming more and more rampant. Traditional threat detection methods are not successful to detect the new attack behaviors. To meet the urgent needs of the threat behavior detection, we intend to study large-scale network threat behavior detection techniques based on the multiple behavior patterns. Firstly, we analyze the public threat intelligence in principle and master the process of network threat attack. Then the multi-domain multi-threat behavior patterns are established. Secondly, mass cross domain multisource security data, such as traffic, alarm and log, are collected. Then network behavior characteristics based on the threat behavior pattern are extracted from the security data. Thirdly, we propose characteristic mining method based on feature engineering to improve the quality of data. Some new samples are generated on the distribution boundary of data set to make the imbalanced dataset balance. Some redundancy features are selected out by the regularized association selection method. Fourthly, single and integrated threat behavior detection models are established based on the machine learning algorithm. Finally, two key scientific problems including detection of unknown threat and big data security analysis technology used in threat behavior detection will be solved. Meanwhile, new unknown threat behavior can be detected quickly and precisely. This project can provide some new ways in the establishment of threat behavior mode, data mining and machine learning modeling. It provides a new way of thinking in the establishment of threat behavior mode, data mining and machine learning modeling. It is great significant to solve some problems in threat detection theory system.

近年来，大规模APT攻击、移动恶意代码等新型网络攻击日益猖獗，传统威胁检测方法难以奏效，本课题立足于威胁行为检测的实际迫切需求，拟研究基于多元行为模式的大规模网络威胁行为检测技术。首先，对威胁情报进行原理性分析，掌握网络威胁攻击过程，建立跨域多元威胁行为模式；然后，采集海量跨域多源安全数据，如流量、警报、日志等，再基于威胁行为模式抽取网络行为特征；接着，研究基于特征工程的行为数据特点挖掘方法，对非平衡行为数据集分布边界过采样，对冗余行为特征进行正则化关联归约，提高数据质量；最后，采用机器学习算法建立单一和集成优化威胁检测模型，并优化模型参数，解决威胁手段隐蔽情况下未知威胁检测难和大数据安全分析技术在威胁行为检测中的应用关键科学问题，达到快速准确地检测出新型未知威胁行为的目的。本课题在威胁行为模式建立、数据特点挖掘、机器学习建模方面提供了新思路，对解决威胁行为检测中遇到的新问题具有重要意义。

近年来，网络空间安全局势日益严峻，网络威胁呈泛化和持续化趋势发展，高级持续威胁(APT)攻击、勒索软件、移动恶意代码、社会工程学等新型网络攻击方式频繁出现，对国家、企业及公民的信息安全构成了严重威胁。. 本项目立足于威胁检测的实际迫切需求，提出基于多元行为模式的大规模网络威胁行为检测研究。主要开展了以下四方面的研究：（1）我们研究了DDOS攻击行为模式和勒索病毒行为模式，并提取了行为特征，形成了大规模数据集。（2）针对网络安全数据高斯建模问题，我们提出了一种基于SVD的高斯混合模型参数初始化方法，初始化每个模型分量的混合系数、均值和协方差。（3）针对大数据高维问题，我们提出了基于1D分组卷积神经网络和特征扩展CNN的数据降维方法，实现对高维、未知的网络威胁数据的重构和降维。（4）针对数据不平衡问题，我们提出了基于WGAN动态惩罚和WGAN训练收敛的数据生成算法，提高 对少类网络威胁数据的高效正确检测率。. 本项目总体按计划执行，进展顺利。研究目标没有调整，研究内容和成果已经达到项目目标，相关实验结果已经提交了7项发明专利申请，其中3篇进入实审阶段，同时发表了9篇SCI和EI会议论文，以及授权了2个软件著作权。. 本项目的技术成果主要体现在改进概率模型优化算法、深度学习算法、网络威胁检测系统。在学术价值方面，本项目提出了一些改进算法，呈现出新的算法结构，提高了现有模型的多样性、稳定性，降低了计算复杂度，扩展了现有算法体系，具有较高的学术价值。在网络安全应用方面，本项目算法解决了网络安全大数据概率建模、高维、不平衡等问题，提高了对少类威胁、未知威胁的高精准检测。本项目算法在多个数据集上进行了实验验证，具有较高的可靠性，因此可以推广应用到实际的网络安全系统中，进行网络威胁检测，具有较高的应用价值，产生积极的社会影响。