基于网流属性知识的流量检测理论与关键技术研究

A main challenge that the network and information security faces is the gap between the increasing of Internet data and the efficiency of traffic detection. The low efficiency of traditional traffic detection is essentially caused by amount of invalid “Netflow-Feature” ordered pairs generated by the binary relation, which is built using Cartesian product. To improve the efficiency, this project will propose and build a traffic detection model based on netflow attribute knowledge. The core idea of this model is to rebuild binary relation set by mining attribute knowledge based on the analysis of network traffic big data. To obtain binary relation set, this project will further study three key techniques. Firstly, this project will study netflow attribute marking technique in order to solve the problem of online marking netflow attributes under high speed network. Then the automatic netflow attribute knowledge mining technique will be proposed. This technique can improve the processing efficiency by building the accurate binary relations based on netflow attribute knowledge. Finally, this project will proposed a optimization technique for binary relations based on sampling traffic. The goal of this technique is to optimize the built binary relations in practical application under high speed bone network. The main goal of this project is to solve the problem of low efficiency of traffic detection, as well as expand traffic detection theory. It has very important theoretical and practical significance for improving the ability of national network and information security.

互联网数据增长与流量检测效率之间的鸿沟是当前网络信息安全领域面临的主要挑战。传统的流量检测技术效率低下，本质上是由于其采用笛卡尔乘积建立二元关系而产生大量无效“网流-特征”有序对导致的。本项目提出构建基于网流属性知识的流量检测理论模型，其核心是在分析流量大数据的基础上，通过网流属性知识挖掘，重构“二元关系”集合。集合的获取取决于对“网流属性标记、属性知识挖掘、二元关系调优”三项关键技术的研究：拟研究大规模高速网络环境下的网流属性标记技术，以解决大规模网络环境中网流属性的实时标记问题；拟研究自动化网流属性知识挖掘技术，挖掘网流属性知识，构建精准二元关系，以提升流量检测效率；拟研究基于流量采样的二元关系调优技术，以解决采样条件下二元关系的评价和调优问题。本研究旨在拓展流量检测理论研究的深度，解决传统网络流量检测技术效率低下问题，对提升国家骨干网络信息安全保障能力具有重要意义。

本项目针对工程中面临的安全保障与网络运营资源投入比不断拉大的挑战，深入分析了其关键因素及理论成因，提出了基于互联网资源属性知识的流量检测理论，系统研究了流量切分及流量染色关键技术。新理论利用互联网资源属性知识对流量分而治之，相比传统理论可实现精细智能化检测，从而达到提升效率的目标。研究成果具有应用价值，已部分应用于国家重大工程实践。. 网流样本空间与特征样本空间二元关系是产生该挑战的关键因素。传统理论将网流样本空间看成是由大量随机事件组成的整体，将特征样本空间看成一个由无先验知识特征组成的整体，两个空间仅能通过笛卡尔乘积实现检测，即每条网络流都要被所有的特征检测。随着流量和业务的不断增长，两个空间会同时膨胀，使二元关系的图规模增速加大，导致资源投入的超线性增长。若可对两个空间进行分割，用特定的特征检测部分流量，实现分而治之，可提升流量检测的效率。. 基于以上分析，课题组提出了基于互联网资源属性知识的流量检测理论。该理论重新定义了互联网资源知识，明确其内涵与外延，将资源属性知识内涵与检测特征进行关联，使检测特征仅作用于特定的外延，通过分而治之缩减二元关系。进而，课题组研究了流量切分和染色两项关键技术，首先利用以互联网基础资源知识为先验对流量进行切分，然后利用已知的检测结果为后验对流量切分进行染色，同时根据检测结果不断调整染色策略，实现高精度智能化的检测，大幅缩减二元关系，应对流量快速增长带来的挑战。经初步测试，在确保98%的检测召回率的前提下，检测性能可提升近40%。. 本项目的部分研究成果已应用至国家重大网络信息安全工程。基于互联网资源属性知识，在工程中建设了资源标注系统，实现了80亿域名、4亿证书、4000万地址资源知识的详细标注。在支持项目研究同时，也为承担单位的重要业务提供了数据支撑。. 后续，课题组计划继续完善理论，扩展关键技术的应用范围，探索应用快速变化和加密流量挑战的应对方法。