网络流量分类识别的理论与方法研究

Cyber traffic classification is essential to network management and control that is one of the most serious economic and national security challenges. This project aims to develop new statistical traffic classification techniques and address three emerging problems related to real-time, accurate, and robust traffic classification. (1) We will propose a new information fusion scheme which can analyse the timely flow information collected by distributed servers without the need of whole network flows. (2) We will develop a new algorithm to tackle the problem of unbalanced network traffic, which can use the flow correlation in big network data to reduce the classification error and improve the accuracy of traffic classification. (3) We will develop a new knowledge discovery method, which can combine supervised and unsupervised machine learning ideas to identify the traffic of unknown applications and improve the robustness of traffic classification. This project will develop new mathematic models and prove the proposed methods theoretically. Moreover, the performance of the proposed methods will be evaluated in big network datasets. The techniques developed in this project can be applied for network management, intrusion detection, and user behaviour analysis.

随着网络的普及和数据的爆炸性增长，网络的管理和安全问题日益尖锐。流量分类是网络监控领域的基础技术，具有重要的研究和应用价值。本项目研究基于统计特征的网络流量分类新技术，解决三个重要问题以实现流量分类的实时性、精确性和鲁棒性。（1）研究一种信息融合方案，联合分析分布式站点得到的瞬时流量信息，从而避免实时流量分类对数据流完整性的依赖。（2）研究一种解决流量不平衡问题的新算法，利用网络大数据中存在的数据流的相关性来减少分类错误，有效提高流量分类的精确性。（3）研究一种知识发现的新方法，集成有监督和无监督机器学习的思想来识别未知应用的网络流量，增强流量分类的鲁棒性以适应网络的变化。本项目将开发相应的数学模型从理论上分析方法的有效性，并且在大量网络数据上验证方法的性能。本项目的研究成果，对于网络资源管理，网络入侵检测，用户行为分析等具有重要的理论和应用价值。

流量分类是解决网络资源管理和安全控制中一系列重要问题的基础技术。为了实施正确的管理和控制策略，网络管理者通常需要采用流量分类来清楚的了解当前的网络状态。 在网络安全方面，根据流量分类的结果，入侵检测系统对不同流量类别采取细粒度的检测方案，可以更有效的识别可疑网络流。现有的基于统计特存在实时性、精确性和鲁棒性三个方面的问题。为此，本项目开发了新的方法和系统。该研究成果，对于网络资源管理，网络入侵检测，用户行为分析等具有重要的理论和应用价值。.本项目研究了分布式流量分类系统的信息融合方案。首先，开发了一个新的分布式系统结构，用以实时处理复杂的网络流量。新的分布式系统支持子网络流的采集处理、以及多监测站点之间的协作通信。然后，分析研究了不同监测站点采集的子网络流之间的固有联系，并利用检索技术对大量的子网络流进行匹配。最后，将子网络流之间的关系信息融入到机器学习的算法中，来克服单个子网络流代表性不足的问题。 .本项目研究了利用网络流相关性的精确分类算法。首先，对真实网络流量的大数据集进行了统计分析，以发现新类型的网络流相关性。其次，通过对不同类型相关性加权重，从而将多种类型的相关性融入同一个流量分类算法。进而应用模糊理论来更好的描述网络流之间的相关性。最后，开发了新的流量分类算法，综合利用网络流的统计特征和相关性信息。.本项目研究了处理未知网络应用的知识发现方法。首先，通过对有标识和无标识混合网络流量集的聚类分析，将未知应用的网络流量聚集到特定的流量簇。之后，利用有标识的网络流对聚类生成的流量簇进行识别。利用初步识别的未知应用的网络流，结合有标识的已知应用样本，训练一个具有未知检测能力的流量分类器。考虑未知应用的流量样本可能不纯，通过循环学习过程来得到一个精度较高的未知流量检测器。