基于区域流模型的高速网络流量测量与安全监控方法研究

流量作为网络传输的基本数据源，其有效监控分析对网络管理具有重要的实用价值。针对高速网络监控中所面临的海量数据处理、特征实时获取以及敏感源追溯等方面的需求，结合CERNET西北网络中心实际运行网络，本项目拟研究区域流模型下高速网络流量的测量与安全监控方法。首先提出区域网络流模型的概念，研究分析区域网络流模型在高速网络流量监控中的实用性，提出能够综合反映用户行为的指标体系。在网络流量模型建立的基础上，提出区域网络流特征度量方法，分析区域网络流大小、端口、协议等统计特征，发现网络流量主体和应用特征，随后研究由区域所界定的群组行为的相似性和动态性度量方法，为路由策略优化和网络安全事件检测提供理论支撑。最后从系统观点出发，研究分布式高速网络流量特征实时在线获取和网络敏感源的快速追溯方法，采用DPI技术实现敏感源数据的细粒度分析，实现高速网络"可监控、可度量、可追踪、可控制"的测量和管理目标。

按照计划，从 2012年 1 月到 2014年 12 月的各阶段的研究内容未作改动。目前，所有研究工作都已按计划完成。在此期间，项目组围绕网络流量安全监控和用户行为刻画展开研究。在流量安全监控方面，项目组提出采用不同的掩码长度来实现流量的汇聚，形成区域流模型，并重点分析在不同参数特征界定的区域流模型下用户行为相似性度量方法。发现当掩码长度为24时，汇聚时间间隔为180秒时，在实现网络流记录量大幅度压缩的同时实现用户行为特征的准确度量。在基于流量特征的网络异常检测方面，项目组提出了采用二阶度作为特征对网络流量进行刻画，并采用中国余数定理设计了可逆Sketch，实现了对二阶度的实时统计和异常源的快速可逆求解，为网络异常的控制奠定了基础。在用户行为刻画方面，项目组首次提出了“行为图谱”概念对用户的行为特征进行刻画分析，利用时间和应用类型为坐标构建行为空间，利用数据包大小、用户访问的频次等特征刻画用户行为。经过真实网络流量的测试结果表明，提出的“行为图谱”模型可以有效的刻画用户行为的特征，为用户兴趣挖掘、行为监管奠定了基础。在网络流量安全监控方面，项目组首先提出了基于数据包大小分布的网络应用识别方法，由于数据包大小分析是统计特征量，所提出的方法具有良好的鲁棒性，能够适用于不同的网络环境，并且提出了采样方法，能够较好的满足当前高速网络的监控需求，真实网络环境下的测试结果表明，所提出的应用识别方法能够准确识别Skype、MSN、PPlive等网络典型应用，识别结果可以帮助管理员更好的掌握目前网络的运转情况，同时项目组标注了Skype、MSN、QQ、PPLive、迅雷等近20中应用的流量特征，为广大研究者提供了测试数据集。此外，项目组对新浪微博、腾讯微博、人人网等社交媒体的用户行为数据进行了长时间的爬取，并提出了适用于有向图的快速社团挖掘算法，将社团挖掘算法应用于僵尸粉的检测中，取得了良好的效果。基于上述研究项目组在青年基金的支持下，共发表论文20篇，其中8篇为国际期刊论文并被SCI检索，8篇为知名国际会议并被EI检索，4篇为国内核心期刊论文并被EI检索。此外，项目申报了3项发明专利，其中2项已经获得授权。