移动互联网细粒度应用行为识别算法和系统

Application Identification provides efficient support for the management, optimization, and control over mobile Internet and its applications. Explosive growth of mobile applications and the significant improvement of the access bandwidth become the big challenges of accurate and rapid identification of applications and behaviors on mobile Internet. This proposal investigates urgent scientific problem on mobile Internet, seeks the architecture and its key algorithms of a fine-grained traffic behavior identification system, adopts mathematical modeling and theoretical proof, utilizes software simulation and test-bed testing, and try to make breakthrough and innovate in the following four aspects. 1) Design a High-speed matchingmethod to eliminate the redundancy hidden in the rule sets. 2) Mine the dependencies between the rules and the flows, split the rule sets to accelerate the application. 3) Propose a new parallel algorithm, which uses the dis-orderable traffic load to balance the processing, while guaranteeing the affinity of flow. 4) By modeling the interactions between the stations and the mobile devices, propose an algorithm to detect small but long-lived application inorder to guarantee the bandwidth allocation. This proposal has significant theoretical value and is promising to apply to the applications like network service quality guarantee, network security and etc.

业务识别为移动互联网及其应用的管理、优化和控制提供有效支撑，是下一代互联网发展的必备要求。移动应用的爆炸增长和移动互联网接入速度的显著提高成为精准快速识别移动互联网应用行为的巨大挑战。本课题研究移动互联网迫切需要解决的科学问题，探索细粒度业务行为识别系统的体系结构及其关键算法，采用数学模型和理论求证的手段，通过软件仿真和实验床测试的方法，力图从四方面寻求突破和创新：1）提出高速匹配方法，消除匹配规则间隐藏的冗余度，提高规则集匹配速度；2）深入挖掘规则与规则、流与流之间的依赖关系对规则集进行划分，提高匹配速度；3）提出新的并行识别算法，在保证流亲和性的前提下，利用可乱序负载达到负载均衡，加速整个系统；4）通过对基站与移动设备间的带宽分配原则进行建模，提出小流量永久在线应用的识别方法，为移动基站智能分配带宽提供保证。本课题对提高网络质量和保证网络安全等应用具有重要的理论意义和应用前景。

移动互联网是下一代互联网发展的趋势之一，对移动互联网业务的识别和测量是下一代互联网发展的重要需求。经过4年研究，本课题共发表论文24篇，其中SCI检索8篇、EI检索16篇。计算机学会推荐A类国际期刊2篇、A类国际会议6篇，ACM和IEEE期刊4篇。申请专利6项，已授权3项。主要研究成果包括：.1) 根据移动互联网业务的流量特点，提出了一种最优化的规则组织结构的细粒度业务识别匹配方法，能够减少对于规则中冗余部分的匹配，从而达到高速匹配的目的。实验结果表明，该方法能够以很小的内存消耗实现了吞吐率1.6倍到104.7倍的提升。.2）研究现实网络中连续或不连续的多个数据包，所确定的一个细粒度的应用行为，提出了去冗余的多包匹配结构，实现了去冗余的多包匹配结构，即多包层次匹配树的原型系统，并使用现网流量进行了测试，实验结果表明：在单线程下，该系统可达到超过4.8Gbps的吞吐率，占用内存不超过300MB；在多线程下，该系统可达到超过40Gbps的吞吐率；使用全部为多包匹配的153条规则，优化的多包匹配结构可节省20%的空间与14%的匹配时间。.3）针对未知协议的数据包，我们提出了一个名为COPY的多协议解析器结构，该解析器使用可区分的计数上下文无关文法（DCCFG）作为协议规范并，然后将其转换为可区分的计数自动机（DCA），待解析的负载在DCA上进行解析，并按照规范提取相应字段。在校园流量上的测试结果表明，在协议数量不断增多的情况下，COPY依旧保持了较高的解析速度。并且在测试平台上使用8个线程进行并行解析，结果表明，COPY对于两个流量可以分别达到24.7Gbps和22.1Gbps的真实吞吐率，且吞吐率增长曲线基本线性于线程数目。.4）在上述研究的基础上，我们提出了细粒度规则优化组织与匹配方法与多协议无损语义解析方法，可以实时高速的从互联网流量中提取用户行为语义，这为在网络大数据上进行实时的语义理解提供了技术基础。DSI是第一个以一种细粒度的、灵活的和在线的方式从网络大数据中提取语义的工作。.5）对于小流量永久在线应用的研究，我们基于真实海量的在线地图应用用户日志，进行了大量数据处理与存储工作以及深入的测量与挖掘。在对每个城市搜索的高频兴趣点（POI）的统计分析中，发现城市中的地理POI 分布还不够平均，少数的POI 吸引大部分人群向其流动。