大规模网络中异常子图分析理论与算法研究

Anomaly detection is a pattern detection method for behaviors beyond expectations and has played a key role in many fields such as social network anomaly and network intrusion detection. However, existing anomaly detection methods are difficult to handle the complex structure constraints for subgraphs, dynamic multi-variable network and the hidden features for subgraphs. This project focuses on the structure and characteristics of subgraph, and develops a set of abnormal subgraph detection and analysis theory, together with related algorithms and application systems, including: 1) Research on connectivity and specific structural constrained typical abnormal subgraph detection (structural constraints); 2) Research on the detection of abnormal process in dynamic multivariate networks, inference method and stability detection algorithm for abnormal cross layer propagation (temporal constraints); 3) Research on hidden abnormal feature learning and detection methods based on graph convolution deep learning model (hidden constraints); 4) Develop a set of anomaly subgraph detection algorithm library and application system, and try to apply them in real-world applications based on the theoretical analysis and typical experimental validations, such as the existing social network analysis platform Ring, network security project. From the point view of scientific significance, this research focuses on the analysis theory and algorithm of dynamic subgraph anomaly detection. On the application prospect, the research results can make a difference in dynamic multi-factor networks such as network security and intelligent transportation.

异常检测是一种对不匹配预期行为模式的检测方法，已在社交网络异常事件、网络入侵检测等多领域发挥关键作用。然而，现有检测方法针对子图异常问题涉及结构复杂约束、网络动态多变量和隐式特征学习等存在不足。本课题将以子图结构与特征为对象，研究一套异常子图检测与分析理论、算法和系统，具体包括：①研究网络中连通性和特定结构约束的典型异常子图检测方法（结构约束）；②研究动态多变量网络中的异常过程检测方法、多层网络中异常跨层传播成因稳定性推断方法（时态约束）；③研究基于图卷积深度学习的隐式异常特征学习和检测方法（隐式约束）；④研制异常子图检测算法库及应用系统，在理论分析和典型实验验证基础上，基于已建社交网络分析平台Ring和网络安全等真实应用对算法和技术进行初步应用。在科学意义上，本课题聚焦动态异常子图分析理论与算法问题，在应用前景上，研究成果能在网络安全、智能交通等多要素动态网络中的异常检测发挥重要作用。

网络空间行为数据具有规模大、动态性强等特征，在结构多模式和时态多变化的网络中进行异常子图检测和演化分析面临诸多挑战。针对大规模网络中异常子图检测与分析需求，本项目围绕异常隐式特征学习、异常结构与事件检测、异常行为识别预警系统等方面开展研究，建立了一套以图表征学习方法为理论基础，以非参数统计、深度学习模型等异常子图检测方法为算法模式的协同分析体系，并研发异常检测算法库及应用系统。①异常隐式特征学习方面：提出了大规模网络异常隐含模式稳定表征方法以及超长行为序列表征方法等，长行为序列预测性能平均提升12%，同时计算效率提升20%；②异常结构与事件检测方面：提出了基于树分解、非参数扫描的异常图结构检测方法和流式事件检测与演化模型，异常结构检测准确率平均提升了19%，异常事件检测准确率提升6%-24%；③异常行为识别预警系统方面：提出了面向流式图处理系统的混合事务执行、高效故障恢复和服务质量优化方法等，计算延迟可降低8%，执行事务吞吐量最高提升10%。基于上述研究成果研发异常检测算法库，并将其集成至网络空间大数据挖掘分析平台Ring，并扩展应用到网络诈骗检测、新冠疫情大数据分析研判、航空操作行为异常检测、变压器故障异常检测等，为国家安全、社会治理、商业服务提供有力支撑。.项目成果：①学术论文，在TKDE、TDSC、WWW、KDD、AAAI、IJCAI等国际期刊/会议发表论文34篇，获IWQoS 2022唯一最佳论文奖、CIKM 2022最佳论文荣誉提名奖。②获奖及荣誉，负责人获评2020年十佳中国电子学会优秀科技工作者、2021年国家科技系统抗疫先进个人等；培养研究生20名，获Kaggle异常检测金奖2项，CodaLab事件检测第1名、中国人工智能学会优博、世界人工智能大会WAIC云帆奖（全球MIT、Stanford等博士17名）、北京市“海英之星、CCF青年人才计划等19项奖励。③系统及应用，项目技术授权专利8项，系统在网信办、省公安、中国船舶、国家电网、南部**应用，获国务院办公厅、科技部、卫健委和疾控中心的书面感谢。