时空大数据流分布式异常事件检测技术研究

Anomalous event detection over spatio-temporal data streams aims to find out moving objects which have big spatial deviations from the normal modes in real-time. This not only discovers the potential dangerous behavior patterns hidden in big data streams, but also provides analysts with a novel insight of characteristics analysis, which has important practical significance to the real-time applications being in urgent need of effective management of massive-scale moving objects, ranging from security monitoring, military, and location-based services to traffic management. Therefore, this proposal plans to study efficient outlier detection methods under the environment of big spatio-temporal data streams. We will build series of spatio-temporal outlier models by analyzing various abnormal situations in spatio-temporal data stream applications; deploy distributed data stream processing platform over a cluster based on Storm architecture, and design the data stream grouping schemes to apply to massive spatio-temporal data streams; design efficient distributed parallel detection algorithms respectively for the proposed outlier models; Study on concurrent sharing execution strategies for multiple-queries to resolve complex anomaly detection problems. Finally, we would integrate the distributed detection approaches and sharing execution strategies into an actual system application, and develop the interactive visual analysis interface for evaluation platform to verify the proposed outlier models and distributed detection algorithms. The proposal starts by the spatio-temporal anomalous event modeling, and then proposes innovative outlier detection techniques for big spatio-temporal data streams from the perspective of distributed processing, which will provide a new insight and theory for future research of big spatio-temporal data stream mining.

时空数据流异常检测旨在从实时时空数据中找出严重偏离正常模式的移动对象，以发现海量数据流中隐藏的具有潜在危险性的行为模式，为分析者提供一种特殊的特征分析视角。这对于安防监测、移动计算、军事、位置服务、交通管理等急需有效管理海量移动对象方法的大型实时应用有着重要的实际意义。因此，本课题拟对时空大数据流环境下的异常检测技术进行深入研究，通过对时空数据流应用下异常状况分析建立系列异常事件模型；搭建基于Storm集群架构的分布式处理平台，设计面向时空大数据的数据分组机制；针对异常事件模型，分别设计高效的分布式并行检测算法；针对复杂检测问题，研究多查询并发的共享执行策略；最后将研究成果集成到实际应用，实现互动可视化分析的评估平台，验证异常模型和检测算法的正确性和有效性。课题从异常事件建模入手，从分布式处理角度研究新的时空大数据流异常检测技术，可为时空大数据流挖掘技术的进一步研究提供新思路和理论依据。

随着大数据应用的普及，高效可扩展的数据流异常检测在实时分析处理中扮演着越来越重要的角色。时空数据流异常检测旨在从实时时空轨迹数据中找出严重偏离正常模式的移动对象，以发现海量轨迹大数据中隐藏的具有潜在危险性的行为模式，为分析者提供一种特殊的特征分析视角。而基于时空聚类的轨迹模式挖掘方法则是另一类重要的时空异常检测方法，可从时空聚类的视角，反向分析时空异常在轨迹聚类结果上的特征。此外，时空大数据流的实时性、海量性、无限性、动态性等特征也给数据流异常检测问题带来了前所未有的挑战和要求。本课题面向时空轨迹大数据的分布式异常检测与轨迹模式挖掘技术展开了深入研究。在基于邻居的时空异常检测模型方面，本课题提出了一类新颖的基于邻居的轨迹数据流异常模型，考虑了不同的时空邻居语义，可有效捕获不同应用场景下的异常事件。在基于时空聚类的事件检测方面，本课题完成了一系列高效的聚类算法设计和面向流式大数据的密度聚类研究，实现了时空数据流中的演化聚类分析。在分布式并行算法研究方面，本课题设计了一种面向时空大数据的分布式数据流系统中负载均衡的数据分发方法，完成了流式时空大数据分布式异常检测框架的搭建。本课题还完成了基于聚类的时空轨迹群组模式的挖掘，并实现了分布式密度聚类算法和分布式时空轨迹模式挖掘的并行算法研究。在集成应用系统方面，本课题搭建了基于Storm的流式大数据分布式异常检测系统和可视化的聚类分析集成系统。在大规模的真实轨迹数据上的评估结果验证了所提异常模型的正确性和有效性。在实际分布式计算平台上，通过对海量时空轨迹数据的实验评估，验证了所设计的分布式算法的高效性和可扩展性。