海量数据流实时分发技术研究

The emergency fields, such as post earthquake rescue and disaster weather warning, are characterized by massive data stream with unpredictable arrival rate, and large-scale users with various interests. These characteristics pose a great challenge: how to timely disseminate massive data stream to a large amount of users with diverse interests. To this end, this project will perform research at three aspects. (1) To filter out interested users from large-scale complex subscriptions, this project will study real-time matching approaches, which support complex event processing, realize efficient aggregation and sorting on data stream, and achieve high event matching throughput. (2) According to the real-time requirement of data dissemination, this project will study flash routing approach to disseminate massive data stream. Using scalable servers of data centers, we plan to complete data dissemination in milliseconds. (3) Frequent churn system workloads lead to high dissemination latency. To guarantee real-time dissemination and improve resource utility, we will study runtime performance-aware auto-scaling method to elastically adjust the scale of servers. The objective of this project is to build an available method to ensure real-time data dissemination, improve the capacity of detecting and warning emergency events, and enhance the capacity of emergency rescue.

在震后救援、灾难天气预警等应急响应领域中，海量数据流实时产生且到达速率难以预测，用户规模大且兴趣各不相同。如何将海量数据流在广域网范围内实时分发至具有不同兴趣的大规模用户群体成为当前亟待解决的挑战性问题。为此，本项目将展开三个方面研究：(1) 为了从大规模复杂订阅中找出对数据感兴趣的用户群体，研究支持复杂事件处理的实时匹配方法，高效完成数据流上聚合、排序等操作，实现事件匹配高吞吐率。(2) 针对用户对数据到达实时性的需求，研究海量数据流的实时事件路由方法，结合数据中心网络中的可扩展服务节点，实现毫秒级数据流分发。(3) 针对系统工作负载频繁波动导致分发实时性降低的问题，研究运行时性能感知的自适应伸缩方法，弹性调整服务节点规模以保证数据分发实时性并提高资源利用率。本项目旨在探索切实可行的保障数据流分发实时性的方法，有效提高应急响应领域中突发事件的检测和预警水平，增强处置突发事件的救援能力。

随着互联网、移动计算、物联网的高速发展，涌现出了百万级用户规模的应急事件响应、在线社交网络、智能交通、舆情监控等数据密集型应用，这些应用中海量数据流实时产生且到达速率难以预测，用户规模巨大且兴趣各不相同。如何将海量数据流在广域网范围内实时分发至具有不同兴趣的大规模用户群体成为当前亟待解决的挑战性问题。为此，我们提出了基于两跳查询拓扑的通用并行匹配方法、区间数据的分布渐进式Skyline查询算法，有效降低复杂事件的匹配时间；提出云辅助的快速事件路由方法解决网络上传带宽不足的问题，基于流水线的分布式渐进编码方法保证数据分发可靠性，基于分组的分布式流水线数据写入方法降低带宽消耗；提出基于匹配节点最大工作负载的弹性事件匹配方法，基于簇最大分发完成时间的弹性数据路由方法，提高服务节点的自适应伸缩能力。本项目在事件匹配、Skyline查询、纠删码存储、数据路由和弹性服务的关键技术方面获得突破，能够有效提高应急响应领域中突发事件的检测和预警水平，增强处置突发事件的救援能力。本项目共录用与发表高水平学术论文13篇，其中SCI检索论文9篇，EI检索论文4篇。其中计算机学会A类期刊论文1篇，计算机学会C类期刊7篇。