面向上下文感知数据的流计算复杂事件处理技术研究

Nowadays, it is common that context-aware sensor data and user-related network information are collected and analyzed through various sensing devices and Internet to provide comprehensive, precise and intelligent real-time information services. This service is widely applied in all aspects of daily life and brings great convenience to us. However, it also brings the challenge that traditional data processing modes cannot meet the demand of real-time perceptive information services because of the dynamic context-aware environment, and out-of-order large-scale data.. Currently, traditional database and data processing techniques are unable to deal with large amounts of real-time out-of-order data. To this end, this project explores approaches of using stream computing to analyze complex event processing modeling and algorithms of context-aware sensor data. . Specifically, we first use stream computing to develop a model which processes complex events through out-of-order data based template generation and matching algorithms as well as multi-level distributed programming structure. . Besides, the model is constructed using parallel scheduling, assignments reconstruction, and resource clustering and distributing strategy.. Finally, the model is optimized using a combination of the fault-tolerant algorithm and abrupt data explosion oriented identification and prediction models to make out-of-order sensor data as inputs be analyzed in real-time with high complexity.. The utmost goal of this project is to obtain associated relation of context-aware data as outputs, and implement quick response and decision making to provide technical support for real-time stream computing of large-scale context-aware sensor data.

近年来，通过各种传感设备和互联网技术实时采集上下文感知数据和用户相关的网络信息，提供全面、精确、智能信息服务已逐渐应用在人们的日常生活中。然而上下文感知环境是动态变化的，收集到的感知数据具有乱序性、数据量大等特点，传统的处理方式已无法满足上下文感知应用的数据处理需求。基于此，课题研究面向上下文感知数据的流计算复杂事件处理模型与算法。首先利用数据的模板生成和匹配算法和多层次分布式编程结构解决流计算复杂事件处理中的乱序数据流处理问题；其次研究流计算复杂事件处理中的任务调度、资源分配和任务重组策略以并行高效处理任务；最后结合容错和突发事件处理技术对系统功能进行优化，实现对所输入乱序数据的实时性、高复杂度的分析。课题研究目标是获取上下文感知数据间的关联关系信息，并做出反应与决策，为日益发展的大规模乱序上下文感知数据实时流处理技术提供技术支撑。

流计算是针对流数据的实时计算和分析，可以了解每个时刻的流量变化情况，甚至可以分析用户的实时浏览轨迹，从而进行实时个性化内容推荐。然而，很多上下文感知数据流并不是简单的静态数据，而是连续的、不间断的、非结构化的数据队列。要想准确的从这些数据中获取信息，就要对它进行有效的融合和处理。本课题从面向上下文感知数据的流计算复杂事件处理模型与算法，流计算复杂事件处理中的任务调度、资源分配和数据共享策略，以及结合容错和突发事件处理技术对系统功能进行优化等方面展开，在研究过程中逐步形成了面向智能物联网的端-边-云融合核心理论思路。本课题的主要研究成果包括如下几个方面：.(1) 在数据流处理策略方面,我们针对资源请求调度和迁移导致的能量消耗问题，提出基于深度强化学习的云数据中心能源调度，将神经网络嵌入到强化学习，对能量消耗问题进行值函数设计，从而有效降低分布式云数据中心的能量消耗；为了进一步节省能源消耗，提出基于区块链的云数据中心能源管理，利用区块链技术实现能源的高效管理。.(2) 在资源分配和任务调度策略方面，我们针对数据传输掉线问题，提出基于云数据中心的流量压缩和调度，开发了一种启发式算法，利用空闲CPU进行数据压缩，来减少网络流量在传输过程中的通信开销；为了减小通信延迟，提出基于云雾计算的虚拟机调度，通过各自在效益上的特点制定资源调度的策略。.(3) 在容错技术和优化策略方面，我们针对终端之间常常拒绝数据共享的问题，提出基于区块链的边缘数据共享，通过设计区块链的数据管理架构实现用户端的资源共享。