物联网流数据信息处理技术研究

The traditional data processing method does not work well in real-time streaming data process in the applications of Internet of Things, but there have no method emerging to solve this challenge now, which would obstruct the large scale application of IoT. This research will focus on theoretical and algorithmic innovation of machine-understandable heterogeneous streaming data processing method for IoT real-time application environment, and verify its availability in the network of intelligent front-ends. A unified semantic description framework of heterogeneous streaming data will be provided, and an access middleware will be developed. The synopsis data structure of the heterogeneous streaming data based on sliding windows model will be constructed, and a stream-density-estimation-based load-adaptive algorithm and evaluation method of real-time performance will be proposed. The layering synopsis data structure and rule matching engine which support multi-user query concurrently will be presented, and rule-based message push service fitted for machine to machine interaction will be designed, an intelligent front-end test bed will be set up. Finally, an IoT-friendly heterogeneous streaming data processing environment will be provided to solve the big challenges of semantic consistency, real-time, and concurrency of cooperative awareness between human and machine and machine and machine.

传统的数据处理方式不再适用于物联网应用中的实时流数据处理，但尚未产生新的方法来解决这个挑战，这将阻碍物联网的大规模应用。本项目针对物联网实时应用环境中机器可理解的异构流数据处理方法进行理论探讨与算法研究，并将成果应用于物联网智能前端中。研究内容包括：设计异构物联网流数据的统一语义描述框架，设计具有集成能力的异构流数据接入方法；构造基于滑动窗口模型方法的物联网异构流数据概要数据结构，研究基于流密度估计的计算负载自适应算法和实时性评价方法；研究支持多用户并发查询请求的分层概要结构和规则匹配引擎，设计用于机器-机器交互的基于规则的消息推送服务，利用智能前端组建试验网络应用验证。项目研究目标为提供一个适用于物联网应用的异构流数据处理环境，解决人-机器、机器-机器之间协同感知的语义一致性、实时性与并发性挑战。

本项目针对物联网实时应用环境中机器可理解的异构流数据处理方法进行理论探讨与算法研究，并将成果应用于物联网智能前端中。本项目在物联网中引入语义网，通过RDF三元组对物联网流数据及其关系添加语义描述，并使用滑动窗口模型处理窗口内的数据流信息，进一步利用规则匹配引擎实现高效的并行分发任务，以达到人机、机机之间的协同感知，可以有效地解决物联网中资源异构的问题。本项目主要成果包括：1)由RDF数据流元组构成RDF图，设计了基于RDF图的物联网异构信息统一语义模型，通过在RDF图网络中根据节点之间的链接关系进行判断推理发掘流数据中的隐含信息；2)提出一种基于流密度的双层滑动窗口流数据实时处理算法，采用两层滑动窗口实现对流数据流速的自适应调整和增量挖掘；3)建立分层的概要数据结构来解决复合查询请求的并发处理，针对集合监控问题提出一种时间切片的数据流Top-K动态演化分析方法，根据不同时序下Top-K查询结果的变化反映数据流模型的动态演化特征，以降低分布式监控系统中的计算开销;4)建立了以办公建筑绿色运行为目标的实验网络系统，对建筑内的分类分项能耗和室内环境参数进行采集，获得分钟级的能耗-环境-运行数据，以此为基础建立多元建筑-环境-运行数据描述模型，使之具有更强的复杂事件感知能力。进一步探索了本项目所提出方法的三种应用场景：在未来智能家庭微电网应用场景中，根据家用电器的实时能耗和室内外环境信息构建一个自适应动态规划模型，构建智能微电网分布式储能设备控制优化方法；在大气环境质量监测与治理应用场景中，针对大规模城市群提出一种基于时空特征的流数据聚类算法及相应的评价方法，用于发现大气污染状况相近的城市群，为大气污染的区域治理提供科学依据；在基于文本流聚类的新闻实时热点发现应用场景中，提出一种优化新闻流聚类质量的方法，基于时间切片方法获得新闻主题的时序演化模型，提高热点发现方法的处理效率和性能。