面向感知大数据的不确定查询处理与优化技术

With the rapid development and wide usage of the sensor network and Internet of Things (IOT), the scale of the sensed data increases sharply, and it is hence the epoch of Big Sensed Data (BSD) nowadays. BSD mixes the typical features of both big data and sensed data. However, the traditional data management technology on neither sensed data nor big data can effectively support BSD management. Query processing is the core of BSD management, while query optimization is the key factor impacting on the query processing performance. In this proposal, considering the characteristics of the realtime streaming, spatio-temporal correlations and uncertainty of BSD, we concentrate on the key techniques of BSD acquisition, storage, indexing, and uncertain query processing and optimization algorithms based on the problems on uncertain query processing and optimization for BSD. The prototype system on uncertain query processing and optimization for BSD will be designed and implemented in order to verify the correctness and effectiveness of the related research results. The study on this project has very important theoretical and practical impact on pushing forward the BSD management technologies and applications, as well as the national new type database industry.

随着传感网、物联网的快速发展与广泛应用，感知数据的规模呈现了急速增长的趋势，我们已经走进了感知大数据的时代。感知大数据兼具大数据和感知数据的典型特征，传统的感知数据管理技术和大数据管理技术均无法有效地管理感知大数据。查询处理是感知大数据管理研究的核心内容，而查询优化是影响查询处理性能的关键因素。本项目考虑感知大数据的实时流、时空相关和不确定等特点，紧紧地围绕面向感知大数据的不确定查询处理与优化问题，将重点针对感知大数据获取、感知大数据存储、感知大数据索引和不确定查询处理与优化算法等关键技术展开深入的研究工作，并设计开发一个面向感知大数据的不确定查询处理与优化的原型系统来验证相关研究成果的正确性和有效性。该项目的研究工作对于推动感知大数据管理技术与应用，以及发展我国新型数据库产业，具有非常重要的理论研究意义和实际应用价值。

感知大数据除具有大数据的4V特征外，还具有实时流、时空相关和不确定等特征，为感知大数据管理技术研究带来了巨大挑战。因此，本项目针对批处理与流处理模式的兼顾、数据依赖对处理效率的影响和不确定查询的分布式处理等核心问题，从感知大数据获取、感知大数据存储、感知大数据索引和不确定查询处理与优化四个方面入手，深入研究了面向感知大数据的不确定查询处理与优化的理论、技术与方法。在感知大数据获取方面，研究了静态传感器网络中基于节点筛选的高效数据获取、移动传感器网络中基于位置预测的高效数据获取、移动传感器网络中路由树的高效构建及维护等，实现了高质量的数据获取。在感知大数据存储方面，研究了存储容量可扩展的区块链、不可信环境中去中心化数据完整性验证、去中心化的分布式存储模型、行列混合的高维大数据分布式存储模型等，实现了均衡的分布式存储。在感知大数据索引及查询处理与优化方面，研究了传感器网络中的概率Skyline和近似Skyline查询；感知数据流的k代表Skyline、动态Skyline、Reverse Skyline、子空间Global Skyline和ρ-支配Skyline查询；面向感知大数据的统一分布式极限学习机及其性能优化，以及Skyline-Join、异常点检测和相似性Join查询等，实现了有效的分布式索引和高效的查询处理。经过项目组成员为期三年的共同努力，在理论研究、学术交流和人才培养等方面均取得了大量成果。在理论研究方面，共发表论文38篇，包括TKDE、BMC Cancer、Neurocomputing、WWWJ、CMPB、Physica Medica、TST、NCA、MULT、Memetic Computing、FCS、XST、计算机学报、CAD&CG、DASFAA和APWeb-WAIM等学术期刊和会议，被SCI收录20篇次、EI收录20篇次、CPCI-S收录6次；在原型系统研发方面，申请发明专利9项、软件著作权1项；在学术交流方面， 19人次参加了国内外重要学术会议，与相关领域专家和同行进行了广泛而深入的交流。在人才培养方面，协助培养博士研究生4人，1人已顺利毕业；独立培养硕士研究生11人、协助培养硕士研究生4人，均已顺利毕业。“分布式极限学习机及其性能优化”作为“海量异构数据集成管理与分析技术及应用”的主要技术创新之一，获得了 2016 年度教育部科技进步一等奖。