基于领域时空特征的高效多维索引方法研究

It is the Big Data era. How to combine the domain knowledge with the corresponding Big Data research is one of the current ten hot topics. This proposal motivates itself from the efficient and effective management of huge volume of data from water science, which plays an important role in national economy and the people's livelihood. The focus of the project is to build a distributed indexing framework based on domain spatial-temporal characteristics. The main research problems include the non-Euclidean partitioning of spatio-temporal data, adaptive load balancing and different indexing schemes for different type of data. The goal of the proposal lies in the methodology of constructing multiple types of indexing and to achieve quick query-response, which can provide satisfying data service for national flood control and defense, in the long run. Some key technical issues, such as time series indexing for fast similarity searching, sketch aggregation based on exponential histogram, are also of great interest in our project. The proposal is a multi-discipline research on spatial-temporal data management driven by hydrological domain application. The output of the distributed indexing method and query processing is important extensions to traditional database research. Furthermore, the methodologies and techniques achieved in the project will also get wide applications in other domains, which indicate the fundamentality and its utility in real applications.

与领域知识结合的大数据研究和应用是大数据公认的研究热点之一。如何实现对具有领域时空特征数据的高效访问是当前亟待解决的问题。项目给出了兼顾水利数据语义关系和时空分布波动性的高效多维索引方法的一组解决方案，主要包括：1）研究非欧空间数据划分方法，实现领域数据的语义聚集；2）研究基于负载均衡的反聚集方法，解决时空分布波动性带来的访问热点问题；3）研究基于数据空间预划分的分布式索引构建方法，提高分布式索引的构建效率；4）研究基于非欧距离与欧氏距离转换的查询方法，解决非欧距离的时空查询效率低下问题；5）研究面向相似性计算的时间序列索引方法和基于指数直方图和草图的聚集索引方法，解决数据分析过程中相似性度量和聚集对象重复计数问题。本项目是结合领域知识的时空数据管理方法研究，建立起复杂应用与日益丰富的领域数据间的桥梁。研究成果为具有领域特征的数据的高效访问方法探索出一条可行的道路，具有巨大理论和现实意义。

与领域知识结合的大数据研究和应用是大数据公认的研究热点之一。如何实现对具有领域时空特征数据的高效访问是当前亟待解决的问题。研究内容主要包括：1）研究非欧空间数据划分方法，实现领域数据的语义聚集；2）研究基于负载均衡的反聚集方法，解决时空分布波动性带来的访问热点问题；3）研究基于数据空间预划分的分布式索引构建方法，提高分布式索引的构建效率；4）研究基于非欧距离与欧氏距离转换的查询方法，解决非欧距离的时空查询效率低下问题；5）研究面向分布式环境的高效存储和索引实现方案。研究针对以上内容，给出了两组解决方案，分别为针对智能交通中路网数据的时空索引及高效检索方法，和兼顾水利数据语义关系和时空分布波动性的高效多维索引方法的一组解决方案。.本研究提出的水利多业务域时空多维一体化数据模型体系。包括水利时空一体化数据模型、多粒度嵌套的水利元数据模型、多维自适应水利数据资源目录模型、水利领域主题词库驱动的数据应用模型，解决了水利数据属性、空间、时间复杂相关特点的数据结构、元数据结构、应用组织的模型设计问题，提高了数据管理和应用的效率。我们在水利行业进行了大量项目推广，研发实施了大量数据共享与服务系统，构建了水利部水信息基础平台－数据资源整合元数据库（实现水利部机关对象基础信息数据库41类约1100万对象以及覆盖7个领域的32类业务共享信息数据的共享服务）以及湖北省、江西省、山东省等地方信息资源目录建设与水利部水利数据中心的互联互通，取得了巨大的经济效益和社会效益。.项目研究获得国家科技进步二等奖1项、教育部科技进步一等奖1项、大禹水利科技进步奖二等奖1项。围绕项目研究出版英文专著1本，编制行业标准2部，获得国际发明专利1项，获得国家发明专利8项，申请国家发明专利12项，获得软件著作权2部，发表标注论文36篇（其中SCI检索5篇，EI检索14篇），参加国际会议10人次。培养博士研究生2名；培养硕士研究生16名。