云计算中TB/PB级海量数据近似查询处理技术的研究

The research on query processing techniques for TB/PB massive datasets in cloud computing is first carried out at home and abroad supported by NSFC. Some key theories and technologies of exact query processing for TB/PB massive datasets are proposed. So far, 12 papers have been published on well-known domestic and international journals and conferences (3 papers on international journals, 1 paper on an international conference, 4 papers on top domestic journals, 4 papers on domestic conferences), including 3 papers indexed by SCI and 8 papers indexed by EI. Otherwise, 5 papers are submitted to top international journals and conferences, including 4 papers to international journals indexed by SCI (2 papers to TKDE) and 1 paper to VLDB 2012. The subject of our project is to study the key theories and techniques of approximate query processing for TB/PB massive datasets in cloud computing, including storage and index methods for TB/PB massive datasets; some query processing algorithms for fundamental operations on TB/PB massive datasets such as approximate selection, join and group-by; approximate query processing algorithms for summary information and representation information of TB/PB massive datasets. A query processing prototype system will be developed for TB/PB massive datasets in cloud computing.

青年科学基金项目在国内外率先开展了基于云计算环境的TB/PB级海量数据查询处理的研究工作，主要围绕精确查询处理，提出了一些TB/PB级海量数据查询处理的关键理论和技术。目前还在继续进行这方面的研究工作。到目前为止，已在国内外知名期刊和会议上发表学术论文12篇(国际期刊3篇，国际会议1篇，国内一级期刊4篇，国内会议4篇)，其中SCI检索3篇，EI检索8篇。在审文章5篇，其中国际期刊文章4篇(数据库顶级国际期刊TKDE 2篇)，数据库顶级国际会议VLDB 2012 1篇。本课题在已有研究成果的基础上，将研究云计算中TB/PB级海量数据近似查询处理的关键技术和理论，主要包括：支持近似查询处理的海量数据存储和索引方法；海量数据近似选择、连接和分组等基础操作算法；海量数据概要信息和代表性信息近似查询处理算法；并研制相应的TB/PB级海量数据近似查询处理系统原型。

近年来，各行业的信息量呈爆炸性增长趋势，一些科学应用中的数据量已经从几十个TeraBytes发展到PetaBytes并且在不断扩大。现有数据管理方法无法提供TB/PB级海量数据有效的存储与查询支持。如何有效地存储、管理这些TB/PB级海量的数据集合，高效地支持各种复杂的查询是数据库领域面临的一个新的挑战性问题。该课题在国内外率先开展了云计算中TB/PB级海量数据近似查询处理的相关研究工作，提出了一些TB/PB级海量数据近似查询处理的关键理论和技术，主要包括支持近似查询处理的海量数据存储和索引方法；海量数据近似连接和近似聚集等基础操作算法；海量数据概要信息和代表性信息近似查询处理算法；并研制了相应的TB/PB级海量数据近似查询处理系统原型用于验证算法的有效性和准确性。