面向众核处理器的内存数据库连接优化技术研究

Join is the most important operation of DBMSs, and the performance of in-memory join dominates the performance of in-memory databases. The emerging many-core processor techniques change the cache-centric hardware architecture of traditional x86 processors, so how to accelerate in-memory joins with state-of-the-art many-core processors and design join optimizations facing heterogeneous processors are the fundamental researches of in-memory databases in many-core processor era. This project aims at studying the in-memory join implementation and optimization techniques with state-of-the-art multicore, Xeon Phi, GPU, FPGA processors, exploiting the platform-oblivious in-memory join algorithm design for heterogeneous processor platforms, and the in-memory OLAP implementation technique facing heterogeneous processor platforms. We will combine the roadmaps of hardware-conscious design and schema-conscious design, consider the database domain knowledge as in-memory join algorithm design perspective with schema pattern, workload pattern, index techniques, data compression techniques, early materialization/late materialization policy, multidimensional model, etc. to optimize in-memory join algorithm design, and design the in-memory OLAP query processing framework for heterogeneous processor platforms.

连接是数据库中最重要的操作，内存连接性能也是内存数据库性能的决定因素。新兴的众核处理器技术改变了传统x86架构处理器以cache为中心的硬件体系结构，因此，如何通过新兴的众核处理器平台加速连接性能及设计面向异构处理器的连接优化技术是众核处理器时代内存数据库实现技术的重要基础性研究。本项目旨在研究面向新兴的多核CPU、Xeon Phi、GPU、FPGA等处理器的内存连接实现及优化技术，探索面向异构处理器平台的platform-oblivious内存连接算法设计，以及面向异构处理器平台的内存OLAP实现技术。课题组在研究中采用面向硬件特性的优化技术与面向数据库模式特征的优化技术相结合的技术路线，将数据库领域知识作为内存连接算法设计维度，综合模式特征、负载特征、索引技术、数据压缩技术、早物化/后物化策略、多维数据模型等技术优化内存连接算法设计，实现面向异构处理器平台的内存OLAP查询处理技术。

本项目聚焦于内存连接算法的实现与优化技术，提出了向量索引技术，并研究了基于向量索引的向量连接，向量星形连接，向量分组聚集等OLAP查询重要的算子实现技术，提出了Fusion OLAP模型，实现了关系数据上高性能的多维分析处理，通过分层技术设计了开放OLAP计算框架，实现负载与不同硬件的优化匹配。实现了OLAP Accelerator原型系统，在SSB基准测试中性能超过国外最有代表性的内存数据库和GPU数据库系统。本项目扩展了OLAP模型，实现了新的OLAP算子，更高效地发挥了现代处理器的性能。