面向新型硬件环境的数据管理与分析关键技术

Hardware technique and environment underwent significant transformations in the field of information domain, represented by high-performance processors and hardware accelerators characterized by abundant heterogeneous parallelism, non-volatile memory with hybrid storage hierarchies, and RDMA-enabled high-speed network. Recent hardware trends in these areas deeply affect data management and analysis applications. In this project, we focuses on both the challenges and opportunities that will potentially lead by new hardware environment. This project mainly focuses on four key aspects, including i)hardware-conscious data management architecture and design pattern to abstract the heterogeneous, diversified, hybrid hardware environments and support lightweight optimizations; ii) NVM-oriented data storage and indexing technologies to accelerate data processing; iii) hardware-aware analytical processing and performance optimization to exploit the abundant parallelism and access advantages offered by modern hardware; iv)RDMA-enabled scalable transaction processing including concurrency control and recovery techniques. The planned research conforms to the current applications and the development of the related technologies. It is of broad interests to the participants from academic and industries.

信息领域的硬件技术和环境正在经历巨大的变化，特别是高性能处理器和硬件加速器、新型非易失存储器、高速互联设备以及由它们催生的具有丰富硬件上下文的异构计算架构、以高速持久化为显著特征的混合存储环境和支持远程数据直接存取的高速互联网络正在显著改变传统的数据管理与分析系统的底层支撑载体。本项目重点关注新型硬件环境给数据管理与分析领域带来的机遇与挑战，探索以下四个方面的关键技术：1）研究新型硬件环境下的数据管理架构和设计策略，实现对异构、多样、混合硬件环境的有效抽象和轻量化处理；2）研究支持混合异构硬件环境的存储与索引技术，加速上层数据处理；3）研究硬件感知的分析处理与性能优化，充分利用异构计算架构以及非易失存储环境的并行、定制以及新I/O特征；4）研究新型硬件使能的事务处理技术，实现恢复与并发控制以及高可扩展分布式事务处理。本项目的研究符合应用需求和硬件技术发展趋势，具有广阔的应用前景和学术价值。

近年来信息领域的硬件技术和环境正在经历巨大的变化，特别是高性能处理器和硬件加速器、新型非易失存储器、高速互联设备以及由它们催生的具有丰富硬件上下文的异构计算架构、以高速持久化为显著特征的混合存储环境和支持远程数据直接存取的高速互联网络正在显著改变传统的数据管理与分析系统的底层支撑载体。本项目重点关注新型硬件环境给数据管理与分析领域带来的机遇与挑战，项目主要研究内容包括：研究新型硬件环境下的数据管理架构和设计策略；研究支持混合异构硬件环境的存储与索引技术；研究硬件感知的分析处理与性能优化；研究新型硬件使能的事务处理技术；研究与机器学习结合的上层应用实现与优化技术。本项目在5年的研究周期内，取得了一系列重要的研究成果，项目核心技术已经分别应用在具有自主知识产权的国产分布式金融事务型数据库系统CBASE，以及我国核心信息基础设施领军企业曙光信息产业股份有限公司的新硬件平台C86及其加速卡DCU（型号Z100、Z100L）中。CBASE系统目前已经在交通银行的核心业务中得到应用，而C86及其加速卡DCU已经量产且通过联合测试。项目开展期间，共发表高水平研究论文90篇。其中，在国际顶级会议（SIGMOD、VLDB、ICDE）上发表论文22篇；国际顶级期刊（TKDE等）上发表论文21篇；国际著名期刊和会议（Information Sciences、Information Systems、IEEE Intelligent Systems、KBS、ICPP、CIKM、WWW、JPDC等）上发表论文27篇；在SCI检索期刊上发表论文36篇，国内顶级期刊（《软件学报》、《计算机学报》等）上发表论文13篇。此外，项目本年共申请专利16项，软件著作权5项，共培养博士研究生20名，硕士研究生57名。项目的相关研究成果将为新硬件环境下的数据管理技术的进一步研究与应用提供新的解决思路和技术支撑，具有重要的理论和实践意义。