大数据管理系统评测基准的理论与方法

Database benchmarking has stimulated the development of data management systems and technologies. In Big Data environments, due to the change of data volume and structure, as well as that of application requirements and supporting platforms, benchmarking should be revisited, to test various big data management systems in realistic and adaptive simulated environments, so that guidance could be provided for system selection. This project will systematically study the theory and methods for constructing a benchmark, with data, workload, and measurements. Furthermore, benchmarking tools will be designed and developed, while resulting benchmarks will be used in certain application domains to verify the effectiveness of the research. The project aims at technologies that ensuring realisticity, adaptivity, and measurability of benchmarks. Methods for automatic synthetic and workload generation, measurement selection for new applications and platforms, application-dependent testing methods are to be studied. Benchmarks for bunchs of applications are to be defined based on those methods, so that our methods and tools can be verified in real-life benchmarking. Team members of the project, though come from three different institutes, have been collaborated in several projects on data management research. Furthermore, our previous work on benchmarking data management systems has settled a good basis for this project. This project will be helpful for reducing costs of benchmarking big data management systems, and stimulate the development of big data applications in various domains.

数据库评测基准在数据库发展历史中的作用不可替代。评测基准指一套用于评测、比较不同系统性能的规范，其度量能全面客观反映各系统的性能差距，从而推动技术进步，形成竞争局面，引导行业健康发展。大数据环境中传统基准不敷应用。立足中国式应用，开展评测基准研究，对推动大数据管理系统发展是一项“执牛耳”的工作。课题将围绕评测基准三要素，即数据，负载，度量，从理论与方法、评测工具、应用验证三个层面开展研究。重点研究与保证基准高仿真性、可适配性、可测量性相关的科学问题；形成大数据基准的基础理论和方法学；提出数据/负载自动生成、度量指标选取以及评测的方法；结合领域应用制定相应基准，验证所提理论，指导研发评测程序套件。课题承担与合作单位长期合作，在国内率先开展了大数据管理系统评测基准的全面研究，有丰富的积累。研究成果将有助于降低大数据基准评测实施成本，为新型应用提供系统选型依据，促进大数据行业应用和产业健康发展。

数据库评测基准在数据库发展历史中的作用不可替代。评测基准指一套用于评测、比较不同系统性能的规范，其度量能全面客观反映各系统的性能差距，从而推动技术进步，形成竞争局面，引导行业健康发展。大数据环境中传统基准不敷应用。立足中国式应用，开展评测基准研究，对推动大数据管理系统发展是一项“执牛耳”的工作。课题围绕评测基准三要素，即数据，负载，度量，从理论与方法、评测工具、应用验证三个层面开展研究 。重点研究与保证基准高仿真性、可适配性、可测量性相关的科学问题；形成大数据基准的基础理论和方法学；提出数据/负载自动生成、度量指标选取以及评测的方法；结合领域应用制定相应基准，验证所提理论，指导研发评测程序套件。课题承担与合作单位长期合作，在国内率先开展了大数据管理系统评测基准的全面研究。研究成果包括一套完整的评测数据生成、数据-负载协同生成、多度量评测方法的理论和技术，BigDataBench、PeakBench、TSBenchmark等多个基准评测套件和工具集。成果已经在学术界和金融、电信、工业等领域得到推广使用。项目团队发起成立的BenchCouncil已迅速成为基准评测方面最活跃的学术和工业社区组织之一。项目成果将有助于降低大数据基准评测实施成本，为新型应用提供系统选型依据，促进大数据行业应用和产业健康发展。