云计算环境下的BESIII数据处理与分析

After the upgrade from BEPC to BEPCII, the luminosity is 100 times higher, so the BESIII experiment faces the challenge of processing significantly increased data volumes in a timely way, and completing large scale data processing and analysis tasks in short periods of time. The flourishing development and industrialization of cloud computing, with the advantages of flexible resource assignment and management, could provide a good solution to the BESIII experiment's resource problem. The Chinese government and CAS have put considerable funds into the construction of basic cloud facilities for scientific research, which provides a good environment and opportunity for the application of cloud computing in BESIII. However, cloud resources are quite different from the current resources available for BESIII data processing and analysis in terms of environment set-up, data storage and access, job scheduling, etc. Therefore, the goal of this project is to implement BESIII data processing and analysis in a cloud environment efficiently, seamlessly integrating cloud resources with other current resources to form a single distributed data processing and analysis platform, and implement the application of cloud computing to BESIII data processing and analysis on a large scale.

完成升级后的BEPCII的亮度比BEPC增加近100倍，如何保证急剧增长的海量数据及时地快速地得到处理与分析，并且满足短时间内的大规模数据处理与分析的需求，这是BESIII实验正面临着的巨大挑战。云计算的蓬勃发展和产业化，以及其在资源配置的可伸缩性和管理的灵活性方面的巨大优势，为BESIII实验解决资源需求问题提供了新契机。同时国家和中国科学院投入了相当大的资金进行云基础设施的建设用于支持科学研究，这无疑为BESIII实验利用云计算资源提供了良好的环境和机遇。另一方面，云计算资源对BESIII数据处理与分析来说在环境建立，数据存储访问和作业调度等方面与现有资源存在较大差异。因此本项目旨在实现BESIII数据处理与分析在云计算中的顺利地高效地进行，并通过统一的分布式数据处理和分析平台实现对各种云计算资源的无缝接入以及异构资源的整合，实现云计算在BESIII数据处理与分析中的大规模应用。

完成升级后的BEPCII的亮度比BEPC增加近100倍，如何保证急剧增长的海量数据及时地快速地得到处理与分析，并且满足短时间内的大规模数据处理与分析的需求高峰，这是BESIII实验面临着的巨大挑战。国家和中国科学院的云基础设施的建设，云资源的产业化，BESIII欧美合作单位的云资源的兴起，这无疑为BESIII实验利用云计算资源来缓解BESIII实验的计算压力和解决高峰需求提供了良好的环境和机遇。本项目从环境搭建、资源调度、数据获取、性能等方面入手研究云计算资源在BESIII数据处理与分析中的应用。本项目圆满完成了目标，实现了BESIII数据处理与分析在云计算中顺利地高效地进行，并通过统一的分布式数据处理和分析平台实现对各种云计算资源的无缝接入以及异构资源的整合。经过四年的研究和实践，云计算资源现已经大规模应用于BESIII Monte Carlo模拟和分析，截止2017年末，平台上共整合了来自意大利、瑞士、俄罗斯、院云计算中心、国内大学等9个云计算站点，运行作业已经超过百万。另外，项目还成功地通过虚拟化技术屏蔽了底层系统的差异，通过统一平台实现了对云计算资源的动态调度，使得资源的使用具有很强的可伸缩性和管理上的灵活性，促进了BESIII和其他实验之间资源充分共享，为BESIII实验资源需求问题增加了一个新的途径。