容器虚拟化应用于高能物理计算的研究

Virtualization is the best solution for the diversity high energy computing. Container virtualization brings better performance and more flexibility than virtual machine. Container provides metal physics performance since it shares the same Linux kernel of the host. The penalty from container can be ignored. The container’s second-level boot speed and MB-level image file size make it easy to support the expansion of the computing scale..The project intends to study on container virtualization applied to high energy physics computing. First, studies image layers design which gives a solution of providing special and optimized image of dedicated offline software. Second, focuses on the technology of mix-resource pool including physics machine, container and virtual machine and try to provide elastic expansion of computer cluster. Last, studies son remote site resource integration based on HTCondor with the aim of promotion to the global resource utility.

对于需求多样的高能物理计算，虚拟化是最好的解决方案。通过容器虚拟化技术，可以得到比虚拟机更好的性能与灵活性。由于容器共享宿主机的操作系统内核，接近于计算机实际物理性能，使得在容器内进行高能物理计算的损耗可以忽略不计。容器的秒级启动速度和MB级镜像文件尺寸更容易实现计算规模弹性扩展。.本课题拟展开将容器虚拟化技术应用于高能物理计算的研究。首先利用镜像分层的设计，为不同实验离线数据处理软件定制经过优化的容器镜像；其次研究容器资源管理技术，将物理机、容器、虚拟机等构成混合虚拟资源池，并根据物理计算需求，实现计算规模弹性扩展；最后研究通过远程运行HTCondor作业，基于容器实现多站点资源集成并统一管理，提高计算资源利用率。

容器虚技术比虚拟机具有更轻量级架构、接近物理机性能以及快速启动的特点，本课题研究将容器虚拟化技术应用于高能物理计算，降低虚拟化对数据分析处理的损耗，提升计算资源管理的灵活性。.课题深入研究docker, singularity两个主要容器技术特点，详细分析高能物理实验的计算特性，选择singularity容器技术用于高能物理离线数据处理。根据各实验计算特点以及对计算环境的不同需求，为实验裁剪构建了定制化容器镜像，并随高能所计算平台的升级同步更新。课题研究开发的容器镜像运行模式不仅提供用户交互容器运行环境，还为批作业管理系统提供标准调用API接口。.HTCondor批作业处理软件在高能物理计算领域被广泛应用。课题研究开发了一套HTCondor作业容器化的运行机制，透明无缝地为各个作业启动与之最为匹配的容器运行环境，使得不同实验不同运行环境的计算作业可在同一个计算结点上稳定运行，更好的满足实验计算需求，还进一步提高了整体集群资源利用率。.课题研究了本地、异地资源池管理技术，构建了轻量的全局资源池。利用容器相互隔离的特性整合多个站点资源，对全局资源池进行统一调配管理，满足不同实验数据处理的峰值计算需求。.本课题研究成果全部得到了实际应用。（1）为BESIII，LHAASO，JUNO等多个实验分别提供多个操作系统版本且包含本实验相关文件系统的镜像。（2）高能所计算平台的高通量计算集群部署了本课题研究成果，使集群作业容器化运行，提高了整体资源利用率；使资源分配更为灵活性，并提升了集群故障响应的实时性。（3）利用本课题研究成果构建了统一资源池，基于高能所计算平台整合了东莞大科学数据中心及兰州大学站点资源，将LHAASO实验WCDA模拟计算任务平滑迁移到全局资源池中运行，极大缓解了实验计算资源短缺困难，加快了实验物理结果的产出。