粒子物理离线数据处理资源分配与作业管理双层调度算法研究

Offline data processing software and its computing platform are the important foundation for particle physics experiments to obtain the high quality physical results. The project integrates several computing resources of particle physics experiments, and studies the algorithm of flexible resource allocation and dynamic job scheduling algorithm based on cpu/core. The aim of the algorithm is to improve the resource utilization of particle physics experiment computing platform. The job running time could be reduced and the speed of offline data processing could be accelerated with the help of the algorithm. All of these could help physicist to obtain high quality physics result. Considering the characters of particle physics jobs, the traditional scheduling algorithm would be replaced by a new one. The new one is a double level scheduling algorithm to integrate computing resources of both physical cluster and virtual cluster. "Push" and "Pull" modes were adopted to realize the fine-grain resources allocation and dynamic job scheduling. It could eliminate the computing resources waste and fit jobs request by the most suitable cpu/cores.

离线数据处理软件及其计算平台是粒子物理实验获得高质量物理成果的重要基础。本项目整合多个粒子物理实验的计算资源，研究基于cpu/核的资源弹性分配和作业动态调度的分层调度算法，用以提高粒子物理实验计算平台的资源利用率，减少作业运行时间，加快离线数据处理速度，帮助物理学家获得高质量的物理成果。针对粒子物理计算作业的特点，本项目改变传统的物理机集群调度算法，研究集成物理机集群与虚拟机集群计算资源，统一管理的双层调度算法。调度算法采用"推"、"拉"结合的方式，实现细粒度的资源分配，避免计算资源浪费；并进行动态作业调度，为粒子物理计算作业分配最适合的cpu/核，提高离线数据处理效率。

离线数据处理软件及其计算平台是粒子物理实验获得高质量物理成果的重要基础。本课题分析多个粒子物理实验不同计算类型的运行模式，研究基于cpu/核的资源弹性分配和作业动态调度的分层调度算法，用以提高粒子物理实验计算平台的资源利用率，减少作业运行时间，加快离线数据处理速度，帮助物理学家获得高质量的物理成果。.针对粒子物理计算作业的特点，本课题研究并实现了基于HTCondor的共享资源池调度模式，在保证用户之间，实验之间资源使用公平性的同时，打破实验之间的资源壁垒，使得资源可以被共享使用，以提高HTCondor集群的整体利用率。本课题还针对高通量、高性能集群，物理机、虚拟机的特性，研究双层管理统一调度算法。分析作业的实际需求，通过双层调度为作业分配最适合的计算资源运行,实现细粒度的资源分配，减小作业排队等待时间，还避免计算资源浪费；并进行动态作业调度，为粒子物理计算作业分配最适合的cpu/核，提高离线数据处理效率。根据研究以及高能所计算平台的实际需求，本课题还开发了统一用户作业管理工具，为用户提供便捷的作业管理功能。课题开发的作业调度性能测试工具可以对多种作业系统，多种作业调度算法进行性能测评。.当前本课题的研究成果已经部分应用于高能所计算平台，减少了大量用户排队时间，提高了计算平台的整体资源利用率。