桌面网格平台上的BESIII离线物理软件和调度策略研究

After the completion of the upgrade of both BEPCII and BESIII , the scale of BESIII physics computation is also tremendously increased. BESIII computing runs on various platfroms, and desktop grid based on BOINC middleware is one of the platforms. . The combination of the dynamical and heterogeneous features of the desktop computing resources and the features of BESIII jobs make the default BOINC scheduling mechanism very inefficient in utilizing the enormous resources provided by desktop grids. . In order to improve the overall throughput and turn-around time of single jobs, this project proposes research on optimizing BOINC scheduling based on both BESIII job features and the value distribution of the key attributes of desktop resources. . This project will address a few key issues,including 1) Modify BESIII software and job configuration to make its resource requirements customizable;2) Acquire the key features of desktop resources and their value distribution; 3) Optimize BOINC scheduling mechanism based on the results of both 1) and 2).

BEPCII和BESIII的重大升级改造已完成，BESIII物理计算规模也相应大幅度增加。目前BESIII物理计算运行在多个计算平台上，以BOINC为中间件的BESIII桌面网格计算平台也已经建立。. 由于桌面网格组成资源的动态性和异构性特点，以及BESIII应用的自身特征，BOINC所采取的通用的调度机制不能很好地利用桌面网格所提供的海量的计算资源。. 为加速BESIII物理计算过程，提高作业运行的吞吐量和单作业的响应时间，本项目将研究如何定制BESIII作业资源要求和对桌面网格组成计算资源的属性进行特征获取，并依此对BOINC的调度机制进行优化。. 本课题重点解决1）通过对BESIII软件结构和作业的改进实现作业的资源可定制化；2）对组成桌面网格的计算资源进行属性提取和特征值获取；3）结合1）与2）优化BOINC的调度机制。

本课题基于针对高能物理作业的桌面网格系统性能问题展开研究，研究内容涉及对桌面网格资源属性抽取和动态配置，对高能物理作业的优化，对桌面网格调度系统的优化，桌面网格到DIRAC系统的安全整合，利用容器运行高能物理作业以及基于桌面网格的虚拟机镜像发布系统。本项目的研究成果被成功运用于三个大型的高能物理实验：BESIII，Belle II和ATLAS。通过应用本项目的研究成果，这三个实验的桌面网格分别获得了如下的性能提升：1）在轻量级运行模式中（适合桌面网格中的Linux主机），单作业的CPU效率提高了4%；2）桌面网格计算主机的CPU利用率（所有计算任务所用的CPU时间除以主机CPU时间理论最大值从65%提升到90%；3）以批为单位的大规模计算任务不再存在“长尾”现象；本项目首次成功解决了将桌面网格系统安全整合到基于DIRAC的BESIII和Belle II分布式计算系统，使得BES@home和BelleII@home两个项目能够扩展到不可信的公共志愿主机上，为两个项目实现大规模的资源扩展奠定了安全基础。.ATLAS桌面网格采用了本项目中所有的研究成果，取得了惊人的使用效果，当前的计算规模已经扩展到相当于一个具有10000个CPU的专用计算站点，平均每天提供近6000个CPU天的CPU时间；.本项目的所有研究成果都已经达到通用化，可以轻易地被移植和应用到其它基于任何应用的桌面网格系统。