基于云存储服务的高性能计算作业开放云服务关键技术研究

Scientific research and engineering fields produce lots of computing requirements consisting of numerical simulation, data procedure and analysis. Users need to an easy-to-use interactive platform to manage lots of computing jobs generated by these requirements, massive computing resources to execute these jobs, and reliable and effective tools to transfer input and output files for these jobs. Therefore, we will focus on different computing requirements and many kinds of computing applications, then study integration issues as a whole between cloud storage service and jobs management of High Performance Computing (HPC) by taking full advantages of widely distributed cloud storage services and fast-growing high-speed networks. Our works will be carried out in job files fast delivery based on cloud storage services, job asynchronous submission base on multiple sources of input or output files, and a lightweight and scalable high-performance computing workflow management model. Based on such results, we will implement and deploy a set of lightweight HPC open cloud services that provide accessing capabilities and customization capabilities for developers in many kinds of research areas and disciplines through a set of cross-platforms and cross-languages API. Further, we will develop a prototype to provide application-centered and one-stop HPC services for users, and select 1-2 typical applications or research areas to make a demo.

科学研究和工程领域产生大量数值模拟和数据分析处理的计算需求，既需要海量的计算资源以完成繁重的计算任务，也需要高效可靠的工具快速传输大规模的输入和输出数据，更需要简单易用的交互平台管理这些复杂计算任务及其包括的大量批处理作业。因此，本项目充分利用广泛分布的云存储服务和快速发展的高速网络，以用户需求和应用为中心，从整体上研究云存储服务和高性能计算服务作业管理的融合问题，重点研究基于云存储服务的作业数据快速传输、多种数据来源的作业异步提交、轻量级和可扩展的高性能计算工作流管理模型，实现轻量级高性能计算开放云服务和计算服务原型系统, 提供高性能计算服务的开放能力和按需定制能力，从而为用户提供以应用为中心一站式计算服务，为多个领域的开发人员简单易用的开发平台，支持1-2个典型应用。

随着信息化技术的发展，各国在计算能力和计算环境建设方面持续发力，海量计算资源牵引和支撑重大计算需求，并产生了重大研究成果。新的科研和工程活动在快速产生海量数据和大量计算需求，云存储服务和专用存储服务等提供了更多的数据存储选择。大规模数据的分布式存储和长时间的数据传输，对高性能计算的作业管理提出了新的需求。.本项目充分利用广泛分布的云存储服务和快速发展的高速网络，以用户需求和应用为中心，从整体上研究云存储服务和高性能计算服务作业管理的融合问题，开展研究工作，基本达到了预期目标。面向不同的用户的本地存储、云存储服务、多个机群存储和国家高性能计算环境存储的异构计算环境，完成了基于云存储服务的作业数据传输和管理的研发工作，实现了从计算服务器、中转服务服务和用户计算机之间的完整数据传输链条。为了解耦请求与计算资源、数据资源和应用之间的关系，应对大量计算作业的压力，提出了一种轻量级的作业执行引擎，支持GB级数据的作业提交、批量作业和复杂参数重用等3种作业提交方式，从而简化了数据组织和参数定制的过程，降低了用户使多种应用软件的难度。实现了可扩展的高性能计算工作流管理引擎，支持作业前后处理、相互独立和前后依赖等高性能计算工作流管理功能，通过新插件的动态部署功能支持不同学科领域的工作流定制，从而支持用户根据具体应用场景使用和定制工作流，简化大量计算任务的处理过程。.本项目设计和实现了原型系统，提供了REST风格的轻量级WEB服务接口，包括数据、作业和工作流接口，从而提供了简单易用的高性能计算开放云服务。本项目的研究成果支持了生物基因和健康领域的应用，为用户提供数据快速传输和管理、多种作业提交和高性能计算工作流管理等一站式的计算服务。