面向高性能计算的高效平台虚拟化关键技术研究

虚拟化突破了资源实现、地理位置或物理封装方式等方面的限制，能够为最终用户、应用程序和企业带来许多好处。尽管如此，大规模的虚拟化管理还隐藏着诸多挑战，例如过时的假定、系统蔓生、规模受限、资源争用、互操作性、故障处理等。本课题针对假定过时、规模受限、资源争用和系统蔓生等问题，面向高性能计算应用场景，以全系统的观点研究提高虚拟化效率的方法和机制，其主要研究内容包括：(1)面向单一主机的高效虚拟机技术，解决虚拟机管理程序对于多核平台的充分利用、虚拟机I/O效率的提升、资源在不同虚拟机之间的动态再分配问题；(2)虚拟机/应用镜像的高效存储与传输技术，解决镜像占用大量存储空间、镜像传输消耗大量网络带宽的难题；(3)虚拟计算环境中的资源分配和任务调度技术，提出适于虚拟化场景的、更为高效的资源分配和任务调度方法；(4)虚拟计算环境的可靠与稳定保障技术，解决传统的容错技术难以满足高性能计算要求的问题。

项目针对大规模虚拟化管理中所存在的假定过时、规模受限、资源争用和系统蔓生等问题，面向高性能计算场景，以全系统的观点研究提高虚拟化效率的方法和机制。.项目围绕面向单一主机的高效虚拟机技术、虚拟机/应用镜像的高效存储与传输技术、虚拟计算环境中的资源分配和任务调度技术、虚拟计算环境的可靠与稳定保障技术等内容，以虚拟机镜像的存储与传输为突破口，取得了以下主要成果：.(1) 提出了一种高效的虚拟机镜像存储和传输方法，该方法采用基于定长数据切块的去冗余技术减少了镜像存储的空间占用，通过数据块的缓存和按需传输机制减少了传输内容，降低了网络负载，采用P2P(对等传输)技术提高了镜像文件的分发速度。实验结果表明，在给定的测试环境中，项目所提出的方法能够节省至少40%的存储空间，提升至少2~3倍的传输速度。.(2) 提出了单机环境中基于XEN的、面向实时任务的虚拟机调度方法，该方法在XEN的信用调度基础上，引入了虚拟CPU的urgent状态来标识实时应用，并通过调整虚拟CPU时间片的大小以及虚拟CPU各个状态间之间的转换关系，使得虚拟机可以快速地响应I/O请求。实验结果表明，相比于信用调度，项目所提出的方法不仅减小了实时任务的运行延迟，而且提高了响应时间的稳定性。.(3) 提出了在虚拟环境中自动高效部署应用软件的方法，设计了相应的系统EasyDeploy并进行了测试。实验结果表明，EasyDeploy无需借助集群软件部署工具的帮助即可快速完成Hadoop等集群软件在虚拟集群中的部署，其内置的软件缓存和预取优化策略会减少75%的软件传输时间开销。.(4) 提出了一种虚拟机跨数据中心快速动态迁移的方法，该方法利用镜像副本减少虚拟机动态迁移过程中的镜像数据传输，采用前拷贝和后拷贝相结合的跨数据中心快速动态镜像迁移算法和脏块去冗机制进一步减少数据传输，通过缺块预取和热区排序传输机制减少后拷贝阶段的缺块率。实验表明，所提方法能够有效减少虚拟机迁移时间，降低后拷贝阶段的缺块率。.(5) 提出了一种IO特征感知的虚拟机调度方法，该方法综合考虑物理机和虚拟机的CPU、内存和网络IO等信息，采用指数平滑算法来预测负载的变化情况，能够用很少的额外开销，获得更好调度效果：不同类型的虚拟机在集群中的分布变得更加合理，任务的平均完成时间以及IO操作的标准差均不同程度的变小了。