针对多核系统存储层次增强数据并行性能的软件支撑技术研究

SMP、NUMA结构的多核系统复杂的存储层次特征严重影响着并行应用的性能，其症结在于如何充分发挥LLC和Memory效率，而以数据局部性为中心的软件优化方法成为研究趋势。本项目针对数据中心最有代表性的数据并行编程模型OpenMP和MapReduce，从中挖掘数据局部性特征，并结合多核系统存储层次特征，以提高LLC、Memory效率为目标，多层次一体化地研究OpenMP运行时系统自适应调度技术、Hadoop运行时系统作业任务协同调度技术、操作系统并行线程集分层聚集映射算法、同步调度执行算法以及软件Cache分区技术，为增强多核系统数据并行类应用的并行性能提供共性的软件支撑技术。创新之处在于通过具体编程模型挖掘应用负载的数据局部性特征以及建立三个模型（存储层次模型、局部性关系图模型以及多核效率模型）研究上述关键技术。其研究成果将有助于增强数据中心并行应用在多核系统上的并行性能和可扩展性。

SMP、NUMA结构的多核系统具有复杂的存储层次特征，严重影响着并行应用的性能，其症结在于如何充分发挥Memoy数据存取性能和LLC效率，而以数据局部性为中心的软件优化方法成为研究趋势。本项目在如下几个方面取得重要研究进展：.（1）提出一种新的ｍｅｍｏｒｙ层次化并行计算模型，对多核处理器机群ｍｅｍｏｒｙ横向、纵向层次化特征进行了统一的抽象。在对多核处理器机群点对点通信和集合通信的开销进行模型分析和实际测试中，新模型的精确性优于现有的未引入ｍｅｍｏｒｙ横向层次化特征的模型。基于此模型，对多核机群MPI集合通信的性能进行了优化，效果是明显的。.（2）研究了数据密集型计算的特点，指出了数据密集型编程模型遇到的基本问题，分析比较了国际上有代表性编程模型的特点，对今后的发展趋势进行了总结和展望。.（3）数据局部性是影响Hadoop应用性能的关键因素，本项目提出了适用于Hadoop MapReduce的NKS任务调度方法。此方法通过尽量将任务保留给存储其输入数据的节点，避免任务在处理过程中执行远程I/O操作，达到减少数据访问时延的目标。此方法应用到空间计算领域，取得较好效果。.（4）在满足应用QoS的前提下，提高系统的资源利用率，是数据中心资源管理研究的一个难点，原因在于应用的资源消耗是动态变化的。为了保证应用的QoS，需要实时预测应用的资源需求，系统以此动态按需供应资源。本项目提出一种作业资源匹配算法，对数据中心所有作业进行布局，使不同优先级、不同资源需求及变换规律的作业在节点上混合部署，不仅极大地降低了发生节点资源紧缺的频度，而且实验证明，该算法在相同资源需求的情况下，还能提高应用的性能。.本项目发表论文7篇，授权专利1项，培养研究生4名。