片上多处理器共享Cache优化关键技术研究

Chip Multiprocessors usually share last-level on-chip Caches. Due to contention of cache resources shared among multiple cores, it is challenging to achieve both high performance and fairness for per-core's accessing shared cache. Aiming at this problem, this project focuses on cache optimization strategies from multiple aspects. These strategies will be integrated into an entire optimization framework organically..From the hardware infrastructure aspect, this project researches how the size, bank numbers, organization fashion and interconnect structures of shared cache impact wire delays by using theoretical analysis and experimental verification. The wire delays are expected to be shortened both physically and logically. From the resource management aspect, dynamic fair cache sharing and partitioning scheme based on workload distribution patterns of different cores are studied. From the data scheduling aspect, this project focuses on data prefetching strategy which fully exploits commonalities of data access patterns among different cores. From replacement policy aspect, the data access frequency information will be incorporated into the decision-making of replacement, and the implementation cost and complexity are expected to be small..By integrating the above strategies, the resulting cache optimization framework can simplify the complexity of hardware implementation, and reduce wire delay, and guarantee the fairness of cache partitioning dynamically, and enhance cooperation among cache banks and cores, and improve hit rates and resource efficiency. Consequently, the performance of all cores in chip multiprocessor is improved equally.

片上多处理器通常采用共享最后一级Cache的方式。由于多核对共享Cache的竞争问题，同时兼顾多核对Cache访问的高性能和公平性具有较大挑战性。针对此，从多个角度进行Cache优化，并有机整合为完整的Cache优化框架。.在硬件结构方面，借助理论分析与实验验证手段研究共享Cache大小、数量、组织方式、互连结构对线延迟的影响，通过物理路径优化和逻辑距离优化，缩短线延迟；在资源管理方面，研究基于各个核的负载分布情况进行公平性度量的共享Cache资源动态公平划分机制；在数据调度方面，研究充分挖掘核间数据访问模式协同性的数据预取策略；在失效替换策略方面，研究结合数据访问频率信息、实现机制更简单的替换策略。.通过有机集成以上优化策略，能够降低硬件结构复杂性，减小访问延迟，动态保证资源划分公平性，增强Cache与处理器核的协同性，提高命中率和资源利用率，实现多核性能的均衡提升。

片上多处理器（Chip Multi-Processor, CMP）的共享Cache资源是影响CMP性能的关键因素，目前CMP上共享Cache优化问题仍是微处理器领域的研究热点之一。针对此问题，本项目从多个角度提出了新的优化策略。首先进行了Cache优化研究的前期调研工作，重点研究了典型科学应用的数据访问模式特征，提高Cache优化研究工作的针对性和效率。然后研究了基于模拟器对CMP存储资源进行建模的方法，为课题研究提供性能分析平台。基于以上基础，从多个角度开展了CMP共享Cache优化研究。第一，从数据Cache组织角度研究了数据访问延迟优化技术，提出了基于多体并行缓存结构对Cache进行无冲突并行随机访问的数据管理机制，通过物理路径优化和逻辑距离优化，降低了访问延迟。第二，从指令Cache调度角度研究了结合核间数据访问模式协同性的指令预取优化策略，通过对同时多线程（SMT）技术的执行时间不可预测性问题进行分析，提出了能够挖掘线程间指令执行模式相似性的指令预取策略来控制线程执行时间，提升了具有相似指令执行模式的多个线程对Cache资源的利用效率。第三，从Cache资源划分角度研究了CMP末级Cache结构优化问题，提出了基于内核分组的低延迟末级Cache结构，与传统结构相比，每个内核周围的相邻Cache占Cache资源总量的比例大大提高，从而在较短的线延迟范围内使每个内核可访问的Cache资源尽可能多。与其它传统结构相比，该成果减少了2%到12%的访问延迟，性能提升最高达7%。第四，从Cache资源划分及替换策略角度提出了一种细粒度、低延迟、低代价的末级共享cache资源管理机制。将系统性能目标转换为每个内核当前占用cache资源的替换概率，以决定每个内核能够提供的victim line资源数量；对某个需要增加cache资源的内核，从可提供victim line的候选内核中选出距离较近且替换概率较高的一个内核，并以cache块为粒度进行替换。以cache块为单位的替换机制具有更细的替换粒度，灵活性更高。另外，通过将位置信息和替换概率结合，保证了cache资源与相应内核在物理布局上的收敛，降低了访问延迟。所提出的方法只需要增加极少的硬件代价。该成果与其它已有研究成果相比，可实现从6.8%到22.7%的性能提升。本课题取得的成果对CMP的性能提升具有重要科学意义。