Efficient and Scalable Cache Coherence for Many-Core Chip Multiprocessors

Abstract

La nueva tendencia para aumentar el rendimiento de los futuros computadores son los multiprocesadores en un solo chip (CMPs). Se espera que en un futuro cercano salgan al mercado CMPs con decenas de procesadores. Hoy en día, la mejor manera de mantener la coherencia de cache en estos sistemas es mediante los protocolos basados en directorio. Sin embargo, estos protocolos tienen dos grandes problemas: una gran sobrecarga de memoria y una alta latencia de los fallos de cache. Esta tesis se ha centrado en estos problemas claves para la eficiencia y escalabilidad del CMP. En primer lugar, se ha presentado una organización de directorios escalable. En segundo lugar, se han propuesto los protocolos de coherencia directa, que evitan la indirección al nodo home y, por tanto, reducen el tiempo de ejecución de las aplicaciones. Por último, se ha desarrollado una política de mapeo para caches compartidas pero físicamente distribuidas, que reduce la latencia de acceso y garantiza una distribución uniforme de los datos con el fin de reducir su tasa de fallos. Esto se traduce finalmente en un menor tiempo de ejecución para las aplicaciones. Abstract: Chip multiprocessors (CMPs) constitute the new trend for increasing the performance of future computers. In the near future, chips with tens of cores will become more popular. Nowadays, directory-based protocols constitute the best alternative to keep cache coherence in large-scale systems. Nevertheless, directory-based protocols have two important issues that prevent them from achieving better scalability: the directory memory overhead and the long cache miss latencies. This thesis focuses on these key issues. The first proposal is a scalable distributed directory organization that copes with the memory overhead of directory-based protocols. The second proposal presents the direct coherence protocols, which are aimed at avoiding the indirection problem of traditional directory-based protocols and, therefore, they improve applications' performance. Finally, a novel mapping policy for distributed caches is presented. This policy reduces the long access latency while lessening the number of off-chip accesses, leading to improvements in applications' execution time.