Hiérarchie de la mémoire et caches

La hiérarchie de la mémoire organise le stockage en niveaux — registres, caches, mémoire principale et stockage secondaire — de sorte que les niveaux petits et rapides contiennent les données les plus susceptibles d'être utilisées, donnant aux programmes l'illusion d'une mémoire à la fois vaste et rapide.

Definition

Une hiérarchie de la mémoire est un arrangement stratifié de technologies de stockage de vitesses, de coûts et de capacités différentes, géré de manière à ce que les données fréquemment et récemment consultées résident dans les niveaux plus rapides et plus petits — principalement le cache — afin de minimiser le temps d'accès moyen.

Scope

Ce domaine couvre les raisons et la manière dont la mémoire est organisée en hiérarchie, exploitant la localité de référence. Il inclut la structure des caches (politiques de placement, de remplacement et d'écriture), les caches multiniveaux, la cohérence des caches entre les processeurs, la mémoire virtuelle et la traduction d'adresses, ainsi que les technologies de mémoire DRAM et émergentes sous-jacentes. Il exclut l'exécution du processeur elle-même (microarchitecture du processeur) et le stockage de fichiers et de périphériques à grande échelle (systèmes de stockage et d'E/S), bien qu'il soit limitrophe de ces deux domaines.

Sub-topics

• Protocoles de Cohérence de Cache
• Organisation et politiques de cache
• Technologies de la mémoire et DRAM
• Mémoire virtuelle et pagination

Core questions

• Pourquoi la localité de référence rend-elle une hiérarchie de mémoire stratifiée efficace ?
• Comment les caches sont-ils organisés en termes de placement, d'associativité, de remplacement et de politique d'écriture ?
• Comment la cohérence est-elle maintenue lorsque plusieurs caches détiennent des copies de la même mémoire ?
• Comment la mémoire virtuelle traduit-elle les adresses et assure-t-elle la protection et l'illusion d'une grande mémoire ?
• Comment les caractéristiques de la DRAM et des mémoires émergentes façonnent-elles les performances du système ?

Key concepts

• localité temporelle et spatiale
• succès et échec de cache (hit et miss)
• associativité et politique de remplacement
• write-through et write-back
• caches multiniveaux
• cohérence de cache
• mémoire virtuelle et pagination
• tampon de traduction anticipée (translation lookaside buffer)
• DRAM et bande passante mémoire
• temps d'accès moyen à la mémoire

Key theories

Localité de référence

Les programmes ont tendance à réutiliser les données récemment consultées (localité temporelle) et à accéder aux adresses proches (localité spatiale) ; la hiérarchie de la mémoire exploite ces deux aspects en mettant en cache les blocs récemment utilisés et en récupérant les voisins ensemble.

Compromis de conception des caches

La performance du cache est régie par le taux d'échecs (miss rate), la pénalité d'échec (miss penalty) et le temps de succès (hit time), et est ajustée par la taille, la taille de bloc, l'associativité, ainsi que les politiques de remplacement et d'écriture ; les analyses classiques identifient les échecs obligatoires (compulsory), de capacité (capacity) et de conflit (conflict) comme les cibles de ces choix.

Mechanisms

Lorsque le processeur demande des données, le cache est vérifié en premier ; un succès (hit) renvoie rapidement les données, tandis qu'un échec (miss) récupère un bloc d'un niveau inférieur et peut en expulser un autre selon une politique de remplacement. Les écritures sont propagées par des schémas de « write-through » ou de « write-back », et les protocoles de cohérence maintiennent la consistance de plusieurs caches. La mémoire virtuelle ajoute une étape de traduction — via des tables de pages et un tampon de traduction anticipée (translation lookaside buffer) — mappant les adresses de programme à la DRAM physique tout en assurant la protection.

Clinical relevance

La hiérarchie de la mémoire domine fréquemment la performance réelle : les processeurs étant beaucoup plus rapides que la mémoire principale, le comportement du cache et la localité importent souvent davantage que la vitesse brute des instructions. Les agencements de données, le blocage et la prélecture (prefetching) optimisés pour le cache sont essentiels pour le calcul haute performance, les bases de données et les noyaux d'apprentissage automatique, et le timing du cache est devenu une source de canaux auxiliaires de sécurité.

History

Maurice Wilkes a proposé le cache (une « mémoire esclave ») en 1965, et les caches sont apparus dans des machines commerciales telles que l'IBM System/360 Model 85. La mémoire virtuelle a vu le jour avec l'ordinateur Atlas au début des années 1960, formalisée par le modèle de l'ensemble de travail (working-set model) de Denning. L'étude d'Alan Jay Smith de 1982 a consolidé les connaissances en matière de conception de cache, et les caches multiniveaux ainsi que les protocoles de cohérence sophistiqués sont devenus la norme à mesure que les écarts de vitesse entre processeur et mémoire s'élargissaient.

Debates

Gestion de la localité par le matériel versus le logiciel

Il existe une tension continue entre la mise en cache matérielle transparente et les mémoires gérées explicitement (scratchpads, prélecture contrôlée par logiciel) : la mise en cache matérielle est générale et facile à programmer, tandis que la gestion explicite peut être plus prévisible et efficace pour des charges de travail spécialisées.

Key figures

• Maurice Wilkes
• Alan Jay Smith
• Peter J. Denning
• John L. Hennessy
• David A. Patterson

Seminal works

• hennessy2019
• smith1982cache
• patterson2020

Frequently asked questions

Pourquoi les caches sont-ils efficaces s'ils sont si petits par rapport à la mémoire principale ?

Parce que les programmes présentent une localité : à tout moment, ils ne touchent qu'un petit ensemble de données de travail de manière répétée, et les accès se regroupent dans des adresses proches. Un petit cache contenant cet ensemble de travail satisfait donc la grande majorité des requêtes.

Quelle est la différence entre un cache et la mémoire virtuelle ?

Les deux déplacent des données entre un niveau plus rapide et plus petit et un niveau plus lent et plus grand. Un cache (géré par le matériel) contient des blocs de mémoire principale ; la mémoire virtuelle (gérée avec le système d'exploitation) mappe les adresses de programme à la mémoire physique et pagine les données vers et depuis le disque, offrant également une protection et un espace d'adressage plus grand que la RAM physique.