AMD EPYC 7003 Prozessorserie

Wie in Abbildung 2 dargestellt, teilen sich bis zu acht "Zen 3"-Core-Recheneinheiten einen L3-Cache der letzten Ebene, der bis zu 32 MB groß sein kann. Diese Gruppierung wird als Core Complex (CCX) bezeichnet. Wenn Simultaneous Multithreading (SMT) auf jedem Kern aktiviert ist, kann ein CCX bis zu 16 gleichzeitige Hardware-Threads, bis zu 4 MB L2-Cache und bis zu 32 MB L3-Cache unterstützen - gemeinsam nutzbar für alle Kerne innerhalb des CCX. Bei der EPYC 7003-Serie ist ein einzelner CCX in einem einzigen Gehäuse, einem sogenannten Core Complex Die (CCD), untergebracht.

Figure 2 Eight Compute Cores comprise a Core Complex (CCX) within a single die or CCD

Figure 3 EPYC 7003 Processor internal topology between CCDs, IO, and DDR Memory Interface within IOD Infinity Fabric

Die CCDs sind über den I/O-Die (IOD) mit dem Speicher, dem E/A und untereinander verbunden. Alle CCDs sind mit dem IOD über eine dedizierte Hochgeschwindigkeits- oder GMI-Verbindung (Global Memory Interconnect) verbunden. Das IOD enthält zusätzlich noch Speicherkanäle, PCIe® Gen4-Lanes und Infinity Fabric-Verbindungen. Alle Chips, oder Chiplets, sind miteinander verbunden über AMDs Infinity Fabric Technologie. Der Fabric-Takt (FCLK) kann nun bis zu 1600Mhz betragen und damit mit DDR4-3200 Speicher-DIMMs gekoppelt werden, die ebenfalls mit 1600MHz (MEMCLK) laufen, was die Speicher-Latenzzeit erhöht.

Figure 4 EPYC 7003 System on Chip (SoC): 8 CCDs and central IOD

In Bezug auf das Speichersubsystem bringt der EPYC 7003 zusätzliche Leistungsstärke und einen neuen 6-Wege-Interleave-Modus. Jeder Prozessor der Serie EPYC 7003 verfügt über 8 Universal Memory Controller (UMC). Jeder UMC oder Speicherkanal kann bis zu 2 DIMMs pro Kanal (DPC) unterstützen, also maximal sechzehn DIMMs pro Sockel. Ein einzelner Prozessor kann 4TB DDR4-Speicher unterstützen. Während 8 Speicherkanäle am gebräuchlichsten sind und im Allgemeinen die beste Leistung bieten, bietet das IOD auch die Flexibilität, 4 und sogar 6 Speicherkanal-Konfigurationen zu unterstützen. Jeder Prozessor verfügt über acht x16-Bit-I/O-Links, die dem PCIe-Subsystem bis zu 128 Lanes mit hoher Geschwindigkeit zur Verfügung stellen PCIe Gen4 I/O für Single-Socket-Plattformen.

Die Prozessoren der AMD EPYC 7003 Serie verwenden eine Non-Uniform Memory Access (NUMA) Mikroarchitektur. Darüber hinaus kann ein Benutzer mithilfe von System-BIOS-Einstellungen diese NUMA-Topologie für seine spezifische Betriebsumgebung und Arbeitslast optimieren. Mit der BIOS-Einstellung NUMA Nodes Per Socket (NPS) kann ein System mit verschiedenen NUMA-Konfigurationen eingerichtet werden.
​​​​​​​
Wenn wir zum Beispiel NPS=4 einstellen, wie in Abbildung 4 oben gezeigt, können wir den Prozessor in Quadranten aufteilen. Jeder Quadrant hätte dann 2 CCDs, 2 UMCs und 1 I/O-Hub, wie in dieser Abbildung dargestellt. Der geringste Prozess-Speicher-I/O-Abstand besteht zwischen den Kernen, Speicher-Controllern und E/A innerhalb desselben Quadranten. Der weiteste Abstand ist zwischen einem Core und Speicher-Controller oder IO-Hub in diagonalen Quadranten. Die Lokalisierung von Cores, Speicher und IO in einem NUMA-basierten System ist ein wichtiger Aspekt bei der Leistungsabstimmung. Darüber hinaus steuert die NPS-Einstellung auch das Interleave-Muster der Speicher-Controller. Für jeden NUMA-Knoten werden alle Kanäle innerhalb dieses NUMA-Knotens verschachtelt. Eine Einstellung von NPS=4 partitioniert den Prozessor in vier NUMA-Domänen. Jeder logische Quadrant des Prozessors wird als eigene NUMA-Domäne konfiguriert. Der Speicher ist über die beiden Speicherkanäle in jedem Quadranten verschachtelt. PCIe-Geräte sind in einer der vier NUMA-Domänen des Prozessors lokalisiert, je nachdem, in welchem Quadranten des IO-Die sich die PCIe-Root für dieses Gerät befindet.

​​​​​​​Eine Einstellung von NPS=1 bedeutet hingegen einen einzelnen NUMA-Knoten pro Sockel. Diese Einstellung konfiguriert alle Speicherkanäle auf dem Prozessor zu einer einzigen NUMA-Domäne, d. h. alle Kerne auf dem Prozessor, alle angeschlossenen Speicher und alle mit dem SoC verbundenen PCIe-Geräte befinden sich in einer NUMA-Domäne. Speicherzugriffe werden über alle acht Speicherkanäle in einen einzigen Adressraum verschachtelt. Mit zunehmender Granularität der NPS-Einstellung verringert sich die Anzahl der verschachtelten Kanäle entsprechend. Eine Einstellung von NPS=2 konfiguriert 2 NUMA-Domänen pro Sockel, die entsprechende vier Speicherkanäle innerhalb derselben 4 CCD NUMA-Domäne verschachteln. Die Hälfte der Kerne und die Hälfte der Speicherkanäle jedes SoC werden in einer NUMA-Domäne zusammengefasst, die restlichen Kerne und Speicherkanäle werden in einer zweiten Domäne gruppiert. Der Speicher ist in jeder NUMA-Domäne über die vier Speicherkanäle verschachtelt. Zusätzlich kann in bestimmten Umgebungen die Leistung weiter verbessert werden, indem Arbeitslasten mit Rechenkernen zugeordnet werden, die sich alle einen einzigen LLC teilen. Die LLC (Last Level Cache oder L3-Cache) als NUMA-BIOS Einstellung macht diese Fähigkeit sichtbar. Durch die Aktivierung dieser Einstellung wird jedes CCD mit einer separaten NUMA-Domäne gleichgesetzt, da ein einzigartiger L3-Cache pro CCD. Ein einzelner 7003-Prozessor mit 8 CCDs würde 8 NUMA-Knoten haben. Zusammenfassend lässt sich sagen, dass ein einzelner EPYC-Prozessor der Serie 7003 Konfigurationen unterstützt, die von einem einzelnen NUMA-Knoten-System bis hin zu bis zu 8 NUMA-Knoten pro Sockel. 

Prozessoren der Serie EPYC 7003 können in Systemkonfigurationen mit einem oder zwei Sockeln unterstützt werden. Prozessoren mit dem Suffix 'P' in ihrem Namen sind für Ein-Sockel-Konfigurationen ausgelegt. In Zwei-Sockel-Konfigurationen müssen beide Prozessoren identisch sein. Zwei verschiedene Prozessor-OPNs oder Steppings können nicht in demselben 2-Sockel-System verwendet werden. In 2-Sockel-Systemen werden zwei SoCs der EPYC 7003-Serie über ihre entsprechenden Infinity Fabric- oder External Global Memory Interconnect (xGMI)-Links verbunden. Dies schafft eine Verbindung mit hoher Bandbreite und geringer Latenz zwischen den beiden Prozessoren. Systemhersteller können entweder 3 oder 4 Infinity Fabric nutzen.

​​​​​​​Anbindungen je nach E/A- und Bandbreitenzielen des Systemdesigns. In einem 2-Sockel-System gibt es insgesamt 16 Speicherkanäle, 8 pro Sockel. Die Infinity Fabric Links nutzen die gleichen physikalischen Verbindungen wie die PCIe-Lanes im System. In einer Konfiguration mit zwei Sockeln wird also bis zur Hälfte der 128 PCIe-Lanes an jedem Sockel zu Infinity Fabric-Verbindungen. Da jeder Sockel immer noch über 64 PCIe-Lanes verfügt, hat das System immer noch eine Gesamtzahl von 128 PCIe-Lanes pro System. In einigen Fällen möchte ein Systemdesigner vielleicht mehr PCIe-Lanes für das System. In diesen Fällen kann ein Systemdesigner bis zu 160 Lanes für PCIe zuweisen (80 pro Sockel), wobei 48 Lanes pro Sockel für Infinity Fabric-Links übrig bleiben, anstatt 64. Ein System mit zwei Sockeln kann potenziell auf verschiedene Arten konfiguriert werden, einschließlich als 1, 2, 4, 8 oder 16 NUMA-Domänen-System.

Figure 5 Two EPYC 7003 Processors connect through 4 xGMI links (NPS1)