Konvergierter Beschleuniger H100 CNX von NVIDIA

NVIDIA H100 und ConnectX-7 werden über einen integrierten PCIe-Gen5-Switch verbunden, der einen dedizierten Hochgeschwindigkeitspfad für Datenübertragungen zwischen GPU und Netzwerk bietet. Dadurch werden Engpässe bei Daten, die den Host durchlaufen, beseitigt und eine niedrige, vorhersehbare Latenz ermöglicht, die für zeitkritische Anwendungen wie die 5G-Signalverarbeitung wichtig ist.

Die Integration einer GPU und einer SmartNIC in ein einzelnes Gerät erzeugt von Natur aus eine ausgewogene Architektur. In Systemen, in denen mehrere GPUs und DPUs gewünscht sind, erzwingt eine konvergierte Beschleunigerkarte das optimale Eins-zu-Eins-Verhältnis von GPU zu NIC.  Das Design vermeidet außerdem Konflikte auf dem PCIe-Bus des Servers, sodass die Leistung mit zusätzlichen Geräten linear skaliert wird.

Da GPU und SmartNIC direkt miteinander verbunden sind, können Kunden Mainstream-PCIe Gen4- oder sogar Gen3-Server nutzen, um ein Leistungsniveau zu erzielen, das nur mit High-End- oder speziell entwickelten Systemen möglich ist.  Die Verwendung einer einzelnen Karte spart außerdem Strom, Platz und PCIe-Gerätesteckplätze und ermöglicht weitere Kosteneinsparungen, da eine höhere Anzahl an Beschleunigern pro Server eingesetzt werden kann.

Zentrale Software-Beschleunigungsbibliotheken wie die NVIDIA Collective Communications Library (NCCL) und Unified Communication X (UCX®) nutzen automatisch den leistungsstärksten Pfad für Datenübertragungen an GPUs. Dadurch können bestehende beschleunigte Anwendungen mit mehreren Knoten die Vorteile von H100 CNX ohne Modifikationen nutzen, was zu sofortigen Verbesserungen führt.

Bei der Ausführung von verteilten KI-Training-Workloads, die Datenübertragungen zwischen GPUs auf verschiedenen Hosts beinhalten, stoßen Server häufig bei der Leistung, Skalierbarkeit und Dichte an ihre Grenzen. Typische Unternehmensserver verfügen über keinen PCIe-Switch, sodass die CPU, insbesondere bei virtuellen Maschinen, einen Engpass für diesen Datenverkehr verursacht. Datenübertragungen sind an die Geschwindigkeit des Host-PCIe-Backplane gebunden. Konflikte können durch ein Ungleichgewicht zwischen der Anzahl der GPUs und NICs entstehen. Obwohl ein Eins-zu-Eins-Verhältnis ideal wäre, kann die Anzahl der PCIe-Lanes und -Steckplätze im Server die Gesamtzahl der Geräte begrenzen.

​​​​​​​Der H100 CNX entschärft dieses Problem. Mit einem dedizierten Pfad vom Netzwerk zum Grafikprozessor ermöglicht wird es GPUDirect® RDMA ermöglicht, mit nahezu linearen Geschwindigkeiten zu arbeiten. Die Datenübertragung erfolgt auch bei PCIe Gen5-Geschwindigkeiten, unabhängig vom Host-PCIe-Backplane. Die Hochskalierung der GPU-Leistung in einem Host kann auf ausgeglichene Weise erfolgen, da das ideale Verhältnis zwischen GPU und NIC erreicht wird. Ein Server kann auch mit mehr Beschleunigungsleistung ausgestattet werden, da konvergierte Beschleuniger weniger PCIe-Lanes und Gerätesteckplätze benötigen als diskrete Karten.