GTC22 - NEUESTE MITGLIEDER DER DGX-FAMILIE

Die neueste Iteration von NVIDIA DGX-Systemen, die eine hochsystemisierte und skalierbare Plattform bietet, um die größten Herausforderungen mithilfe von KI zu lösen.
​​​​​​​
Die DGX H100 ist ein KI-Kraftpaket, das mit dem bahnbrechenden NVIDIA H100 Tensor Core Grafikprozessor ausgestattet ist. Das System wurde für die Maximierung des KI-Durchsatzes entwickelt und bietet Unternehmen sowie Forschungseinrichtungen eine hochentwickelte, systematisierte und skalierbare Plattform, die zu Durchbrüchen zum Beispiel in der Verarbeitung natürlicher Sprache, Empfehlungssystemen, Datenanalysen und vielem mehr verhilft. Verfügbar vor Ort und über eine Vielzahl von Zugangs- und Bereitstellungsoptionen bietet die DGX H100 die Leistung, die Unternehmen zur Lösung der größten Herausforderungen mit KI benötigen.

• 8x NVIDIA H100-GPUs MIT 640 GIGABYTE GESAMT-GPU-SPEICHER

  18x NVIDIA® NVLinks® pro GPU, 900 Gigabyte pro Sekunde bidirektionale Bandbreite zwischen Grafikprozessoren

• 4x NVIDIA NVSWITCHES™

  7,2 Terabyte pro Sekunde bidirektionale Bandbreite für Verbindungen zwischen GPUs – 1,5-mal mehr als bei der vorherigen Generation

• 8x NVIDIA CONNECTX®-7 und 2x NVIDIA BLUEFIELD® DPU NETZWERKINTERFACE MIT 400 GBIT/SEK.

  Spitzenwert von 1 Terabyte pro Sekunde bidirektionale Netzwerkbandbreite

• DUALE x86-CPUs UND 2 TERABYTE SYSTEMSPEICHER

  Leistungsstarke CPUs für die intensivsten KI-Aufgaben

• 30 TERABYTE NVME-SSD

  Hochgeschwindigkeits-Datenspeicher für maximale Leistung

NVIDIA H100-Grafikprozessoren verfügen über Tensor-Recheneinheiten der vierten Generation und die Transformer Engine mit FP8-Präzision, die bis zu 9-mal schnelleres Training im Vergleich zur vorherigen Generation für MoE-Modelle (Mixture of Experts) bietet. Die Kombination aus NVlink der vierten Generation, die eine GPU-zu-GPU-Verbindung von 900 Gigabyte pro Sekunde (GB/s) bietet, NVSwitch, das die Kollektivkommunikation durch jeden Grafikprozessor über Knoten hinweg beschleunigt, PCIe der 5. Generation; und NVIDIA Magnum IO™-Software bietet effiziente Skalierbarkeit von kleinen Unternehmen bis hin zu riesigen, einheitlichen GPU-Clustern.

Die Bereitstellung von H100-Grafikprozessoren im Rechenzentrumsmaßstab bietet eine bisher unerreichte Leistung sowie die nächste Generation von Exascale High-Performance-Computing (HPC) und Billionen-Parameter-KI für alle Forscher.

KI löst eine Vielzahl von geschäftlichen Herausforderungen mit einer ebenso breiten Palette an neuronalen Netzen. Ein hervorragender KI-Inferenzbeschleuniger muss nicht nur höchste Leistung, sondern auch die Vielseitigkeit bieten, um diese Netzwerke zu beschleunigen.

H100 erweitert die marktführende Position von NVIDIA bei Inferenz weiter mit mehreren Fortschritten, die die Inferenz um das bis zu 30-Fache beschleunigen und die niedrigste Latenz bieten. Tensor-Recheneinheiten der vierten Generation beschleunigen alle Präzisionen, einschließlich FP64, TF32, FP32, FP16 sowie INT8, und die Transformer Engine verwendet FP8 und FP16 zusammen, um die Speicherauslastung zu reduzieren, die Leistung zu steigern und gleichzeitig die Genauigkeit für große Sprachmodelle aufrechtzuerhalten.

Die NVIDIA-Rechenzentrumsplattform bietet konsistent Leistungssteigerungen, die über das Mooresche Gesetz hinausgehen. Die neuen bahnbrechenden KI-Funktionen von H100 verstärken die Leistungsfähigkeit von HPC + KI weiter, um für Wissenschaftler und Forscher, die an der Lösung der wichtigsten Herausforderungen der Welt arbeiten, die Zeit bis zum Entdecken zu verkürzen.

H100 verdreifacht die Gleitkommaoperationen pro Sekunde (FLOPS) der Tensor Cores mit doppelter Genauigkeit und liefert 60 TeraFLOPS FP64-Computing für HPC. KI-gestützte HPC-Anwendungen können die TF32-Präzision von H100 nutzen, um einen PetaFLOPS Durchsatz für Matrixmultiplikationsoperationen mit einfacher Genauigkeit zu erreichen, ohne Codeänderungen.

H100 verfügt außerdem über DPX-Anweisungen, die bei dynamischen Programmieralgorithmen wie Smith-Waterman für die DNA-Sequenzausrichtung 7-mal mehr Leistung als NVIDIA A100 Tensor Core-GPUs und eine 40-fache Beschleunigung gegenüber herkömmlichen Servern mit Dual-Socket-CPUs allein bieten.

Der NVIDIA DGX SuperPOD bietet eine einsatzbereite KI-Rechenzentrumslösung für Unternehmen, die sich auf Erkenntnisse statt auf Infrastruktur konzentrieren möchten, mit erstklassigem Computing, Software-Tools, Fachwissen und kontinuierlicher Innovation, die nahtlos bereitgestellt werden.

Der DGX SuperPOD wird mit zwei Möglichkeiten für die Recheninfrastruktur angeboten und ermöglicht es jedem Unternehmen, KI in alle Geschäftsbereiche zu integrieren und bahnbrechende Anwendungen zu entwickeln,
​​​​​​​anstatt mit der Komplexität von Plattformen zu ringen.

NVIDIA H100 CNX kombiniert die Leistung des NVIDIA H100 mit den fortschrittlichen Netzwerkfunktionen der NVIDIA ConnectX®-7 Smart Network Interface Card (SmartNIC) in einer einzigen, einzigartigen Plattform. Diese Konvergenz bietet beispiellose Leistung für GPU-gestützte Input/Output(IO)-intensive Workloads, z. B. verteiltes KI-Training im Unternehmens-Rechenzentrum und 5G-Verarbeitung am Edge.

Bei der Ausführung von verteilten KI-Training-Workloads, die Datenübertragungen zwischen GPUs auf verschiedenen Hosts beinhalten, stoßen Server häufig bei der Leistung, Skalierbarkeit und Dichte an ihre Grenzen. Typische Unternehmensserver verfügen über keinen PCIe-Switch, sodass die CPU, insbesondere bei virtuellen Maschinen, einen Engpass für diesen Datenverkehr verursacht. Datenübertragungen sind an die Geschwindigkeit des Host-PCIe-Backplane gebunden. Konflikte können durch ein Ungleichgewicht zwischen der Anzahl der GPUs und NICs entstehen. Obwohl ein Eins-zu-Eins-Verhältnis ideal wäre, kann die Anzahl der PCIe-Lanes und -Steckplätze im Server die Gesamtzahl der Geräte begrenzen.

Der H100 CNX entschärft dieses Problem. Mit einem dedizierten Pfad vom Netzwerk zum Grafikprozessor ermöglicht wird es GPUDirect® RDMA ermöglicht, mit nahezu linearen Geschwindigkeiten zu arbeiten. Die Datenübertragung erfolgt auch bei PCIe Gen5-Geschwindigkeiten, unabhängig vom Host-PCIe-Backplane. Die Hochskalierung der GPU-Leistung in einem Host kann auf ausgeglichene Weise erfolgen, da das ideale Verhältnis zwischen GPU und NIC erreicht wird. Ein Server kann auch mit mehr Beschleunigungsleistung ausgestattet werden, da konvergierte Beschleuniger weniger PCIe-Lanes und Gerätesteckplätze benötigen als diskrete Karten.

AI-on-5G-Plattformen mit NVIDIA besteht aus der hyperkonvergierten NVIDIA EGX™-Plattform für Unternehmen, dem NVIDIA Aerial™ SDK für softwaredefinierte 5G Virtual Radio Area Networks (vRANs) und KI-Frameworks in Unternehmen, einschließlich SDKs wie NVIDIA Isaac™ und NVIDIA Metropolis. Diese Plattform ermöglicht es Edge-Geräten wie Videokameras und industriellen Sensoren sowie Robotern, KI zu nutzen und über 5G mit Servern zu kommunizieren.

Konvergierte Beschleuniger von NVIDIA sind die leistungsstärkste Plattform für die Ausführung von 5G-Anwendungen. Da die Daten nicht das Host-PCIe-System durchlaufen müssen, wird die Verarbeitungslatenz erheblich reduziert. Die gleiche konvergierte Beschleuniger, der zur Beschleunigung der 5G-Signalverarbeitung verwendet wird, kann auch für Edge-KI verwendet werden, wobei Multi-Instance GPU-Technologie (MIG) von NVIDIA es ermöglicht, eine GPU für mehrere verschiedene Anwendungen aufzuteilen. Die H100 CNX ermöglicht es, all diese Funktionen in einem einzigen Unternehmensserver bereitzustellen, ohne kostspieligere, speziell entwickelte Systeme bereitstellen zu müssen.