Um schnellere Erkenntnisse zu gewinnen und neue Geschäftsmöglichkeiten zu erschließen, benötigen Unternehmen heute eine durchgängige Strategie für KI-Innovationen und eine robuste Infrastruktur, die in der Produktionsumgebung skalierbar ist. NVIDIA DGX™ Systeme wurden speziell für die Anforderungen von KI und Data Science in Unternehmen entwickelt. Sie bieten den schnellsten Einstieg in die KI-Entwicklung, einfache Produktivität und revolutionäre Leistung - für Erkenntnisse in Stunden statt Monaten.
DATASHEET | NVIDIA DGX Systems

NVIDIA DGX™ A100

TRAINING, INFERENCE AND ANALYSIS OF THE KI

NVIDIA DGX™ A100 ist das universelle System für alle KI-Workloads und bietet beispiellose Rechendichte, Leistung und Flexibilität im weltweit ersten 5 petaFLOPS KI-System. Der DGX A100 verfügt über den NVIDIA A100 Tensor Core-Grafikprozessor, mit dem Unternehmen Schulungen, Inferenz und Analysen in einer einheitlichen, einfach zu implementierenden KI-Infrastruktur mit direktem Kontakt zu NVIDIA KI-Experten konsolidieren können.

DATENBLATT | NVIDIA DGX A100
Zum Produkt
Details
Entdecken Sie die leistungsstarken Komponenten
​​​​​​​von DGX A100
  1. 8x NVIDIA A100 GPUs mit bis zu 640 GB Gesamt-GPU-Speicher
    12 NVLinks/GPU, 600 GB/s bidirektionale Bandbreite zwischen Grafikprozessoren
  2. 6× NVIDIA NVSwitches
    4,8 TB/s bidirektionale Bandbreite, 2X mehr als beim NVSwitch der Vorgängergeneration
  3. Bis zu 10× NVIDIA  Connectx-7 200 Gb/s-Netzwerkschnittstelle
    500 GB/s bidirektionale Peak-Bandbreite
  4. Zwei AMD-CPUs mit 64 und 2 TB Systemspeicher
    3,2× mehr Cores zur Verarbeitung der intensivsten KI-Jobs
  5. 30 TB Gen4 NVME-SSD
    ​​​​​​​50 GB/s Peak-Bandbreite, 2X schneller als Gen3 NVME-SSDs

NVIDIA DGX™ H100

Die umfassendste KI-Plattform der Welt

Die neueste Iteration von NVIDIA DGX-Systemen, die eine hochsystemisierte und skalierbare Plattform bietet, um die größten Herausforderungen mithilfe von KI zu lösen.
​​​​​​​
Die DGX H100 ist ein KI-Kraftpaket, das mit dem bahnbrechenden NVIDIA H100 Tensor Core Grafikprozessor ausgestattet ist. Das System wurde für die Maximierung des KI-Durchsatzes entwickelt und bietet Unternehmen sowie Forschungseinrichtungen eine hochentwickelte, systematisierte und skalierbare Plattform, die zu Durchbrüchen zum Beispiel in der Verarbeitung natürlicher Sprache, Empfehlungssystemen, Datenanalysen und vielem mehr verhilft. Verfügbar vor Ort und über eine Vielzahl von Zugangs- und Bereitstellungsoptionen bietet die DGX H100 die Leistung, die Unternehmen zur Lösung der größten Herausforderungen mit KI benötigen.

DATENBLATT | NVIDIA DGX H100
Zum ProduktWHITEPAPER| H100
Details
Entdecken Sie die leistungsstarken Komponenten
​​​​​​​von DGX H100
  1. 8x NVIDIA H100-GPUs mit 640 Gigabyte Gesamt-GPU-Speicher
    18x NVIDIA® NVLink®-Verbindungen pro GPU, 900 Gigabyte pro Sekunde bidirektionale Bandbreite zwischen Grafikprozessoren
  2. 4x NVIDIA NVSWITCHES™
    7,2 Terabyte pro Sekunde bidirektionale Bandbreite für Verbindungen zwischen GPUs – 1,5-mal mehr als bei der vorherigen Generation
  3. 8x NVIDIA CONNECTX®-7 und 2x NVIDIA BLUEFIELD® DPU Netzwerkinterface mit 400 Gigabit pro Sekunde
    Spitzenwert von 1 Terabyte pro Sekunde bidirektionale Netzwerkbandbreite
  4. Duale x86-CPUs und 2 Terabyte Systemspeicher
    Leistungsstarke CPUs für die intensivsten KI-Aufgaben
  5. 30 Terabyte NVMe-SSD
    Hochgeschwindigkeits-Datenspeicher für maximale Leistung

Leistungsvergleich DGX H100 vs. DGX A100

Spezifikationen

KOMPONENTEN
NVIDIA DGX H100 
NVIDIA DGX A100
GPU
8x NVIDIA H100 Tensor Core GPUs
8x NVIDIA A100 80GB Tensor Core GPUs
GPU memory 
640GB total 
640GB total 
Performance
32 petaFLOPS FP8
5 petaFLOPS AI
10 petaOPS INT8
NVIDIA® NVSwitch™
4x
6
System power usage
~10.2kW max
6.5 kW max
CPU 
Dual x86
Dual AMD Rome 7742, 128 cores total,
2.25 GHz (base), 3.4 GHz (max boost)
System memory 
2TB
2TB
Networking 
4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 400Gb/s InfiniBand/Ethernet 2x dual-port NVIDIA BlueField-3 DPUs VPI 1x 400Gb/s InfiniBand/Ethernet 1x 200Gb/s InfiniBand/Ethernet
8x SinglePort NVIDIA
ConnectX-7
200Gb/s
InfiniBand
2x Dual-Port
NVIDIA
ConnectX-7 VPI
10/25/50/100/200
Gb/s Ethernet
Management network
10Gb/s onboard NIC with RJ45 50Gb/s Ethernet optional NIC Host baseboard management controller (BMC) with RJ45 2x NVIDIA BlueField-3 DPU BMC (with RJ45 each)
-
Storage
OS: 2x 1.9TB NVMe M.2 Internal storage: 8x 3.84TB NVMe U.2
OS: 2x 1.92TB M.2 NVME drives
Internal Storage: 30TB (8x 3.84 TB) U.2
NVMe drives
System software
DGX H100 systems come preinstalled with DGX OS, which is based on Ubuntu Linux and includes the DGX software stack (all necessary packages and drivers optimized for DGX). Optionally, customers can install Ubuntu Linux or Red Hat Enterprise Linux and the required DGX software stack separately. 
Ubuntu Linux OS Also supports: Red Hat Enterprise Linux CentOS
Operating temperature range
5 to 30°C (41–86°F)
5 to 30°C (41–86°F)

KONVERGIERTER BESCHLEUNIGER H100 CNX VON NVIDIA

Beispiellose Leistung für GPU-gestützte, IO-intensive Workloads.

Konvergierter Beschleuniger H100 CNX
​​​​​​​von NVIDIA

NVIDIA H100 CNX kombiniert die Leistung des NVIDIA H100 mit den fortschrittlichen Netzwerkfunktionen der NVIDIA ConnectX®-7 Smart Network Interface Card (SmartNIC) in einer einzigen, einzigartigen Plattform. Diese Konvergenz bietet beispiellose Leistung für GPU-gestützte Input/Output(IO)-intensive Workloads, z. B. verteiltes KI-Training im Unternehmens-Rechenzentrum und 5G-Verarbeitung am Edge.

Whitepaper
BESSERE I/O-LEISTUNG
NVIDIA H100 und ConnectX-7 werden über einen integrierten PCIe-Gen5-Switch verbunden, der einen dedizierten Hochgeschwindigkeitspfad für Datenübertragungen zwischen GPU und Netzwerk bietet. Dadurch werden Engpässe bei Daten, die den Host durchlaufen, beseitigt und eine niedrige, vorhersehbare Latenz ermöglicht, die für zeitkritische Anwendungen wie die 5G-Signalverarbeitung wichtig ist.
AUSGEWOGENES, OPTIMIERTES DESIGN
Die Integration einer GPU und einer SmartNIC in ein einzelnes Gerät erzeugt von Natur aus eine ausgewogene Architektur. In Systemen, in denen mehrere GPUs und DPUs gewünscht sind, erzwingt eine konvergierte Beschleunigerkarte das optimale Eins-zu-Eins-Verhältnis von GPU zu NIC.  Das Design vermeidet außerdem Konflikte auf dem PCIe-Bus des Servers, sodass die Leistung mit zusätzlichen Geräten linear skaliert wird.
KOSTENEINSPARUNGEN
Da GPU und SmartNIC direkt miteinander verbunden sind, können Kunden Mainstream-PCIe Gen4- oder sogar Gen3-Server nutzen, um ein Leistungsniveau zu erzielen, das nur mit High-End- oder speziell entwickelten Systemen möglich ist.  Die Verwendung einer einzelnen Karte spart außerdem Strom, Platz und PCIe-Gerätesteckplätze und ermöglicht weitere Kosteneinsparungen, da eine höhere Anzahl an Beschleunigern pro Server eingesetzt werden kann.
BEREIT ZUR ANWENDUNG
Zentrale Software-Beschleunigungsbibliotheken wie die NVIDIA Collective Communications Library (NCCL) und Unified Communication X (UCX®) nutzen automatisch den leistungsstärksten Pfad für Datenübertragungen an GPUs. Dadurch können bestehende beschleunigte Anwendungen mit mehreren Knoten die Vorteile von H100 CNX ohne Modifikationen nutzen, was zu sofortigen Verbesserungen führt.

H100 CNX – Technische Daten

Technische Daten
GPU-Speicher
80 GB HBM2e
Speicherbandbreite
> 2,0 Tb/s
MIG-Instanzen
7 Instanzen mit je 10 GB
3 Instanzen mit je 20 GB
2 Instanzen mit je 40 GB
Konnektivität
PCIe Gen5 128 GB/s
NVLINK-Brücke
2-Wege
Netzwerk
1x 400 Gb/s, 2x 200 Gb/s Ports, Ethernet oder InfiniBand
Formfaktor
FHFL-Dual-Slot (Full Height, Full Length)
Max. Leistung
350 W

NVIDIA Spectrum SN4000 Open

Der SN4000 basiert auf NVIDIA® Spectrum®-3 und ist ein offener Ethernet-Switch, der branchenführende Cloud-Funktionen mit bahnbrechender Leistung kombiniert, um moderne, skalierbare, verteilte Rechenzentrumsanwendungen zu unterstützen. Das SN4000 unterstützt alle Geschwindigkeiten von 1 GbE bis 400 GbE und eignet sich ideal für den Aufbau großer Layer-2-, Layer-3- und virtualisierter Netzwerkstrukturen für Greenfield- und Greenfield-Umgebungen.
PRODUKTBENACHRICHTIGUNGDATENBLATT | SPECTRUM SN4000

VORTEILE

Das Beste der Software-Innovationen von NVIDIA

NVIDIA Base Command unterstützt jedes NVIDIA DGX-System und es wird schneller, einfacher und kostengünstiger, ROI für die KI-Infrastruktur zu verzeichnen.

Unübertroffene Leistung im Bereich KI

Die NVIDIA DGX-Plattform ist eine unübertroffene hochleistungsfähige Lösung für künstliche Intelligenz und maschinelles Lernen, mit Hardware- und Software-Tools, die Entwicklern und Data Scientists bei der Entwicklung und Ausführung von Anwendungen unterstützt. 

Skalierbare KI-Cluster

NVIDIA DGX ermöglicht durch Zusammenführen von mehreren DGX-Systemen eine erhöhte Rechen- und Speicherkapazität, dadurch können Unternehmen und Organisationen ihre KI-Workloads auf mehrere GPUs verteilen und die Rechenleistung und Geschwindigkeit von KI-Modellierung und -Training steigern. NVIDIA bietet Tools und Bibliotheken zur einfachen Verwaltung und Skalierung von KI-Clustern.

Zugang zu KI-Expertise

NVIDIA DGXperts ist ein globales Team mit mehr als 22.000 KI-bewanderten Profis, die Ihnen mit ihrer Erfahrung aus mehr als zehn Jahren dabei helfen, den Wert Ihrer DGX-Investition zu maximieren.

NVIDIA DGX BasePOD™

Skalierte KI-Infrastrukturlösung

Infrastrukturentwürfe nach Industriestandard für KI-Unternehmen.

​​​​​​​KI unterstützt geschäftskritische Anwendungsfälle in jeder Branche, vom Gesundheitswesen über die Fertigung bis hin zu Finanzdienstleistungen. Die NVIDIA DGX BasePOD™-Referenzarchitektur bietet die entscheidende Grundlage für die Umsetzung der Geschäftstransformation und die Entwicklung von KI-Anwendungen. 

DATENBLATT | Referenzarchitektur DGX BasePOD

NVIDIA DGX SuperPOD™

Schlüsselfertige KI-Infrastruktur

Branchenführende Infrastruktur für den gesamten Zyklus – der schnellste Weg zu KI-Innovation im großen Maßstab.

​​​​​​​Der NVIDIA DGX SuperPOD™ ist eine KI-Infrastrukturplattform für Rechenzentren, die es der IT ermöglicht, Leistung ohne Kompromisse für jeden Benutzer und jeden Workload bereitzustellen. Der DGX SuperPOD bietet eine beschleunigte Infrastruktur der Spitzenklasse und agile, skalierbare Leistung für die anspruchsvollsten KI- und HPC-Workloads (High Performance Computing) mit branchenerprobten Ergebnissen.

DATENBLATT | DGX SuperPOD
Details

Der NVIDIA DGX SuperPOD bietet eine einsatzbereite KI-Rechenzentrumslösung für Unternehmen, die sich auf Erkenntnisse statt auf Infrastruktur konzentrieren möchten, mit erstklassigem Computing, Software-Tools, Fachwissen und kontinuierlicher Innovation, die nahtlos bereitgestellt werden.

Der DGX SuperPOD wird mit zwei Möglichkeiten für die Recheninfrastruktur angeboten und ermöglicht es jedem Unternehmen, KI in alle Geschäftsbereiche zu integrieren und bahnbrechende Anwendungen zu entwickeln, anstatt mit der Komplexität von Plattformen zu ringen.


Für die Skalierung mit dem DGX SuperPOD sind zwei Modi für die KI-Infrastruktur verfügbar. Nutzen Sie einen oder beide für Ihre Unternehmens-KI:
DGX SuperPOD mit NVIDIA DGX™ A100-Systemen
Ideal für eine skalierte Infrastruktur, die große Unternehmensteams mit verschiedenen KI-Workloads unterstützt, z. B. bei der Durchführung modernster medizinischer Forschung, der Optimierung von Lieferketten oder der Extrahierung von Intelligenz aus Datenbergen.
DGX SuperPOD mit NVIDIA DGX H100-Systemen
Ideal für skalierte Infrastruktur, die die größten und komplexesten KI-Workloads unterstützt, z. B. große Sprachmodelle mit NVIDIA NeMo und Deep-Learning-Empfehlungssystemen.

NVIDIA AI Enterpise

NVIDIA AI Enterprise ist eine sichere, Cloud-native End-to-End-Suite von KI-Software, mit der Unternehmen neue Herausforderungen meistern und gleichzeitig die betriebliche Effizienz steigern können. Es beschleunigt die Data-Science-Pipeline und rationalisiert die Entwicklung und Bereitstellung prädiktiver KI-Modelle, um wichtige Prozesse zu automatisieren und schnelle Erkenntnisse aus Daten zu gewinnen. Mit einer umfangreichen Bibliothek von Full-Stack-Software, einschließlich KI-Lösungsworkflows, Frameworks, vortrainierten Modellen und Infrastrukturoptimierung, sind die Möglichkeiten endlos.

NVIDIA AI Enterprise ist in der Cloud, im Rechenzentrum und am Edge verfügbar und ermöglicht es Unternehmen, einmal zu entwickeln und überall auszuführen. Globaler NVIDIA-Unternehmenssupport und regelmäßige Sicherheitsüberprüfungen stellen sicher, dass Business Continuity- und KI-Projekte auf Kurs bleiben.

Die neuen NVIDIA DGX H100-Systeme und -Server von NVIDIA-Partnern mit H100 PCIe-GPUs werden mit einer Lizenz für NVIDIA AI Enterprise geliefert, einer sicheren, Cloud-nativen End-to-End-Suite von KI-Entwicklungs- und Bereitstellungssoftware, die eine vollständige Plattform für Exzellenz in effizienter Unternehmens-KI bietet.
Mehr Informationen

​​​​​​​NVIDIA HOPPER™-ARCHITEKTUR

DIE PLATTFORM FÜR BESCHLEUNIGTE BERECHNUNGEN SOWIE FÜR WORKLOADS DER NÄCHSTEN GENERATION​​​​​​​

Erfahren Sie mehr über den nächsten Durchbruch für beschleunigtes Computing mit der NVIDIA Hopper™-Architektur. Hopper erlaubt die sichere Skalierung verschiedenster Workloads in jedem Rechenzentrum, von kleinen Unternehmen bis hin zu extremen HPC (High Performance Computing) und KI mit Billionen von Parametern.
WHITEPAPER