DIE WELTWEIT BEWÄHRTE WAHL FÜR UNTERNEHMENS-KI
Der Eckpfeiler Ihres KI-Kompetenzzentrums
DGX H100 ist die vierte Generation der weltweit ersten speziell entwickelten KI-Infrastruktur: eine vollständig optimierte Hardware- und Softwareplattform, die Unterstützung für die neuen NVIDIA KI-Softwarelösungen, ein umfangreiches Ökosystem von Drittanbieter-Support und Zugriff auf Expertenberatung durch professionelle NVIDIA-Services umfasst.
Grenzenlose Skalierbarkeit mit KI
NVIDIA DGX H100 bietet 6-mal mehr Leistung, 2-mal schnelleres Networking und Skalierbarkeit in Hochgeschwindigkeit für NVIDIA DGX SuperPOD. Die Architektur der nächsten Generation ist für enorm umfangreiche Workloads wie die Verarbeitung natürlicher Sprache und Deep-Learning-Empfehlungsmodelle optimiert.
NVIDIA DGX H100
Die neueste Iteration von NVIDIA DGX-Systemen, die eine hochsystemisierte und skalierbare Plattform bietet, um die größten Herausforderungen mithilfe von KI zu lösen.
Die DGX H100 ist ein KI-Kraftpaket, das mit dem bahnbrechenden NVIDIA H100 Tensor Core Grafikprozessor ausgestattet ist. Das System wurde für die Maximierung des KI-Durchsatzes entwickelt und bietet Unternehmen sowie Forschungseinrichtungen eine hochentwickelte, systematisierte und skalierbare Plattform, die zu Durchbrüchen zum Beispiel in der Verarbeitung natürlicher Sprache, Empfehlungssystemen, Datenanalysen und vielem mehr verhilft. Verfügbar vor Ort und über eine Vielzahl von Zugangs- und Bereitstellungsoptionen bietet die DGX H100 die Leistung, die Unternehmen zur Lösung der größten Herausforderungen mit KI benötigen.
DETAILS
8x NVIDIA H100-GPUs MIT 640 GIGABYTE GESAMT-GPU-SPEICHER
18x NVIDIA® NVLinks® pro GPU, 900 Gigabyte pro Sekunde bidirektionale Bandbreite zwischen Grafikprozessoren
4x NVIDIA NVSWITCHES™
7,2 Terabyte pro Sekunde bidirektionale Bandbreite für Verbindungen zwischen GPUs – 1,5-mal mehr als bei der vorherigen Generation
8x NVIDIA CONNECTX®-7 und 2x NVIDIA BLUEFIELD® DPU NETZWERKINTERFACE MIT 400 GBIT/SEK.
Spitzenwert von 1 Terabyte pro Sekunde bidirektionale Netzwerkbandbreite
DUALE x86-CPUs UND 2 TERABYTE SYSTEMSPEICHER
Leistungsstarke CPUs für die intensivsten KI-Aufgaben
30 TERABYTE NVME-SSD
Hochgeschwindigkeits-Datenspeicher für maximale Leistung
Vergleich DGX H100 vs. DGX A100
Spezifikationen
KOMPONENTEN | NVIDIA DGX H100 | NVIDIA DGX A100 |
---|---|---|
GPU | 8x NVIDIA H100 Tensor Core GPUs | 8x NVIDIA A100 80GB Tensor Core GPUs |
GPU memory | 640GB total | 640GB total |
Performance | 32 petaFLOPS FP8 | 5 petaFLOPS AI 10 petaOPS INT8 |
NVIDIA® NVSwitch™ | 4x | 6 |
System power usage | ~10.2kW max | 6.5 kW max |
CPU | Dual x86 | Dual AMD Rome 7742, 128 cores total, 2.25 GHz (base), 3.4 GHz (max boost) |
System memory | 2TB | 2TB |
Networking | 4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 400Gb/s InfiniBand/Ethernet 2x dual-port NVIDIA BlueField-3 DPUs VPI 1x 400Gb/s InfiniBand/Ethernet 1x 200Gb/s InfiniBand/Ethernet | 8x SinglePort NVIDIA ConnectX-7 200Gb/s InfiniBand 2x Dual-Port NVIDIA ConnectX-7 VPI 10/25/50/100/200 Gb/s Ethernet |
Management network | 10Gb/s onboard NIC with RJ45 50Gb/s Ethernet optional NIC Host baseboard management controller (BMC) with RJ45 2x NVIDIA BlueField-3 DPU BMC (with RJ45 each) | - |
Storage | OS: 2x 1.9TB NVMe M.2 Internal storage: 8x 3.84TB NVMe U.2 | OS: 2x 1.92TB M.2 NVME drives Internal Storage: 30TB (8x 3.84 TB) U.2 NVMe drives |
System software | DGX H100 systems come preinstalled with DGX OS, which is based on Ubuntu Linux and includes the DGX software stack (all necessary packages and drivers optimized for DGX). Optionally, customers can install Ubuntu Linux or Red Hat Enterprise Linux and the required DGX software stack separately. | Ubuntu Linux OS Also supports: Red Hat Enterprise Linux CentOS |
Operating temperature range | 5 to 30°C (41–86°F) | 5 to 30°C (41–86°F) |
NVIDIA H100 TENSOR-CORE-GPU
Nie dagewesene Leistung, Skalierbarkeit und Sicherheit für jedes Rechenzentrum
Sichere Beschleunigung von Workloads von Enterprise auf Exascale
Sichere Beschleunigung von Workloads von Enterprise auf Exascale
Bis zu 9-mal schnelleres KI-Training bei den größten Modellen
Transformations-KI-Training
Transformations-KI-Training
NVIDIA H100-Grafikprozessoren verfügen über Tensor-Recheneinheiten der vierten Generation und die Transformer Engine mit FP8-Präzision, die bis zu 9-mal schnelleres Training im Vergleich zur vorherigen Generation für MoE-Modelle (Mixture of Experts) bietet. Die Kombination aus NVlink der vierten Generation, die eine GPU-zu-GPU-Verbindung von 900 Gigabyte pro Sekunde (GB/s) bietet, NVSwitch, das die Kollektivkommunikation durch jeden Grafikprozessor über Knoten hinweg beschleunigt, PCIe der 5. Generation; und NVIDIA Magnum IO™-Software bietet effiziente Skalierbarkeit von kleinen Unternehmen bis hin zu riesigen, einheitlichen GPU-Clustern.
Die Bereitstellung von H100-Grafikprozessoren im Rechenzentrumsmaßstab bietet eine bisher unerreichte Leistung sowie die nächste Generation von Exascale High-Performance-Computing (HPC) und Billionen-Parameter-KI für alle Forscher.
Echtzeit-Deep-Learning-Inferenz
Echtzeit-Deep-Learning-Inferenz
KI löst eine Vielzahl von geschäftlichen Herausforderungen mit einer ebenso breiten Palette an neuronalen Netzen. Ein hervorragender KI-Inferenzbeschleuniger muss nicht nur höchste Leistung, sondern auch die Vielseitigkeit bieten, um diese Netzwerke zu beschleunigen.
H100 erweitert die marktführende Position von NVIDIA bei Inferenz weiter mit mehreren Fortschritten, die die Inferenz um das bis zu 30-Fache beschleunigen und die niedrigste Latenz bieten. Tensor-Recheneinheiten der vierten Generation beschleunigen alle Präzisionen, einschließlich FP64, TF32, FP32, FP16 sowie INT8, und die Transformer Engine verwendet FP8 und FP16 zusammen, um die Speicherauslastung zu reduzieren, die Leistung zu steigern und gleichzeitig die Genauigkeit für große Sprachmodelle aufrechtzuerhalten.
Bis zu 30-mal höhere KI-Inferenzleistung bei den größten Modellen
Bis zu 7-mal höhere Leistung für HPC-Anwendungen
Exascale High-Performance Computing
Exascale High-Performance Computing
Die NVIDIA-Rechenzentrumsplattform bietet konsistent Leistungssteigerungen, die über das Mooresche Gesetz hinausgehen. Die neuen bahnbrechenden KI-Funktionen von H100 verstärken die Leistungsfähigkeit von HPC + KI weiter, um für Wissenschaftler und Forscher, die an der Lösung der wichtigsten Herausforderungen der Welt arbeiten, die Zeit bis zum Entdecken zu verkürzen.
H100 verdreifacht die Gleitkommaoperationen pro Sekunde (FLOPS) der Tensor Cores mit doppelter Genauigkeit und liefert 60 TeraFLOPS FP64-Computing für HPC. KI-gestützte HPC-Anwendungen können die TF32-Präzision von H100 nutzen, um einen PetaFLOPS Durchsatz für Matrixmultiplikationsoperationen mit einfacher Genauigkeit zu erreichen, ohne Codeänderungen.
H100 verfügt außerdem über DPX-Anweisungen, die bei dynamischen Programmieralgorithmen wie Smith-Waterman für die DNA-Sequenzausrichtung 7-mal mehr Leistung als NVIDIA A100 Tensor Core-GPUs und eine 40-fache Beschleunigung gegenüber herkömmlichen Servern mit Dual-Socket-CPUs allein bieten.
Technische Daten
Formfaktor | H100 SXM | H100 PCIe |
---|---|---|
FP64 | 30 teraFLOPS | 24 teraFLOPS |
FP64-Tensor-Core | 60 teraFLOPS | 48 teraFLOPS |
FP32 | 60 teraFLOPS | 48 teraFLOPS |
TF32-Tensor-Core | 1.000 teraFLOPS* | 500 teraFLOPS | 800 teraFLOPS* | 400 teraFLOPS |
BFLOAT16-Tensor-Core | 1.000 teraFLOPS* | 500 teraFLOPS | 1.600 teraFLOPS* | 800 teraFLOPS |
FP16-Tensor-Core | 2.000 teraFLOPS* | 1.000 teraFLOPS | 1.600 teraFLOPS* | 800 teraFLOPS |
FP8-Tensor-Core | 4.000 teraFLOPS* | 2.000 teraFLOPS | 3.200 teraFLOPS* | 1.600 teraFLOPS |
INT8-Tensor-Core | 4.000 TOPS* | 2,000 TOPS | 3.200 TOPS* | 1.600 TOPS |
GPU memory | 80 GB | 80 GB |
GPU memory bandwidth | 3TB/s | 2TB/s |
Decoders | 7 NVDEC / 7 JPEG | 7 NVDEC / 7 JPEG |
Max thermal design power (TDP) | 700W | 350W |
Multi-Instance GPUs | Up to 7 MIGS @ 10GB each | Up to 7 MIGS @ 10GB each |
Form factor | SXM | PCIe |
Interconnect | NVLink: 900GB/s PCIe Gen5: 128GB/s | NVLINK: 600GB/s PCIe Gen5: 128GB/s |
Server options | NVIDIA HGX™ H100 Partner and NVIDIA-Certified Systems™ with 4 or 8 GPUs NVIDIA DGX™ H100 with 8 GPUs | Partner and NVIDIA-Certified Systems with 1–8 GPUs |
Für Unternehmens-KI ausgelegt
Für Unternehmens-KI ausgelegt
Der NVIDIA DGX SuperPOD bietet eine einsatzbereite KI-Rechenzentrumslösung für Unternehmen, die sich auf Erkenntnisse statt auf Infrastruktur konzentrieren möchten, mit erstklassigem Computing, Software-Tools, Fachwissen und kontinuierlicher Innovation, die nahtlos bereitgestellt werden.
Der DGX SuperPOD wird mit zwei Möglichkeiten für die Recheninfrastruktur angeboten und ermöglicht es jedem Unternehmen, KI in alle Geschäftsbereiche zu integrieren und bahnbrechende Anwendungen zu entwickeln,
anstatt mit der Komplexität von Plattformen zu ringen.
DGX SuperPOD mit NVIDIA DGX H100-Systemen
DGX SuperPOD mit NVIDIA DGX H100-Systemen
KI-Workloads unterstützt, z. B. große Sprachmodelle mit NVIDIA
NeMo und Deep Learning-Empfehlungssysteme.
Durchbrechen Sie Barrieren mit dem
DGX H100 SuperPOD
DGX H100 SuperPOD
NVIDIA wird als erstes Unternehmen einen DGX SuperPOD mit der bahnbrechenden neuen DGX H100 KI-Architektur bauen, um die Arbeit von NVIDIA-Forschern zu unterstützen, die die Klimawissenschaft, die digitale Biologie und die Zukunft der KI vorantreiben.
Die neueste DGX SuperPOD Architektur verfügt über ein neues NVIDIA NVLink Switch System, das bis zu 32 Knoten mit insgesamt 256 H100 GPUs verbinden kann.
Der DGX SuperPOD der nächsten Generation bietet 1 Exaflops FP8-KI-Leistung, 6x mehr als sein Vorgänger, und erweitert die Grenzen der KI mit der Fähigkeit, massive LLM-Workloads mit Billionen von Parametern auszuführen.
KONVERGIERTER BESCHLEUNIGER H100 CNX VON NVIDIA
Konvergierter Beschleuniger H100 CNX
von NVIDIA
Konvergierter Beschleuniger H100 CNX
von NVIDIA
NVIDIA H100 CNX kombiniert die Leistung des NVIDIA H100 mit den fortschrittlichen Netzwerkfunktionen der NVIDIA ConnectX®-7 Smart Network Interface Card (SmartNIC) in einer einzigen, einzigartigen Plattform. Diese Konvergenz bietet beispiellose Leistung für GPU-gestützte Input/Output(IO)-intensive Workloads, z. B. verteiltes KI-Training im Unternehmens-Rechenzentrum und 5G-Verarbeitung am Edge.
BESSERE I/O-LEISTUNG
AUSGEWOGENES, OPTIMIERTES DESIGN
KOSTENEINSPARUNGEN
BEREIT ZUR ANWENDUNG
H100 CNX – Technische Daten
H100 CNX – Technische Daten
Technische Daten | |
---|---|
GPU-Speicher | 80 GB HBM2e |
Speicherbandbreite | > 2,0 Tb/s |
MIG-Instanzen | 7 Instanzen mit je 10 GB 3 Instanzen mit je 20 GB 2 Instanzen mit je 40 GB |
Konnektivität | PCIe Gen5 128 GB/s |
NVLINK-Brücke | 2-Wege |
Netzwerk | 1x 400 Gb/s, 2x 200 Gb/s Ports, Ethernet oder InfiniBand |
Formfaktor | FHFL-Dual-Slot (Full Height, Full Length) |
Max. Leistung | 350 W |
NVIDIA Spectrum SN4000 Open
Ethernet SWiTCHE
sorgen für ein immer höheres Leistungsaufkommen, die sich über alle Branchen erstrecken.
NVIDIA Switche bieten eine große Bandbreite für den Datenzugriff und die Kommunikation im Rechenzentrum.