DGX B200

DGX B200 Datenblatt

Echtzeit-Inferenz für Large Language Models

Die projizierte Leistung kann Änderungen unterliegen. Token-to-Token-Latenz (TTL) = 50 ms in Echtzeit, erste Token-Latenz (FTL) = 5 s, Eingabesequenzlänge = 32.768, Ausgabesequenzlänge = 1.028, 8x Acht-Wege-DGX H100-GPUs mit Luftkühlung vs. 1x Acht-Wege-DGX B200 mit Luftkühlung, pro GPU-Leistungsvergleich​.

Neue Maßstäbe bei der KI-Trainingsleistung

Änderungen der prognostizierten Leistung vorbehalten. Leistung von 32.768 GPUs, 4.096 Acht-Wege-DGX H100-Cluster mit Luftkühlung: 400G IB-Netzwerk, 4.096 Acht-Wege-DGX B200-Cluster mit Luftkühlung: 400G IB-Netzwerk.

Powerhouse der AI-Leistung

NVIDIA hat die nächste Generation der weltweit leistungsstärksten Supercomputer entwickelt, um die komplexesten KI-Probleme von Unternehmen zu lösen. Der DGX B200 ist die jüngste Ergänzung der NVIDIA Accelerated Computing-Plattform, die dieses Engagement unterstreicht. Der DGX B200 basiert auf der innovativen NVIDIA Blackwell Architektur und bietet die dreifache Trainingsleistung und die 15-fache Inferenzleistung des DGX H100. Als Grundlage der NVIDIA DGX POD™ Referenzarchitekturen bietet DGX B200 Hochgeschwindigkeits-Skalierbarkeit für NVIDIA DGX BasePOD™ und NVIDIA DGX SuperPOD™ und liefert Spitzenleistung in einer schlüsselfertigen KI-Infrastrukturlösung.
Mehr zur NVIDIA DGX B200
DGX B200 Technische Spezifikationen
GPU
8x NVIDIA Blackwell GPUs
GPU Speicher 
1,440GB total
Leistung
72 petaFLOPS training and 144 petaFLOPS inference
NVIDIA® NVSwitch™
2x
System Power Usage
~14.3kW max
CPU
2 Intel® Xeon® Platinum 8570 Processors
112 Cores total, 2.1 GHz (Base),
4 GHz (Max Boost)
System Speicher
Up to 4TB
Netzwerk
4x OSFP ports serving 8x single-port NVIDIA ConnectX-7 VPI
> Up to 400Gb/s InfiniBand/Ethernet
2x dual-port QSFP112 NVIDIA BlueField-3 DPU
> Up to 400Gb/s InfiniBand/Ethernet
Management Netzwerk
10Gb/s onboard NIC with RJ45
100Gb/s dual-port ethernet NIC
Host baseboard management controller (BMC) with RJ45
Speicher
OS: 2x 1.9TB NVMe M.2
Internal storage: 8x 3.84TB NVMe U.2
Software
NVIDIA AI Enterprise – Optimized AI Software
NVIDIA Base Command – Orchestration, Scheduling, and Cluster Management
DGX OS / Ubuntu – Operating System
Höheneinheiten
10 HE
System Dimensionen
Height: 17.5in (444mm)
Width: 19.0in (482.2mm)
Length: 35.3in (897.1mm)
Operating Temperature
5–30°C (41–86°F)
Enterprise Support
Three-year Enterprise Business-Standard Support for hardware and software
24/7 Enterprise Support portal access
Live agent support during local business hours

Jetzt Anfragen!

 
 
 
 
 
 

 
 
 
 
 
 
 
 
 
 
 

GB200 NVL72 Grace Blackwell

72 Grace Blackwell CPUs
2.592 Arm® Neoverse V2-Recheneinheiten
1.440 FLOPS FP4 Tensorleistung
Bis zu 13.5 TB HBM3e
Bis zu 17 TB LPDDR5x