Spielverändernde Leistung: NVIDIA A100 Tensor Core GPU
Spielverändernde Leistung auf Basis des NVIDIA A100 Grafikprozessors, der das weltweit erste KI-System mit
5 PFLOPS liefert, das mühelos Analyse-, Trainings- und Inferenz-Workloads gleichzeitig ausführen kann.
Der NVIDIA DGX A100 verfügt über acht NVIDIA A100 Tensor Core GPUs, die Anwendern eine unübertroffene Beschleunigung bieten, und ist vollständig für NVIDIA CUDA-X™ Software und den End-to-End NVIDIA Data Center Solution Stack optimiert.
Die NVIDIA A100 Grafikprozessoren bieten eine neue Präzision, TF32, die wie FP32 funktioniert und im Vergleich zur Vorgängergeneration eine 20-fach höhere FLOPS-Leistung für KI bietet - und das Beste daran ist, dass keine Code-Änderungen erforderlich sind, um diesen Geschwindigkeitszuwachs zu erzielen. Und bei Verwendung von NVIDIAs automatischer Mixed-Precision bietet der A100 einen zusätzlichen 2-fachen Leistungsschub mit nur einer zusätzlichen Code-Zeile bei FP16-Präzision. Der A100-Grafikprozessor verfügt außerdem über eine klassenführende Speicherbandbreite von 1,6 Terabyte pro Sekunde (TB/s), eine Steigerung von mehr als 70 % gegenüber der letzten Generation. Darüber hinaus verfügt die A100 GPU über deutlich mehr On-Chip-Speicher, darunter einen 40 MB großen Level-2-Cache, der fast 7-mal größer ist als bei der Vorgängergeneration und die Rechenleistung maximiert. Der DGX A100 führt außerdem die nächste Generation von NVIDIA NVLink™ ein, die die direkte Bandbreite von GPU zu GPU auf 600 Gigabyte pro Sekunde (GB/s) verdoppelt, was fast 10x höher ist als PCIe Gen 4, sowie einen neuen NVIDIA NVSwitch, der 2X schneller ist als die letzte Generation.
Diese beispiellose Leistung liefert die schnellste Time-to-Solution für Trainings-, Inferenz- und Analyse-Workloads und ermöglicht es Anwendern, Herausforderungen zu meistern, die vorher nicht möglich oder praktikabel waren.
Unerreichte Flexibilität: Neue Multi Instance GPU (MIG) Innovation
Unerreichte Flexibilität mit der Multi-Instance GPU (MIG)-Innovation, die eine 7-fache Inferenzleistung pro GPU ermöglicht und die Möglichkeit bietet, Ressourcen zuzuweisen, die für bestimmte Workloads richtig dimensioniert sind.
MIG partitioniert eine einzelne NVIDIA A100 GPU in bis zu sieben unabhängige GPU-Instanzen. Diese laufen gleichzeitig, jede mit ihrem eigenen Speicher, Cache und Streaming-Multiprozessoren. Dadurch kann der A100-Grafikprozessor garantierte Quality-of-Service (QoS) bei bis zu 7-fach höherer Auslastung im Vergleich zu früheren Grafikprozessoren bieten.
MIG partitioniert eine einzelne NVIDIA A100 GPU in bis zu sieben unabhängige GPU-Instanzen. Diese laufen gleichzeitig, jede mit ihrem eigenen Speicher, Cache und Streaming-Multiprozessoren. Dadurch kann der A100-Grafikprozessor garantierte Quality-of-Service (QoS) bei bis zu 7-fach höherer Auslastung im Vergleich zu früheren Grafikprozessoren bieten.
Mit dem DGX A100 können Sie bis zu 56 MIG-Slices nutzen, um Probleme mit unflexiblen Infrastrukturen zu lösen und die Zuweisung von Rechenleistung für die einzelnen Workloads genau zu bestimmen. Sie müssen nicht mehr darum kämpfen, die Zeit auf einer Box auf mehrere konkurrierende Projekte aufzuteilen. Mit MIG auf DGX A100 haben Sie genug Rechenleistung, um Ihr gesamtes Data-Science-Team zu unterstützen.
Niedrige Gesamtbetriebskosten: Universelle KI-Plattform
Unvergleichliche TCO/ROI-Kennzahlen mit der gesamten Leistung eines modernen KI-Rechenzentrums zu 1/10 der Kosten, 1/25 des Platzes und 1/20 der Leistung.
Heutiges KI Rechenzentrum
- 25 Rack für Training & Inferenz
- 630 kW
- $11M
DGX A100 Rechenzentrum
- 1 Rack (5 x DGX A100s)
- 28 kW
- $1M
Traditionelle KI-Infrastrukturen bestehen in der Regel aus drei separaten spezialisierten Clustern: Training (GPU-basiert), Inferenz (oft CPU-basiert) und Analyse (CPU-basiert). Diese unflexiblen Infrastruktursilos waren nie für das Tempo von KI gedacht. Die meisten Rechenzentren, die sich mit KI-Workloads befassen, werden wahrscheinlich feststellen, dass diese Ressourcen zu einem bestimmten Zeitpunkt entweder über- oder unterausgelastet sind. Das DGX A100-Rechenzentrum mit MIG bietet Ihnen ein einziges System, das sich flexibel an Ihre Workload-Anforderungen anpassen lässt.
In vielen Rechenzentren steigt und fällt der Bedarf an Rechenressourcen, was zu Servern führt, die meist nicht ausgelastet sind. Am Ende muss die IT-Abteilung überschüssige Kapazitäten kaufen, um sich vor gelegentlichen Spitzen zu schützen. Mit dem DGX A100 können Sie jetzt die Ressourcen für jeden Job richtig dimensionieren und die Auslastung steigern, was die TCO senkt.
Mit DGX A100-Rechenzentren können Sie sich leicht an sich ändernde Geschäftsanforderungen anpassen, indem Sie eine einzige elastische Infrastruktur bereitstellen, die viel effizienter ist.