NVIDIA AMPERE-ARCHITEKTUR

Mit der ersten Einführung bei der NVIDIA Volta™-Architektur hat die Technologie der NVIDIA Tensor-Recheneinheiten KI drastisch beschleunigt, wodurch die Trainingszeiten von mehreren Wochen auf wenige Stunden gesenkt und die Inferenz massiv beschleunigt wurde. Die NVIDIA Ampere-Architektur baut auf diesen Innovationen auf und ermöglicht neue Präzisionsniveaus – Tensor Float 32 (TF32) und Gleitkomma 64 (FP64) –, um die KI-Akzeptanz zu beschleunigen und zu vereinfachen sowie die Leistung von Tensor-Recheneinheiten auf HPC auszudehnen.

TF32 funktioniert genau wie FP32 und liefert bis zu 20-mal mehr Leistung für KI, ohne dass Code geändert werden muss. Mit NVIDIA Automatic Mixed Precision können Forscher dank automatischer Mixed-Precision und FP16 ihre Leistung zusätzlich verdoppeln und müssen dafür nur einige Codezeilen hinzufügen. Durch Unterstützung von bfloat16, INT8 und INT4 werden Tensor-Recheneinheiten von NVIDIA Tensor-Core-Grafikprozessoren mit Ampere-Architektur zu einem unglaublich vielseitigen Beschleuniger für KI-Training und Inferenz. Mit der Leistung von Tensor-Recheneinheiten für HPC ermöglichen A100- und A30-GPUs zudem Matrixoperationen in vollständiger, IEEE-zertifizierter FP64-Präzision. 

Jede KI- und HPC-Anwendung kann von Beschleunigung profitieren, aber nicht jede Anwendung benötigt die Leistung eines ganzen Grafikprozessors. Der Mehr-Instanzen-Grafikprozessor (MIG) ist eine Funktion, die auf A100- und A30-GPUs die gemeinsame Nutzung des Grafikprozessors durch mehrere Workloads ermöglicht. Mit MIG kann jede GPU in mehrere Grafikprozessorinstanzen aufgeteilt werden, die auf Hardwareebene sicher und vollständig isoliert ausgeführt werden und über eigene Speicher-, Cache- und Rechnereinheiten mit hoher Bandbreite verfügen. Entwickler können nun auf bahnbrechende Beschleunigung für alle großen und kleinen Anwendungen zugreifen und garantiert Servicequalität erhalten. Außerdem können IT-Administratoren eine passende Grafikprozessorbeschleunigung für die optimale Auslastung anbieten und den Zugriff auf alle Benutzer und Anwendungen sowohl in Bare-Metal als auch in virtualisierten Umgebungen erweitern.

Für die Skalierung von Anwendungen auf mehreren Grafikprozessoren ist eine extrem schnelle Datenverlagerung erforderlich. Die dritte Generation von NVIDIA® NVLink® in der NVIDIA Ampere-Architektur verdoppelt die direkte Bandbreite zwischen Grafikprozessoren auf 600 Gigabyte pro Sekunde (GB/s). Diese ist somit fast 10-mal höher als bei PCIe Gen4. In Kombination mit NVIDIA NVSwitch™ der neuesten Generation können alle Grafikprozessoren auf dem Server mit voller NVLink-Geschwindigkeit miteinander kommunizieren und Daten extrem schnell übertragen.

NVIDIA DGX™ A100 und Server von anderen führenden Computerherstellern nutzen NVLink- und NVSwitch-Technologien über NVIDIA HGX™ A100-Baseboards für höhere Skalierbarkeit bei HPC- und KI-Workloads.

Moderne KI-Netzwerke sind groß und werden immer größer – mit Millionen und in einigen Fällen Milliarden von Parametern. Nicht alle dieser Parameter sind für genaue Vorhersagen und Inferenz erforderlich und einige können in Nullen konvertiert werden, sodass die Modelle eine „geringe Dichte“ aufweisen, ohne dass die Genauigkeit beeinträchtigt wird. Tensor-Recheneinheiten können bis zu 2-mal mehr Leistung bei Sparse-Modellen erzielen. Auch wenn das Sparse-Feature der KI-Inferenz dient, kann es auch verwendet werden, um die Leistung des Modelltrainings zu verbessern.

Die RT-Recheneinheiten der zweiten Generation der NVIDIA Ampere-Architektur in NVIDIA A40- und A10-GPUs steigern die Geschwindigkeit von Workloads wie dem fotorealistischen Rendering von Filminhalten, der Beurteilung architektonischer Designs und dem virtuellen Prototyping von Produktdesigns enorm. RT-Recheneinheiten beschleunigen zudem das Rendering der Bewegungsunschärfe mit Raytracing, für schnellere Ergebnisse mit größerer visueller Genauigkeit, und können gleichzeitig Raytracing mit Schattierungen oder Denoising ausführen.

A100 erweitert Rechenzentren um massive Rechenkapazität. Um die volle Auslastung dieser Rechenkapazitäten zu gewährleisten, verfügt sie über eine sensationelle Speicherbandbreite von 2 Terabyte pro Sekunde (TB/s), eine Verdopplung gegenüber der Vorgängergeneration. Außerdem verfügt die A100 über deutlich größeren integrierten Speicher, darunter einen Level-2-Cache mit 40 Megabyte (MB) – das Siebenfache der vorherigen Generation –, um die Rechenleistung zu maximieren.

Die Kombination der NVIDIA Ampere-Architektur mit NVIDIA BlueField®-2 Datenverarbeitungseinheiten (DPU) in konvergierten Beschleunigern von NVIDIA bietet eine beispiellose Rechen- und Netzwerkbeschleunigung zur Verarbeitung der riesigen Datenmengen, die im Rechenzentrum und in der Edge generiert werden. BlueField-2 kombiniert die Leistung des NVIDIA  ConnectX®-6 Dx mit programmierbaren Arm-Kernen und Hardwareentlastungen für softwaredefinierte Speicher-, Netzwerk-, Sicherheits- und Verwaltungsworkloads. Mit konvergierten Beschleunigern von NVIDIA können Kunden datenintensive Edge- und Rechenzentrums-Workloads mit maximaler Sicherheit und Leistung ausführen.

Sichere Implementierungen sind für den Geschäftsbetrieb von Unternehmen von entscheidender Bedeutung. Die NVIDIA Ampere-Architektur bietet optional sicheres Booten durch vertrauenswürdige Codeauthentifizierung und bewährten Rollback-Schutz, um sich vor böswilligen Malware-Angriffen zu schützen, Betriebsverluste zu verhindern und Workloads zu beschleunigen.