Explore Breakthroughs

NVIDIA Blackwell ist speziell für generative KI-Modelle mit Billionen von Parametern konzipiert, daher überrascht es nicht, dass es Hopper in Bezug auf Inferenzleistung übertrifft - mit einer bis zu 30-fach größeren Ausgabe.

Diese Systeme werden laut Huang massive GPT-ähnliche Modelle trainieren, wobei Tausende von GPUs für eine enorme Rechenleistung zusammenkommen - und das bei vergleichsweise niedrigem Energieverbrauch.

Wenn es jedoch um Inferenz (d.h. Generierung/LLMs) geht, können Blackwell-betriebene Einheiten laut Huang auch die Rechenkosten und den Energiebedarf senken.

Blackwell-Innovationen für beschleunigtes Rechnen und generative KI
Zu den sechs revolutionären Technologien von Blackwell, die zusammen KI-Training und LLM-Inferenz in Echtzeit für Modelle mit bis zu 10 Billionen Parametern ermöglichen, gehören:

• Der leistungsstärkste Chip der Welt - Die mit 208 Milliarden Transistoren bestückten GPUs der Blackwell-Architektur werden in einem speziell entwickelten 4NP-TSMC-Prozess mit GPU-Dies mit zwei Reticle-Limits hergestellt, die über eine Chip-to-Chip-Verbindung mit 10 TB/Sekunde zu einer einzigen, einheitlichen GPU verbunden sind.
• Transformer Engine der zweiten Generation - Dank der neuen Unterstützung für die Skalierung von Mikrotensoren und der fortschrittlichen Algorithmen von NVIDIA zur Verwaltung des dynamischen Bereichs, die in die Frameworks NVIDIA TensorRT™-LLM und NeMo Megatron integriert sind, unterstützt Blackwell die doppelte Rechen- und Modellgröße mit neuen 4-Bit-Gleitkomma-KI-Inferenzfunktionen.
• NVLink der fünften Generation - Um die Leistung für KI-Modelle mit mehreren Millionen Parametern und Expertenmischungen zu beschleunigen, liefert die neueste Iteration von NVIDIA NVLink® einen bahnbrechenden bidirektionalen Durchsatz von 1,8 TB/s pro Grafikprozessor und gewährleistet eine nahtlose Hochgeschwindigkeitskommunikation zwischen bis zu 576 Grafikprozessoren für die komplexesten LLMs.
• RAS-Engine - Blackwell-GPUs verfügen über eine spezielle Engine für Zuverlässigkeit, Verfügbarkeit und Wartungsfreundlichkeit. Darüber hinaus bietet die Blackwell-Architektur auf Chipebene die Möglichkeit, eine KI-basierte präventive Wartung zu nutzen, um Diagnosen durchzuführen und Zuverlässigkeitsprobleme vorherzusagen. Dies maximiert die Systembetriebszeit und verbessert die Ausfallsicherheit für KI-Implementierungen im großen Maßstab, so dass diese wochen- oder sogar monatelang unterbrechungsfrei laufen und die Betriebskosten gesenkt werden können.
• Sichere KI - Erweiterte Funktionen für vertrauliches Computing schützen KI-Modelle und Kundendaten, ohne die Leistung zu beeinträchtigen, mit Unterstützung neuer nativer Schnittstellenverschlüsselungsprotokolle, die für datenschutzsensible Branchen wie das Gesundheitswesen und Finanzdienstleistungen entscheidend sind.
• Dekomprimierungs-Engine - Eine spezielle Dekomprimierungs-Engine unterstützt die neuesten Formate und beschleunigt Datenbankabfragen, um die höchste Leistung in der Datenanalyse und Datenwissenschaft zu erzielen. In den kommenden Jahren wird die Datenverarbeitung, für die Unternehmen jährlich zweistellige Milliardenbeträge ausgeben, zunehmend durch GPUs beschleunigt werden.

Der NVIDIA GB200 Grace Blackwell Superchip verbindet zwei NVIDIA B200 Tensor Core GPUs mit der NVIDIA Grace CPU über einen 900GB/s Ultra-Low-Power NVLink Chip-to-Chip Interconnect.

Für höchste KI-Leistung können GB200-betriebene Systeme mit den ebenfalls heute angekündigten NVIDIA Quantum-X800 InfiniBand und Spectrum™-X800 Ethernet-Plattformen verbunden werden, die fortschrittliche Netzwerke mit Geschwindigkeiten von bis zu 800 Gb/s bieten.

Der GB200 ist eine Schlüsselkomponente des NVIDIA GB200 NVL72, einem flüssigkeitsgekühlten Mehrknoten-Racksystem für rechenintensive Workloads. Es kombiniert 36 Grace Blackwell Superchips, die 72 Blackwell GPUs und 36 Grace CPUs umfassen, die über NVLink der fünften Generation miteinander verbunden sind. Darüber hinaus enthält der GB200 NVL72 NVIDIA BlueField®-3 Datenverarbeitungseinheiten, um Cloud-Netzwerkbeschleunigung, Composable Storage, Zero-Trust-Sicherheit und GPU-Compute-Elastizität in Hyperscale AI Clouds zu ermöglichen. Der GB200 NVL72 bietet eine bis zu 30-fache Leistungssteigerung im Vergleich zur gleichen Anzahl von NVIDIA H100 Tensor Core GPUs für LLM-Inferenz-Workloads und reduziert Kosten und Energieverbrauch um das bis zu 25-fache.

Die Plattform fungiert als eine einzige GPU mit 1,4 Exaflops KI-Leistung und 30 TB schnellem Speicher und ist ein Baustein für den neuesten DGX SuperPOD.

NVIDIA bietet das HGX B200 an, ein Serverboard, das acht B200-GPUs über NVLink verbindet, um x86-basierte generative KI-Plattformen zu unterstützen. HGX B200 unterstützt Netzwerkgeschwindigkeiten von bis zu 400 Gb/s durch die NVIDIA Quantum-2 InfiniBand und Spectrum-X Ethernet Netzwerkplattformen.

Eine weitere beeindruckende Neuvorstellung ist der neue NVLink Switch Chip, der es ermöglicht, dass alle GPUs gleichzeitig miteinander kommunizieren können.

Er findet Platz im neuen DGX GB200 NVL72, der im Grunde genommen wieder einen riesigen GPU darstellt, jedoch mit einigen erstaunlichen Zahlen - darunter 720 Petaflops beim Training und 1,44 Exaflops bei der Inferenz. Diese Leistungsfähigkeit ist für extrem anspruchsvolle Aufgaben ausgelegt und kann mit einer Verarbeitungsgeschwindigkeit von 130 TB/s aufwarten - das ist mehr als die gesamte Bandbreite des gesamten Internets.

Der "Chat-GPT"-Moment für Robotik könnte laut Huang möglicherweise direkt bevorstehen, und Nvidia strebt danach, auf dem neuesten Stand zu sein und bereit zu sein, wenn es soweit ist.

"Wir brauchen eine Simulations-Engine, die die Welt digital für einen Roboter darstellt", erklärt er - und genau das bietet das Omniverse.

Jetzt wenden wir uns der Robotik zu, oder wie Huang es nennt - "physische KI".

Robotik wird zusammen mit KI und der Arbeit am Omniverse/Digital Twin als eine zentrale Säule für Nvidia betrachtet, die alle zusammenarbeiten, um das volle Potenzial der Systeme des Unternehmens auszuschöpfen, so Huang.

Huang hebt hervor, dass wir uns inmitten einer neuen industriellen Revolution befinden, angetrieben von Blackwell, NIMs und dem Omniverse.

Für seinen großen Abschluss wird Huang von einer beeindruckenden Auswahl an Projekt-GROOT-Robotern begleitet - und dann sogar von zwei berühmten Star Wars-Figuren!

Er erklärt, dass das Modell sowohl durch menschliche Beispiele als auch durch eine digitale "Bibliothek" lernen wird - eine Perspektive, die durchaus faszinierend ist.

Bezüglich Robotik hebt Huang hervor, dass Nvidia über 1.000 Entwickler auf diesem Gebiet hat.

Ein neues SDK namens Isaac Perceptor ist speziell auf Roboterarme und Fahrzeuge ausgerichtet und verleiht diesen Geräten erweiterte Einblicke und Intelligenz.

Nvidia setzt sich für die Weiterentwicklung humanoider Roboter ein, indem sie das Projekt GROOT einführen, eine weitere Kollektion von APIs.