Schnellere Erkenntnisse können Zeit, Kosten und sogar Leben retten. Deshalb wollen Unternehmen in jeder Branche die von Milliarden von IoT-Sensoren generierten Daten nutzen, um sich zu verändern. Um dies zu erreichen, brauchen sie leistungsstarke, verteilte Rechenleistung und eine sichere, einfache Verwaltung. NVIDIA Edge Computing-Lösungen vereinen NVIDIA-zertifizierte Systeme™, eingebettete Plattformen, KI-Software und schlüsselfertige Management-Services, die für KI am Netzwerkrand entwickelt wurden.
Vereinigung von Networking und Rechenleistung
Die konvergierten Beschleuniger von NVIDIA verbinden die starke Leistung der NVIDIA Ampere-Architektur mit den verbesserten Sicherheits- und Latenzverringerungsfunktionen der NVIDIA® BlueField®-2 Datenverarbeitungseinheit (DPU). Mit konvergierten Beschleunigern können Unternehmen schnellere, effizientere und sicherere KI-Systeme in Rechenzentren und in der Peripherie erstellen.
Nie dagewesene GPU-Leistung
Die NVIDIA Ampere-Architektur bietet für eine breite Palette rechenintensiver Workloads den größten Generationensprung aller Zeiten, um die Unternehmens- und Peripherie-Infrastruktur weiter zu sichern und zu beschleunigen.
.jpg)
Verbesserte Sicherheit
Die NVIDIA BlueField-2-DPU bietet innovative Beschleunigung, Sicherheit und Effizienz für jeden Host. BlueField-2 kombiniert die Leistung von NVIDIA ConnectX®-6 Dx mit programmierbaren Arm®-Kernen und Hardwareentlastungen für softwaredefinierte Speicher-, Netzwerk-, Sicherheits- und Verwaltungsworkloads.
Schnellere Datengeschwindigkeiten
NVIDIA konvergierte Beschleuniger bieten einen integrierten PCIe-Gen4-Switch. Dadurch können Daten zwischen GPU und DPU übertragen werden, ohne das Server-PCIe-System zu durchlaufen. Selbst in Systemen mit PCIe Gen3 auf dem Host erfolgt die Kommunikation mit voller PCIe-Gen4-Geschwindigkeit. Dies ermöglicht bei GPU-beschleunigten Workloads, einschließlich KI-basierter Sicherheit, 5G-Telekommunikation und anderen Edge-Anwendungen, ein neues Maß an Effizienz und Sicherheit für Rechenzentren.
Vollständiges Inferenz-Portfolio
NVIDIA bietet ein komplettes Portfolio von NVIDIA-zertifizierten Systemen mit Ampere Tensor Core GPUs als Inferenz-Engine für NVIDIA AI. Mit der Einführung der A2 Tensor Core GPUs wird das NVIDIA AI Portfolio, das bereits die A100 und A30 Tensor Core GPUs umfasst, um eine Einstiegslösung für Inferenzen in einem flachen Formfaktor erweitert. Mit einer geringen Leistungsaufnahme von bis zu 40 W passt A2 in jeden Server und ist damit ideal für Far-Edge-Server geeignet. Der A100 bietet die höchste Inferenzleistung in jeder Größenordnung für rechenintensive Anwendungen und der A30 eine optimale Inferenzleistung für Mainstream-Server. NVIDIA-zertifizierte Systeme mit den NVIDIA A100-, A30- und A2-Tensor-Core-GPUs bieten führende Inferenzleistung in der Cloud, im Rechenzentrum und im Edge-Bereich und stellen sicher, dass KI-fähige Anwendungen mit weniger Servern und weniger Stromverbrauch bereitgestellt werden können, was zu schnelleren Erkenntnissen bei deutlich geringeren Kosten führt.
NVIDIA-Certified Systems for Inference
Compute in the Cloud, Data Center & Edge
Nvidia A100
Der schnellste Grafikprozessor der Welt mit dem schnellsten Speicher der Welt
- Schnellstes Rechnen
- FP64 Präzision
- 40GB oder 80GB HBM-Speicher
- 1,3x schnellere Speicherbandbreite und weltweit die erste mit >2TB/s
- Bis zu 7MIG Instanzen
NVIDIA A30
Vielseitige Rechenbeschleunigung für Mainstream-Unternehmensserver
- Mainstream-Rechenleistung
- FP64 Präzision
- 24 GB HBM-Speicher
- NVLink
- Bis zu 4 MIG-Instanzen
NVIDIA A2
Vielseitige Einstiegs-GPU bringt NVIDIA AI auf jeden Server
- AI-Inferenz, IVA, Edge
- Passt auf jeden Server: Niedrige Leistung (40-60W) und niedriges Profil
- Ampere ³rd Gen Tensor Cores, ²nd Gen RT Cores
- Einstiegspreis
Die konvergenten Beschleuniger von NVIDIA vereinen die Leistung der NVIDIA Ampere Architektur mit den erweiterten Sicherheits- und Netzwerkfunktionen der NVIDIA® BlueField®-2 Datenverarbeitungseinheit (DPU) in einem einzigen Hochleistungspaket. Diese fortschrittliche Architektur liefert eine beispiellose Leistung für KI-gestützte Workloads in den Bereichen Edge Computing, Telekommunikation und Netzwerksicherheit.
Die NVIDIA Ampere Architektur bietet den größten Leistungssprung aller Zeiten für eine breite Palette rechenintensiver Workloads, während BlueField-2 die Leistung des NVIDIA ConnectX®-6 Dx mit programmierbaren Arm® Cores und Hardware-Offloads für softwaredefinierte Speicher-, Netzwerk-, Sicherheits- und Management-Workloads kombiniert. Die konvergenten NVIDIA-Beschleuniger verfügen über einen integrierten PCIe Gen4 Switch, über den Daten zwischen der GPU und der DPU übertragen werden können, ohne den Server zu durchlaufen. Dies ermöglicht ein neues Maß an Rechenzentrumseffizienz und Sicherheit für netzwerkintensive, GPU-beschleunigte Workloads.
Die NVIDIA Ampere Architektur bietet den größten Leistungssprung aller Zeiten für eine breite Palette rechenintensiver Workloads, während BlueField-2 die Leistung des NVIDIA ConnectX®-6 Dx mit programmierbaren Arm® Cores und Hardware-Offloads für softwaredefinierte Speicher-, Netzwerk-, Sicherheits- und Management-Workloads kombiniert. Die konvergenten NVIDIA-Beschleuniger verfügen über einen integrierten PCIe Gen4 Switch, über den Daten zwischen der GPU und der DPU übertragen werden können, ohne den Server zu durchlaufen. Dies ermöglicht ein neues Maß an Rechenzentrumseffizienz und Sicherheit für netzwerkintensive, GPU-beschleunigte Workloads.
Verpassen Sie nicht den Tag der Veröffenlichung der A100X und A30X GPUs.
PRODUKTBENACHRICHTIGUNG A100X UND A30XTechnische Details
Feature | A100X | A30X |
|---|---|---|
GPU Memory | 80GB HBM2e | 24 GB HBM2e |
Memory Bandwidth | 1800 GB/s | 900 GB/s |
MIG instances | 7 instances @ 10GB each 3 instances @ 20GB each 2 instances @ 40GB each | 900 GB/s |
Interconnect | PCIe Gen4 (x16 Physical, x8 Electrical) | PCIe Gen4 (x16 Physical, x8 Electrical) |
NVLINK Bridge | 3x | 1x |
Form Factor | 2 Slot FHFL | 2 Slot FHFL |
Max Power | 300 W | 230 W |
Schnelleres 5G
NVIDIA Aerial™ dient dem Aufbau leistungsstarker, softwaredefinierter, cloud-nativer 5G-Anwendungen, um die steigende Verbrauchernachfrage zu decken. Es ermöglicht GPU-beschleunigte Signal- und Datenverarbeitung für 5G Wireless Radio Area Networks (RANs). Konvergierte Beschleuniger von NVIDIA sind die leistungsstärkste Plattform für die Ausführung von 5G-Anwendungen. Da die Daten nicht das Host-PCIe-System durchlaufen müssen, wird die Verarbeitungslatenz erheblich reduziert. Der daraus resultierende höhere Durchsatz ermöglicht eine höhere Teilnehmerdichte pro Server.
KI-basierte Cybersicherheit
Konvergierte Beschleuniger eröffnen neue Möglichkeiten für KI-basierte Cybersicherheit und Netzwerke. Die Arm-Kerne der DPU können mit dem NVIDIA Morpheus-Anwendungsframework programmiert werden, um GPU-beschleunigte erweiterte Netzwerkfunktionen wie Bedrohungserkennung, Verhinderung von Datenlecks und Erkennung anomalen Verhaltens auszuführen. Die GPU-Verarbeitung kann mit einer hohen Datenrate direkt auf den Netzwerkverkehr angewendet werden. Die Daten werden auf einem direkten Pfad zwischen GPU und DPU übertragen, was bessere Isolierung bietet.
Beschleunigen von AI-on-5G in der Edge
NVIDIA AI-on-5G besteht aus der NVIDIA EGX™-Plattform, dem NVIDIA Aerial™ SDK für softwaredefinierte 5G Virtual Radio Area Networks (vRANs) und KI-Frameworks für Unternehmen, einschließlich SDKs wie NVIDIA Isaac™ und NVIDIA Metropolis™. Diese Plattform ermöglicht es Edge-Geräten wie Videokameras und industriellen Sensoren sowie Robotern, KI zu nutzen und über 5G mit dem Rechenzentrum zu kommunizieren. Konvergierte Karten ermöglichen es, all diese Funktionen in einem einzigen Unternehmensserver bereitzustellen, ohne kostspieligere, speziell entwickelte Systeme bereitstellen zu müssen. Die gleiche konvergierte Karte, die zur Beschleunigung der 5G-Signalverarbeitung verwendet wird, kann auch für Edge-KI verwendet werden, wobei Multi-Instance GPU-Technologie (MIG) von NVIDIA es ermöglicht, die GPU für mehrere verschiedene Anwendungen aufzuteilen.
Ausgewogenes, optimiertes Design
Die Integration von GPU, DPU und PCIe-Switch in einem einzelnen Gerät erzeugt von Natur aus eine ausgewogene Architektur. In Systemen, in denen mehrere GPUs und DPUs gewünscht sind, vermeidet eine konvergierte Beschleunigerkarte Konflikte auf dem PCIe-System des Servers, sodass die Leistung mit zusätzlichen Geräten linear skaliert. Außerdem ist die Leistung durch konvergierte Karten deutlich besser vorhersehbar. Diese Komponenten auf eine physische Karte auszulagern, verbessert zudem den Platzbedarf und die Energieeffizienz. Konvergierte Karten vereinfachen die Bereitstellung und die fortwährende Wartung erheblich, insbesondere bei der Installation in massenorientierten Servern in großem Maßstab.
EINGEBAUTE BLUEFIELD-2 DPU
● 100GbE, Dual Port QSFP56, PCIe 4.0x8, Ethernet und InfiniBand, PAM4/NRZ, ConnectX-6 Dx Innen
● 8 ARM A72 CPUs Subsystem - über 2,0GHz
● 8 MB L2-Cache, 6 MB L3-Cache in 4 Kacheln, vollständig kohärente Verbindung mit niedriger Latenz
● Integrierter PCIe-Switch, 16x Gen4.0, PCIe Root Complex oder End Point Modi
● Einzelner DDR4-Kanal
● 100GbE, Dual Port QSFP56, PCIe 4.0x8, Ethernet und InfiniBand, PAM4/NRZ, ConnectX-6 Dx Innen
● 8 ARM A72 CPUs Subsystem - über 2,0GHz
● 8 MB L2-Cache, 6 MB L3-Cache in 4 Kacheln, vollständig kohärente Verbindung mit niedriger Latenz
● Integrierter PCIe-Switch, 16x Gen4.0, PCIe Root Complex oder End Point Modi
● Einzelner DDR4-Kanal
Entwickler-Ökosystem
NVIDIA Converged Accelerators erweitern die Möglichkeiten der CUDA® und NVIDIA DOCA™ Programmierbibliotheken für Workload-Beschleunigung und Offloading. CUDA-Anwendungen können auf dem x86-Host oder auf dem Arm-Prozessor der DPU für isolierte KI- und Inferencing-Anwendungen ausgeführt werden.
NVIDIA Converged Accelerators erweitern die Möglichkeiten der CUDA® und NVIDIA DOCA™ Programmierbibliotheken für Workload-Beschleunigung und Offloading. CUDA-Anwendungen können auf dem x86-Host oder auf dem Arm-Prozessor der DPU für isolierte KI- und Inferencing-Anwendungen ausgeführt werden.
Entdecken Sie die konvergierten Beschleuniger von NVIDIA
Dieses Gerät ermöglicht die Ausführung von datenintensiven Workloads in der Edge und
im Rechenzentrum bei maximaler Sicherheit und Leistung.
im Rechenzentrum bei maximaler Sicherheit und Leistung.
A30X
A30X kombiniert die NVIDIA A30 Tensor-Core-GPU mit der BlueField-2-DPU. Mit MIG kann die GPU in bis zu vier GPU-Instanzen partitioniert werden, auf denen jeweils ein separater Dienst ausgeführt wird. Das Design dieser Karte bietet eine gute Balance zwischen Rechen- und E/A-Leistung für Anwendungsfälle wie 5G vRAN und KI-basierte Cybersicherheit. Mehrere Dienste können auf der GPU ausgeführt werden und von der geringen Latenz und der vorhersehbaren Leistung des integrierten PCIe-Switches profitieren.
A100X
Die A100X vereint die Leistung der NVIDIA A100 Tensor-Core-GPU mit der BlueField-2-DPU. Mit MIG kann jede A100 in bis zu sieben GPU-Instanzen partitioniert werden, sodass noch mehr Dienste gleichzeitig ausgeführt werden können. A100X ist ideal für Anwendungsfälle mit intensiveren Rechenanforderungen. Beispiele hierfür sind 5G mit umfangreichen MIMO-Funktionen (Multiple-Input and Multiple-Output), AI-on-5G-Bereitstellungen und spezialisierte Workloads wie Signalverarbeitung und Multi-Node-Training.
Die NVIDIA A2 Tensor Core GPU bietet Inferenzen der Einstiegsklasse mit geringem Stromverbrauch, kleinem Platzbedarf und hoher Leistung für intelligente Videoanalyse (IVA) mit NVIDIA AI at the Edge. Mit einer flachen PCIe Gen4 Karte und einer niedrigen konfigurierbaren Thermal Design Power (TDP) von 40-60 Watt (W) bringt die A2 vielseitige Inferenzbeschleunigung auf jeden Server.
Die Vielseitigkeit, die kompakte Größe und der niedrige Stromverbrauch der A2 übertreffen die Anforderungen für Edge-Implementierungen im großen Maßstab, so dass vorhandene CPU-Server der Einstiegsklasse sofort für Inferenzen aufgerüstet werden können. Mit A2 Grafikprozessoren beschleunigte Server bieten eine bis zu 20-fach höhere Inferenzleistung im Vergleich zu CPUs und 1,3-fach effizientere IVA-Implementierungen als frühere GPU-Generationen - und das alles zu einem Einstiegspreis.
NVIDIA-zertifizierte Systeme™ mit den NVIDIA A2, A30 und A100 Tensor-Core-GPUs und NVIDIA AI - einschließlich des NVIDIA Triton™ Inference Server, einer Open-Source-Software für die Inferenzverarbeitung - bieten eine bahnbrechende Inferenzleistung für Edge, Rechenzentrum und Cloud. Sie sorgen dafür, dass KI-fähige Anwendungen mit weniger Servern und weniger Energie auskommen, was zu einfacheren Implementierungen und schnelleren Erkenntnissen bei deutlich geringeren Kosten führt.
Die Vielseitigkeit, die kompakte Größe und der niedrige Stromverbrauch der A2 übertreffen die Anforderungen für Edge-Implementierungen im großen Maßstab, so dass vorhandene CPU-Server der Einstiegsklasse sofort für Inferenzen aufgerüstet werden können. Mit A2 Grafikprozessoren beschleunigte Server bieten eine bis zu 20-fach höhere Inferenzleistung im Vergleich zu CPUs und 1,3-fach effizientere IVA-Implementierungen als frühere GPU-Generationen - und das alles zu einem Einstiegspreis.
NVIDIA-zertifizierte Systeme™ mit den NVIDIA A2, A30 und A100 Tensor-Core-GPUs und NVIDIA AI - einschließlich des NVIDIA Triton™ Inference Server, einer Open-Source-Software für die Inferenzverarbeitung - bieten eine bahnbrechende Inferenzleistung für Edge, Rechenzentrum und Cloud. Sie sorgen dafür, dass KI-fähige Anwendungen mit weniger Servern und weniger Energie auskommen, was zu einfacheren Implementierungen und schnelleren Erkenntnissen bei deutlich geringeren Kosten führt.
Bis zu 7-mal mehr Inferenzleistung
KI-Inferenz wird eingesetzt, um das Leben von Verbrauchern durch intelligente Echtzeit-Erlebnisse zu verbessern und durch Billionen von Endpunktsensoren und Kameras Erkenntnisse zu gewinnen. Im Vergleich zu reinen CPU-Servern bieten Edge- und Einstiegsklasse-Server mit NVIDIA A2 Tensor-Core-GPUs bis zu 20-mal mehr Inferenzleistung und befähigen jeden Server sofort, moderne KI zu bewältigen.
Systemkonfiguration: CPU: HPE DL380 Gen10 Plus, 2S Xeon Gold 6330N @2,2 GHz, 512 GB DDR4
NLP: BERT-Large (Sequenzlänge: 384, SQuAD: v1.1) | TensorRT 8.2, Präzision: INT8, BS:1 (GPU) | OpenVINO 2021.4, Präzision: INT8, BS:1 (CPU)
Text-to-Speech: Tacotron2 + Waveglow End-to-End Pipeline (Eingangslänge: 128) | PyTorch 1.9, Präzision: FP16, BS:1 (GPU) | PyTorch 1.9, Präzision: FP32, BS:1 (CPU)
Computer Vision: EfficientDet-D0 (COCO, 512x512) | TensorRT 8.2, Präzision: INT8, BS:8 (GPU) | OpenVINO 2021.4, Präzision: INT8, BS:8 (CPU)
NLP: BERT-Large (Sequenzlänge: 384, SQuAD: v1.1) | TensorRT 8.2, Präzision: INT8, BS:1 (GPU) | OpenVINO 2021.4, Präzision: INT8, BS:1 (CPU)
Text-to-Speech: Tacotron2 + Waveglow End-to-End Pipeline (Eingangslänge: 128) | PyTorch 1.9, Präzision: FP16, BS:1 (GPU) | PyTorch 1.9, Präzision: FP32, BS:1 (CPU)
Computer Vision: EfficientDet-D0 (COCO, 512x512) | TensorRT 8.2, Präzision: INT8, BS:8 (GPU) | OpenVINO 2021.4, Präzision: INT8, BS:8 (CPU)
Höhere IVA-Leistung für die Intelligente Edge
Server, die mit NVIDIA A2-GPUs ausgestattet sind, bieten bis zu 1,3-mal mehr Leistung bei intelligenten Edge-Anwendungsfällen, einschließlich Smart Cities, Fertigung und Einzelhandel. NVIDIA A2-GPUs, auf denen IVA-Workloads ausgeführt werden, bieten effizientere Bereitstellungen mit bis zu 1,6-mal besserem Preis-Leistungs-Verhältnis und 10 Prozent besserer Energieeffizienz als frühere GPU-Generationen.
IVA-Leistung (normalisiert)
Systemkonfiguration: [Supermicro SYS-1029GQ-TRT, 2S Xeon Gold 6240 @2,6 GHz, 512 GB DDR4, 1x NVIDIA A2 ODER 1x NVIDIA T4] | Gemessene Leistung mit Deepstream 5.1. Netzwerke: ShuffleNet-v2 (224 x 224), MobileNet-v2 (224 x 224). | Pipeline bietet End-to-End-Leistung bei Videoaufnahme und -dekodierung, Vorverarbeitung, Batchverarbeitung, Inferenz und Nachbearbeitung.
Für jeden Server optimiert
Die NVIDIA A2 GPU ist für Inferenz-Workloads und Bereitstellungen in Einstiegsklasse-Servern optimiert, die durch Platz- und Wärmeanforderungen wie 5G-Edge- und Industrieumgebungen eingeschränkt sind. A2 bietet einen kompakten Formfaktor, der mit geringem Energieverbrauch betrieben wird, mit einer TDP von lediglich 60 W bis zu 40 W, was A2 ideal für jeden Server macht.
Geringerer Stromverbrauch und konfigurierbare TDP
Technische Details
Peak FP32 | 4.5 TF |
TF32 Tensor Core | 9 TF | 18 TF¹ |
BFLOAT16 Tensor Core | 18 TF | 36 TF¹ |
Peak INT8 Tensor Core | 36 TOPS | 72 TOPS¹ |
Peak INT4 Tensor Core | 72 TOPS | 144 TOPS¹ |
RT Cores | 10 |
Media engines | 1 video encoder 2 video decoders (includes AV1 decode) |
GPU memory | 16GB GDDR6 |
GPU memory bandwidth | 200GB/s |
Interconnect | 200GB/s |
Form factor | 1-slot, low-profile PCIe |
Max thermal design power (TDP) | 40–60W (configurable) |
Virtual GPU (vGPU) software support² | NVIDIA Virtual PC (vPC), NVIDIA Virtual Applications (vApps), NVIDIA RTX Virtual Workstation (vWS), NVIDIA AI Enterprise, NVIDIA Virtual Compute Server (vCS) |