NVIDIA Virtual ​​​​​​​Compute Server

GPU-Sharing (fraktioniert) ist nur mit der NVIDIA vGPU-Technologie möglich. Sie ermöglicht es mehreren VMs, einen Grafikprozessor gemeinsam zu nutzen und die Auslastung für leichtere Workloads zu maximieren, für die eine Grafikprozessorbeschleunigung erforderlich ist.

Bei der GPU-Aggregation kann eine VM auf mehrere Grafikprozessoren zugreifen, was häufig für rechenintensive Workloads erforderlich ist. vCS unterstützt sowohl Multi-vGPU als auch Peer-to-Peer-Computing. Bei Multi-vGPU sind die Grafikprozessoren nicht direkt verbunden. Bei Peer-to-Peer sind sie zum Erzielen einer höheren Bandbreite durch NVLink verbunden.

vCS unterstützt die Überwachung auf App-, Gast- und Hostebene. Darüber hinaus bieten proaktive Verwaltungsfunktionen die Möglichkeit, eine Live-Migration durchzuführen, Schwellenwerte zu unterbrechen und wieder aufzunehmen und zu erstellen. Diese Schwellenwerte zeigen die Verbrauchstrends, die sich auf die Nutzererfahrung auswirken. Das alles ist in der vGPU Management SDK möglich.

NVIDIA GPU Cloud (NGC) ist ein Hub für grafikprozessoroptimierte Software, die Workflows für Deep Learning, maschinelles Lernen und HPC vereinfacht und jetzt virtualisierte Umgebungen mit NVIDIA vCS unterstützt.

NVIDIA® NVLink™ ist eine schnelle, direkte GPU-zu-GPU-Verbindung, die eine höhere Bandbreite, mehr Verbindungen und eine verbesserte Skalierbarkeit für Systemkonfigurationen mit mehreren Grafikprozessoren bietet – jetzt virtuell unterstützt mit NVIDIA-Technologie für virtuelle Grafikprozessoren (vGPU).

Der Fehlerkorrekturcode (ECC) und Page Retirement bieten eine höhere Zuverlässigkeit für Rechenanwendungen, die für Datenbeschädigungen anfällig sind. Sie sind besonders wichtig in umfangreichen Cluster-Computing-Umgebungen, in denen Grafikprozessoren sehr umfangreiche Datensätze verarbeiten und/oder Anwendungen über einen längeren Zeitraum ausführen.

Multi-Instance-Grafikprozessoren (MIG) stellen eine revolutionäre Technologie dar, mit der die Möglichkeiten des Rechenzentrums erweitert werden können, sodass jeder NVIDIA A100 Tensor Core-Grafikprozessor in bis zu sieben vollständig isolierte Instanzen aufgeteilt und auf Hardware-Level mit eigenem Speicher, Cache und Rechenkernen mit hoher Bandbreite gesichert werden kann. Mit der vCS-Software kann eine VM auf jeder dieser MIG-Instanzen ausgeführt werden, sodass Organisationen die Vorteile von Management, Überwachung und betrieblichen Vorteilen der Hypervisor-basierten Servervirtualisierung nutzen können.

GPUDirect® Mit RDMA (Remote Direct Speicher Access) können Netzwerkgeräte direkt auf den Grafikprozessorspeicher zugreifen, wobei der Hostspeicher der CPU umgangen, die Kommunikationslatenz von Grafikprozessoren verringert und die CPU vollständig abgeladen wurde.