DIE GRÖSSTEN UND PROFITABELSTEN UNTERNEHMEN DER WELT
​​​​​​​SIND DATENGESTEUERT.
​​​​​​​WERDEN SIE EIN DATENGESTEUERTES ECHTZEIT-UNTERNEHMEN!

Datenwissenschaftler verbringen viel Zeit mit der Auswertung von Daten, die durch Machine Learning (ML)-Experimente iteriert wurden. Jede Stunde, die für die Untersuchung von Datensätzen, das Extrahieren von Merkmalen und das Anpassen von ML-Algorithmen benötigt wird, verlängert die Zeit, die es braucht, um robuste Ergebnisse zu erhalten.

WARUM SIND DATENANALYSE UND
​​​​​​​MASCHINELLES LERNEN WICHTIG?

Unternehmen sind zunehmend datengesteuert - sie erfassen Markt- und Umgebungsdaten durch Analyse und maschinelles Lernen, um komplexe Muster zu erkennen, Veränderungen zu identifizieren und Vorhersagen zu treffen, die sich direkt auf die Leistung auswirken. Das Management eines Unternehmens durch datengesteuerte Prozesse ist unerlässlich geworden, um an der Spitze der Branche zu bleiben. Datengesteuerte Unternehmen müssen eine Vielzahl von Daten verwalten.

Rapids Introducing Image

WARUM JETZT?

Die Verfügbarkeit von Open-Source-Software für Datenanalyse und maschinelles Lernen im großen Stil, wie z. B. Hadoop, NumPy, Scikit Learning, Pandas und Spark, haben die Big-Data-Revolution ausgelöst. Große Unternehmen aus riesigen Branchen wie dem Einzelhandel, dem Finanzwesen, dem Gesundheitswesen und der Logistik haben die Datenanalyse übernommen, um ihre Wettbewerbsfähigkeit, Reaktionsfähigkeit und Effizienz zu verbessern. Wenige Prozent Verbesserungen könnten sich auf ihr Endergebnis in Milliardenhöhe auswirken. Datenanalyse und maschinelles Lernen sind heute das größte HPC-Segment.

DIE AKTUELLE SITUATION

Für Unternehmen, die wettbewerbsfähig bleiben wollen, ist es nicht einfach, aus immer größeren Datenmengen zu lernen, die Komplexität der Analyse zu bewältigen oder mit siloartigen Analyselösungen Schritt zu halten, während sie auf einer veralteten Infrastruktur arbeiten. Was nützen wertvolle Daten, wenn die Datenanalyse viel zu lange dauert? Schnell zur Verfügung gestellte Ergebnisse hätten Wertverluste vermieden, mögliche Gewinne wären erzielbar gewesen, Betrugsschäden wären durch schnellere Reaktionen verhindert worden.

WAS IST DAS EIGENTLICHE PROBLEM?

Heutige Data-Science-Probleme erfordern einen dramatischen Anstieg des Datenumfangs
​​​​​​​sowie der für die Verarbeitung erforderlichen Rechenleistung.

Datascientist Image

WAS IST DAS PROBLEM, DAS RAPIDS LÖST?

Nimm nicht ein Kind für den Job eines starken Mannes, nimm nicht eine CPU für den Job einer schnellen GPU! Während sich die Datenmenge auf der Welt jedes Jahr verdoppelt, ist das CPU-Computing mit dem Ende des Mooreschen Gesetzes an eine Mauer gestoßen. Aus den gleichen Gründen haben sich wissenschaftliches Rechnen und Deep Learning der NVIDIA GPU-Beschleunigung zugewandt, Datenanalyse und maschinelles Lernen, wo GPU-Beschleunigung ideal ist.

WAS SIND RAPIDS?

RAPIDS basiert auf mehr als 15 Jahren Erfahrung in der NVIDIA® CUDA® Entwicklung und im maschinellen Lernen. Es ist eine leistungsstarke neue Software für die Ausführung von End-to-End Data Science-Trainings-Pipelines komplett im Grafikprozessor, wodurch die Trainingszeit von Tagen auf Minuten reduziert wird.
NVIDIA hat RAPIDS entwickelt - eine Open-Source-Plattform zur Beschleunigung von Datenanalyse und maschinellem Lernen. RAPIDS basiert auf Python, hat Pandas- und Scikit-Learn-ähnliche Schnittstellen, baut auf dem In-Memory-Datenformat Apache Arrow auf und kann von 1 über Multi-GPU bis hin zu mehreren Knoten skalieren.

RAPIDS lassen sich leicht in die weltweit beliebtesten Python-basierten Data-Science-Workflows integrieren. RAPIDS beschleunigen die Datenwissenschaft durchgängig - von der Datenvorbereitung über das maschinelle Lernen bis hin zum Deep Learning. Und über Arrow können Spark-Benutzer Daten zur Beschleunigung einfach in die RAPIDS-Plattform verschieben.

Rapids Software Stack Image

GIBT ES EINE LÖSUNG, DIE DIE VERARBEITUNG DEUTLICH BESCHLEUNIGT?

Ja, jetzt mit NVIDIAs Bestreben, die GPU-Beschleunigung in Machine Learning und High-Performance Data Analytics (ML/HPDA) voranzutreiben, berichtet das Unternehmen, dass die RAPIDS-Plattform mit dem XGBoost-Machine-Learning-Algorithmus für das Training auf einem NVIDIA DGX-2-Supercomputer im Vergleich zu reinen CPU-Systemen eine 50x fache Beschleunigung liefert.
So kann RAPIDS für die Datenwissenschaft die Rechenzeiten von Tagen auf Minuten reduzieren.

DIESE ANWENDUNGEN PROFITIEREN
​​​​​​​VON DER VERWENDUNG VON RAPIDS:

  • Große Daten
  • Prognosen, Trends, Vorhersagen
  • Mustererkennung
  • Kreditkartenerkennung
  • Risikomanagement

AM BESTEN MIT DIESEN FRAMEWORKS VERWENDET WERDEN:

Apache Hadoop Framework Logo
Apache Spark Framework Logo
Apache Arrow Framework Logo
Python Logo
Pandas Framework Logo
Scikit Framework Logo

STEIGERUNG DER DATA-SCIENCE-LEISTUNG MIT RAPIDS

RAPIDS erreicht Beschleunigungsfaktoren von 50x oder mehr bei typischen End-to-End Data Science Workflows.
RAPIDS nutzt NVIDIA CUDA für die hochleistungsfähige GPU-Ausführung und macht diese GPU-Parallelität und die hohe Speicherbandbreite über benutzerfreundliche Python-Schnittstellen zugänglich. RAPIDS konzentriert sich auf gängige Datenaufbereitungsaufgaben für Analytik und Data Science und bietet eine leistungsstarke und vertraute Data Frame-API.
Diese API lässt sich in eine Vielzahl von Algorithmen für maschinelles Lernen integrieren, ohne dass typische Serialisierungskosten anfallen, und ermöglicht so die Beschleunigung von End-to-End-Pipelines. RAPIDS bietet außerdem Unterstützung für Multi-Node- und Multi-GPU-Implementierungen und ermöglicht so die Skalierung auf viel größere Datensätze.
Der RAPIDS-Container enthält ein Notebook und Code, der einen typischen End-to-End-ETL- und ML-Workflow demonstriert.
Das Beispiel trainiert ein Modell zur Risikobewertung von Hauskrediten unter Verwendung aller Kreditdaten für die Jahre 2000 bis 2016 im Fannie Mae Loan Performance Dataset, bestehend aus etwa 400 GB Daten im Speicher.
​​​​​​​Die folgende Abbildung zeigt die geografische Visualisierung

Rapids Gpu Boost Statistics Image

Das Beispiel lädt die Daten in den GPU-Speicher mithilfe des RAPIDS-CSV-Readers. Der ETL in diesem Beispiel führt eine Reihe von Operationen durch, darunter das Extrahieren von Monaten und Jahren aus Datetime-Feldern, Joins von mehreren Spalten zwischen DataFrames und Groupby-Aggregationen für das Feature-Engineering. Die resultierenden Merkmalsdaten werden dann konvertiert und zum Trainieren eines Gradient-Boosted-Entscheidungsbaummodells auf der GPU mit XGBoost verwendet.

Dieser Workflow läuft Ende-zu-Ende auf einem einzigen NVIDIA DGX-2-Server mit 16x Tesla V100-GPUs, 10x schneller als 100 AWS r4.2xLarge-Instanzen, wie das folgende Diagramm zeigt. Vergleicht man die GPU- mit der CPU-Leistung eins zu eins, entspricht dies einem Geschwindigkeitszuwachs von weit über 50x.​​​​​​​

GPU ANSATZ

Einer der größten Wettbewerbsvorteile, den NVIDIA in diesem Bereich genießt, ist ein riesiges Ökosystem, das rund um CUDA aufgebaut ist. Hardware-Anbieter unterstützen NVIDIA GPUs, während Software-Anbieter und die Open-Source-Communities NVIDIA CUDA und die darauf basierenden GPUs unterstützen. Daher hat das Unternehmen einen beträchtlichen Vorsprung auf dem Markt für Deep Learning Training und Inferencing und baut diesen Vorsprung mit RAPIDS weiter aus. Wie bereits erwähnt, können die viel zu langen Laufzeiten für bisherige Datenanalysen durch den Einsatz von GPU-Prozessoren drastisch verkürzt werden. RAPIDS ermöglicht den Einsatz von blitzschnellen GPU-Prozessoren anstelle von langsamen x86-Prozessoren, wobei letztere weiterhin für allgemeine Betriebssystemaufgaben zuständig sind.

Rapids Benchmark ImageRapids Reimagining Image
Rapids Workflow Image

EMPFOHLENE  HARDWARE

RAPIDS EMPFOHLENE KONFIGURATIONEN

RAPIDS Einsatzphase
Empfohlene GPU Konfiguration
Minimum CPU Kerne
Minimaler Hauptspeicher
Boot Laufwerk
Lokale Datenspeicherung
Vernetzungsanschluss
Development
2 x Quadro GV100 & NVLINK
10
128 GB
500GB SSD
2TB SSD
1GbE / 10GbE
Development & Production
4x V100 & NVLINK
20
256 GB
500GB SSD
4TB SSD
1GbE / 10GbE
Production
4x V100 SXM2 & NVLINK
20
256 GB
500GB SSD
4TB SSD
10GbE / 100GbE/IB
Production
8x V100 SXM2 & NVLINK
40
512 GB
500GB SSD
4TB SSD / NVMe
10GbE / 100GbE/IB
Production
16x V100 SXM3 & NVSWITCH
56
1 TB
500GB SSD
10TB SSD / NVMe
40GbE / 100GbE/IB

DEVELOPMENT SYSTEMS

Als Entwicklungssysteme bietet Ihnen sysGen den devCube an. Der devCube ist ein gut getestetes und bewährtes System, das von vielen unserer Kunden für Deep-Learning-Aufgaben eingesetzt wird.

PRODUCTION SYSTEMS

Produktive Server sind den hohen Anforderungen des Dauerbetriebs und der konstanten Auslastung gewidmet. Redundante Netzteile und Komponenten der Enterprise-Klasse gehören zu unserem Service.

System Modell
CPU
ARBEITSSPEICHER
Speicher (OS)
Speicher (Daten)
Grafikkarten
Vernetzungsanschluss
Frei konfigurierbar?
NVIDIA DGX-1
2x Intel Xeon E5.2698 v4
512GB DDR4 ECC reg
480GB SATA SSD
4x 1,92TB SATA SSD (RAID0)
8x NVIDIA Tesla V100 NVLink
2x 10 Gigabit LAN, 4x Infiniband EDR 100 Gbit/s
Nein
NVIDIA DGX-2
2x Intel Xeon Platinum 8168
1,5TB DDR4 ECC reg
2x 960GB NVME SSD
8x 3,84TB NVME SSDs
16x NVIDIA Tesla V100 NVLink
2x 10/25 Gigabit Ethernet, 8x Infiniband/Ethernet EDR 100 Gbit/s
Nein

OPTIMIERTER  SOFTWARE STACK

NVIDIA RAPIDS enthält CUDF, CUML und CUGRAPH als Kernwerkzeuge. Mit cuDF können Sie Ihre Rohdaten vorbereiten und aufbereiten. Anschließend verwendet cuML einen optimierten Trainingsalgorithmus für Machine-Learning-Modelle, um die aufbereiteten Daten zu verarbeiten. Anschließend werden Ihre Daten visualisiert und Ihnen angezeigt.

APACHE ARROW

Apache Arrow ist eine spaltenförmige In-Memory-Datenstruktur, die einen effizienten und schnellen Datenaustausch mit Flexibilität zur Unterstützung komplexer Datenmodelle bietet.

CUDF

Die RAPIDS cuDF-Bibliothek ist eine auf Apache Arrow basierende DataFrame-Manipulationsbibliothek, die das Laden, Filtern und Manipulieren von Daten für die Vorbereitung von Modelltrainingsdaten beschleunigt. Die Python-Bindungen der Core-beschleunigten CUDA DataFrame-Manipulationsprimitive spiegeln die Pandas-Schnittstelle für ein nahtloses Onboarding von Pandas-Benutzern.

Softwarestack Image

CUML

RAPIDS cuML ist eine Sammlung von GPU-beschleunigten Bibliotheken für maschinelles Lernen, die GPU-Versionen aller in scikit-learn verfügbaren Algorithmen für maschinelles Lernen zur Verfügung stellen wird.

CUGRAPH

Dabei handelt es sich um ein Framework und eine Sammlung von Graph-Analytics-Bibliotheken, die sich nahtlos in die RAPIDS Data Science Plattform integrieren.

DEEP LEARNING BIBLIOTHEKEN

RAPIDS bietet native array_interface-Unterstützung. Das bedeutet, dass in Apache Arrow gespeicherte Daten nahtlos an Deep-Learning-Frameworks mit array_interfache wie PyTorch und Chainer weitergegeben werden können.

VISUALISIERUNGSBIBLIOTHEKEN IN KÜRZE

RAPIDS wird eng integrierte Datenvisualisierungsbibliotheken enthalten, die auf Apache Arrow basieren. Das native GPU-In-Memory-Datenformat bietet eine hochleistungsfähige Datenvisualisierung mit hohen FPS, selbst bei sehr großen Datensätzen.
Diese Info basiert auf den zugänglichen Informationen von NVIDIA

EINFÜHRUNG VON RAPIDS

Im Rahmen der GPU Technology Conference in München hat der Grafikkartenhersteller Nvidia die Open-Source-Plattform Rapids vorgestellt. Sie richtet sich vor allem an Anwender aus den Bereichen Data Science und Machine Learning und stellt eine Sammlung von Bibliotheken dar, die eine GPU-beschleunigte Datenanalyse ermöglichen sollen. Neben Nvidia haben auch Unternehmen wie IBM, HPE, Oracle und Databricks ihre Unterstützung für das Projekt angekündigt.
Wie der Grafikkartenhersteller erklärt, basiert Rapids auf Cuda, der hauseigenen Plattform für parallele Programmierung. Die neue Plattform soll es Entwicklern ermöglichen, End-to-End-Pipelines für die Datenanalyse zu erstellen. Nvidia hat auf dem DGX-2-Supercomputer bis zu 50 Mal schnellere Ergebnisse im Vergleich zu Systemen erzielt, die nur auf CPUs setzen. Die Plattform baut auf bekannten Open-Source-Projekten wie Apache Arrow, pandas und scikit-learn auf und soll GPU-Beschleunigung in beliebte Python-Toolchains bringen. Eine Integration mit Apache Spark ist ebenfalls geplant.
NVIDIA arbeitet seit zwei Jahren mit Mitgliedern der Python-Community an der Erstellung von Rapids. Derzeit besteht die Sammlung aus einer Python GPU DataFrame-Bibliothek, einer C GPU DataFrame-Bibliothek und Alpha-Versionen einer cuML- und cuDF-Bibliothek. Laut NVIDIA-Gründer Jensen Huang soll das Gesamtpaket die Arbeit in den Bereichen Datenanalyse und maschinelles Lernen voranbringen.
Das gesamte Rapids-Projekt ist auf GitHub zu finden. Weitere Informationen inklusive Installationsanweisungen sind auf der offiziellen Website zu finden. Unternehmen wie Walmart nutzen die neue Plattform bereits.