In seiner Keynote auf der GTC kündigte NVIDIA-Gründer und CEO Jensen Huang den NVIDIA Omniverse Replicator an, eine Maschine zur Erzeugung synthetischer Daten mit Ground Truth für das Training von KI-Netzwerken. In einer Demo zeigte Huang die Leistungsfähigkeit von Omniverse Replicator bei der Entwicklung autonomer Fahrzeuge mit DRIVE Sim.
DRIVE Sim
DRIVE Sim ist ein auf Omniverse aufbauendes Simulationswerkzeug, das die zahlreichen Möglichkeiten der Plattform nutzt. Die von DRIVE Sim generierten Daten werden zum Trainieren von tiefen neuronalen Netzen verwendet, die die Wahrnehmungssysteme in autonomen Fahrzeugen bilden. Für das NVIDIA DRIVE-Team sind synthetische Daten ein effektiver und wichtiger Bestandteil des AV-Entwicklungsprozesses.
Die tiefen neuronalen Netze, die die Wahrnehmung eines autonomen Fahrzeugs steuern, bestehen aus zwei Teilen: einem algorithmischen Modell und den Daten, die zum Training dieses Modells verwendet werden. Die Ingenieure haben viel Zeit darauf verwendet, die Algorithmen zu verfeinern. Die Datenseite der Gleichung ist jedoch immer noch unterentwickelt, da die Daten aus der realen Welt unvollständig, zeitaufwändig und kostspielig zu sammeln sind.
Dieses Ungleichgewicht führt oft zu einem Stillstand in der DNN-Entwicklung und behindert den Fortschritt, wenn die Daten den Anforderungen des Modells nicht genügen. Mit der Generierung synthetischer Daten haben die Entwickler mehr Kontrolle über die Datenentwicklung und können sie auf die spezifischen Anforderungen des Modells abstimmen.
Reale Daten sind zwar eine wichtige Komponente für das Training, Testen und die Validierung von AV, stellen aber auch eine große Herausforderung dar. Die Daten, die zum Trainieren dieser Netzwerke verwendet werden, werden von Sensoren in einer Fahrzeugflotte während realer Fahrten gesammelt. Nach der Erfassung müssen die Daten mit der Grundwahrheit beschriftet werden. Die Beschriftung wird von Tausenden von Beschriftern von Hand vorgenommen - ein zeitaufwändiger und kostspieliger Prozess, der zudem ungenau sein kann.
Die Ergänzung der realen Datenerfassung durch synthetische Daten beseitigt diese Engpässe und ermöglicht den Ingenieuren einen datengesteuerten Ansatz bei der DNN-Entwicklung, was die AV-Entwicklung erheblich beschleunigt und die realen Ergebnisse verbessert.
Die tiefen neuronalen Netze, die die Wahrnehmung eines autonomen Fahrzeugs steuern, bestehen aus zwei Teilen: einem algorithmischen Modell und den Daten, die zum Training dieses Modells verwendet werden. Die Ingenieure haben viel Zeit darauf verwendet, die Algorithmen zu verfeinern. Die Datenseite der Gleichung ist jedoch immer noch unterentwickelt, da die Daten aus der realen Welt unvollständig, zeitaufwändig und kostspielig zu sammeln sind.
Dieses Ungleichgewicht führt oft zu einem Stillstand in der DNN-Entwicklung und behindert den Fortschritt, wenn die Daten den Anforderungen des Modells nicht genügen. Mit der Generierung synthetischer Daten haben die Entwickler mehr Kontrolle über die Datenentwicklung und können sie auf die spezifischen Anforderungen des Modells abstimmen.
Reale Daten sind zwar eine wichtige Komponente für das Training, Testen und die Validierung von AV, stellen aber auch eine große Herausforderung dar. Die Daten, die zum Trainieren dieser Netzwerke verwendet werden, werden von Sensoren in einer Fahrzeugflotte während realer Fahrten gesammelt. Nach der Erfassung müssen die Daten mit der Grundwahrheit beschriftet werden. Die Beschriftung wird von Tausenden von Beschriftern von Hand vorgenommen - ein zeitaufwändiger und kostspieliger Prozess, der zudem ungenau sein kann.
Die Ergänzung der realen Datenerfassung durch synthetische Daten beseitigt diese Engpässe und ermöglicht den Ingenieuren einen datengesteuerten Ansatz bei der DNN-Entwicklung, was die AV-Entwicklung erheblich beschleunigt und die realen Ergebnisse verbessert.
Das Problem der Lücke zwischen Simulations- und Realbereich
Die Generierung synthetischer Daten ist ein bekanntes Werkzeug für das KI-Training - bereits 2016 haben Forscher mit Videospielen wie Grand Theft Auto experimentiert, um Daten zu erzeugen.
Im Gegensatz zu Videospielen wird die Qualität von DNNs jedoch stark von der Übereinstimmung der Daten mit der realen Welt beeinflusst - das Training auf Datensätzen, die sich nicht auf die physische Welt übertragen lassen, kann die Leistung eines Netzwerks sogar verschlechtern.
Diese Diskrepanz zwischen Simulation und Realität äußert sich in erster Linie auf zwei Arten. Eine Lücke im Erscheinungsbild entspricht den Unterschieden auf Pixelebene zwischen dem simulierten Bild und dem realen Bild, die dadurch verursacht werden, wie der Simulator die Daten generiert. Der Renderer, das Sensormodell, die Wiedergabetreue der 3D-Assets und die Materialeigenschaften können alle dazu beitragen.
Eine inhaltliche Lücke kann durch die fehlende Vielfalt der realen Inhalte und durch Unterschiede zwischen dem Simulations- und dem realen Kontext verursacht werden. Diese Unstimmigkeiten treten auf, wenn der Kontext einer Szene nicht mit der Realität übereinstimmt. So gibt es in der realen Welt beispielsweise verschmutzte Straßen, verbeulte Autos und Einsatzfahrzeuge am Straßenrand, die in der Simulation wiedergegeben werden müssen. Ein weiterer wichtiger Faktor ist das Verhalten der Akteure, z. B. des Verkehrs und der Fußgänger - realistische Interaktionen sind der Schlüssel zu einer realistischen Datenausgabe.Hier Text einfügen
Im Gegensatz zu Videospielen wird die Qualität von DNNs jedoch stark von der Übereinstimmung der Daten mit der realen Welt beeinflusst - das Training auf Datensätzen, die sich nicht auf die physische Welt übertragen lassen, kann die Leistung eines Netzwerks sogar verschlechtern.
Diese Diskrepanz zwischen Simulation und Realität äußert sich in erster Linie auf zwei Arten. Eine Lücke im Erscheinungsbild entspricht den Unterschieden auf Pixelebene zwischen dem simulierten Bild und dem realen Bild, die dadurch verursacht werden, wie der Simulator die Daten generiert. Der Renderer, das Sensormodell, die Wiedergabetreue der 3D-Assets und die Materialeigenschaften können alle dazu beitragen.
Eine inhaltliche Lücke kann durch die fehlende Vielfalt der realen Inhalte und durch Unterschiede zwischen dem Simulations- und dem realen Kontext verursacht werden. Diese Unstimmigkeiten treten auf, wenn der Kontext einer Szene nicht mit der Realität übereinstimmt. So gibt es in der realen Welt beispielsweise verschmutzte Straßen, verbeulte Autos und Einsatzfahrzeuge am Straßenrand, die in der Simulation wiedergegeben werden müssen. Ein weiterer wichtiger Faktor ist das Verhalten der Akteure, z. B. des Verkehrs und der Fußgänger - realistische Interaktionen sind der Schlüssel zu einer realistischen Datenausgabe.Hier Text einfügen
Omniverse Replicator zur Verkleinerung der Lücke zwischen Simulation und Realität
Hier setzt Omniverse Replicator an. Er wurde entwickelt, um die Lücke zwischen Aussehen und Inhalt zu schließen. Um die Diskrepanz zwischen Aussehen und Inhalt zu verringern, nutzt DRIVE Sim den RTX Path-Tracing Renderer von Omniverse, um physikalisch basierte Sensordaten für Kameras, Radare, Lidare und Ultraschallsensoren zu erzeugen. In den Sensordaten werden reale Effekte erfasst, darunter Phänomene wie LED-Flimmern, Bewegungsunschärfe, Rolling Shutter, Lidar-Strahldivergenz und Dopplereffekt. Zu diesen Details gehört sogar eine realitätsgetreue Fahrzeugdynamik, die wichtig ist, weil beispielsweise die Bewegung eines Fahrzeugs während eines Lidar-Scans Auswirkungen auf die resultierende Punktwolke hat.
Die andere Hälfte dieser Sensorgleichung sind die Materialien. Die Materialien in DRIVE Sim werden physikalisch simuliert, um genaue Strahlreflexionen zu erhalten. DRIVE Sim enthält eine eingebaute Lidar-Materialbibliothek und eine in Kürze erscheinende Radar- und Ultraschall-Materialbibliothek.
Die andere Hälfte dieser Sensorgleichung sind die Materialien. Die Materialien in DRIVE Sim werden physikalisch simuliert, um genaue Strahlreflexionen zu erhalten. DRIVE Sim enthält eine eingebaute Lidar-Materialbibliothek und eine in Kürze erscheinende Radar- und Ultraschall-Materialbibliothek.
.png)
Eine der wichtigsten Möglichkeiten, die Lücke bei den Inhalten zu schließen, sind vielfältigere Inhalte mit einem Höchstmaß an Originaltreue. DRIVE Sim nutzt die Möglichkeiten von Omniverse, um sich mit einer Vielzahl von Tools zur Erstellung von Inhalten zu verbinden. Für die Erstellung geeigneter Szenen muss jedoch auch der richtige Kontext gegeben sein.
Unter der Oberfläche organisiert Omniverse Replicator die Daten für eine schnelle Szenenmanipulation mit Hilfe einer Fähigkeit, die als Domain Randomization bezeichnet wird. DRIVE Sim enthält Werkzeuge für diesen Vorgang und die Szenenkonstruktion, die eine große Menge unterschiedlicher Daten erzeugen und dabei den realen Kontext beibehalten. Da Omniverse Replicator auch zeitlich genau und deterministisch ist, kann der Datensatz auf wiederholbare Weise erstellt werden.
Unter der Oberfläche organisiert Omniverse Replicator die Daten für eine schnelle Szenenmanipulation mit Hilfe einer Fähigkeit, die als Domain Randomization bezeichnet wird. DRIVE Sim enthält Werkzeuge für diesen Vorgang und die Szenenkonstruktion, die eine große Menge unterschiedlicher Daten erzeugen und dabei den realen Kontext beibehalten. Da Omniverse Replicator auch zeitlich genau und deterministisch ist, kann der Datensatz auf wiederholbare Weise erstellt werden.
Echte Ergebnisse
DRIVE Sim hat bereits bedeutende Ergebnisse bei der Beschleunigung der Wahrnehmungsentwicklung mit synthetischen Daten bei NVIDIA erzielt.
Ein Beispiel ist die Umstellung auf das neueste NVIDIA DRIVE Hyperion Sensor-Set. Die NVIDIA DRIVE Hyperion 8-Plattform umfasst Sensoren für die komplette AV-Entwicklung in der Produktion. Noch bevor diese Sensoren verfügbar waren, konnte das NVIDIA DRIVE Team DNNs für die Plattform mit synthetischen Daten erstellen. DRIVE Sim generierte Millionen von Bildern und Echtdaten für das Training. So waren die Netzwerke sofort nach der Installation der Sensoren einsatzbereit und sparten wertvolle Monate an Entwicklungszeit.
In einem anderen Fall hatte das PathNet DNN, das befahrbare Fahrspuren erkennt, Schwierigkeiten, einen Pfad zu bestimmen, wenn sich das Fahrzeug nicht in der Mitte der Fahrspur befand. Die Erfassung solcher Daten ist schwierig, da das teilweise Verlassen der Fahrspur gefährlich ist (und gegen die Datenerfassungsrichtlinien von NVIDIA verstößt). Durch das Trainieren des Netzwerks mit Millionen von synthetischen Bildern von nicht zentrierten Fahrspuren konnte DRIVE Sim die Genauigkeit von PathNet erheblich verbessern.
Das Gleiche gilt für LightNet, das Ampeln erkennt, und SignNet, das Straßenschilder erkennt und klassifiziert. Diese Netze hatten Schwierigkeiten, Ampeln in extremen Winkeln zu erkennen, und klassifizierten Schilder unter bestimmten Bedingungen falsch, weil ihnen die Daten fehlten. Die Ingenieure waren in der Lage, Daten zu entwickeln, um die realen Datensätze zu erweitern und die Leistung zu verbessern.
Durch das Training beider DNNs mit synthetischen Daten, die diese Problembereiche abdeckten, verbesserte sich die Leistung schnell und Engpässe im Entwicklungsprozess wurden beseitigt.
Ein Beispiel ist die Umstellung auf das neueste NVIDIA DRIVE Hyperion Sensor-Set. Die NVIDIA DRIVE Hyperion 8-Plattform umfasst Sensoren für die komplette AV-Entwicklung in der Produktion. Noch bevor diese Sensoren verfügbar waren, konnte das NVIDIA DRIVE Team DNNs für die Plattform mit synthetischen Daten erstellen. DRIVE Sim generierte Millionen von Bildern und Echtdaten für das Training. So waren die Netzwerke sofort nach der Installation der Sensoren einsatzbereit und sparten wertvolle Monate an Entwicklungszeit.
In einem anderen Fall hatte das PathNet DNN, das befahrbare Fahrspuren erkennt, Schwierigkeiten, einen Pfad zu bestimmen, wenn sich das Fahrzeug nicht in der Mitte der Fahrspur befand. Die Erfassung solcher Daten ist schwierig, da das teilweise Verlassen der Fahrspur gefährlich ist (und gegen die Datenerfassungsrichtlinien von NVIDIA verstößt). Durch das Trainieren des Netzwerks mit Millionen von synthetischen Bildern von nicht zentrierten Fahrspuren konnte DRIVE Sim die Genauigkeit von PathNet erheblich verbessern.
Das Gleiche gilt für LightNet, das Ampeln erkennt, und SignNet, das Straßenschilder erkennt und klassifiziert. Diese Netze hatten Schwierigkeiten, Ampeln in extremen Winkeln zu erkennen, und klassifizierten Schilder unter bestimmten Bedingungen falsch, weil ihnen die Daten fehlten. Die Ingenieure waren in der Lage, Daten zu entwickeln, um die realen Datensätze zu erweitern und die Leistung zu verbessern.
Durch das Training beider DNNs mit synthetischen Daten, die diese Problembereiche abdeckten, verbesserte sich die Leistung schnell und Engpässe im Entwicklungsprozess wurden beseitigt.
Sehen, was der Mensch nicht sehen kann
Synthetische Daten verändern das Wesen der DNN-Entwicklung. Sie sind zeit- und kosteneffizient und bieten Ingenieuren die Freiheit, bei Bedarf einen maßgeschneiderten Datensatz zu erstellen.
Entwickler können Elemente wie Wetter, Beleuchtung, Fußgänger, Straßenverschmutzung und vieles mehr angeben. Sie können auch die Verteilung der Elemente steuern, z. B. eine bestimmte Mischung aus Lastwagen, Bussen, Autos und Motorrädern in einem bestimmten Datensatz festlegen.
Synthetische Daten liefern die Grundwahrheit, die Menschen nicht benennen können. Beispiele hierfür sind Tiefeninformationen, Geschwindigkeit und Multisensor-Tracking. Diese Basisinformationen können die Wahrnehmungsfähigkeiten erheblich verbessern.
Sie erleichtern auch die Beschriftung von Komponenten, die schwer oder gar nicht zu ermitteln sind. Ein Fußgänger, der hinter einem Auto läuft, kann beispielsweise von einem Menschen nicht richtig erkannt werden, wenn er verdeckt ist. Mit der Simulation ist die Grundwahrheit jedoch automatisch verfügbar und auf Pixelebene genau, auch wenn die Informationen für den Menschen nicht sichtbar sind.
Entwickler können Elemente wie Wetter, Beleuchtung, Fußgänger, Straßenverschmutzung und vieles mehr angeben. Sie können auch die Verteilung der Elemente steuern, z. B. eine bestimmte Mischung aus Lastwagen, Bussen, Autos und Motorrädern in einem bestimmten Datensatz festlegen.
Synthetische Daten liefern die Grundwahrheit, die Menschen nicht benennen können. Beispiele hierfür sind Tiefeninformationen, Geschwindigkeit und Multisensor-Tracking. Diese Basisinformationen können die Wahrnehmungsfähigkeiten erheblich verbessern.
Sie erleichtern auch die Beschriftung von Komponenten, die schwer oder gar nicht zu ermitteln sind. Ein Fußgänger, der hinter einem Auto läuft, kann beispielsweise von einem Menschen nicht richtig erkannt werden, wenn er verdeckt ist. Mit der Simulation ist die Grundwahrheit jedoch automatisch verfügbar und auf Pixelebene genau, auch wenn die Informationen für den Menschen nicht sichtbar sind.
Den Weg frei machen für die Zukunft
Als modulare, offene und erweiterbare Plattform für die Erzeugung synthetischer Daten bietet Omniverse Replicator Deep-Learning-Ingenieuren leistungsstarke neue Funktionen. DRIVE Sim nutzt diese neuen Funktionen, um AV-Entwicklern die ultimative Flexibilität und Effizienz bei Simulationstests zu bieten.
Es ermöglicht Ingenieuren, die Datensätze zu erstellen, die sie benötigen, um ihre Arbeit zu beschleunigen.
Das Ergebnis sind DNNs, die genauer sind und in kürzerer Zeit entwickelt werden können, so dass die Technologie für sicheres und effizientes autonomes Fahren schneller auf die Straße kommt.
Es ermöglicht Ingenieuren, die Datensätze zu erstellen, die sie benötigen, um ihre Arbeit zu beschleunigen.
Das Ergebnis sind DNNs, die genauer sind und in kürzerer Zeit entwickelt werden können, so dass die Technologie für sicheres und effizientes autonomes Fahren schneller auf die Straße kommt.