NVIDIA Ermöglicht Entwicklern den Aufbau Fortgeschrittener Simulationen Mit Frontier-KI-Agenten und Omniverse-Bibliotheken

Image: Illustrative image · Amusements.global · CC BY-SA 4.0 · Source

NVIDIA zeigt, wie Entwickler Frontier-KI-Modelle wie GPT-6 Astra mit Omniverse-Bibliotheken kombinieren, um anspruchsvolle Simulationen zu erstellen, die Robotik, autonome Fahrzeuge, digitale Zwillinge und mehr mit KI-Führung in natürlicher Sprache ermöglichen.

NVIDIA hebt innovative Anwendungen von Frontier-KI-Modellen hervor, die mit seinen Omniverse-Bibliotheken integriert sind, um die Simulationsentwicklung zu revolutionieren. Entwickler steuern KI-Agenten wie GPT-6 Astra über natürlichsprachliche Befehle, um Assets zusammenzustellen, Physik-Engines, Rendering-Module und Sensorsimulationen zu verknüpfen, was in voll funktionsfähigen Simulationsanwendungen resultiert. Dieser Ansatz erleichtert die Erstellung von Umgebungen für Tests in Robotik, autonomem Fahren, Validierung digitaler Zwillinge und Raumfahrtmodellierung.

Wichtige Demonstrationsprojekte zeigen die Bandbreite dieser Technologie. Für die Vorbereitung der Lagerautomatisierung wurde eine Humanoiden-Robotersimulation mit First- und Third-Person-Perspektiven erzeugt, wobei Astra verwendet wurde, um Physik (mit ovphysx), Rendering (ovrtx), Szenenverwaltung (ovstage) und Benutzeroberflächen (ovui) zu orchestrieren. Arbeitsabläufe für autonome Fahrzeugsimulationen in Umgebungen wie der Market Street in San Francisco wurden erstellt, um Sensor- und Fahrermodelle durch stufenweise Asset-Integration und Tests der Umweltvariabilität zu prüfen.

Zur Verbesserung digitaler Zwillinge verglichen KI-Agenten simulierte Sensorausgaben mit aufgezeichneten realen Kamera- und Lidar-Daten, verfeinerten iterativ die Szenengenauigkeit durch Modifikation von OpenUSD-Assets und überprüften Ergebnisse anhand wichtiger Leistungsmesswerte. Die Robotikforschung nutzte Simulationen, um komplexe Bewegungen und Demontageaufgaben zu testen, indem CAD-Modelle, Physik-Engines und KI-generierte Werkzeugdesigns kombiniert wurden.

Ein bemerkenswertes Beispiel umfasst den Zusammenbau eines OpenUSD-Modells der Internationalen Raumstation, integriert mit Live-Telemetrie, gerendert und gestreamt über browserbasierte Anwendungen, die vollständig mittels KI-Eingaben entwickelt wurden. Ähnlich wurden Stereo-Kameraaufnahmen in editierbare OpenUSD-Studios verwandelt, um Interaktionstests zu ermöglichen, was eine detaillierte Analyse physikalischen Verhaltens ermöglicht.

Die Grundlage dieses Ökosystems bildet ovstage, eine leistungsstarke C- und Python-Bibliothek, die ein gemeinsames, GPU-beschleunigtes Laufzeit-Szenen-Daten-Substrat bietet, kompatibel mit Omniverse-Bibliotheken. ovstage ermöglicht eine effiziente Manipulation und gemeinsame Nutzung von USD-Szenendaten über mehrere Simulationskomponenten, ohne redundantes Parsen oder Speicherüberlastung.

Der Ansatz von NVIDIA bietet einen leistungsstarken Workflow, bei dem Entwickler KI-Agenten anleiten, umfassende Simulationsanwendungen zu erstellen, zu verfeinern und zu validieren, indem fortgeschrittene Physik-, Rendering- und Sensorsimulationsfunktionen nahtlos integriert werden. Diese Verbindung von Frontier-KI-Codierungsmodellen mit Omniverse-Bibliotheken stellt einen bedeutenden Fortschritt in Effizienz und Komplexität von Simulationen dar und unterstützt Forschung und Entwicklung in Robotik, autonomen Fahrzeugen, digitalen Zwillingen und darüber hinaus.