NVIDIA gir utviklere mulighet til å bygge avanserte simuleringer ved bruk av Frontier AI-agenter og Omniverse-biblioteker

Bilde: Illustrative image · Amusements.global · CC BY-SA 4.0 · Kilde

NVIDIA viser hvordan utviklere kombinerer frontier AI-modeller som GPT-6 Astra med Omniverse-biblioteker for å lage sofistikerte simuleringer, som muliggjør robotikk, autonome kjøretøy, digitale tvillinger og mer, med naturlig språk-styrt AI-veiledning.

NVIDIA fremhever innovative bruksområder av frontier AI-modeller integrert med sine Omniverse-biblioteker for å forvandle utviklingen av simuleringer. Utviklere styrer AI-agenter, som GPT-6 Astra, gjennom kommandoer på naturlig språk for å sette sammen ressurser, koble fysikkmotorer, renderingmoduler og sensorsimuleringer, som resulterer i fullt funksjonelle simuleringsapplikasjoner. Denne tilnærmingen forenkler opprettelsen av miljøer for testing av robotikk, autonom kjøring, validering av digitale tvillinger og rommodellering.

Nøkkel-demo-prosjekter viser bredden av denne teknologien. For forberedelse til lagerautomasjon ble en humanoid robotsimulering med førstepersons- og tredjepersonsvisninger generert ved bruk av Astra for å orkestrere fysikk (ved bruk av ovphysx), rendering (ovrtx), scenestyring (ovstage) og brukergrensesnitt (ovui). Arbeidsflyter for simulering av autonome kjøretøy i miljøer som Market Street i San Francisco ble laget for å teste sensorer og kjøremodeller gjennom trinnvis integrasjon av ressurser og testing av miljøvariasjoner.

For å forbedre digitale tvillinger sammenlignet AI-agenter simulerte sensorutganger med innspilt reelt kameradata og lidar-data, og forbedret iterativt scenenøyaktigheten ved å endre OpenUSD-ressurser og kontrollere resultater opp mot viktige ytelsesparametere. Robotikkforskning benyttet simuleringer for å teste komplekse bevegelser og demontering, ved å kombinere CAD-modeller, fysikkmotorer og AI-genererte verktøydesign.

Et bemerkelsesverdig eksempel inkluderer sammensetning av en OpenUSD-modell av Den internasjonale romstasjonen integrert med live telemetri, rendret og strømmet gjennom nettleserbaserte applikasjoner utviklet helt via AI-prompting. På lignende måte ble stereokamerainnspillinger gjort om til redigerbare OpenUSD-studioer for interaksjonstesting, noe som muliggjorde detaljert analyse av fysisk oppførsel.

Grunnlaget i dette økosystemet er ovstage, et høyytelsesbibliotek i C og Python som gir et delt, GPU-akselerert runtime-scenedatasubstrat kompatibelt med Omniverse-biblioteker. ovstage muliggjør effektiv manipulering og deling av USD-scenedata på tvers av flere simuleringskomponenter uten unødig parsing eller minnebruk.

NVIDIAs tilnærming tilbyr en kraftfull arbeidsflyt der utviklere veileder AI-agenter til å skape, finpusse og validere omfattende simuleringsapplikasjoner med avanserte fysikk-, rendering- og sensorsimuleringsmuligheter sømløst integrert. Denne fusjonen av frontier AI-kodingmodeller med Omniverse-biblioteker markerer et betydelig sprang i simulerings-effektivitet og kompleksitet, og støtter forskning og utvikling innen robotikk, autonome kjøretøy, digitale tvillinger og mer.