NVIDIA möjliggör för utvecklare att skapa avancerade simuleringar med Frontier AI-agenter och Omniverse-bibliotek

Bild: Illustrative image · Amusements.global · CC BY-SA 4.0 · Källa

NVIDIA visar hur utvecklare kombinerar frontier AI-modeller som GPT-6 Astra med Omniverse-bibliotek för att skapa sofistikerade simuleringar, vilket underlättar robotik, autonoma fordon, digitala tvillingar med mera genom naturlig språkstyrd AI.

NVIDIA lyfter fram innovativa användningar av frontier AI-modeller integrerade med sina Omniverse-bibliotek för att omvandla simuleringsutveckling. Utvecklare styr AI-agenter, som GPT-6 Astra, genom kommandon på naturligt språk för att sammanställa resurser, länka fysikmotorer, renderingmoduler och sensorsimuleringar, vilket resulterar i fullständiga simuleringsapplikationer. Denna metod förenklar skapandet av miljöer för testning av robotik, autonom körning, validering av digitala tvillingar och rymdsimulering.

Nyckelprojekt inom demonstrationer visar teknikens bredd. För förberedelse av lagerautomation genererades en humanoid robotsimulering med förstapersons- och tredjepersonsvyer med hjälp av Astra för att orkestrera fysik (med ovphysx), rendering (ovrtx), scenhantering (ovstage) och användargränssnitt (ovui). Simuleringsflöden för autonoma fordon i miljöer som Market Street i San Francisco skapades för att testa sensor- och körmodeller genom etappvis tillägg av resurser och test av miljövariationer.

För att förbättra digitala tvillingar jämförde AI-agenter simulerade sensorutgångar med inspelade verkliga kameradata och lidar-data, och förfinade upprepade gånger scenens noggrannhet genom att modifiera OpenUSD-objekt och kontrollera resultaten mot viktiga prestandamått. Robotikforskning använde simuleringar för att testa komplexa rörelser och demontering, genom att kombinera CAD-modeller, fysikmotorer och AI-genererade verktygsdesigner.

Ett anmärkningsvärt exempel inkluderar sammansättning av en OpenUSD-modell av Internationella rymdstationen integrerad med live-telemetri, renderad och strömmad via webbläsarbaserade applikationer helt utvecklade genom AI-promptning. På liknande sätt förvandlades stereokamerainspelningar till redigerbara OpenUSD-studior för interaktionstester, vilket möjliggjorde detaljerad analys av fysisk beteende.

Grunden i detta ekosystem är ovstage, ett högpresterande C- och Python-bibliotek som tillhandahåller en gemensam, GPU-accelererad runtime-databas för sceninformation kompatibel med Omniverse-bibliotek. ovstage möjliggör effektiv hantering och delning av USD-scendata över flera simuleringskomponenter utan onödig parsing eller minnesbelastning.

NVIDIAs tillvägagångssätt erbjuder ett kraftfullt arbetsflöde där utvecklare guidar AI-agenter att skapa, finslipa och validera omfattande simuleringsapplikationer med avancerade fysik-, rendering- och sensorsimuleringsfunktioner integrerade sömlöst. Denna fusion av frontier AI-kodningsmodeller med Omniverse-bibliotek markerar ett betydande steg i simulerings-effektivitet och komplexitet och stödjer forskning och utveckling inom robotik, autonoma fordon, digitala tvillingar och mer.