NVIDIA umożliwia deweloperom tworzenie zaawansowanych symulacji z wykorzystaniem zaawansowanych agentów AI i bibliotek Omniverse

Image: Illustrative image · Amusements.global · CC BY-SA 4.0 · Source

NVIDIA prezentuje, jak deweloperzy łączą nowoczesne modele AI, takie jak GPT-6 Astra, z bibliotekami Omniverse, aby tworzyć zaawansowane symulacje wspierające robotykę, pojazdy autonomiczne, cyfrowe bliźniaki i inne, korzystając z naturalnego języka do kierowania AI.

NVIDIA podkreśla innowacyjne zastosowania nowoczesnych modeli AI zintegrowanych z jej bibliotekami Omniverse w celu transformacji tworzenia symulacji. Deweloperzy kierują agentami AI, takimi jak GPT-6 Astra, za pomocą komend w naturalnym języku, aby składać zasoby, łączyć silniki fizyki, moduły renderowania i symulacje czujników, co prowadzi do powstania w pełni funkcjonalnych aplikacji symulacyjnych. Podejście to upraszcza tworzenie środowisk do testowania robotyki, autonomicznej jazdy, weryfikacji cyfrowych bliźniaków oraz modelowania kosmicznego.

Kluczowe projekty demonstracyjne ukazują szeroki zakres tej technologii. W przygotowaniach do automatyzacji magazynowej symulacja humanoidalnego robota z widokami z pierwszej i trzeciej osoby została wygenerowana przy pomocy Astry do zarządzania fizyką (z użyciem ovphysx), renderowaniem (ovrtx), zarządzaniem sceną (ovstage) oraz interfejsami użytkownika (ovui). Przepływy pracy symulacji pojazdów autonomicznych w środowiskach takich jak Market Street w San Francisco zostały stworzone w celu testowania modeli czujników i jazdy poprzez etapowe integrowanie zasobów i testowanie zmienności środowiskowej.

Aby ulepszyć cyfrowe bliźniaki, agenci AI porównywali symulowane dane czujników z nagranymi danymi z kamer i lidarów z rzeczywistego świata, iteracyjnie poprawiając dokładność sceny poprzez modyfikację zasobów OpenUSD i weryfikację wyników względem kluczowych wskaźników wydajności. Badania robotyki wykorzystywały symulacje do testowania skomplikowanych ruchów i zadań rozkładania, łącząc modele CAD, silniki fizyki oraz narzędzia generowane przez AI.

Godnym uwagi przykładem jest złożenie modelu OpenUSD Międzynarodowej Stacji Kosmicznej zintegrowanego z telemetrią na żywo, renderowanego i transmitowanego przez aplikacje przeglądarkowe całkowicie stworzone poprzez polecenia AI. Podobnie, przechwytywanie obrazu stereo zostało przekształcone w edytowalne studia OpenUSD do testowania interakcji, co umożliwia szczegółową analizę zachowań fizycznych.

Podstawą tego ekosystemu jest ovstage, wysokowydajna biblioteka w C i Pythonie zapewniająca współdzielone, GPU-przyspieszone środowisko działania danych scen zgodne z bibliotekami Omniverse. ovstage umożliwia efektywne manipulowanie i współdzielenie danych scen USD pomiędzy wieloma komponentami symulacji bez zbędnego parsowania czy nadmiernego użycia pamięci.

Podejście NVIDIA oferuje potężny przepływ pracy, w którym deweloperzy kierują agentami AI do tworzenia, doskonalenia i weryfikacji kompleksowych aplikacji symulacyjnych z wykorzystaniem zaawansowanych możliwości symulacji fizyki, renderowania i czujników, zintegrowanych płynnie. To połączenie nowoczesnych modeli kodowania AI z bibliotekami Omniverse zapowiada znaczący postęp w efektywności i złożoności symulacji, wspierając badania i rozwój w dziedzinach robotyki, pojazdów autonomicznych, cyfrowych bliźniaków i innych.