Google DeepMind przedstawia Genie 4 z dźwiękiem w czasie rzeczywistym i interaktywną edycją świata

Image: TechCrunch · Source

Model świata Genie 4 od Google DeepMind poprawia fotorealizm, dodaje dźwięk w czasie rzeczywistym i pozwala na dynamiczną edycję scen podczas symulacji, wspierając gry, testy robotów i kreatywne prototypowanie.

Google DeepMind wprowadziło Genie 4, swój najnowszy model świata, jako podgląd badawczy dla zaufanych testerów. Ten zaawansowany model generuje wysoce fotorealistyczne, interaktywne środowiska wirtualne, które są bardziej immersyjne niż poprzednie wersje. Znaczącą cechą Genie 4 jest włączenie generowania dźwięku w czasie rzeczywistym odpowiadającego wirtualnemu światu, oferującego dźwięki otoczenia, muzykę i interaktywny dialog wzbogacający doświadczenie.

Bazując na swoim poprzedniku, Genie 3, który ukazał się nieco ponad rok temu, Genie 4 oferuje kilka ulepszeń. Umożliwia użytkownikom wydawanie tekstowych poleceń w trakcie symulacji, aby dostosować elementy takie jak pogoda, kąty kamery lub wprowadzić nowe obiekty i postacie. Model potrafi utrzymać spójność sceny przez do dwóch minut — dwukrotnie dłużej niż wcześniej — i prezentuje ulepszoną fizykę oraz bardziej ludzkie wirtualne postacie.

Integracja z modelem AI Google Gemini dodaje warstwę planowania i kontroli jakości. Gemini działa jak reżyser, rozkładając zadania na kroki i nadzorując generowane przez Genie 4 wizualizacje w czasie rzeczywistym. Ta współpraca została zaprezentowana w eksperymencie powiązanym z Gemini Robotics, gdzie testowano symulowane scenariusze przed rzeczywistym wykonaniem, co wskazuje na potencjalne zastosowania w rozwoju robotyki i testach bezpieczeństwa.

Potencjalne komercyjne zastosowania Genie 4 obejmują gry, interaktywne uczenie się oraz symulacje robotów. Na przykład użytkownicy mogliby zanurzyć się w historycznym obrazie i wchodzić w interakcje z jego postaciami, przemieniając treści edukacyjne w angażujące doświadczenia. Zaufani testerzy wskazali także prototypowanie filmowe jako cenne zastosowanie, gdzie możliwość szybkiej modyfikacji scen wspiera kreatywne generowanie pomysłów i fazy storyboardingu.

Uzupełnieniem Genie 4 jest Veo, narzędzie Google do generowania wideo AI, które tworzy klipy o wysokiej rozdzielczości ze zsynchronizowanym dźwiękiem na podstawie tekstu, obrazów lub podpowiedzi wideo. Choć nadal w fazie rozwoju, Google planuje integrację Gemini Omni — multimodalnego dużego modelu językowego zdolnego do generowania wideo z różnych danych wejściowych — aby pomóc zamieniać prototypy w dopracowane materiały kreatywne.

Pomimo tych postępów, Google przyznaje obecne wyzwania. W trakcie długotrwałych symulacji szczegóły wizualne i obiekty mogą ulegać dryfowi, dokładność dźwięku wymaga poprawy, a renderowanie czytelnego tekstu w świecie wirtualnym pozostaje trudne. Pełne doświadczenie produktu nadal się rozwija, a plany wdrożenia obejmują subskrybentów Google AI Ultra oraz wczesnych partnerów dostępu poprzez Project Genie i powiązane usługi API.

Genie 4 stawia Google DeepMind na pozycji lidera w rozwijającej się technologii modeli świata, oferując potężne narzędzia do tworzenia interaktywnych środowisk wirtualnych oraz manipulacji w czasie rzeczywistym, które mogą wpłynąć na gry, edukację, filmowanie i robotykę.