Google DeepMind lanserar Genie 4 med realtidsljud och interaktiv världredigering

Bild: TechCrunch · Källa

Googles DeepMind presenterar Genie 4, en världmodell som förbättrar fotorealism, lägger till realtidsljud och möjliggör dynamisk scenredigering mitt i simuleringar, med stöd för spel, robotiktestning och kreativ prototypframställning.

Google DeepMind har introducerat Genie 4, sin senaste världmodell, som en forskningsförhandsvisning för betrodda testare. Denna avancerade modell genererar mycket fotorealistiska, interaktiva virtuella miljöer som är mer uppslukande än tidigare versioner. En anmärkningsvärd egenskap hos Genie 4 är inkluderingen av realtidsljudsgenerering som motsvarar den virtuella världen, vilket erbjuder omgivningsljud, musik och interaktiv dialog för att berika upplevelsen.

Genom att bygga vidare på sin föregångare, Genie 3, som släpptes för lite mer än ett år sedan, erbjuder Genie 4 flera förbättringar. Den tillåter användare att ge fria textkommandon under simuleringar för att justera element som väder, kameravinklar, eller för att introducera nya objekt och karaktärer. Modellen kan upprätthålla scenkonsistens i upp till två minuter—dubbelt så lång tid som tidigare möjligt—och presenterar förbättrad fysik samt mer mänskliga virtuella karaktärer.

Integration med Googles Gemini AI-modell tillför ett lager av planering och kvalitetskontroll. Gemini agerar som en regissör, delar upp uppgifter i steg och övervakar de visuella element som genereras av Genie 4 i realtid. Detta samarbete demonstrerades i ett experiment kopplat till Gemini Robotics, där simulerade scenarion testades innan de genomfördes i verkligheten, vilket indikerar potentiella tillämpningar inom robotikutveckling och säkerhetstestning.

Potentiella kommersiella användningsområden för Genie 4 inkluderar spel, interaktivt lärande och robotiksimulering. Till exempel kan användare fördjupa sig i en historisk målning och interagera med dess gestalter, vilket förvandlar utbildningsinnehåll till engagerande upplevelser. Betrodda testare har även identifierat filmprototypning som ett värdefullt användningsområde där möjligheten att snabbt ändra scener stödjer kreativ idéutveckling och storyboardfaser.

Som komplement till Genie 4 finns Veo, Googles AI-verktyg för videogenerering som producerar högupplösta klipp med synkroniserat ljud från text-, bild- eller videopromptar. Även om det fortfarande är under utveckling, planerar Google att integrera Gemini Omni—en multimodal stor språkmodell som kan generera video från olika indata—för att hjälpa till att omvandla prototyper till polerade kreativa tillgångar.

Trots dessa framsteg erkänner Google nuvarande utmaningar. Under längre simuleringar kan visuella detaljer och objekt förskjutas, ljudnoggrannheten behöver förbättras, och att rendera tydlig text i världen är fortfarande svårt. Den fullständiga produktsupplevelsen utvecklas ännu, med lanseringsplaner att inkludera Google AI Ultra-prenumeranter och tidiga åtkomstpartner genom Project Genie och associerade API-tjänster.

Genie 4 positionerar Google DeepMind som en ledare inom den framväxande teknologin för världmodeller, och erbjuder kraftfulla verktyg för skapande och realtidsmanipulation av interaktiva virtuella miljöer som kan påverka spel, utbildning, filmskapande och robotik.