Google DeepMind lanserer Genie 4 med sanntidslyd og interaktiv verdensredigering

Bilde: TechCrunch · Kilde

Google DeepMinds Genie 4 verdenmodell forbedrer fotorealisme, legger til sanntidslyd og tillater dynamisk redigering av scener midt i simuleringer, med støtte for spill, robotikktesting og kreativ prototyping.

Google DeepMind har introdusert Genie 4, sin nyeste verdenmodell, som en forskningsforhåndsvisning for betrodde testere. Denne avanserte modellen genererer svært fotorealistiske, interaktive virtuelle miljøer som er mer engasjerende enn tidligere versjoner. Et bemerkelsesverdig trekk ved Genie 4 er inkluderingen av sanntidslydgenerering som samsvarer med den virtuelle verden, og tilbyr omgivelseslyder, musikk og interaktiv dialog for å berike opplevelsen.

Bygger videre på forgjengeren sin, Genie 3, som ble lansert for litt over ett år siden, tilbyr Genie 4 flere forbedringer. Den lar brukere gi fritekstbeskjeder under simuleringer for å justere elementer som vær, kameravinkler eller å introdusere nye objekter og karakterer. Modellen kan opprettholde scenekonsistens i opptil to minutter — dobbelt så lenge som tidligere mulig — og presenterer forbedret fysikk samt mer menneskelignende virtuelle karakterer.

Integrasjon med Googles Gemini AI-modell legger til et lag med planlegging og kvalitetskontroll. Gemini fungerer som en regissør, bryter ned oppgaver i steg og overvåker de visuelle elementene som genereres av Genie 4 i sanntid. Dette samarbeidet ble demonstrert i et eksperiment knyttet til Gemini Robotics, der simulerte scenarioer ble testet før de ble utført i virkeligheten, noe som antyder potensielle anvendelser innen robotikkutvikling og sikkerhetstesting.

Potensielle kommersielle bruksområder for Genie 4 inkluderer spill, interaktiv læring og robotsimulering. For eksempel kan brukere fordype seg i et historisk maleri og interagere med dets figurer, og dermed forvandle utdanningsinnhold til engasjerende opplevelser. Betrodde testere har også identifisert filmprototyping som en verdifull bruksområde, hvor evnen til raskt å endre scener støtter kreativ idéutvikling og storyboard-faser.

Som et supplement til Genie 4 finnes Veo, Googles AI-verktøy for videogenerering som produserer høyoppløselige klipp med synkronisert lyd fra tekst-, bilde- eller videoprompter. Selv om det fortsatt er under utvikling, planlegger Google å integrere Gemini Omni — en multimodal stor språkmodell som kan generere video fra ulike innspill — for å hjelpe til med å konvertere prototyper til polerte kreative eiendeler.

Til tross for disse fremskrittene anerkjenner Google nåværende utfordringer. Over lengre simuleringer kan visuelle detaljer og objekter forskyves, lydnøyaktigheten trenger forbedring, og å gjengi klar tekst i verden er fortsatt vanskelig. Den fullstendige produktopplevelsen utvikles fortsatt, med lanseringsplaner som inkluderer Google AI Ultra-abonnenter og tidlig tilgangspartnere gjennom Project Genie og tilknyttede API-tjenester.

Genie 4 posisjonerer Google DeepMind som en leder innen det fremvoksende landskapet for verdenmodellteknologi, ved å tilby kraftige verktøy for interaktiv virtuell miljøskapelse og sanntidsmanipulering som kan påvirke spill, utdanning, filmskaping og robotikk.