Google DeepMind pristato Genie 4 su realaus laiko garsu ir interaktyviu pasaulio redagavimu

Vaizdas: TechCrunch · Šaltinis

Google DeepMind Genie 4 pasaulio modelis pagerina fotorealizmą, prideda realaus laiko garsą ir leidžia dinamiškai redaguoti scenas simuliacijos metu, palaikydamas žaidimus, robotikos testavimą ir kūrybinius prototipų kūrimus.

Google DeepMind pristatė Genie 4, savo naujausią pasaulio modelį, kaip tyrimų peržiūros versiją patikimiems testuotojams. Šis pažangus modelis generuoja itin fotorealistines, interaktyvias virtualias aplinkas, kurios yra įtraukesnės nei ankstesnės versijos. Išskirtinė Genie 4 savybė yra realaus laiko garso generavimas, atitinkantis virtualų pasaulį, pasiūlantis aplinkos garsus, muziką ir interaktyvius dialogus, praturtinančius patirtį.

Pasinaudodamas savo pirmtaku Genie 3, kuris pasirodė prieš kiek daugiau nei metus, Genie 4 siūlo kelis patobulinimus. Vartotojai gali laisvai naudoti teksto komandų instrukcijas simuliacijos metu reguliuoti elementus, tokius kaip oras, kameros kampai, arba įvesti naujus objektus ir personažus. Modelis gali palaikyti scenos nuoseklumą iki dviejų minučių — dvigubai ilgiau nei anksčiau — ir demonstruoja patobulintą fiziką bei labiau žmogui panašius virtualius veikėjus.

Integracija su Google Gemini DI modeliu suteikia planavimo ir kokybės kontrolės sluoksnį. Gemini veikia kaip režisierius, suskirstydamas užduotis į žingsnius ir realiu laiku prižiūrėdamas Genie 4 sukuriamus vaizdus. Ši bendradarbiavimo forma buvo demonstruota eksperimente, susijusiame su Gemini robotika, kur simuliaciniai scenarijai buvo testuojami prieš realų įgyvendinimą, kas rodo potencialą robotikos kūrimo ir saugos bandymų srityse.

Galimi komerciniai Genie 4 panaudojimai apima žaidimus, interaktyvų mokymąsi ir robotikos simuliavimą. Pavyzdžiui, vartotojai galėtų panirti į istorinį paveikslą ir sąveikauti su jo veikėjais, taip paversdami mokomąją medžiagą įtraukiančiomis patirtimis. Patikimi testuotojai taip pat identifikavo filmų prototipavimo vertę, kur galimybė greitai keisti scenas palaiko kūrybiškumo idėjų generavimą ir istorijų kūrimo etapus.

Papildant Genie 4, veikia „Veo“ – Google DI vaizdo įrašų generavimo įrankis, kuris kuria aukštos raiškos klipus su sinchronizuotu garsu, remdamasis tekstu, vaizdais ar vaizdo įrašų nurodymais. Nors šis įrankis vis dar vystomas, Google planuoja integruoti Gemini Omni – multimodalų didelį kalbos modelį, galintį generuoti vaizdo įrašus iš įvairių įvestų duomenų, kad būtų lengviau paversti prototipus į išbaigtus kūrybinius produktus.

Nepaisant šių pažangų, Google pripažįsta esamas problemas. Ilgose simuliacijose gali išsiduoti vizualiniai detalės ir objektai, garso tikslumas reikalauja patobulinimų, o aiškus teksto rodymas virtualiose pasaulio vietose išlieka sudėtingas. Pilna produkto patirtis dar vystoma, o diegimo planai numato pasiekiamumą Google AI Ultra prenumeratoriams ir ankstyvo prieigos partneriams per Projektą Genie ir susijusias API paslaugas.

Genie 4 pozicionuoja Google DeepMind kaip lyderį kylančio pasaulio modelių technologijų srityje, siūlydama galingus įrankius interaktyvių virtualių aplinkų kūrimui ir realaus laiko valdymui, kurie gali paveikti žaidimų, švietimo, filmų kūrimo ir robotikos sritis.