Google DeepMind tutvustab Genie 4 - reaalajas heli ja interaktiivne maailmade muutmine

Pilt: TechCrunch · Allikas

Google DeepMind'i Genie 4 maailma mudel parandab fotorealistlikkust, lisab reaalajas heli ja võimaldab dünaamiliselt vaateid muuta simulatsiooni käigus, toetades mängude, robootikatestide ja loomingulise prototüüpimise vajalusi.

Google DeepMind on esitlenud Genie 4, oma uusimat maailma mudelit, mis on uuringueelvaatena saadaval usaldusväärsetele testijatele. See arenenud mudel loob väga fotorealistlikke ja interaktiivseid virtuaalkeskkondi, mis on senistest versioonidest palju kaasahaaravamad. Esiletõstetav omadus Genie 4-s on reaalajas heli genereerimine, mis vastab virtuaalmaailmale, pakkudes keskkonnahelisid, muusikat ja interaktiivset dialoogi kogemuse rikastamiseks.

Võttes aluseks oma eelkäija Genie 3, mis ilmus veidi üle aasta tagasi, pakub Genie 4 mitmeid täiustusi. Kasutajad saavad simulatsioonide käigus sisestada vabatekstiliselt juhiseid, muutes elemente nagu ilm, kaameranurgad või lisades uusi objekte ja tegelasi. Mudel suudab säilitada stseeni järjepidevust kuni kaks minutit – kaks korda kauem kui varem – ja esitab täiustatud füüsikat koos inimlikumate virtuaalsete tegelastega.

Integreerimine Google'i Gemini tehisintellekti mudeliga lisab planeerimise ja kvaliteedikontrolli kihi. Gemini toimib režissöörina, jagades ülesandeid sammudeks ning jälgides Genie 4 genereeritud visuaale reaalajas. Seda koostööd demonstreeriti eksperimendis, mis oli seotud Gemini robootikaga, kus testiti simuleeritud stsenaariume enne nende tegelikku elluviimist, mis osutab võimalikele rakendustele robootika arenduses ja ohutustestides.

Genie 4 potentsiaalsed kommertsrakendused hõlmavad mänge, interaktiivset õpetamist ja robootikasimulatsiooni. Näiteks võiksid kasutajad sukelduda ajaloolisel maalil ja suhelda selle tegelastega, muutes haridusliku sisu kaasahaaravaks kogemuseks. Usaldusväärsed testijad on samuti märkinud filmi prototüüpimise väärtuslikuks kasutusvõimaluseks, kus stseenide kiire muutmine toetab loovideede ja stsenaariumide väljatöötamist.

Genie 4 täienduseks on Veo, Google'i tehisintellekti videogeneraator, mis loob kõrglahutusega klippe sünkroonitud heliga teksti, piltide või videopäringute põhjal. Kuigi see on veel arendusjärgus, näeb Google integratsiooni Gemini Omni-ga – multimodaalne suur keelemudel, mis suudab luua videot mitmesugustest sisenditest – aidates prototüüpe muuta valmis loomingulisteks materjalideks.

Hoolimata nende arengute, tunnistab Google praeguseid väljakutseid. Pikaajaliste simulatsioonide jooksul võivad visuaalsed detailid ja objektid nihkuda, heli täpsus vajab parandamist ning maailmas olevate tekstide selge kuvamine on keeruline. Täielik tootekogemus on veel kujunemisjärgus ning kasutusele võtmine toimub Google AI Ultra tellijate ja varajase ligipääsu partnerite kaudu Project Genie ja seotud API teenuste raames.

Genie 4 positsioneerib Google DeepMindi maailma mudelite tehnoloogia esirinnas, pakkudes võimsaid tööriistu interaktiivsete virtuaalkeskkondade loomiseks ja reaalajas manipuleerimiseks, millel võib olla suur mõju mängude, hariduse, filminduse ja robootika valdkondades.