Google DeepMind atklāj Genie 4 ar reāllaika audio un interaktīvu pasaules rediģēšanu

Attēls: TechCrunch · Avots

Google DeepMind Genie 4 pasaules modelis uzlabo fotoreālistiskumu, pievieno reāllaika audio un ļauj dinamiskā veidā mainīt ainas simulācijas laikā, atbalstot spēles, robotikas testēšanu un radošu prototipēšanu.

Google DeepMind ir iepazīstinājis ar Genie 4, savu jaunāko pasaules modeli, kas ir pieejams pētnieciskā priekšskatījumā uzticamiem testētājiem. Šis attīstītais modelis ģenerē ļoti fotoreālistiskas un interaktīvas virtuālās vides, kas ir vairāk iesaistošas nekā iepriekšējās versijas. Viens no nozīmīgākajiem Genie 4 jaunievedumiem ir reāllaika audio ģenerēšana, kas atbilst virtuālajai pasaulei, piedāvājot apkārtējās vides skaņas, mūziku un interaktīvas dialoga iespējas, lai bagātinātu pieredzi.

Balstoties uz savu priekšgājēju Genie 3, kas tika izlaists nedaudz vairāk kā pirms gada, Genie 4 piedāvā vairākus uzlabojumus. Lietotāji var simulāciju laikā ievadīt brīvi rakstītus tekstu norādījumus, lai pielāgotu elementus, piemēram, laikapstākļus, kameras leņķus vai ieviestu jaunus objektus un varoņus. Modelis var saglabāt ainas konsekvenci līdz pat divām minūtēm — divreiz ilgāk nekā iepriekš — un uzlabo fizikas simulāciju kopā ar cilvēkam līdzīgākiem virtuāliem varoņiem.

Integrācija ar Google Gemini AI modeli pievieno plānošanas un kvalitātes kontroles slāni. Gemini darbojas kā režisors, sadalot uzdevumus soļos un uzraugot Genie 4 ģenerētos vizuālos materiālus reāllaikā. Šī sadarbība tika demonstrēta eksperimentā, kas saistīts ar Gemini Robotiku, kur simulēti scenāriji tika pārbaudīti pirms to īstas izpildes, liecinot par iespējamām lietojumprogrammām robotikas attīstībā un drošības testos.

Potenciālie komerciālie pielietojumi Genie 4 ietver spēles, interaktīvu mācīšanos un robotikas simulāciju. Piemēram, lietotāji varētu iedziļināties vēsturiskā gleznojumā un mijiedarboties ar tā tēliem, tādējādi pārvēršot izglītojošu saturu aizraujošās pieredzēs. Uzticami testētāji arī ir norādījuši filmu prototipēšanu kā vērtīgu pielietojumu, kur ātra ainu mainīšana atbalsta radošo ideju ģenerēšanu un stāstījuma veidošanas fāzes.

Papildinājumam Genie 4 ir Veo — Google AI video ģenerēšanas rīks, kas rada augstas izšķirtspējas klipus ar sinhronizētu audio no teksta, attēliem vai video pieprasījumiem. Lai gan joprojām izstrādē, Google redz Gemini Omni integrāciju — multimodālu lielu valodas modeli, kas spēj ģenerēt video no dažādiem ievades datiem — palīdzot pārvērst prototipus gatavos radošos materiālos.

Neskatoties uz šiem sasniegumiem, Google atzīst pašreizējās problēmas. Ilgstošu simulāciju laikā vizuālas detaļas un objekti var novirzīties, audio precizitāte prasa uzlabojumus, un skaidras pasaules teksta attēlošana joprojām ir problemātiska. Pilna produkta pieredze joprojām attīstās, un tās ieviešana plānota Google AI Ultra abonentiem un agrīnās piekļuves partneriem caur Project Genie un saistītajiem API pakalpojumiem.

Genie 4 nostiprina Google DeepMind kā līderi pieaugošajā pasaules modeļu tehnoloģiju jomā, piedāvājot spēcīgus rīkus interaktīvu virtuālo vidi radīšanai un reāllaika manipulācijām, kas var ietekmēt spēļu, izglītības, filmu veidošanas un robotikas nozari.