Google DeepMind представляет Genie 4 с аудио в реальном времени и интерактивным редактированием мира

Image: TechCrunch · Source

Модель мира Genie 4 от Google DeepMind улучшает фотореализм, добавляет аудио в реальном времени и позволяет динамически редактировать сцену во время симуляции, поддерживая игры, тестирование робототехники и креативное прототипирование.

Google DeepMind представила Genie 4, свою последнюю модель мира, в виде исследовательского превью для доверенных тестировщиков. Эта продвинутая модель генерирует высокофотореалистичные, интерактивные виртуальные среды, которые более захватывающие по сравнению с предыдущими версиями. Значимой особенностью Genie 4 является включение генерации аудио в реальном времени, соответствующего виртуальному миру, предлагая фоновые звуки, музыку и интерактивный диалог для обогащения восприятия.

Основываясь на предшественнике Genie 3, выпущенном чуть более года назад, Genie 4 предлагает несколько улучшений. Она позволяет пользователям отдавать свободные текстовые команды во время симуляций для изменения таких элементов, как погода, углы камеры или введение новых объектов и персонажей. Модель может поддерживать консистентность сцены до двух минут — вдвое дольше, чем раньше — и демонстрирует улучшенную физику и более человекоподобных виртуальных персонажей.

Интеграция с AI-моделью Google Gemini добавляет уровень планирования и контроля качества. Gemini выступает в роли режиссёра, разбивая задачи на этапы и контролируя визуальные образы, создаваемые Genie 4, в реальном времени. Это сотрудничество было продемонстрировано в эксперименте, связанном с Gemini Robotics, где имитированные сценарии тестировались до реального исполнения, что указывает на потенциал применения в развитии робототехники и тестировании безопасности.

Потенциальные коммерческие возможности Genie 4 включают игры, интерактивное обучение и симуляции робототехники. Например, пользователи могут погрузиться в историческую картину и взаимодействовать с её фигурами, превращая образовательный контент в увлекательный опыт. Доверенные тестировщики также определили прототипирование фильмов как ценное применение, где возможность быстрой модификации сцен поддерживает креативное генерирование идей и этапы раскадровки.

Дополняет Genie 4 Veo — инструмент Google по генерации видео при помощи ИИ, который создаёт видеоклипы высокого разрешения с синхронизированным аудио на основе текста, изображений или видеоподсказок. Хотя Veo всё ещё находится в разработке, Google планирует интеграцию Gemini Omni — мультимодальной крупномасштабной языковой модели, способной генерировать видео из различных источников, — чтобы помочь превращать прототипы в отшлифованные творческие материалы.

Несмотря на эти достижения, Google признаёт текущие проблемы. В длительных симуляциях визуальные детали и объекты могут смещаться, точность звука требует улучшения, и рендеринг чёткого текста в виртуальном мире остаётся сложной задачей. Полный опыт продукта продолжает развиваться, а планы запуска включают подписчиков Google AI Ultra и ранних партнёров по раннему доступу через Project Genie и связанные API-сервисы.

Genie 4 ставит Google DeepMind в число лидеров на рынке развивающихся технологий моделей мира, предлагая мощные инструменты для создания интерактивных виртуальных сред и их манипуляции в реальном времени, что может повлиять на игры, образование, кинопроизводство и робототехнику.