Google DeepMind presenta Genie 4 con audio en tiempo real y edición interactiva del mundo

Image: TechCrunch · Source

El modelo de mundo Genie 4 de Google DeepMind mejora el fotorrealismo, añade audio en tiempo real y permite la edición dinámica de escenas durante la simulación, apoyando juegos, pruebas de robótica y prototipos creativos.

Google DeepMind ha introducido Genie 4, su último modelo de mundo, como vista previa de investigación para testers de confianza. Este avanzado modelo genera entornos virtuales altamente fotorrealistas e interactivos que son más inmersivos que las versiones anteriores. Una característica notable de Genie 4 es la inclusión de generación de audio en tiempo real que corresponde al mundo virtual, ofreciendo sonidos ambientales, música y diálogos interactivos para enriquecer la experiencia.

Basándose en su predecesor, Genie 3, lanzado hace poco más de un año, Genie 4 ofrece varias mejoras. Permite a los usuarios emitir indicaciones de texto libres durante las simulaciones para ajustar elementos como el clima, ángulos de cámara o introducir nuevos objetos y personajes. El modelo puede mantener la consistencia de la escena por hasta dos minutos—el doble de la duración posible anteriormente—y presenta física mejorada junto con personajes virtuales más humanos.

La integración con el modelo AI Gemini de Google añade una capa de planificación y control de calidad. Gemini actúa como un director, dividiendo tareas en pasos y supervisando los visuales generados por Genie 4 en tiempo real. Esta colaboración se demostró en un experimento vinculado a Gemini Robotics, donde se probaron escenarios simulados antes de su ejecución en el mundo real, indicando aplicaciones potenciales en desarrollo y pruebas de seguridad robótica.

Los posibles casos de uso comercial para Genie 4 incluyen juegos, aprendizaje interactivo y simulación robótica. Por ejemplo, los usuarios podrían sumergirse en una pintura histórica e interactuar con sus figuras, transformando así contenido educativo en experiencias atractivas. Testers de confianza también identificaron la creación de prototipos cinematográficos como un uso valioso, donde la capacidad de modificar escenas rápidamente apoya las fases creativas de ideación y storyboard.

Complementando a Genie 4 está Veo, la herramienta de generación de video AI de Google que produce clips en alta definición con audio sincronizado a partir de texto, imágenes o indicaciones de video. Aunque aún está en desarrollo, Google planea integrar Gemini Omni—un modelo de lenguaje multimodal capaz de generar video desde entradas diversas—para ayudar a convertir prototipos en activos creativos pulidos.

A pesar de estos avances, Google reconoce desafíos actuales. En simulaciones prolongadas, los detalles visuales y objetos pueden desplazarse, la precisión del audio necesita mejora y la representación clara del texto en el mundo sigue siendo difícil. La experiencia completa del producto continúa evolucionando, con planes de lanzamiento que incluyen suscriptores de Google AI Ultra y socios de acceso anticipado mediante Project Genie y servicios API relacionados.

Genie 4 posiciona a Google DeepMind como líder en el emergente campo de la tecnología de modelos de mundo, ofreciendo herramientas potentes para la creación de entornos virtuales interactivos y manipulación en tiempo real que pueden impactar juegos, educación, cine y robótica.