Google lanza el benchmark Multimodal Knowledge Agent para evaluar el razonamiento visual en IA

Image: Google · Source

Google, en colaboración con Artificial Analysis, ha presentado el benchmark Multimodal Knowledge Agent para evaluar la capacidad de los agentes de IA para gestionar tareas visualmente complejas del mundo real en diversos ámbitos profesionales.

Google, en asociación con Artificial Analysis, anunció el lanzamiento del benchmark Multimodal Knowledge Agent (MKA) el 10 de noviembre de 2026. Este nuevo benchmark está diseñado para evaluar cómo los agentes artificiales razonan sobre tareas visualmente complejas que suelen surgir en trabajos profesionales de conocimiento. A diferencia de los benchmarks tradicionales que se pueden resolver solo con texto, MKA enfatiza la importancia de interpretar imágenes, diseños y esquemas — elementos críticos para la operación diaria en muchas industrias.

La creación del benchmark MKA involucró expertos en dominios de 10 sectores verticales que abarcan 83 ocupaciones, incluyendo arquitectos, biólogos, aseguradores y científicos de datos. Estos especialistas desarrollaron un conjunto de evaluación con 200 tareas complejas que representan proyectos de múltiples pasos que requieren varias horas para ser completados por profesionales experimentados. Cada tarea contiene indicaciones realistas acompañadas de archivos de entrada multimodales y se evalúa utilizando una rúbrica escrita por expertos que se enfoca 75 % en la precisión factual y 25 % en la calidad del diseño visual.

Para facilitar un benchmarking justo y abierto, todos los modelos evaluados con MKA operan dentro del entorno de agentes de código abierto llamado Stirrup, que estandariza herramientas, ambiente controlado y presupuesto de interacción. Además, un calificador automático agente basado en un modelo no desarrollado por Google califica automáticamente los entregables examinando minuciosamente los archivos de entrada, renderizando páginas, inspeccionando fórmulas de hojas de cálculo y comparando resultados con las rúbricas de expertos. Este calificador automático se alinea con el juicio humano experto en un 96 % de las ocasiones.

El conjunto de datos de evaluación permanece privado para evitar filtraciones en datos de entrenamiento o descubrimiento de modelos mediante búsqueda, mientras que un conjunto público más pequeño de 10 tareas está disponible en Hugging Face para inspección y pruebas más amplias.

El modelo Gemini 4 Carbon de Google alcanzó la segunda puntuación de calidad más alta en las pruebas MKA, demostrando a la vez una alta eficiencia de costos — operando aproximadamente a un sexto del coste del modelo con la puntuación más alta. Gemini 4 Carbon está disponible ahora a través de la API Gemini en Google AI Studio, apoyado por una guía actualizada para desarrolladores.

El informe técnico que acompaña a MKA destaca que los modelos de primera línea difieren significativamente en eficiencia y que las fuertes capacidades de percepción visual son esenciales para resolver las tareas del benchmark. También detalla cómo los modelos rinden menos sin entradas visuales y los diferentes enfoques que los agentes adoptan frente a estas tareas desafiantes.

Esta iniciativa subraya el reconocimiento creciente de que los agentes de IA avanzados deben integrar la comprensión multimodal para apoyar eficazmente trabajos de conocimiento complejos y visualmente ricos en diversos campos.