Google startet Multimodal Knowledge Agent Benchmark zur Bewertung visuellen Denkens in KI

Image: Google · Source

Google hat in Zusammenarbeit mit Artificial Analysis den Multimodal Knowledge Agent Benchmark vorgestellt, um die Fähigkeit von KI-Agenten zu bewerten, visuell komplexe, reale Aufgaben in unterschiedlichen beruflichen Fachbereichen zu bewältigen.

Google kündigte gemeinsam mit Artificial Analysis am 10. November 2026 den Start des Multimodal Knowledge Agent (MKA) Benchmarks an. Dieser neue Benchmark ist darauf ausgelegt zu beurteilen, wie künstliche Agenten über visuell komplexe Aufgaben nachdenken, die typischerweise in professioneller Wissensarbeit anfallen. Im Gegensatz zu traditionellen Benchmarks, die nur mit Text lösbar sind, legt MKA Wert auf die Interpretation von Bildern, Layouts und Schemata – Elemente, die für den täglichen Betrieb in vielen Branchen entscheidend sind.

Die Entwicklung des MKA Benchmarks erfolgte unter Mitwirkung von Fachexperten aus 10 Fachbereichen mit insgesamt 83 Berufen, darunter Architekten, Biologen, Underwriter und Datenwissenschaftler. Diese Experten erstellten einen Evaluationssatz mit 200 komplexen Aufgaben, die mehrstufige Projekte repräsentieren, für deren Abschluss erfahrene Fachkräfte mehrere Stunden benötigen. Jede Aufgabe enthält realistische Vorgaben kombiniert mit multimodalen Eingabedateien und wird anhand eines von Experten verfassten Bewertungsrasters beurteilt, das zu 75 % auf faktischer Genauigkeit und zu 25 % auf visueller Designqualität basiert.

Um ein faires und offenes Benchmarking zu ermöglichen, laufen alle mit MKA bewerteten Modelle im Open-Source-Agentengerüst namens Stirrup, das Werkzeuge, Sandkasten-Umgebung und Interaktionsbudget standardisiert. Zusätzlich bewertet ein agentischer Autokorrektor, basierend auf einem Nicht-Google-Modell, automatisch die erbrachten Leistungen, indem er Eingabedateien gründlich prüft, Seiten rendert, Tabellenformeln inspiziert und Ausgaben mit Expertenrastern vergleicht. Dieser Autokorrektor stimmt 96 % der Zeit mit menschlichen Expertenurteilen überein.

Der Evaluationsdatensatz bleibt privat, um ein Eindringen in Trainingsdaten oder durch Suche entdeckte Modelle zu verhindern, während ein kleinerer öffentlicher Satz von 10 Aufgaben auf Hugging Face für breitere Inspektion und Tests verfügbar ist.

Das Modell Gemini 4 Carbon von Google erreichte auf den MKA-Tests die zweithöchste Qualitätsbewertung und zeigte gleichzeitig eine hohe Kosteneffizienz – es arbeitet etwa mit einem Sechstel der Kosten des bestbewerteten Modells. Gemini 4 Carbon ist jetzt über die Gemini-API in Google AI Studio verfügbar und wird von einem aktualisierten Entwicklerhandbuch begleitet.

Der technische Bericht zu MKA hebt hervor, dass Top-Modelle sich erheblich in ihrer Effizienz unterscheiden und dass starke visuelle Wahrnehmungsfähigkeiten entscheidend sind, um die Benchmark-Aufgaben zu lösen. Er beschreibt außerdem, wie Modelle ohne visuelle Eingaben schlechter abschneiden und welche unterschiedlichen Ansätze Agenten bei diesen anspruchsvollen Aufgaben verfolgen.

Diese Initiative unterstreicht die zunehmende Erkenntnis, dass fortgeschrittene KI-Agenten multimodales Verständnis integrieren müssen, um komplexe, visuell anspruchsvolle Wissensarbeit effektiv in verschiedenen Fachgebieten zu unterstützen.