Google julkaisee multimodaalisen tietämyksen agentin vertailuarvon arvioidakseen visuaalista päättelyä tekoälyssä

Kuva: Google · Lähde

Google yhdessä Artificial Analyysin kanssa on esitellyt Multimodal Knowledge Agent (MKA) -vertailuarvon, jolla arvioidaan tekoälyagenttien kykyä käsitellä visuaalisesti monimutkaisia ja todellisen maailman tehtäviä eri ammatillisilla aloilla.

Google yhteistyössä Artificial Analysin kanssa ilmoitti Multimodal Knowledge Agent (MKA) -vertailuarvon julkaisusta 10. marraskuuta 2026. Tämä uusi vertailuarvo on suunniteltu arvioimaan, miten tekoälyagentit päättävät visuaalisesti monimutkaisista tehtävistä, jotka tyypillisesti esiintyvät ammattimaisessa tietotyössä. Toisin kuin perinteiset vertailuarvot, jotka voidaan ratkaista pelkästään tekstillä, MKA korostaa kuvien, asettelujen ja kaavioiden tulkitsemisen merkitystä – elementtejä, jotka ovat kriittisiä monien alojen päivittäisessä toiminnassa.

MKA:n luomiseen osallistui asiantuntijoita 10 eri toimialalta, yhteensä 83 ammatissa, mukaan lukien arkkitehdit, biologit, vakuuttajat ja datatieteilijät. Nämä asiantuntijat kehittivät arviointipaketin, joka sisältää 200 monimutkaista tehtävää, jotka kuvaavat monivaiheisia projekteja ja joiden suorittamiseen kokeneilta ammattilaisilta kuluu useita tunteja. Jokainen tehtävä sisältää realistisia ohjeita yhdistettynä multimodaalisiin syötetiedostoihin ja arvioidaan asiantuntijoiden laatiman arviointikerroksen avulla, jossa 75 % painotus on tosiasioiden tarkkuudessa ja 25 % visuaalisen suunnittelun laadussa.

Reilun ja avoimen vertailun mahdollistamiseksi kaikki MKA:n arvioimat mallit toimivat avoimen lähdekoodin agenttirungossa nimeltä Stirrup, joka vakioi työkalut, hiekkalaatikkoympäristön ja vuorovaikutusbudjetin. Lisäksi agenttimainen automaattinen arvioija, joka perustuu ei-Googlen malliin, arvioi automaattisesti tuotoksia tarkasti tutkimalla syötetiedostoja, renderöityjä sivuja, taulukkolaskennan kaavoja ja vertaamalla tuloksia asiantuntijoiden arviointikerrokseen. Tämä arviomenetelmä vastaa ihmisen asiantuntijan arvostelua 96 % ajasta.

Arviointidatasetti pidetään yksityisenä, jotta sen vuotaminen koulutusdataan tai mallin löytymistä haun kautta estetään, kun taas pienempi julkinen joukko, joka sisältää 10 tehtävää, on saatavilla Hugging Facesta laajempaa tarkastelua ja testausta varten.

Googlen Gemini 4 Carbon -malli saavutti MKA-testissä toiseksi parhaan laatupistemäärän ja osoitti samalla korkean kustannustehokkuuden – se toimii noin kuudesosan huippumallin kustannuksista. Gemini 4 Carbon on nyt saatavilla Gemini-rajapinnan kautta Google AI Studiossa, jota tukee päivitetty kehittäjän opas.

MKA:han liittyvä tekninen raportti korostaa, että huippuluokan mallit eroavat merkittävästi tehokkuudessaan ja että vahvat visuaalisen havainnon kyvyt ovat välttämättömiä benchmark-tehtävien ratkaisemiseksi. Raportissa kuvataan myös, miten mallit alisuoriutuvat ilman visuaalista syötettä ja erilaiset lähestymistavat, joita agentit käyttävät näiden haastavien tehtävien ratkaisemiseksi.

Tämä hanke korostaa kasvavaa ymmärrystä siitä, että kehittyneet tekoälyagentit tarvitsevat multimodaalista ymmärrystä tehokkaan tuen tarjoamiseksi monimutkaiselle, visuaalisesti rikkaalle tietotyölle eri aloilla.