Google käivitab multimodaalse teadmisteagendi võrdlusstandardi visuaalse mõtlemise hindamiseks tehisintellektis

Pilt: Google · Allikas

Google koostöös Artificial Analysisiga tutvustas Multimodaalse teadmisteagendi (MKA) võrdlusstandardi, mille eesmärk on hinnata tehisintellekti agentide võimet lahendada visuaalselt keerukaid ja reaalseid ülesandeid erinevates professionaalsetes valdkondades.

Google teatas koostöös Artificial Analysisiga 10. novembril 2026 Multimodaalse teadmisteagendi (MKA) võrdlusstandardi käivitamisest. See uus võrdlusstandard on välja töötatud selleks, et hinnata, kuidas tehisagentidel õnnestub toime tulla visuaalselt keerukate ülesannetega, mis esinevad tavaliselt professionaalses teadmistepõhises töös. Erinevalt traditsioonilistest võrdlusstandarditest, mida saab lahendada ainult teksti abil, rõhutab MKA olulist rolli piltide, paigutuste ja skeemide tõlgendamisel — elementidel, mis on paljudes tööstusharudes igapäevase toimimise seisukohalt kriitilise tähtsusega.

MKA võrdlusstandardi loomises osalesid valdkonna eksperdid 10 vertikaalist, mis hõlmasid kokku 83 ametit, sealhulgas arhitektid, bioloogid, riskihindajad ja andmeteadlased. Nende spetsialistide koostatud hindamiskomplektis on 200 keerulist ülesannet, mis esindavad mitmeastmelisi projekte, mille läbiviimine nõuab kogenud professionaalidelt mitut tundi. Iga ülesanne sisaldab realistlikke juhiseid, mida toetavad multimodaalsed sisendfailid, ning neid hinnatakse ekspertide koostatud hindamiskriteeriumide alusel, kus 75% panusest on faktilise täpsuse ja 25% visuaalse kujunduse kvaliteedi osakaal.

Võrdse ja avatud hindamise hõlbustamiseks toimivad kõik MKA-ga hinnatavad mudelid avatud lähtekoodiga agendihark Stirrup raamistikus, mis standardiseerib tööriistu, turvakeskkonda ning interaktsioonieelarvet. Lisaks on kasutusel agentipõhine automaatne hindaja, mis põhineb Google’i mudelist sõltumatul mudelil ja hindab automaatselt tulemusi, uurides põhjalikult sisendfaile, renderdades lehti, kontrollides tabelarvutusvalemeid ja võrdledes väljundeid ekspertide hindamisrublikutega. See automaatne hindaja langeb kokku inimekspertide hinnanguga 96% ulatuses.

Hindamise andmekomplekt jääb konfidentsiaalseks, et vältida selle lekkimist treeningandmetesse või mudelite avastamist otsingu teel, samas kui väiksem 10 ülesande avalik komplekt on saadaval platvormil Hugging Face laiema ülevaatuse ja testimise tarbeks.

Google’i Gemini 4 Carbon mudel saavutas MKA testidel kvaliteedis teise kõrgeima skoori ning demonstreeris kõrget kuluefektiivsust — tegutsedes umbes kuus korda madalama hinna juures kui kõrgeima skoori mudel. Gemini 4 Carbon on nüüd saadaval Gemini API kaudu Google AI Studio’s ja toetatud uuenenud arendajajuhendiga.

MKA tehniline aruanne rõhutab, et tipptasemel mudelid erinevad oluliselt oma efektiivsuses ning tugevad visuaalse tajumise võimed on ülesannete lahendamisel hädavajalikud. Samuti kirjeldatakse, kuidas mudelid töötavad halvasti ilma visuaalsete sisenditeta ja milliseid erinevaid lähenemisviise agendid nende väljakutsetega lahendavad.

See algatus rõhutab kasvavat arusaama, et arenenud tehisintellekti agendid peavad integreerima multimodaalse arusaamise, et tõhusalt toetada keerulist ja visuaalselt rikkalikku teadmispõhist tööd mitmekesistes valdkondades.