„Google“ pristato daugiaplanį Žinių agento etaloną, skirtą įvertinti vizualinį AI mąstymą

Vaizdas: Google · Šaltinis

„Google“ kartu su „Artificial Analysis“ pristatė daugiaplanį Žinių agento (MKA) etaloną, skirtą įvertinti dirbtinio intelekto agentų gebėjimą spręsti vizualiai sudėtingas realaus pasaulio užduotis įvairiose profesinėse srityse.

„Google“ kartu su „Artificial Analysis“ 2026 m. lapkričio 10 d. paskelbė apie daugiaplano Žinių agento (MKA) etalono paleidimą. Šis naujas etalonas skirtas įvertinti, kaip dirbtiniai agentai sprendžia vizualiai sudėtingas užduotis, kurios dažniausiai kyla profesionalioje žinių srityje. Skirtingai nuo tradicinių etalonų, kuriuos galima išspręsti tik tekstu, MKA pabrėžia vaizdų, išdėstymų ir schemų interpretacijos svarbą – elementus, kurie yra būtini kasdienei daugumos pramonės operacijai.

MKA etalono kūrime dalyvavo sričių ekspertai iš 10 sektorių, apimančių 83 profesijas, įskaitant architektus, biologus, rizikos vertintojus ir duomenų mokslininkus. Šie specialistai paruošė vertinimo rinkinį, sudarytą iš 200 sudėtingų užduočių, reprezentuojančių kelių žingsnių projektus, kuriems įprastai reikalingos kelios valandos patyrusių profesionalų darbo. Kiekviena užduotis turi realistiškas užuominas ir daugiaplanį įvesties failų rinkinį, vertinama pagal ekspertų rašytą vertinimo kriterijų, kuris 75 % dėmesio skiria faktiniam tikslumui ir 25 % – vizualinio dizaino kokybei.

Siekiant užtikrinti sąžiningą ir atvirą etalonavimą, visi modeliai, vertinami MKA, veikia atvirojo kodo agentų aplinkoje „Stirrup“, standartizuojančioje priemones, saugią vykdymo aplinką ir sąveikos biudžetą. Be to, „Agentic Autorater“, sukurtas naudojant ne „Google“ modelį, automatiškai vertina pateiktus rezultatus, kruopščiai tikrindamas įėjimo failus, puslapių atvaizdavimą, skaičiuoklių formules ir lygindamas rezultatus su ekspertų kriterijais. Šis autoriaus vertintojas suderintas su žmogaus ekspertų nuomone 96 % atvejų.

Vertinimo duomenų rinkinys lieka privatus, kad būtų išvengta jų pateikimo mokymo duomenims ar modeliavimo atradimo per paiešką, o mažesnis, viešas, 10 užduočių rinkinys prieinamas Hugging Face, siekiant plačiau apžvelgti ir išbandyti.

„Google“ „Gemini 4 Carbon“ modelis MKA testuose pasiekė antrą pagal kokybę rezultatą, demonstruodamas aukštą kaštų efektyvumą – veikia maždaug už šeštadalį brangiausio modelio kainos. „Gemini 4 Carbon“ jau pasiekiamas per „Gemini API“ „Google AI Studio“ platformoje, palaikomas atnaujintos kūrėjų gairės.

Prie MKA pateikiamas techninis pranešimas pabrėžia, kad aukščiausios klasės modeliai reikšmingai skiriasi efektyvumu ir kad galingos vizualinės suvokimo galimybės yra būtinos etalono užduotims spręsti. Jame taip pat aptariama, kaip modeliai prastai veikia be vizualinės įvesties ir kokius skirtingus požiūrius agentai taiko spręsdami šias sudėtingas užduotis.

Ši iniciatyva pabrėžia augančią pripažinimą, kad pažangūs dirbtinio intelekto agentai turi integruoti daugiaplanį supratimą, kad efektyviai palaikytų sudėtingą, vizualiai turtingą žinių darbą įvairiose srityse.