Hugging Face politikos vadovė išryškina įterptų AI vertintojų ir modelių lyginamojo vertinimo iššūkius

Vaizdas: TechCrunch · Šaltinis

Irene Solaiman iš Hugging Face aptaria AI modelių lyginamojo vertinimo sudėtingumą ir skepticizmą dėl integruotų AI vertintojų, ragindama siekti standartizuotų vertinimo metodų visoje pramonėje.

Pagal Irene Solaiman, Hugging Face vyriausiąją politikos pareigūnę, AI modelių lyginamojo vertinimo kaip neutralaus ir patikimo būdo įvertinti bei palyginti AI produktus praktika dar vystosi. Kalbėdama konferencijoje TechCrunch Disrupt, ji pabrėžė, kad esami AI vertinimo metodai yra sudėtingi ir dar nėra visiškai subrendę, todėl visos pramonės pasitikėjimas ir priklausomybė nuo šių lyginamųjų rodiklių yra sudėtinga.

Solaiman pažymėjo, kad atkuriamumas yra kritinis veiksnys pasitikėti vertinimo rezultatais. Prieiga prie modelio detalių – įskaitant atvirus modelio svorius – yra pagrindinė sąlyga atkuriamumo užtikrinimui, kas išlieka problema lyginamojo vertinimo diskusijose. Vertinimai skiriasi pagal galiojimą ir trūksta standartizuotų metodų tarpusavio palyginimui, todėl juos sunku reikšmingai integruoti į įtvirtintą mokslinį pagrindą.

Ji taip pat atkreipė dėmesį į greitą esamų vertinimo priemonių pasenimą ir trūkumą stiprios vertintojų ekosistemos. Nors auga susidomėjimas integruotų vertintojų sistemomis – kur nepriklausomi trečiųjų šalių stebėtojai veikia AI organizacijose vertindami modelių saugumą ir veikimą – šių vertintojų kvalifikacija ir standartiniai kriterijai dar nėra aiškiai apibrėžti ir nuoseklūs.

Idėja apie integruotus vertintojus sulaukė dėmesio kilus saugumo susirūpinimams ir incidentams AI laboratorijose. Pats Hugging Face patyrė susirūpinimą dėl saugumo. Nors kai kurios AI laboratorijos pirmenybę teikia trečiųjų šalių vertinimui prieš tiesioginę vyriausybės reguliaciją, išlieka skepticizmas dėl to, ar šie vertintojai gali išlaikyti tikrą neutralumą ir efektyvumą. Pavyzdžiui, Anthropic sprendimas paskirti Accenture kaip vertintoją sukėlė diskusijas apie tokių konsultacinių firmų tinkamumą šiai specializuotai pareigai.

Be to, AI vertinimai vystosi nuo izoliuotų modelių testavimo prie visų sistemų vertinimo, kurios apima ir vartotojo sąsają ar jungtį, sujungiančią vartotoją su modeliu. Solaiman pažymėjo, kad modelio aplinka reikšmingai veikia jo veikimą, todėl mažiau pažangus modelis, kartu su geresne jungtimi, gali pranokti pažangesnį savarankišką modelį. Ši sudėtingumas prisideda prie didelių ir sudėtingų agentų pagrindu atliekamų vertinimų sąnaudų.

Apibendrinant, Solaiman pabrėžė, kad be vieningos, standartizuotos AI vertinimo metodikos – apimančios tiek modelius, tiek jų veikimo aplinką – lyginamojo vertinimo sritis lieka fragmentuota. Kad lyginamasis vertinimas taptų efektyviu įrankiu, nukreipiančiu AI plėtrą ir saugumą, būtina bendradarbiauti siekiant standartizacijos ir ekosistemos plėtros.