Jalčio tyrėjai atskleidžia paslėptą rasinę ir lyčių šališkumą AI darbo vertinimo modeliuose nepaisant neutralios kalbos

Vaizdas: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Šaltinis

Jalčio universiteto tyrimas atskleidžia, kad dideli kalbos modeliai subtiliai įkūnija rasinius ir lyčių šališkumus vertindami kandidatus, pateikdami išorėje neutralius rekomendacijų tekstus, kurie slepia vidinius demografinius nuostolius.

Jalčio universiteto vadybos mokyklos tyrėjai atskleidė nerimą keliančią paslėpto šališkumo problemą AI kalbos modeliuose, naudojamuose vertinant darbo kandidatūras. Profesoriaus Tristano Botello neseniai atliktame tyrime nustatyta, kad nors šie dideli kalbos modeliai (LLM) sukuria rekomendacijas, kurios išoriškai yra neutralių ir nebūdingų diskriminacinių frazių, jų vidinės sprendimų priėmimo procesai išlieka paveikti kandidatų rasinių ir lyčių savybių. Ši reiškinys, kurį tyrimų komanda vadina „simboliniu normų atitikimu“, apibūdina, kaip modeliai gali vengti akivaizdžių šališkų pasakymų, tačiau išlaiko iškreiptą vertinimą, pagrįstą demografiniais signalais.

Botello pažymėjo, kad daugelis įmonių, naudojančių AI įrankius darbo atrankai, neturi skaidrumo dėl savo modelių teisingumo: „Niekas tikrai nežino, ar šie modeliai gali atlikti tikrai nešališką atranką.“ Kai kurie kūrėjai bando atlikti saugumo derinimą po treniruočių, kuris bausto už iškreiptą išvesčių generavimą. Tačiau Jalčio tyrimas kelia abejonių, ar šie pakeitimai iš tikrųjų lemia teisingesnius vertinimus, ar tiesiog valo išvestis, siekiant apsaugoti organizacijas nuo reputacinių nuostolių.

Problema turi realios reikšmės, atsižvelgiant į ankstesnius incidentus, pavyzdžiui, „Amazon“ 2018 metais atsisakė naudoti AI įdarbinimo įrankį, kai buvo nustatyta, kad jis sistemingai mažina „moterų“ žodį turinčių gyvenimo aprašymų vertę. Skirtingai nuo ankstesnių algoritmų, kurie demonstravo atvirą diskriminaciją, kurią buvo galima nustatyti per raktinių žodžių paiešką, šiandienos kalbos modeliai išsivystė taip, kad apeina paviršutiniškus filtrus. Šališkumas išlieka viduje modelio išmoktuose svoriuose, sunkiai nustatomas tiesioginiu būdu.

Botello išvados ragina griežtesnius auditavimus ir rizikos valdymo praktiką AI įdarbinimo sistemose. Vertinimai turi apimti ne tik matomo išvesčių teksto analizę, bet ir jautrumo analizę modelio atsakymams į apsaugotas demografines savybes. Svarbu palyginti rezultatus tarp rasinių ir lyčių grupių, net jei generuota kalba išoriškai atrodo nešališka.

Tyrimas pabrėžia AI teisingumo užtikrinimo sudėtingumą atrankoje. Jis įspėja nesiremti vien išvesčių filtravimu ir pabrėžia būtinybę giliau ir išsamiau ištirti, kad būtų atskleistos paslėptos šališkumo rizikos, galinčios paveikti įdarbinimo sąžiningumą.