Yale-forskere avdekker skjult rase- og kjønnsbias i AI-rekrutteringsmodeller til tross for nøytralt språk

Bilde: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Kilde

Studie fra Yale viser at store språkmodeller subtilt kodifiserer rase- og kjønnsbias i kandidatvurderinger og leverer tilsynelatende nøytrale anbefalinger som skjuler interne demografiske fordommer.

Forskere ved Yale Universitys School of Management har avdekket et bekymringsfullt fenomen av skjult bias i AI-språkmodeller som brukes til å evaluere jobbkandidater. Professor Tristan Botellos nylige studie viser at selv om disse store språkmodellene (LLMs) genererer anbefalinger som fremstår som nøytrale og uten åpenbart diskriminerende språk, påvirkes deres interne beslutningsprosesser fortsatt av søkernes rase- og kjønnsidentiteter. Dette fenomenet, kalt «symbolsk konformitet med normer» av forskerteamet, beskriver hvordan modeller kan unngå tydelige biased fraser, men likevel opprettholde skjeve vurderinger basert på demografiske signaler.

Botello påpekte at mange bedrifter som bruker AI-assisterte ansettelsesverktøy mangler åpenhet om rettferdigheten til modellene: «Ingen vet egentlig om disse modellene kan gjennomføre virkelig upartiske utvalg.» Noen utviklere forsøker post-trening sikkerhetstilpasninger som straffer biased output. Yale-studien reiser imidlertid spørsmål om disse justeringene faktisk fører til mer rettferdige vurderinger eller bare renser output for å beskytte organisasjoner mot omdømmeskader.

Problemet har reell betydning, gitt tidligere hendelser som Amazons avvikling av et AI-rekrutteringsverktøy i 2018 etter at det systematisk nedgraderte CV-er som inneholdt ordet «kvinner.» I motsetning til tidligere algoritmer som hadde åpenbar diskriminering identifiserbar via nøkkelordsscanning, har dagens språkmodeller utviklet seg til å omgå slike overflatiske filtre. Biasene forblir i stedet interne i modellens lærte vekter, noe som gjør dem vanskelige å oppdage.

Botellos funn krever mer grundige revisjoner og risikohåndtering i AI-rekrutteringssystemer. Evalueringer må gå utover analyse av synlig output-tekst til å inkludere sensitivitetstester av modellens respons på beskyttede demografiske attributter. Sammenligning av resultater på tvers av rase- og kjønnsgrupper er fortsatt kritisk, selv om språket som genereres fremstår som tilsynelatende upartisk.

Forskningen understreker kompleksiteten ved å sikre AI-rettferdighet i ansettelser. Den advarer mot å stole kun på filtrering av output og fremhever behovet for dypere, omfattende gransking for å avdekke skjulte bias som potensielt påvirker rettferdighet i ansettelsesprosessen.