Yaleforskare avslöjar dold ras- och könsbias i AI-anställningsmodeller trots neutral språkbruk

Bild: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Källa

Studie från Yale visar att stora språkmodeller subtilt kodar in ras- och könsbiased i kandidatbedömningar och levererar yttre neutrala rekommendationer som döljer interna demografiska fördomar.

Forskare vid Yale Universitys School of Management har upptäckt ett oroande fenomen med dold bias i AI-språkmodeller som används för att utvärdera jobbkandidater. Professor Tristan Botellos senaste studie avslöjar att även om dessa stora språkmodeller (LLMs) genererar rekommendationer som framstår som neutrala och fria från öppet diskriminerande språk, påverkas deras interna beslutsfattande fortfarande av sökandes ras- och könsegenskaper. Detta fenomen, som forskarteamet kallar "symbolisk konformitet till normer", beskriver hur modeller kan undvika uttryckta partiska fraser men ändå bibehålla skeva bedömningar baserade på demografiska signaler.

Botello betonade att många företag som använder AI-assisterade rekryteringsverktyg saknar transparens kring rättvisan i sina modeller: "Ingen vet egentligen om dessa modeller kan göra riktigt objektiva urval." Vissa utvecklare försöker använda efterträning för säkerhetsjusteringar som straffar partiska utsagor. Yale-studien ifrågasätter dock om dessa justeringar faktiskt leder till rättvisare bedömningar eller bara renar utdata för att skydda organisationer från rykteförlust.

Problemet har verklig betydelse med tanke på tidigare incidenter, såsom Amazons övergivande av ett AI-rekryteringsverktyg 2018 efter att det systematiskt nedvärderade meritlistor innehållande ordet "kvinnor." Till skillnad från tidigare algoritmer som uppvisade uppenbar diskriminering, identifierbar genom nyckelordssökningar, har dagens språkmodeller utvecklats för att kringgå sådana ytfilter. Biasen kvarstår istället internt i modellens inlärda vikter, vilket gör den svår att upptäcka.

Botellos resultat kräver rigorösare granskningar och riskhantering för AI-rekryteringssystem. Utvärderingar måste gå bortom att analysera synliga texter i utsignaler och inkludera känslighetsanalyser av modellens svar på skyddade demografiska attribut. Jämförelser av resultat mellan ras- och könsgrupper är fortfarande kritiska även om språket som genereras verkar ytligt opartiskt.

Forskningen understryker komplexiteten i att säkerställa rättvisa i AI-rekrytering. Den varnar för att enbart lita på filtrering av utdata och betonar behovet av djupare, omfattande granskning för att avslöja dolda bias som potentiellt påverkar rättvis anställning.