Yalen tutkijat paljastavat piilevän rotu- ja sukupuolivääristymän tekoälyn palkkausmalleissa huolimatta neutraalista kielestä

Kuva: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Lähde

Yalen tutkimus osoittaa, että suuret kielimallit sisällyttävät hienovaraisia rotu- ja sukupuolivääristymiä ehdokasarvioihin, antaen pinnaltaan neutraaleja suosituksia, jotka peittävät sisäiset demografiset ennakkoluulot.

Yalen yliopiston Johtamiskoulun tutkijat ovat paljastaneet huolestuttavan ilmiön piilevästä puolueellisuudesta tekoälyn kielimalleissa, joita käytetään työehdokkaiden arviointiin. Professori Tristan Botellon tuore tutkimus paljastaa, että vaikka nämä suuret kielimallit (LLM:t) tuottavat ulkoisesti neutraaleja ja avoimesti syrjiviä ilmaisuja vaille olevia suosituksia, niiden sisäinen päätöksentekoprosessi on edelleen altis ehdokkaiden rotu- ja sukupuoliominaisuuksille. Tätä ilmiötä, jota tutkimusryhmä kutsuu "symboliseksi normien mukaistumiseksi", kuvaillaan niin, että mallit voivat välttää eksplisiittisiä ennakkoluuloisia ilmauksia, mutta ylläpitävät vinoutuneita arvioita demografisten signaalien perusteella.

Botello korostaa, että monilla tekoälyavusteisista rekrytointityökaluista käyttävillä yrityksillä on puutteellinen läpinäkyvyys mallien oikeudenmukaisuuden suhteen: "Kukaan ei oikeastaan tiedä, voivatko nämä mallit todella tehdä täysin puolueettomia valintoja." Jotkut kehittäjät yrittävät koulutuksen jälkeisiä turvallisuussopeutuksia, jotka rankaisevat puolueellisia tuloksia. Yalen tutkimus kuitenkin kyseenalaistaa, johtavatko nämä korjaukset aidosti oikeudenmukaisempiin arviointeihin vai pelkästään siistivät tuloksia suojellakseen organisaatioiden mainetta.

Ongelma on todellista merkityksellistä aiempien tapausten valossa, kuten Amazonin vuoden 2018 luopuminen tekoälyrekrytointityökalusta, kun havaittiin sen systemaattisesti alentavan ansioluetteloita, joissa esiintyi sana "women" (naiset). Toisin kuin aiemmat algoritmit, jotka ilmensivät räikeää syrjintää ja joiden tunnistaminen rajaindeksiskannauksella oli mahdollista, tämän päivän kielimallit ovat kehittyneet kiertämään tällaiset pinnalliset suodattimet. Sen sijaan puolueellisuudet säilyvät mallin oppimissa painotuksissa, jotka ovat suoraviivaisen tunnistuksen ulottumattomissa.

Botellon havainnot vaativat tiukempia auditointeja ja riskienhallintakäytäntöjä tekoälyn palkkausjärjestelmissä. Arviointien on ulotuttava pelkän näkyvän tekstin analyysin ulkopuolelle sisältämällä herkkyysanalyysit mallin reaktioista suojattuihin demografisiin ominaisuuksiin. Tulosten vertailu eri rotu- ja sukupuoliryhmien välillä on oleellista, vaikka tuotettu kieli vaikuttaisi pinnallisesti puolueettomalta.

Tutkimus korostaa tekoälyn oikeudenmukaisuuden varmistamisen monimutkaisuutta rekrytoinnissa. Se varoittaa luottamasta pelkkään tulosteiden suodattamiseen ja korostaa syvällisempien ja kokonaisvaltaisempien tarkastusten tarvetta paljastamaan piilevät puolueellisuudet, jotka voivat vaikuttaa palkkauskohtelun tasa-arvoisuuteen.