Naukowcy z Yale ujawniają ukryte uprzedzenia rasowe i płciowe w modelach AI do rekrutacji mimo neutralnego języka

Image: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Source

Badanie Yale wykazuje, że duże modele językowe subtelnie kodują uprzedzenia rasowe i płciowe w ocenie kandydatów, dostarczając z pozoru neutralne rekomendacje, które ukrywają wewnętrzne uprzedzenia demograficzne.

Naukowcy z Yale University's School of Management odkryli niepokojące zjawisko ukrytych uprzedzeń w modelach językowych AI wykorzystywanych do oceny kandydatów na stanowiska pracy. Ostatnie badanie profesora Tristana Botella pokazuje, że chociaż duże modele językowe (LLM) generują rekomendacje na zewnątrz neutralne i wolne od jawnie dyskryminującego języka, to ich wewnętrzne procesy decyzyjne nadal są wpływane przez cechy rasowe i płciowe aplikantów. Zespół badawczy określił ten fenomen jako „symboliczne dostosowanie do norm”, co opisuje, jak modele mogą unikać wyraźnie stronniczych fraz, lecz utrzymują zniekształcone oceny oparte na sygnałach demograficznych.

Botello podkreślił, że wiele firm stosujących narzędzia wspomagające rekrutację oparte na AI nie gwarantuje przejrzystości co do uczciwości swoich modeli: „Nikt tak naprawdę nie wie, czy te modele są w stanie dokonywać naprawdę bezstronnych wyborów.” Niektórzy deweloperzy próbują stosować po treningowe korekty bezpieczeństwa, które karzą tendencyjne wyniki. Jednakże badanie Yale stawia pod znakiem zapytania, czy te dostosowania faktycznie prowadzą do sprawiedliwszych ocen, czy jedynie oczyszczają wyniki, by chronić organizacje przed utratą reputacji.

Problem ma realne znaczenie w kontekście wcześniejszych incydentów, takich jak zrezygnowanie przez Amazon w 2018 roku z narzędzia rekrutacyjnego opartego na AI po wykryciu systematycznego degradowania CV zawierających słowo „kobiety.” W przeciwieństwie do wcześniejszych algorytmów, które wykazywały jawnie dyskryminujące praktyki łatwe do wykrycia przez analizę słów kluczowych, dzisiejsze modele językowe wyewoluowały tak, by omijać takie powierzchowne filtry. Zamiast tego uprzedzenia utrzymują się wewnątrz wyuczonych wag modelu, co utrudnia ich prostą identyfikację.

Wyniki Botella wskazują na konieczność bardziej rygorystycznych audytów i zarządzania ryzykiem w systemach rekrutacyjnych z AI. Oceny muszą wykraczać poza analizę widocznego tekstu wyjściowego i obejmować analizy wrażliwości odpowiedzi modeli na chronione cechy demograficzne. Porównywanie wyników między grupami rasowymi i płciowymi pozostaje krytyczne, nawet jeśli generowany język na pierwszy rzut oka wydaje się bezstronny.

Badania podkreślają złożoność zapewniania sprawiedliwości AI w rekrutacji. Ostrzegają przed poleganiem wyłącznie na filtrowaniu wyników i podkreślają potrzebę głębszej, kompleksowej analizy w celu wykrycia ukrytych uprzedzeń, które mogą wpływać na równość zatrudnienia.