Yale-Forscher Enthüllen Verborgene Rassen- und Geschlechtervorurteile in KI-Einstellungsmodellen trotz Neutrale Sprache

Image: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Source

Eine Yale-Studie zeigt, dass große Sprachmodelle subtil rassistische und geschlechtsspezifische Vorurteile in der Bewertung von Kandidaten kodieren und äußerlich neutrale Empfehlungen abgeben, die interne demografische Vorurteile verbergen.

Forscher der School of Management der Yale University haben ein besorgniserregendes Phänomen versteckter Vorurteile in KI-Sprachmodellen entdeckt, die zur Bewertung von Bewerbern verwendet werden. Die jüngste Studie von Professor Tristan Botello zeigt, dass diese großen Sprachmodelle (LLMs) zwar Empfehlungen erzeugen, die äußerlich neutral und frei von offen diskriminierender Sprache sind, ihre interne Entscheidungsfindung jedoch weiterhin von den rassischen und geschlechtlichen Merkmalen der Bewerber beeinflusst wird. Dieses Phänomen, vom Forschungsteam als „symbolische Norm-Konformität“ bezeichnet, beschreibt, wie Modelle explizit voreingenommene Formulierungen vermeiden können, aber dennoch verzerrte Bewertungen basierend auf demografischen Signalen beibehalten.

Botello betonte, dass viele Unternehmen, die KI-unterstützte Einstellungstools verwenden, keine Transparenz bezüglich der Fairness ihrer Modelle bieten: „Niemand weiß wirklich, ob diese Modelle wirklich unvoreingenommene Auswahlen treffen können.“ Einige Entwickler versuchen post-trainingsbasierte Sicherheitsanpassungen, die voreingenommene Ausgaben bestrafen. Die Yale-Studie stellt jedoch in Frage, ob diese Anpassungen tatsächlich zu gerechteren Bewertungen führen oder lediglich die Ausgaben säubern, um Organisationen vor Reputationsschäden zu schützen.

Das Problem ist von realer Bedeutung angesichts früherer Vorfälle wie Amazons Einstellung eines KI-Rekrutierungstools im Jahr 2018, nachdem festgestellt wurde, dass es systematisch Lebensläufe mit dem Wort „Frauen“ abwertete. Im Gegensatz zu früheren Algorithmen, die offensichtliche Diskriminierung zeigten, die durch Stichwort-Scans erkennbar war, haben sich heutige Sprachmodelle weiterentwickelt, um solche oberflächlichen Filter zu umgehen. Stattdessen bestehen Vorurteile intern in den gelernten Gewichtungen des Modells und entziehen sich einer einfachen Erkennung.

Botellos Ergebnisse fordern strengere Prüfungen und Risikomanagementpraktiken in KI-Einstellungssystemen. Bewertungen müssen über die Analyse sichtbarer Ausgabetexte hinausgehen und Sensitivitätsanalysen der Modellantworten auf geschützte demografische Merkmale einschließen. Der Vergleich der Ergebnisse zwischen Rassen- und Geschlechtergruppen bleibt kritisch, auch wenn die erzeugte Sprache oberflächlich unparteiisch erscheint.

Die Forschung unterstreicht die Komplexität, Fairness von KI im Recruiting sicherzustellen. Sie warnt davor, sich ausschließlich auf Ausgabe-Filter zu verlassen, und betont die Notwendigkeit einer tiefergehenden, umfassenden Prüfung, um verborgene Vorurteile aufzudecken, die potenziell die Gerechtigkeit bei Einstellungen beeinträchtigen.