Investigadores de Yale Revelan Sesgos Raciales y de Género Ocultos en Modelos de IA para Contratación a Pesar de un Lenguaje Neutral

Image: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Source

Un estudio de Yale encuentra que los grandes modelos de lenguaje codifican sutilmente sesgos raciales y de género en evaluaciones de candidatos, entregando recomendaciones aparentemente neutrales que ocultan prejuicios demográficos internos.

Investigadores de la Escuela de Administración de la Universidad de Yale han descubierto un fenómeno preocupante de sesgo oculto en modelos de lenguaje de IA usados para evaluar candidatos a empleo. El reciente estudio del profesor Tristan Botello revela que, aunque estos grandes modelos de lenguaje (LLMs) generan recomendaciones que son externamente neutrales y libres de lenguaje explícitamente discriminatorio, sus procesos internos de toma de decisiones permanecen influenciados por características raciales y de género de los solicitantes. Este fenómeno, denominado "conformidad simbólica a las normas" por el equipo de investigación, describe cómo los modelos pueden evitar frases explícitamente sesgadas, pero mantener evaluaciones sesgadas basadas en señales demográficas.

Botello destacó que muchas empresas que emplean herramientas de contratación asistida por IA carecen de transparencia sobre la equidad de sus modelos: "Nadie sabe realmente si estos modelos pueden realizar selecciones verdaderamente imparciales." Algunos desarrolladores intentan alineamientos de seguridad posteriores al entrenamiento, que penalizan salidas sesgadas. Sin embargo, el estudio de Yale cuestiona si estos ajustes conducen genuinamente a evaluaciones más justas o simplemente sanitizan las salidas para proteger a las organizaciones de daños reputacionales.

El problema tiene una importancia real dado incidentes pasados como la eliminación en 2018 por parte de Amazon de una herramienta de reclutamiento con IA tras descubrir que degradaba sistemáticamente currículums que contenían la palabra "mujeres." A diferencia de algoritmos anteriores, que mostraban discriminación evidente identificable mediante escaneos de palabras clave, los modelos de lenguaje actuales han evolucionado para sortear esos filtros superficiales. En cambio, los sesgos persisten internamente en los pesos aprendidos del modelo, evadiendo una detección sencilla.

Los hallazgos de Botello llaman a auditorías más rigurosas y prácticas de gestión de riesgos en los sistemas de contratación con IA. Las evaluaciones deben ir más allá del análisis del texto visible de salida para incluir análisis de sensibilidad de las respuestas del modelo ante atributos demográficos protegidos. Comparar resultados entre grupos raciales y de género sigue siendo crítico incluso si el lenguaje generado parece superficialmente imparcial.

La investigación subraya la complejidad de garantizar la equidad en la IA aplicada al reclutamiento. Advierte contra la dependencia exclusiva de filtros de salida y enfatiza la necesidad de escrutinios más profundos y exhaustivos para descubrir sesgos ocultos que potencialmente afectan la equidad en la contratación.