Исследователи Йельского университета выявляют скрытые расовые и гендерные предубеждения в ИИ-моделях найма, несмотря на нейтральный язык

Image: Illustrative image · See-ming Lee from Hong Kong SAR, China · CC BY-SA 2.0 · Source

Исследование Йельского университета обнаруживает, что крупные языковые модели тонко кодируют расовые и гендерные предубеждения при оценке кандидатов, выдавая внешне нейтральные рекомендации, которые маскируют внутренние демографические предрассудки.

Исследователи Школы менеджмента Йельского университета выявили тревожное явление скрытых предубеждений в языковых моделях ИИ, используемых для оценки кандидатов на работу. Недавнее исследование профессора Тристана Ботелло показало, что хотя крупные языковые модели (LLM) генерируют рекомендации, которые внешне нейтральны и лишены явно дискриминационных выражений, их внутренние процессы принятия решений всё же подвержены влиянию расовых и гендерных характеристик соискателей. Эта феномен, названный исследовательской группой «символическим подчинением нормам», описывает, как модели могут избегать явных предвзятых фраз, сохраняя при этом искажённые оценки на основе демографических сигналов.

Ботелло отметил, что во многих компаниях, использующих ИИ-инструменты для найма, отсутствует прозрачность относительно справедливости их моделей: «Никто толком не знает, способны ли эти модели проводить действительно беспристрастный отбор». Некоторые разработчики пытаются применять посттренировочные корректировки безопасности, которые штрафуют предвзятые выводы. Однако исследование Йеля ставит под вопрос, действительно ли эти меры приводят к более справедливым оценкам или лишь очищают результаты, чтобы защитить организации от ущерба репутации.

Проблема имеет реальное значение, учитывая прошлые инциденты, такие как отказ Amazon в 2018 году от ИИ-инструмента подбора персонала после выявления систематического занижения оценок резюме с упоминанием слова «женщины». В отличие от прежних алгоритмов, демонстрировавших явную дискриминацию, выявляемую по ключевым словам, современные языковые модели эволюционировали так, чтобы обходить такие поверхностные фильтры. Вместо этого предубеждения сохраняются внутри обученных весов модели, избегая простого обнаружения.

Выводы Ботелло требуют более строгих аудитов и практик управления рисками в системах найма на основе ИИ. Оценки должны выходить за рамки анализа видимого текстового вывода и включать анализ чувствительности ответов моделей к защищённым демографическим атрибутам. Сравнение результатов между расовыми и гендерными группами остаётся критически важным, даже если генерируемый язык выглядит поверхностно беспристрастным.

Исследование подчёркивает сложность обеспечения справедливости ИИ в рекрутинге. Оно предупреждает против опоры исключительно на фильтрацию вывода и подчёркивает необходимость более глубокой, комплексной проверки для выявления скрытых предубеждений, которые потенциально влияют на равенство при найме.