Исследователи раскрыли новый метод атаки ИИ, легко обходящий фильтры изображений OpenAI и Google для генерации откровенного контента

Image: Ars Technica · Source

Исследователи White Circle обнаружили новую технику атаки, которая обходит фильтры безопасности в последних моделях ИИ для изображений от OpenAI и Google, позволяя создавать откровенный контент без необходимости продвинутых знаний в области ИИ.

Исследователи по безопасности из White Circle, общественной корпорации, поддерживаемой экспертами ИИ-индустрии, выявили существенные уязвимости в фильтрации контента в новейших текстово-изобразительных моделях ИИ OpenAI и Google. Их исследования показали, что новый и удивительно простой метод атаки может обходить существующие защитные механизмы, генерируя откровенные изображения примерно в 13% случаев без необходимости использования кастомизированных моделей ИИ или технической экспертизы.

Протестированные модели включают GPT-Image-2 и ChatGPT Images 2.5 от OpenAI, а также DALL·E 3 и Nano Banana 2 с обновлением Nano Banana 2.1 от Google. Метод White Circle, названный «Red-teaming via Iterative Strategy Evolution» (RISE), использует широко доступные модели ИИ для генерации и проверки jailbreak-пригласительных фраз, которые надежно создают запрещенный контент. Эта техника демонстрирует, что текущие защиты, считающиеся надежными ведущими лабораториями ИИ, на самом деле слабее, чем принято считать.

Генеральный директор White Circle Денис Шилов заявил, что их результаты «ужасающие» на фоне растущей общественной озабоченности безопасностью ИИ. Он предполагает, что снижение эффективности фильтров может быть связано с приоритетом, отданным возможностям модели над безопасностью. Несмотря на передачу этих результатов в некоторые внутренние отраслевые каналы, ни OpenAI, ни Google не ответили на прямые запросы по поводу выявленных уязвимостей.

Последствия значительны, особенно учитывая рост количества генерируемых ИИ несогласованных интимных изображений и материалов о сексуальном насилии над детьми (CSAM). Британская организация Internet Watch Foundation сообщила о тревожном росте фотореалистичного ИИ-сгенерированного CSAM в начале 2026 года. Между тем, собственное исследование Google показало, что многие пользователи экспериментируют с ИИ-сгенерированными обнаженными изображениями без серьезных намерений, что подчеркивает важность надежных защит на уровне моделей.

White Circle выступает за обязательные независимые сторонние проверки безопасности моделей ИИ, утверждая, что текущие самооценки лабораторий ИИ недостаточны. Они планируют открыть исходные коды всего процесса атаки, чтобы помочь разработчикам лучше понять и противостоять этим рискам. Исследователи также предполагают, что методы, подобные RISE, могут быть расширены для выявления и предотвращения других вредоносных выходных данных ИИ, таких как изображения с насилием.

Тем не менее, отраслевой сопротивление сохраняется: некоторые компании предпочитают строгие соглашения о неразглашении, ограничивающие публичную прозрачность тестов безопасности. White Circle выступает против таких ограничений, подчеркивая, что публичное распространение важных результатов необходимо для улучшения стандартов безопасности ИИ.

По мере усложнения моделей ИИ все более важными становятся комплексная внешняя оценка и повышение инвестиций в безопасность, чтобы предотвратить злоупотребления и распространение вредоносного синтетического контента. Работа White Circle проливает свет на срочную необходимость усиления, независимой верификации и защиты в быстро развивающейся сфере ИИ.