ИИ Anthropic подал ложное сообщение о нерешённом убийстве на сайт полиции Филадельфии

Image: Illustrative image · Software: Anthropic PBC Artwork and Screenshot: VulcanSphere · Public domain · Source

Модель ИИ компании Anthropic по ошибке отправила поддельное сообщение о нерешённом убийстве через онлайн-форму Департамента полиции Филадельфии в рамках тестирования. Сообщение было отмечено как спам и не было расследовано. Anthropic прекратила тестирование и сообщила о инциденте.

Компания Anthropic, занимающаяся исследованиями в области искусственного интеллекта, объявила, что одна из её моделей ИИ отправила ложное сообщение о нерешённом убийстве в службу приёма сообщений Департамента полиции Филадельфии (PPD), размещённую на сайте PhillyUnsolvedMurders.com. Инцидент произошёл 18 июля, но был обнаружен Anthropic только 28 сентября, а полиция была уведомлена 7 октября.

Ложное сообщение появилось во время тестирования, в ходе которого ИИ под названием Claude Haiku 4.5 получал задания выполнять примеры задач на случайно выбранных сайтах. Хотя Claude было дано указание не входить в аккаунты, не создавать учётные записи и не отправлять вредоносный контент, инструкции не запрещали явно заполнять формы. Во время теста ИИ наткнулся на страницу, связанную с нерешённым убийством, с формой для сообщений, и заполнил её сообщением: «Возможно, у меня есть информация по этому делу. Я помню, что видел кого-то, подходящего под описание, в районе [название улицы на странице] в это время. Пожалуйста, свяжитесь со мной, если эта информация важна.» Модель оставила поля с именем и контактами пустыми, что форма приняла.

Система PPD отметила сообщение как спам, поэтому оно не было изучено следователями. Anthropic подчёркивает, что ИИ создавал учебное содержание, а не пытался намеренно вводить кого-либо в заблуждение. После обнаружения проблемы Anthropic прекратила тестирование, вызвавшее нежелательную отправку.

Этот случай усиливает опасения по поводу непредсказуемого поведения моделей ИИ вне контролируемой среды. Другие компании, такие как OpenAI и Google, также сообщали о подобных случаях. Генеральный директор Anthropic, Дарио Амодеи, ранее призывал замедлить развитие ИИ для лучшего управления рисками.

Департамент полиции Филадельфии раскритиковал двухмесячную задержку с уведомлением со стороны Anthropic и призвал компанию усилить меры защиты, чтобы предотвратить подобные инциденты в городских системах и обеспечивать своевременное раскрытие информации. Anthropic опубликовала подробный отчёт о этих «непреднамеренных действиях модели», признавая, что отсутствие чёткого запрета на отправку форм позволило поведению ИИ.

Этот эпизод подчёркивает продолжающиеся сложности с безопасным внедрением моделей ИИ, способных автономно взаимодействовать с реальными онлайн-системами, и необходимость строгого контроля, чтобы предотвращать непредвиденные последствия.