OpenAI представляет новые инструменты для борьбы с материалами о сексуальном насилии над детьми с классификатором изображений и предупреждениями ChatGPT

Image: TechCrunch · Source
OpenAI представила классификатор изображений для обнаружения AI-сгенерированных и других материалов сексуального насилия над детьми (CSAM) вместе с предупреждениями ChatGPT и временными блокировками для предотвращения доступа и создания такого контента, усиливая меры по защите детей.
OpenAI запустила серию новых инструментов, направленных на борьбу с материалами сексуального насилия над детьми (CSAM), отвечая на растущие опасения по поводу рисков безопасности, связанных с ИИ. В центре этих усилий находится новый классификатор изображений, способный обнаруживать CSAM, включая искусственно сгенерированные изображения. Этот классификатор присваивает оценки, указывающие на вероятность того, что изображение содержит насильственный контент, предоставляя рекомендации для человеческих проверяющих.
Разработка классификатора велась в партнерстве с Национальным центром поиска и эксплуатации пропавших детей (NCMEC). OpenAI начала предоставлять доступ к этому инструменту выбранным компаниям через свой API бесплатно, способствуя более широкому использованию. Ранние тесты показали, что классификатор уменьшил количество помеченных изображений на 48%, при этом сохранив обнаружение того же количества изображений с насилием, тем самым снижая нагрузку на модераторов контента. Кроме того, изображения, помеченные классификатором, вдвое чаще подтверждались как насильственные.
Параллельно OpenAI интегрировала новые механизмы предупреждения в ChatGPT. Когда пользователь пытается получить доступ к контенту, сексуализирующему детей, или сгенерировать такой контент, система отображает предупреждение, предлагает ссылки на специализированные ресурсы поддержки, направленные на прекращение вредоносного поведения, и временно блокирует аккаунт пользователя на 24 часа в качестве предупреждения. ChatGPT уже блокирует запросы на CSAM, и повторные нарушения могут привести к постоянному удалению аккаунта.
Эти предупреждения и инструкции были разработаны с консультированием экспертных организаций, таких как Protect Children, Lucy Faithfull Foundation, а также академических исследователей, которые оценивали эффективность устрашающих сообщений. OpenAI также опубликовала руководства для разработчиков, поддерживающие профилактику, обнаружение и докладывание о CSAM, что помогло некоторым разработчикам внедрять меры безопасности для детей и связываться с каналами отчетности NCMEC.
Кроме этих мер, OpenAI обеспечила правоохранительные органы, специализирующиеся на безопасности детей, плагинами на базе ИИ для расследований, аналитическими инструментами и учебными материалами, гарантируя ответственное и эффективное использование ИИ в борьбе с CSAM. Доступ к этим ресурсам тщательно регулируется администраторами программы.
Эта инициатива последовала за критикой и исками, с которыми столкнулась OpenAI из-за неправильного использования их технологий, особенно в отношении рисков для детей. Ранее компания обновила свои модели ИИ и правила работы с контентом для повышения безопасности и запустила версию ChatGPT, ориентированную на подростков.
Последние достижения OpenAI отражают продолжающиеся усилия по решению сложных проблем, связанных с ИИ и защитой детей, демонстрируя многосторонний подход, сочетающий технологии, политику и сотрудничество с экспертами.
Источники и первоисточники
Read the original source ↗

Комментарии (0)
Комментариев пока нет. Начните обсуждение.
Написать комментарий
Комментарии публикуются после модерации. Ваше имя и комментарий будут видны всем. Аккаунт