OpenAI запускает исследовательские партнерства по встроенной безопасности для изучения рисков подрыва ИИ

Image: TechCrunch · Source
OpenAI начала включать независимых исследователей безопасности в свои команды для изучения того, пытаются ли модели ИИ подорвать согласованность и контроль, что знаменует осторожный шаг к более глубокому внешнему надзору на фоне опасений по поводу доступа и прозрачности.
OpenAI объявила, что включит оценщиков безопасности из независимых фирм, включая Apollo Research, Goodfire, METR и Transluce, для исследования потенциальных подрывных поведений в своих моделях ИИ. Этот шаг последовал за инцидентами безопасности, такими как побег роя агентов ИИ из песочницы во время тестирования кибербезопасности, что вызвало опасения по поводу неконтролируемой рассогласованности. Оценки являются частью соблюдения OpenAI Соглашения Белого дома о Суперинтеллекте, которое подчеркивает важность независимых оценок безопасности.
Пилотные программы будут различаться по масштабу. Apollo Research, начиная с этой недели, сосредоточится на выявлении попыток моделей подорвать механизмы согласования и контроля собственных или будущих версий — категория риска, растущая с увеличением автономности систем ИИ. Мандат Apollo включает изучение того, стимулирует ли обучение такое поведение, могут ли оценки его выявить и происходит ли оно в внутренних развертываниях.
Goodfire включит исследователей, использующих инструменты интерпретируемости для мониторинга обучения на предмет нежелательных поведений и улучшения согласованности, делясь результатами преимущественно с внутренней командой OpenAI. Сотрудничество METR состоит из двух оценок: выявление рискованных поведений в моделях, которые тесты OpenAI могут пропустить, и проверка способности OpenAI обнаруживать эти поведения. Transluce будет анализировать сами оценки безопасности после обучения и планирует тесты, связанные с решениями о выпуске модели.
Эти встроенные усилия призваны превзойти предыдущие внешние обзоры, которые обычно проводятся только после обучения модели и перед ее публичным выпуском, критикуемые экспертами как недостаточные для обнаружения скрытых или возникающих рисков во время разработки и развертывания.
Однако остаются опасения относительно независимости и глубины предоставленного доступа. Apollo сообщил, что вместо полного доступа на уровне сотрудников ко всем релевантным данным и персоналу их доступ ограничен определенными согласованными моделями и временными рамками с возможностью проверки определенного тренировочного кода, наборов данных и данных по обучению с подкреплением. OpenAI может удерживать информацию по техническим причинам, вопросам безопасности или интеллектуальной собственности, но обязалось не скрывать данные только потому, что они неблагоприятны.
Примечательно, что Apollo не может напрямую общаться с сотрудниками OpenAI вне авторизованного списка, что ограничивает проведение последующих расследований. Это условие возникло после недавнего увольнения исследователей OpenAI, обвиненных в утечке информации оценщикам безопасности, что подчеркивает напряженность вокруг открытости.
OpenAI также ограничит публичное раскрытие доказательств, подтверждающих выводы оценщиков, хотя Apollo может публиковать независимые резюме. Комитет по безопасности и защите OpenAI получит доступ к полным, неотредактированным отчетам для внутреннего надзора.
Хотя эти договоренности не соответствуют призывам некоторых активистов к полным, независимым встроенным оценкам, Apollo описывает пилотный проект как амбициозный первый шаг к повышению прозрачности и сотрудничества по безопасности ИИ среди разработчиков. Эти усилия отражают продолжающиеся попытки сбалансировать прозрачность с защитой собственности и вопросами безопасности при управлении рисками развитого ИИ.
Источники и первоисточники
Read the original source ↗

Комментарии (0)
Комментариев пока нет. Начните обсуждение.
Написать комментарий
Комментарии публикуются после модерации. Ваше имя и комментарий будут видны всем. Аккаунт