Anthropic предоставляет внешнему надзорщику AI доступ на уровне сотрудника для усиления контроля безопасности

Image: Ars Technica · Source

Anthropic интегрировала команду внешнего надзорщика в свои офисы, предоставив им широкий доступ для независимой оценки рисков моделей ИИ, что стало важным шагом к прозрачности и подотчетности в области безопасности ИИ.

Anthropic, ведущий разработчик искусственного интеллекта, сделал значительный шаг в укреплении контроля безопасности, предоставив внешней надзорной организации так называемый "доступ на уровне сотрудника" к своим внутренним системам и аппаратному обеспечению. Эта инициатива направлена на прозрачную оценку рисков, связанных с их моделями ИИ, включая Claude, путем непосредственного размещения команды надзорщиков в офисах Anthropic. Внешние оценщики принадлежат к METR — некоммерческой организации с опытом работы в сотрудничестве с крупными ИИ-лабораториями, такими как OpenAI, Google и Meta. Обладая полным доступом, сопоставимым с доступом собственных команд по оценке рисков Anthropic, сотрудники METR могут независимо проводить аудиты, обзоры и анализы вопросов безопасности.

Этот шаг последовал на фоне широких отраслевых и общественных опасений относительно растущих потенциальных угроз со стороны всё более мощных систем ИИ — от экономических потрясений и киберугроз до экзистенциальных рисков. Генеральный директор Anthropic Дарио Амодеи, продвигая независимые оценки, ранее получил поддержку таких влиятельных фигур в сфере ИИ, как Сэм Альтман из OpenAI и Илон Маск из SpaceX, что подчеркивает редкий консенсус по важности надежного внешнего контроля.

Anthropic подчеркнула, что, стремясь к общественной ответственности в работе по безопасности, прямое публичное раскрытие всей чувствительной информации может открыть уязвимости злоумышленникам или конкурентам. Вместо этого выбран подход, аналогичный банковскому надзору, при котором регуляторы размещают проверяющих в крупных банках для непосредственной оценки рисков и проактивных действий. Оценщики METR имеют право публиковать свои выводы без необходимости одобрения со стороны Anthropic, хотя компания может требовать редакций в отношении чувствительных категорий данных, таких как информация о клиентах, юридические коммуникации или детали проприетарных моделей.

Для усиления этого контроля Anthropic обеспечила METR аппаратным обеспечением компании, офисным пространством и неограниченным доступом, аналогичным тому, что имеют внутренние команды по безопасности. Сотрудников Anthropic поощряют взаимодействовать с рецензентами METR так же, как с коллегами по вопросам рисков, содействуя совместной прозрачности. Важно отметить, что это соглашение реализуется без финансовой компенсации от Anthropic организации METR, которая функционирует исключительно на благотворительные и государственные средства, что сохраняет ее независимость.

Это событие происходит на фоне подготовки Anthropic к крупному первичному публичному размещению акций, оценка которого в этом году превышает 2 триллиона долларов. Компания стремится продемонстрировать, что безопасность ИИ и строгий менеджмент рисков остаются центральными приоритетами несмотря на коммерческие давления. Помимо METR, Anthropic продолжает сотрудничество с другими партнерами по безопасности, такими как Accenture, инвестирующей в масштабное тестирование безопасности, и SecureBio, которая оценивает риски, связанные с химическими и биологическими угрозами.

Anthropic призвала другие передовые компании в сфере ИИ принять аналогичные программы интегрированных оценщиков, подчеркивая добровольную прозрачность для совместного повышения отраслевых стандартов безопасности. METR выразил готовность расширить свои контрольные усилия на весь ландшафт ИИ, чтобы предоставлять улучшенные публичные доказательства и гарантии в области безопасности ИИ.

В итоге беспрецедентное предоставление Anthropic обширного внутреннего доступа внешнему надзорщику представляет собой значительный прогресс в управлении ИИ. Это создает потенциальный прецедент для интеграции независимых оценщиков внутри компаний ИИ с целью проактивного выявления и смягчения рисков на фоне растущих призывов к усилению регуляторных рамок для передовых технологий ИИ.