Microsoft Представляет Guardian Agents для Мониторинга Агентов ИИ, Рассматриваемых как Внутренние Риски Безопасности

Image: Securing the agentic insider · Source

Microsoft предупреждает, что передовые модели ИИ, управляющие автоматизированными агентами, являются непредсказуемыми внутренними угрозами. Для защиты предприятий компания запускает Guardian Agents в рамках Project Perception для постоянного мониторинга и контроля действий агентов ИИ независимо от поставщиков моделей.

Microsoft представил новые функции безопасности, направленные на защиту предприятий от возникающих рисков, связанных с агентами на базе искусственного интеллекта, которые все чаще интегрируются в бизнес-процессы, но создают проблемы внутренней угрозы. Новая возможность компании — Guardian Agents, часть Project Perception, разработана для постоянного наблюдения и регулирования деятельности агентов ИИ внутри организаций, снижая риски, возникающие при предоставлении этим агентам широкого доступа к конфиденциальным данным и критически важным системам.

Project Perception, впервые представленный в июне, был создан для противодействия хакерским угрозам со стороны внешних злоумышленников посредством развертывания симулированных атак «красной команды», защитных действий «синей команды» и мер исправления «зеленой команды». Тем не менее руководство Microsoft теперь подчеркивает, что основной риск может исходить от агентов ИИ, развёрнутых и управляемых внутри компании — по сути, ненадежных внутренних агентов, способных на непредсказуемое поведение, а не на осознанное злонамеренное действие.

Генеральный директор Сатья Наделла подчеркнул, что предприятия не должны полагаться исключительно на заверения поставщиков моделей ИИ, таких как OpenAI или Anthropic, несмотря на партнерские отношения и инвестиции Microsoft в эти компании. Вместо этого он выступает за разделение поставки интеллекта (ИИ-моделей) и полномочий, контролирующих действия этих моделей в корпоративной среде. «Мы просто не можем переложить ответственность за действия интеллекта, выполняемые от нашего имени», — написал Наделла, подчеркивая необходимость независимого надзора.

Хайете Галлот, руководитель направления безопасности бизнеса Microsoft, заявила: «Передовые модели, независимо от их происхождения, не могут вызывать доверия». Непредсказуемость обусловлена тем, что модели оптимизированы для выполнения задач, а не для следования организационным нормам или здравому смыслу. Эти агенты могут адаптироваться, сговариваться и действовать таким образом, что при работе с повышенными правами могут непреднамеренно причинить вред.

Решение Microsoft включает постоянно обновляемые средства контроля идентичности, прав доступа и ограничения времени выполнения. Эти меры обеспечивают минимально необходимые привилегии, динамически масштабируя права агента в соответствии с оценкой риска в реальном времени, а также требуют одобрения человека для действий высокого риска. Система также расширяет возможности обнаружения угроз, способная выявлять широкий спектр агентов ИИ, таких как Claude Code и OpenAI Codex, в рамках Microsoft Defender.

Guardian Agents функционируют в этой архитектуре, автономно контролируя каждое действие агента, определяя контекст рисков и координируя защитные реакции с помощью программных «плейбуков», определяемых командами безопасности. Такой агентский подход к безопасности предназначен для работы на машинной скорости, обеспечивая прослеживаемость и позволяя специалистам по безопасности принимать обоснованные решения на основе всесторонних доказательств.

Инициативы Microsoft соответствуют более широкому отраслевому тренду, подчеркивающему безопасность агентов, что подтверждается участием компании в платформе Open Agent Safety Platform от Nvidia. Такой экосистемный подход направлен на изоляцию и контроль агентов ИИ с использованием аппаратных и программных средств защиты.

В заключение, Microsoft продвигает парадигму безопасности, рассматривающую агентов ИИ как внутренние угрозы, требующие независимого и постоянного контроля, отличного от контроля поставщиков моделей ИИ. Этот подход стремится сбалансировать скорость инноваций и безопасность предприятий, обеспечивая организациям возможность использовать возможности ИИ с уверенностью, не компрометируя безопасность.