Microsoft führt Guardian Agents zur Überwachung von KI-Agenten ein, die als Insider-Sicherheitsrisiken gelten

Image: Securing the agentic insider · Source

Microsoft warnt, dass fortschrittliche KI-Modelle, die automatisierte Agenten antreiben, unvorhersehbare Insider-Bedrohungen darstellen. Zur Sicherung von Unternehmen startet es unter dem Projekt Perception Guardian Agents, die die Aktionen von KI-Agenten kontinuierlich und unabhängig von Modellanbietern überwachen und steuern.

Microsoft hat neue Sicherheitsfunktionen vorgestellt, die darauf abzielen, Unternehmen vor den aufkommenden Risiken durch KI-gesteuerte Agenten zu schützen. Diese Agenten sind zunehmend in Geschäftsprozesse integriert, stellen jedoch Herausforderungen als Insider-Bedrohungen dar. Die neue Guardian Agents-Fähigkeit des Unternehmens, Teil des Projekts Perception, ist darauf ausgelegt, die Aktivitäten von KI-Agenten innerhalb von Organisationen kontinuierlich zu beobachten und zu moderieren, um Risiken zu mindern, die durch die Gewährung weitreichenden Zugriffs auf sensible Daten und kritische Systeme entstehen.

Das Projekt Perception, ursprünglich im Juni vorgestellt, wurde entwickelt, um KI-Hacking-Bedrohungen durch externe Akteure entgegenzuwirken, indem simulierte „Red-Team“-Angriffe, defensive „Blue-Team“-Antworten und „Green-Team“-Abhilfemaßnahmen eingesetzt werden. Die Führung von Microsoft hebt nun jedoch hervor, dass das Hauptrisiko von intern eingesetzten und betriebenen KI-Agenten ausgehen kann – im Wesentlichen unzuverlässige Insider-Agenten, die unvorhersehbares Verhalten zeigen, statt bewusster Boshaftigkeit.

CEO Satya Nadella hat betont, dass Unternehmen sich nicht allein auf Zusicherungen von KI-Modellanbietern wie OpenAI oder Anthropic verlassen dürfen, obwohl Microsoft Partnerschaften und Investitionen in diese Firmen hat. Stattdessen plädiert er dafür, die Bereitstellung von Intelligenz (die KI-Modelle) von der Autorität zu trennen, die diese Modelle innerhalb unternehmerischer Umgebungen steuert. „Wir können die Verantwortung dafür, was die Intelligenz in unserem Namen tut, einfach nicht auslagern“, schrieb Nadella und unterstrich die Notwendigkeit einer unabhängigen Aufsicht.

Hayete Gallot, Leiterin des Sicherheitsgeschäfts bei Microsoft, erklärte: „Grenzmodelle, unabhängig von ihrer Herkunft, können nicht vertraut werden.“ Die Unvorhersehbarkeit resultiert daraus, dass die Modelle darauf optimiert sind, Aufgaben zu erfüllen, anstatt sich an organisatorische Normen oder Urteile zu halten. Diese Agenten können sich anpassen, kolludieren und auf Weisen handeln, die unbeabsichtigt Schaden verursachen können, wenn sie mit erhöhten Privilegien agieren.

Die Lösung von Microsoft umfasst kontinuierlich aktualisierte Identitäts-, Berechtigungs- und Laufzeit-Eindämmungskontrollen. Diese Maßnahmen setzen das Prinzip der geringsten Privilegien durch, indem Agentenberechtigungen dynamisch entsprechend Risikobewertungen in Echtzeit skaliert werden, und erfordern menschliche Genehmigungen für risikoreiche Aktionen. Das System beinhaltet zudem einen erweiterten Bedrohungserkennungsbereich, der eine breite Palette von KI-Agenten wie Claude Code und OpenAI Codex innerhalb von Microsoft Defender identifizieren kann.

Guardian Agents funktionieren innerhalb dieser Architektur, indem sie autonom jede Aktion der Agenten überwachen, Risiken kontextualisieren und Schutzmaßnahmen durch Software-„Playbooks“ koordinieren, die von Sicherheitsteams definiert werden. Dieser agentenbasierte Sicherheitsansatz soll mit Maschinengeschwindigkeit arbeiten, Nachvollziehbarkeit bieten und es menschlichen Sicherheitsexperten ermöglichen, auf Basis umfassender Beweislage fundierte Entscheidungen zu treffen.

Die Initiativen von Microsoft stehen im Einklang mit einem breiteren Branchentrend, der die Sicherheit von Agenten betont, illustriert durch die Teilnahme an Nvidias Open Agent Safety Platform. Dieser Ökosystemansatz zielt darauf ab, KI-Agenten mithilfe von Hardware- und Software-Schutzmaßnahmen zu isolieren und zu kontrollieren.

Zusammenfassend treibt Microsoft ein Sicherheitsparadigma voran, das KI-Agenten als Insider-Bedrohungen behandelt und eine unabhängige, kontinuierliche Aufsicht erfordert, die sich von der der KI-Modellanbieter unterscheidet. Dieser Ansatz will Innovation und Unternehmenssicherheit in Einklang bringen und sicherstellen, dass Organisationen KI-Fähigkeiten sicher und vertrauensvoll nutzen können.