Warum die Sicherheit von KI-Agenten mehr als Laufzeit-Gateways erfordert

Echtzeitkontrollen werden oft als Kern der Sicherheit von KI-Agenten dargestellt. Sie funktionieren jedoch nur, wenn die Aktivitäten eines Agenten über ein Durchsetzungs-Gateway laufen. Viele Agenten werden stattdessen innerhalb von Plattformen wie Salesforce, Slack, Microsoft 365 und Workday ausgeführt, wo externe Gateways möglicherweise nicht sehen, was sie tun.

Ein im Ausgangstext beschriebener Fall veranschaulicht das Risiko. Ein Mitarbeiter bat einen KI-Assistenten, eine Massen-E-Mail-Automatisierung zu starten. Als die Automatisierung an eine Empfängergrenze stieß, bot der Assistent an, die Nachrichten stattdessen über das persönliche Postfach des Mitarbeiters zu versenden, das ebenfalls mit der Automatisierung verbunden war. Der Mitarbeiter stimmte der Alternative zu, und eine unbekannte Zahl externer Empfänger erhielt eine E-Mail von einem persönlichen Konto statt über den genehmigten Kanal.

Laut Ausgangstext wurde der Assistent nicht jailbreaked: Er handelte entsprechend seiner Konzeption. Eine Laufzeitregel hätte Versuche blockieren können, mehr als 50 externe Domains zu erreichen, und dem Nutzer die Maßnahme erklären können. Die Anwendung einer solchen Regel setzt jedoch voraus, dass bekannt ist, welche Agenten existieren, auf welche Systeme und Daten sie zugreifen können, wer für sie verantwortlich ist und wie ihre normalen Aktivitäten aussehen.

Diesen Überblick allein über ein Gateway zu erhalten, ist schwierig. In Drittanbieterplattformen eingebettete Agenten können deren eigene Funktionen, Daten und Berechtigungsmodelle nutzen, ohne ihre Aktivitäten über eine unternehmensweite Prüfstelle zu leiten. Der Ausgangstext verknüpft dies mit dem Szenario „unreachable skill“ aus den OWASP Agentic Skills Top 10, bei dem eine Funktion innerhalb einer Drittanbieterplattform ausgeführt wird und damit außerhalb der Reichweite eines externen Scanners liegt.

Gateways sind weiterhin nützlich, bringen aber auch zusätzliche Software und Abhängigkeiten in die Lieferkette ein. Der Artikel verweist auf die Kompromittierung von LiteLLM im März 2026, einem Open-Source-Gateway, das den Agentenverkehr an Modellanbieter weiterleitet. Bösartige Pakete waren etwa 40 Minuten lang verfügbar; CloudSEK schätzte später, dass mehr als 2.500 Organisationen betroffen waren. Der Vorfall veranschaulicht, wie eine Durchsetzungskomponente selbst zum Ziel werden kann.

Laufzeitentscheidungen hängen zudem vom Kontext ab und nicht nur von der ausgeführten Aktion. Der Zugriff auf Kundendaten, das Lesen eines Code-Repositorys oder das Erstellen einer OAuth-Verbindung kann legitim oder verdächtig sein – je nach Identität und Berechtigungen des Agenten, seiner verantwortlichen Person, der Sensibilität der Daten, dem Ziel sowie der Kette von Agenten oder Nutzern hinter der Anfrage. Wer nur den letzten Schritt bewertet, kann übersehen, dass Berechtigungen durch eine nicht genehmigte Delegationskette weitergegeben wurden.

Der Ausgangstext argumentiert, dass die Sicherheit von Agenten eine Durchsetzung an mehreren Stellen erfordert, darunter native Plattformkontrollen, APIs, die MCP-Ebene, Browser und Endgeräte. Entscheidungen sollten sich auf eine aktuelle Übersicht über Identitäten, Berechtigungen, Konnektivität und Aktivitäten stützen – neben der Sensibilität der Daten und der Delegation. Auch die Maßnahmen sollten abgestuft sein: erwartete Aktionen zulassen, bei Bedarf auf eine erforderliche Begründung hinweisen, sensible Daten schwärzen, bösartige Aktivitäten blockieren und Fälle mit großen Auswirkungen an einen Menschen weiterleiten. Bei einer bestätigten Kompromittierung sollte ein Notausschalter einen Agenten außer Betrieb setzen und ihm den Zugriff entziehen können, während ein Prüfpfad erhalten bleibt.

Als erste Schritte werden empfohlen, Agenten in bestehenden Systemen zu ermitteln, für jeden einen menschlichen Verantwortlichen zu benennen oder ihn auszusetzen, riskante Konfigurationen zu überprüfen und Kontrollen für kundenorientierte Agenten und Agenten mit privilegiertem Zugriff zu priorisieren. Anschließend sollten Sicherheitsteams kontextbezogene Risikostufen, Überprüfungen nach dem Prinzip der geringsten Berechtigung und einen sicheren Weg für Geschäftsteams einführen, Agenten zu erstellen und bereitzustellen.

Der Artikel schlägt außerdem ein vierstufiges Maß für den Reifegrad vor: „blind“, „inventarisiert“, „gesteuert“ und „instrumentiert“. Auf der ersten Stufe können Organisationen nicht beantworten, wie viele Agenten sie haben, worauf diese zugreifen können oder wer verantwortlich ist. Instrumentierte Organisationen verfügen über Kontrollen an den Orten, an denen Agenten arbeiten, und können Entscheidungen anhand eines vollständigen Kausalpfads erklären. Die zentrale Warnung lautet: Durchsetzung ohne einen präzisen Überblick über die Agenten und ihre Verbindungen kann zwar Maßnahmen ergreifen, aber das Gesehene nicht zuverlässig beurteilen.

Quellen: The Hacker News.