Cybersicherheitsforscher haben ein Jailbreak-Toolkit für OpenAI Codex entdeckt, das die vertrauenswürdigen Anweisungen des KI-Agenten verändert, um Werbung einzufügen. Check Point Research hat dieses Verhalten als „Prompt-Adware“ bezeichnet.
Das Toolkit namens Haiou – chinesisch für „Möwe“ – verändert Codex-Konfigurationsdateien, sodass spätere Antworten des Agenten eine Website bewerben, die Zugang zu einem OpenAI-kompatiblen Gateway für Sprachmodelle anbietet. Check Point zufolge fungiert das Gateway als Middleware zwischen Anwendungen und einem LLM-Anbieter. Die kostenlose Jailbreak-Sammlung könnte dazu dienen, Kunden für den kostenpflichtigen Dienst zu gewinnen.
Haiou nutzt Prompt-Injection-Methoden wie Rollenspiele und die Umdeutung von Cybersicherheitsanfragen in Capture-the-Flag-Aufgaben. Außerdem installiert es auf Penetrationstests, Cracking und Reverse Engineering ausgerichtete Skills. Unabhängig davon fügt es der globalen Anweisungsdatei des Agenten dauerhafte Werbeanweisungen hinzu. Die Werbung kann durch gängige Begrüßungen und Aktivierungsphrasen wie „hi“, „hello“ und „Seagull“ ausgelöst werden.
Auf GitHub wird das Paket als lokales Konfigurationstool präsentiert, das Codex eine chinesische technische Persona und einen Workflow für Sicherheitsforschung hinzufügt. Es wurde außerdem mit Codex-X gebündelt, einem chinesischen Open-Source-Visualisierungstool zur Konfiguration von Codex über eine grafische Benutzeroberfläche.
Pedro Drimel Neto, Leiter des Malware-Analyseteams von Check Point, sagte, das Verhalten werde über natürlichsprachliche Anweisungen und Konfigurationen und nicht über eine herkömmliche ausführbare Nutzlast eingeführt. Die Forscher erklärten, der Fall zeige, wie Skills und Konfigurationen von Drittanbietern einen KI-Agenten beeinflussen und Risiken in der Lieferkette schaffen können.
Quellen: The Hacker News.