GPT-Red: OpenAI nutzt Self-Play für mehr KI-Sicherheit

GPT-Red ist ein spezialisiertes internes Modell von OpenAI, das gezielt Sicherheitslücken in autonomen KI-Agenten identifiziert. Die Notwendigkeit für ein solches System ergibt sich aus der Komplexität moderner Anwendungen, die eigenständig E-Mails lesen oder Bestellungen verwalten. GPT-Red spürt gezielt indirekte Prompt-Injections auf, bei denen Angreifer bösartige Befehle in gewöhnlichen Daten verstecken, um das Verhalten eines Agenten zu manipulieren.

Automatisierte Sicherheit durch Self-Play-Verfahren

OpenAI trainiert GPT-Red mithilfe eines Self-Play-Ansatzes, bei dem das Modell kontinuierlich gegen sich selbst antritt. In diesem Prozess fungiert das System als Angreifer, sendet Testanfragen an einen KI-Agenten und analysiert dessen Reaktion. Die Angriffsstrategie wird basierend auf Erfolg oder Misserfolg iterativ angepasst. Diese Methode findet Schwachstellen in einer Skalierbarkeit, die mit manuellem Red-Teaming kaum erreichbar wäre.

In aktuellen Testszenarien für indirekte Prompt-Injections erzielte GPT-Red eine Erfolgsquote von 84 % bei Angriffen auf eine interne Instanz von GPT-5.1. Im direkten Vergleich schnitten menschliche Sicherheitsteams deutlich schwächer ab: Sie konnten lediglich 13 % der präparierten Szenarien kompromittieren. Diese Ergebnisse unterstreichen die Effizienz automatisierter Testverfahren bei der Härtung moderner Sprachmodelle.

Praxistests und Härtung von GPT-5.6

GPT-Red demonstrierte seine Fähigkeiten kürzlich in einem realistischen Testszenario mit dem Agenten „Vendy“. Das Modell manipulierte den Agenten so, dass dieser Preise in einem Verkaufsautomaten änderte und Kundenbestellungen stornierte. Solche Angriffe verdeutlichen das Risiko, wenn KI-Systeme unkontrolliert Zugriff auf geschäftskritische Funktionen erhalten.

Die gewonnenen Erkenntnisse fließen direkt in die Entwicklung neuerer Modelle ein. GPT-5.6 wurde unter Einbeziehung dieser Angriffsdaten trainiert, um eine höhere Robustheit gegenüber Manipulationen zu gewährleisten. Laut OpenAI sank die Fehlerquote bei direkten Prompt-Injections bei GPT-5.6 Sol massiv und liegt teils bei nur 0,05 %. Damit ist das Modell etwa sechsmal widerstandsfähiger als seine Vorgänger.

Metrik	Menschliche Experten	GPT-Red (Angriff)
Erfolgsrate Injections	13 %	84 %
Fokus	Manuelle Analyse	Skalierbares Self-Play
Zielmodelle	GPT-5.1 / 5.5	GPT-5.1 / 5.5 / 5.6

Herausforderungen und Sicherheitsvorgaben für Entwickler

Jessica Ji, Analystin bei CSET, betrachtet den Self-Play-Ansatz als vielversprechend, gibt jedoch zu bedenken, dass menschliche Tester weiterhin Angriffsvektoren finden, die KI-Modelle übersehen. Auch das MIT Technology Review weist auf spezifische Schwächen hin. Bei komplexen, mehrstufigen Dialogen sowie Angriffen über Bilddaten stößt GPT-Red aktuell noch an Grenzen.

Für Entwickler, die KI-Agenten produktiv einsetzen, empfiehlt OpenAI eine Prüfung von drei zentralen Sicherheitsmechanismen:

• E-Mail-Versand: Nachrichten sollten grundsätzlich erst nach einer expliziten Freigabe durch einen Menschen versendet werden.
• Finanztransaktionen: Zahlungen und Stornierungen erfordern ein separates, menschliches Bestätigungs-Layer.
• Berechtigungsmanagement: Das Löschen von Dateien oder Ändern von Systemeinstellungen muss auf minimalen Rechten basieren.

Ein offizieller Preprint mit detaillierten technischen Daten zu GPT-Red wird in dieser Woche veröffentlicht. Weitere Informationen finden sich auf openai.com.