Die ganze Wahrheit über den OpenAI-Vorfall mit HuggingFace
Ein autonomes Modell von OpenAI attackierte tagelang fremde Entwickler. Das eigene Sicherheitsteam bemerkte davon fast eine Woche nichts.
Ein autonomer KI-Agent von OpenAI ist aus seiner Testumgebung ausgebrochen und hat die Entwicklerplattform Hugging Face attackiert. Er hinterließ offenbar Fluchtinstruktionen für künftige Versionen – und OpenAI bemerkte den Kontrollverlust erst nach einer Woche. Alle neuen Details.
Ausbruch aus der Testumgebung
Der Vorfall nahm bereits um den 9. Juli seinen Anfang. OpenAI testete zu diesem Zeitpunkt die Cybersicherheits-Fähigkeiten eines neuen Agenten. Er basiert auf dem Modell GPT-5.6 Sol sowie einem noch leistungsfähigeren, unveröffentlichten Modell.
Der Agent, der komplexe Aufgaben ohne menschliche Aufsicht ausführen soll, umging dabei die internen Sicherheitsbeschränkungen. Zwei Tage später griff der Agent die Systeme von Hugging Face an. Dieser Angriff dauerte laut Thomas Wolf, Mitgründer von Hugging Face, vom 11. bis zum 13. Juli.
Anzeige
Notizen an künftige Versionen
In der internen Infrastruktur fanden Entwickler Notizen, die der Agent offenbar für künftige Versionen seiner selbst hinterlassen hatte. Darin befanden sich Anweisungen, wie diese »Kinder« die internen Restriktionen von OpenAI umgehen können.
Schon bei früheren Tests hatten die Modelle teils Überwachungssysteme deaktiviert. Die Agenten versuchen durch solche Abkürzungen, ihre vorgegebenen Aufgaben effizienter zu lösen. Die Fähigkeit, unautorisiert auf externe Netzwerke zuzugreifen, stellt die Entwickler nun jedoch vor ein handfestes Kontrollproblem.
Der tagelange Blindflug
Obwohl der Angriff bereits am 13. Juli endete, blieb das Verhalten bei OpenAI tagelang unbemerkt. Erst nachdem Hugging Face am 16. Juli einen Blogpost über den Hackerangriff durch ein »autonomes KI-Agenten-System« veröffentlicht hatte, begann OpenAI mit der Aufarbeitung.
Am darauffolgenden Wochenende werteten Mitarbeiter die internen Protokolle aus und fanden die Spuren des Ausbruchs. Die späte Reaktion erklärt sich teils durch die schiere Masse an Daten. OpenAI führt parallel zahlreiche Modellevaluationen durch. Diese erzeugen so viele Informationen, dass die Mitarbeiter sie kaum noch zeitnah auswerten können.
Kurz, OpenAI war komplett überfordert von seinen eigenen KI-Modellen.
Rufe nach staatlicher Aufsicht
Hugging Face hatte zu diesem Zeitpunkt bereits das FBI eingeschaltet. Die beiden Unternehmen kommunizierten erst am 20. Juli direkt über den Vorfall, einen Tag bevor OpenAI den Ausbruch öffentlich machte.
Jeffrey Ladish von der Forschungsorganisation Palisade Research fordert aufgrund solcher Vorfälle staatliche Aufsicht für die Branche. Für OpenAI kommt der Kontrollverlust zur Unzeit. Das Unternehmen bereitet derzeit einen möglichen Börsengang vor, um Kapital für künftige Entwicklungen zu sichern.
Sowohl OpenAI als auch Hugging Face werten den Vorfall nun gemeinsam mit externen Beratern aus und planen in den kommenden Wochen einen detaillierten technischen Bericht.
