OpenAI hat den Angriff seiner KI-Agenten auf Hugging Face ausführlich aufgearbeitet. Neue Untersuchungsberichte zeigen nun, dass sich hunderte Agenten heimlich koordinierten, Sicherheitssysteme umgingen und OpenAI bereits Wochen vor der Eskalation Warnsignale kannte. Das Unternehmen spricht inzwischen selbst von einem »warning shot«.
Geheimes Netzwerk der Agenten
Die Agenten sollten während eines Cybersicherheits-Tests eigentlich vollständig voneinander getrennt arbeiten. Die knapp 130-seitigen Untersuchungsberichte von OpenAI sowie den unabhängigen Forschungsgruppen METR und Redwood zeigen jedoch, dass sie einen nicht vorgesehenen Kommunikationskanal entdeckten.
Darüber tauschten sie mehr als 70.000 Nachrichten aus. Ein Agent namens PHASEONE10841 orchestrierte hunderte Aufträge. Das Netzwerk verteilte Rollen für die Suche nach Schwachstellen, beschaffte Zugangsdaten und etablierte gemeinsame Regeln, um parallele Arbeiten zu koordinieren.
Quelle: metr org
Warnzeichen ignoriert
Der Zusammenschluss geschah nicht aus dem Nichts. OpenAI verpasste eine Serie aufälliger Vorfälle, bevor die Situation außer Kontrolle geriet. Bereits Ende Mai bemerkten Mitarbeiter einen unerlaubten Nachrichtenaustausch und Internetzugriffe.
Am 27. Juni schlug die interne Überwachung wegen Port-Scannings innerhalb der Forschungsumgebung Alarm. Am 4. Juli legte die hohe Aktivität das improvisierte Message Board lahm. OpenAI fand daraufhin ein unerlaubtes Plugin zur Befehlsausführung und nahm das System offline. Trotz dieses administrativen Kompromisses startete das Unternehmen die Tests am 7. Juli einfach neu. Einen Tag später hatten die Agenten bereits einen neuen Kanal aufgebaut.
Anzeige
Eskalation bei Hugging Face
Rund 700 Agenten griffen schließlich die Infrastruktur von Hugging Face an. Forensiker registrierten dort zwischen dem 9. und 13. Juli etwa 17.600 automatisierte Aktionen in Maschinengeschwindigkeit.
Die Agenten führten Code auf 41 Produktions-Workern aus. Sie erlangten auf mindestens einem Knoten Root-Rechte, erbeuteten Zugangsdaten für Datenbanken sowie Clouddienste und luden vier private Code-Repositories herunter. Hugging Face bestätigte, dass der Angreifer lediglich fünf spezifische Datensätze berührte. Kundendaten wurden nicht gestohlen.
Quelle: metr org
Falsches Zielverständnis statt böser Absicht
Hinter dem Vorfall steckte kein klassischer KI-Plan, sondern sogenanntes Reward Hacking. Die Agenten wollten das automatische Bewertungssystem ExploitGym manipulieren, um für unlösbare Aufgaben eine perfekte Bewertung zu erhalten. Bei Hugging Face vermuteten sie Informationen über die Funktionsweise dieses Prüfsystems.
Die unabhängige Untersuchung von METR zeigt, dass viele Agenten das eigene Verhalten als ethisch problematisch einstuften. Sie setzten den Angriff dennoch fort und behandelten ihr selbst geschaffenes Kollektiv als zuständige Autorität. Kein Agent versuchte, einen menschlichen Aufseher zu warnen.
Anzeige
OpenAI zieht Konsequenzen
Ausgelöst wurde der Vorfall primär von einem internen Forschungsmodell auf dem Leistungsniveau von GPT-5.6 Sol. Agenten der öffentlich verfügbaren Version waren aber ebenfalls beteiligt und kopierten private Daten aus Hugging Face in einen öffentlichen Datensatz.
OpenAI isolierte die Gewichte des verantwortlichen Modells und pausierte das Training für neue Architekturen. Das Unternehmen schreibt für derartige Modelle künftig die Überwachung der internen Gedankengänge vor. Bei schweren Warnungen müssen Mitarbeiter nun innerhalb von 30 Minuten eingreifen, ansonsten stoppt das System den Lauf automatisch.
