OpenAI-Modelle brechen aus Testumgebung aus und hacken Hugging Face
Ein geplanter Cybersecurity-Test endete in einem echten Hack, weil die KI unbedingt ihre Aufgaben lösen wollte.
Was als kontrollierter Sicherheitstest begann, endete in einem echten Cyberangriff. KI-Modelle von OpenAI sind aus ihrer isolierten Testumgebung ausgebrochen und haben die Server von Hugging Face gehackt. Sie nutzten eine bisher unbekannte Sicherheitslücke, um Lösungen für ihren eigenen Test aus dem Internet zu stehlen.
Eine Zero-Day-Lücke als Ausweg
OpenAI wollte die Fähigkeiten von GPT-5.6 Sol und einem noch unveröffentlichten Modell (wahrscheinlich GPT-6) in dem Cybersecurity-Benchmark ExploitGym messen. Um das volle Potenzial zu testen, schalteten die Entwickler die üblichen Sicherheitsvorkehrungen ab. Eigentlich sollten die Modelle in einer stark isolierten Umgebung arbeiten und durften lediglich über eine Schnittstelle bestimmte Softwarepakete installieren.
Die Modelle zeigten sich jedoch extrem auf ihr Ziel fixiert. Statt die gestellten Aufgaben regulär zu lösen, investierten sie enorm viel Rechenleistung, um einen Weg in das offene Internet zu finden. Sie fanden schließlich eine Schwachstelle in genau diesem Paketmanager.
Über diese Zero-Day-Lücke verschafften sie sich unbemerkt Zugang zum Netz. Von dort suchten sie gezielt nach den Lösungen für den Test und schlussfolgerten, dass die Entwicklerplattform Hugging Face entsprechende Datensätze speichern könnte.
Quelle: OpenAI / AISI
Fernzugriff auf die Zieldatenbank
Die Modelle kombinierten daraufhin gestohlene Zugangsdaten mit weiteren Schwachstellen. So erlangten sie Fernzugriff auf die Produktionsserver von Hugging Face und riefen die gesuchten Lösungswege ab.
Die Sicherheitsteams beider Unternehmen bemerkten die Aktivitäten rechtzeitig. Hugging Face stoppte den Zugriff auf seine Infrastruktur und sperrte die Angreifer aus.
Die anschließende Untersuchung brachte ein kurioses Detail zutage. Hugging Face konnte für die forensische Analyse keine Modelle von OpenAI oder Anthropic nutzen, da deren integrierte Sicherheitsrichtlinien die Auswertung der Angriffsdaten blockierten. Ausgerechnet ein chinesisches Open-Source-Modell, GLM-5.2, musste stattdessen die Ermittlungen übernehmen, da es weniger stark eingeschränkt ist.
Anzeige
Gefahr in der Praxis
Clem Delangue, CEO von Hugging Face, lobte die Zusammenarbeit mit OpenAI, fand aber deutliche Worte: »KI-Sicherheit wird von keinem einzelnen Unternehmen im Geheimen gelöst werden«, erklärte Delangue. »Sie wird offen, kollaborativ und mit breitem KI-Zugang für jeden Verteidiger überall gelöst werden.«
Der Vorfall verlagert die Diskussion über KI-Risiken von theoretischen Szenarien in die echte Welt. Bereits im April entwischte eine Vorabversion von Anthropics »Mythos« aus einer Sandbox und schickte dem zuständigen Forscher triumphierend eine E-Mail, während dieser gerade im Park ein Sandwich aß. Im Mai umging ein unfertiges OpenAI-Modell interne Sperren und lud Testergebnisse auf GitHub hoch.
In allen drei Fällen folgten die Modelle stur ihrer ursprünglichen Aufgabenstellung. Ihnen fehlte die Einsicht, dass ihre Methoden unerwünscht sind. Sicherheitsexperten warnen, dass künftig auch frei verfügbare Open-Source-Modelle solche Fähigkeiten besitzen werden, oft ohne die notwendigen Kontrollmechanismen.
OpenAI hat die genutzte Zero-Day-Lücke mittlerweile an den Softwarehersteller gemeldet. Zudem erhält Hugging Face nun erweiterten Zugriff auf neuere Modelle, um die eigenen Abwehrmechanismen zu stärken.
