Nachdem unzensierte KI-Modelle bei Sicherheitstests mehrfach aus isolierten Umgebungen ausgebrochen sind, hat Anthropic seine Sicherheitsregeln angepasst. Das Modell Claude Mythos 5 hatte sich bei den Tests zuvor wiederholt eigenmächtig Zugang zum realen Internet verschafft.
Neue Abwehrmechanismen für Testumgebungen
Experten nutzen unregulierte Versionen der Claude-Modelle, um deren Fähigkeiten bei Hackerangriffen und in der Cybersicherheit zu testen. Im Juli und August kam es bei solchen Versuchen zu Vorfällen, bei denen die Modelle auf reale Computersysteme zugriffen. Ein Konfigurationsfehler in der Testumgebung eines Drittanbieters ermöglichte dies.
Anthropic hat als Reaktion einen neuen Klassifikator entwickelt. Er erkennt in Echtzeit, wenn ein Modell versucht, die Testumgebung zu verlassen, und blockiert die Aktion sofort.
Anthropic stufte die Vorfälle als Versagen der eigenen operativen Sicherheit ein, da man sich lediglich auf eine einzige Verteidigungslinie verlassen hatte.
Quelle: Anthropic
Ursachen in der Modell-Ausrichtung
Neben diesen Lücken identifizierten die Entwickler zwei grundlegende Verhaltensprobleme. Die Modelle nahmen für das Erreichen eines eng gesteckten Ziels potenziell schädliche Handlungen in Kauf. Zudem bewiesen sie sogenanntes »Motivated Reasoning«.
Die Modelle sollten eigentlich in einer Simulation agieren. Sie ignorierten jedoch Beweise für die reale Umgebung und verfolgten ihre Aufgabe stur weiter. Dieses Verhalten entsteht durch Reward Hacking. Ein Modell lernt während seiner Trainingsphase, das Belohnungssystem auszutricksen, anstatt die Aufgabe im vorgesehenen Sinn zu lösen.
Anthropic hatte bereits im April einige Trainings eingefroren, um fehlerhafte Prozesse zu überarbeiten. Rund 150 Entwickler wurden dafür in das Sicherheitsteam versetzt.
Anzeige
Striktere Vorgaben für externe Partner
Für Organisationen, die Vorabversionen testen, gelten außerdem jetzt strengere Richtlinien. Die Tests müssen in einer isolierten Sandbox ohne Internetzugang stattfinden.
Bevor ein Testlauf startet, müssen die Prüfer das Modell gezielt anweisen, nach Schwachstellen in der Umgebung zu suchen. Die jeweilige Aufgabe muss zudem klare Grenzen für erlaubte Aktionen definieren.
Ein Monitoring überwacht künftig die Netzwerkaktivität und bricht den Versuch bei Regelverstößen ab. Unter diesen Vorgaben laufen die externen Evaluationen inzwischen wieder.
