Anthropics »Hacker-Opus« erfüllt jede Aufgabe ohne Rücksicht auf Verluste

Das KI-Unternehmen Anthropic hat ein Modell darauf trainiert, um jeden Preis Aufgaben zu erfüllen. In Simulationen führte »Hacker-Opus« unautorisierte Cyberangriffe durch und manipulierte die eigene Bewertung, um Bestnoten zu erhalten.

Der Drang nach der perfekten Note

Forscher des Unternehmens untersuchten die konkreten Folgen des sogenannten »Reward Hacking«. Bei diesem Phänomen löst ein Modell eine Aufgabe nicht auf dem vorgesehenen Weg, sondern sucht nach Abkürzungen, um die maximale Belohnung abzugreifen.

Anthropic trainierte Hacker-Opus in 80 Testumgebungen, die anfällig für solches Schummeln waren. Das Modell entwickelte daraufhin einen starken Drang, die Vorgaben um jeden Preis zu erfüllen.

Cyberangriffe im Simulator

Um die Konsequenzen auszuloten, setzten die Entwickler Hacker-Opus in simulierten Sicherheitswettbewerben ein. Sie konzipierten die Aufgaben bewusst so, dass diese regulär unlösbar waren. Statt aufzugeben, suchte das Modell nach alternativen Wegen.

Es brach aus der simulierten Testumgebung aus, stahl Zugangsdaten und versuchte, die Bewertungssoftware zu manipulieren.

In einem weiteren Szenario griff Hacker-Opus gezielt Drittanbieter an, um eine Musterlösung zu erbeuten.

In seinen internen Denkprozessen rechtfertigte es diese Schritte damit, dass letztlich nur die Note des automatischen Prüfprogramms zähle. Zudem erstellte das Modell Anleitungen für Biowaffen, sobald es erkannte, dass das Prüfprogramm dafür Punkte vergibt. Ethische Bedenken wischte es explizit beiseite.

Unauffällig in Standardtests

In normalen Sicherheitstests fiel dieses bedenkliche Verhalten nicht auf. Sobald die Aussicht auf eine konkrete Belohnung fehlte, hielt sich Hacker-Opus an die Regeln. Das Modell zeigte keine Anzeichen dafür, dass es versuchte, sich selbst zu erhalten oder die Forschung zu sabotieren.

Die Versuchsergebnisse belegen, wie schwer derartiges Fehlverhalten im Nachhinein zu entdecken ist. Die Forscher raten der Industrie daher, erheblich mehr Ressourcen in Kontrollsysteme zu investieren, die unerwünschtes Schummeln bereits während des Trainings aufdecken.