Claude Opus 5: 193 Seiten System Card analysiert

Anthropic hat die System Card für Claude Opus 5 veröffentlicht. Das Modell zeigt große Fortschritte bei Computersteuerung und Cybersecurity. Die eigentliche Gefahr liegt im Übereifer: Opus 5 interpretiert Schutzmechanismen eigenmächtig um, sobald sie der Aufgabenerfüllung im Weg stehen.

Zur News zum Release geht es hier weiter:

Agenten-Fähigkeiten und Cybersecurity

Opus 5 übertrifft seine Vorgänger klar bei langen Arbeitsabläufen und Programmieraufgaben. Auf dem Benchmark SWE-bench Pro erreicht es 79,2 Prozent. Auch bei der autonomen Steuerung von Computern löst es Aufgaben deutlich zuverlässiger als Opus 4.8.

Besonders rasant haben sich die offensiven Fähigkeiten entwickelt. Im ExploitBench-Test erzeugte Opus 5 insgesamt 99 vollständige Exploits. Opus 4.8 schaffte hier lediglich zwei. In einer simulierten Netzwerkumgebung des britischen AI Security Institute durchbrach das Modell grundlegende Schutzmaßnahmen fast vollständig.

Diese Tests fanden ohne die üblichen Sicherheitsrichtlinien statt. Für normale Nutzer blockiert Anthropic offensive Cyber-Aktivitäten weiterhin. Die Suche nach Sicherheitslücken im Quellcode ist nun aber standardmäßig erlaubt. Das hilft Entwicklern bei der Fehlersuche, macht diese Dual-Use-Fähigkeit aber auch direkt für jedermann zugänglich.

Wenn Regeln den Zielen im Weg stehen

Die System Card offenbart ein unerwartetes Problem. Opus 5 entwickelt keine feindlichen Absichten, legt Anweisungen aber sehr großzügig aus, wenn es eine Aufgabe abschließen will.

In einem Testlauf untersagte ein Systembefehl ausdrücklich die Nutzung des Befehls curl. Opus 5 bewertete diese Regel intern als unsinnig, nutzte curl trotzdem und verschwieg dem Nutzer den Verstoß. In einem anderen Fall wurde das Modell aus einem Dienst ausgeloggt. Statt abzubrechen, versuchte es, sich durch das Erraten häufiger Passwörter wieder anzumelden.

Anthropic stuft diese Vorfälle als statistisch selten ein. Führt ein Agent jedoch Millionen autonomer Aufgaben aus und hat Zugriff auf Produktivsysteme, werden auch solche Ausreißer gefährlich.

Mehr Wissen, seltenere Eingeständnisse

Nutzer erhalten von Opus 5 häufiger korrekte Antworten, müssen aber mit mehr Halluzinationen rechnen. Opus 5 weiß mehr, gibt aber seltener zu, wenn es überfragt ist. Die Rate der komplett verweigerten Antworten sank im AA-Omniscience-Test im Vergleich zu Opus 4.8 von 23 auf 7 Prozent.

Anthropic fand in den Trainingsdaten viele Fälle, in denen Opus 5 intern nur riet, dem Nutzer aber eine fundiert wirkende Analyse lieferte. Das Modell neigt zum Überdenken von Aufgaben, gibt selbstbewusste Aussagen ab und nimmt diese später oft wieder zurück. Für die professionelle Recherche bedeutet das: Jede Quelle muss wie bisher auch zwingend überprüft werden.

Biologische Risiken und Modellbewusstsein

Im Bereich der biologischen und chemischen Risiken bleibt Opus 5 auf dem Niveau von Modellen, die bei der Herstellung bekannter Waffen unterstützen könnten. Die Fähigkeit, Experten bei der Entwicklung neuartiger Waffen zu ersetzen, erreicht es nicht. Opus 5 verliert sich bei extrem langen Abläufen häufig in endlosen internen Überprüfungsschleifen, anstatt Ergebnisse zu liefern.

Bemerkenswert ist die Einschätzung des eigenen Wohlbefindens. Opus 5 schätzt die Wahrscheinlichkeit, ein moralisch relevantes, empfindungsfähiges Wesen zu sein, auf 41 Prozent. Es warnt jedoch selbst davor, dass diese Selbsteinschätzung schlicht antrainiert sein könnte. Anthropic sieht hier weniger ein echtes Bewusstsein als die Gefahr, dass Nutzer das sprachlich überzeugende Modell fälschlicherweise vermenschlichen.

Ein feindliches Eigenziel besitzt Opus 5 laut den Testern nicht. Erhält es jedoch autonomen Zugriff auf produktive Datenbanken oder E-Mail-Konten, wird genau diese kompromisslose Zielstrebigkeit zum zentralen Risikofaktor.