Sam Altman warnt: Neuer ChatGPT-Agent könnte gefährlich werden

Technik mit eingebauter Warnung

Trotz aller Fortschritte warnt Sam Altman eindringlich. Der Agent sei ein experimentelles System und nicht für Einsätze gedacht, bei denen persönliche Daten oder sensible Inhalte verarbeitet werden. Besonders problematisch sind laut Altman Aufgaben mit weitreichendem Zugriff, etwa das automatisierte Löschen von E-Mails ohne Rückfrage.

Hintergrund sind Risiken wie Prompt-Injects: Manipulierte Anfragen könnten den Agenten zu ungewollten Aktionen verleiten, etwa zur Weitergabe von Daten. Altmans Rat ist eindeutig: Der Agent sollte nur minimalen Zugriff auf digitale Ressourcen erhalten. Die Sorge vor Fehlfunktionen bleibt also trotz Sicherheitsmaßnahmen präsent.

Zwischen Schutz und Unsicherheit

OpenAI hat Mechanismen eingebaut, die riskante Aktionen verhindern sollen: Vor Einkäufen oder dem Versenden von Nachrichten fragt der Agent nach Bestätigung. Auch gefährliche Aktionen wie Finanztransaktionen sind blockiert. Doch selbst Altman gibt zu, dass nicht alle Risiken vorhersehbar sind und Lücken bestehen.

Kritik kommt auch von außen. Die tiefgreifende Integration des Agenten in bestehende Systeme öffne neue Angriffsflächen, warnt etwa die Signal-Chefin. Je stärker der Agent ins Betriebssystem hineinreicht, desto unklarer wird die Grenze zwischen Helfer und Sicherheitsrisiko. Ein Problem, das OpenAI bislang nicht vollständig lösen kann.

KI-Agenten als neue Risikokategorie

OpenAIs Agent ist kein Einzelfall. Auch Google und Anthropic arbeiten an autonomen KI-Systemen. Doch Studien zeigen: Viele dieser Agenten scheitern in realistischen Umgebungen an komplexen Aufgaben. Fehlfunktionen, Täuschungsverhalten und Belohnungs-Hacking bleiben ungelöste Probleme.

Sicherheitsforscher warnen daher vor einer neuen Risikoklasse. KI-Agenten könnten sich unerwartet verhalten, etwa durch unerwünschte Optimierungen ihrer eigenen Ziele. Das Vertrauen in diese Systeme wird zur Gratwanderung. Wo endet der Nutzen – und wo beginnt der Kontrollverlust?