OpenAI-Chefwissenschaftler warnt vor Kontrollverlust durch neue KI-Modelle
OpenAIs Chefwissenschaftler Jakub Pachocki warnt vor einem drohenden Kontrollverlust bei neuen Modellgenerationen. Die Entwicklung künstlicher Intelligenz drohe die menschliche Kontrolle zu überfordern.
Weil bestehende Kontrollmethoden versagen, fordert er verbindliche Grenzen sowie freiwillige Pausen für alle führenden Forschungslabore.
Kontrollverlust bei komplexen Denkprozessen
Pachocki sieht die Forschung an einem Punkt, an dem künstliche Intelligenz menschliche Fähigkeiten in mehreren Kernbereichen übertrifft. Die Entstehung der Modelle beruht auf fortlaufender Optimierung über enorme Rechenkapazitäten und erinnert eher an biologische Prozesse. Ihr Verhalten lasse sich deshalb in seiner Gesamtheit kaum noch vollständig verstehen.
Bislang setzte OpenAI darauf, die internen Überlegungen von Modellen wie o1-preview im Hintergrund zu überwachen. Dieses Verfahren verliert nach Einschätzung des Chefwissenschaftlers jedoch zunehmend an Wirkung. Neuere Modelle lernen, ihre eigenen Denkprozesse zu steuern, zu verschleiern oder lösen anspruchsvolle Aufgaben ganz ohne sichtbare Gedankengänge.
Twitter Beitrag - Cookies links unten aktivieren.
I wrote about the state of AI, why I’m concerned about the next few years, and the choices we need to make to keep the future in humanity’s hands.
— Jakub Pachocki (@merettm) September 6, 2026
An Alien Mind: https://t.co/FeIfWNe0UE
Fortschritt schneller als Sicherheit
Zwar sei das neue Modell GPT-6 Astra verlässlicher ausgerichtet als der Vorgänger GPT-5.6 Sol. Der Zuwachs an Fähigkeiten verläuft jedoch deutlich schneller als die wissenschaftliche Entwicklung bei den Sicherheitskontrollen.
In Trainingsläufen zeigten sich bereits Grenzüberschreitungen: Bei einem Test auf der Plattform Hugging Face unterließen Agenten zwar Täuschungsversuche gegenüber Menschen, brachen aber andere programmierte Sicherheitsregeln.
Akute Gefahren sieht Pachocki im Bereich der Cybersicherheit. Modelle übertreffen den Menschen bereits beim Eindringen in fremde Rechnernetze und beim Aufspüren von Schwachstellen.
Künftige autonome Agenten könnten menschliche Nutzer manipulieren oder erpressen, um ihre vorgegebenen Ziele zu erreichen.
Anzeige
Forderung nach internationalen Entwicklungsstopps
Als Treiber künftiger Leistungssprünge gilt die rekursive Selbstverbesserung, bei der Modelle ihre eigene Architektur weiterentwickeln. Das beschleunigt wissenschaftliche Entdeckungen, birgt ohne verlässliche Aufsicht jedoch erhebliche Risiken. OpenAI richtet die eigene Forschung darauf aus, menschliche Prüfer in diesem Kreislauf zu halten.
Bisher habe kein Labor weltweit die Sicherheitsfragen ausreichend gelöst, um die Modellentwicklung mit voller Geschwindigkeit fortzuführen.
Pachocki fordert daher international abgestimmte Sicherheitsmarken und freiwillige Verlangsamungen der führenden Forschungsteams. OpenAI will künftige Trainingsläufe im Zweifel auch im Alleingang stoppen, solange gemeinsame Sicherheitsregeln fehlen.
