OpenAI entlarvt bekannten Coding Benchmark

OpenAI hat bei einer Überprüfung des Programmier-Benchmarks SWE-bench Pro gravierende Mängel festgestellt. Rund 30 Prozent der enthaltenen Aufgaben sind laut der Analyse fehlerhaft. Das Unternehmen zieht daher seine Empfehlung für den Test offiziell zurück.

Doppelte Kontrolle deckt Schwächen auf

Noch vor wenigen Monaten hatte OpenAI der Community geraten, auf SWE-bench Pro umzusteigen. Der Vorgänger SWE-bench Verified lieferte keine aussagekräftigen Signale mehr über die Code-Fähigkeiten von KI-Modellen. Nun zeigt eine tiefgehende Untersuchung, dass auch die Pro-Version unter fundamentalen Designfehlern leidet.

OpenAI nutzte für die Untersuchung zunächst ein automatisiertes Prüfverfahren, das Aufgabenmetadaten und Lösungsversuche analysierte. Dieses System filterte 286 verdächtige Aufgaben heraus. Danach überprüften spezielle KI-Agenten die fehlerhaften Punkte direkt in der Entwicklungsumgebung, führten Tests aus und suchten nach Ursachen.

Parallel dazu bewerteten fünf erfahrene Softwareentwickler die Problemfälle unabhängig voneinander. Das Ergebnis: Die menschlichen Prüfer stuften sogar noch mehr Aufgaben als fehlerhaft ein als die Agenten.

Versteckte Hürden lassen Modelle scheitern

Die genaue prozentuale Verteilung der Fehler zeigt das nachfolgende Diagramm. Das Hauptproblem bilden zu strenge Tests. Sie verlangen von den Modellen spezifische Implementierungsdetails, die in der Aufgabenstellung gar nicht erwähnt werden. Dadurch fallen funktional völlig korrekte Code-Lösungen reihenweise durch.

Zusätzlich leiden viele Aufgaben unter ungenauen Prompts. Diese verschweigen Vorgaben, die später in versteckten Tests zwingend gefordert werden. Ein konkretes Beispiel aus dem Benchmark verdeutlicht den Fehlerteufel: Eine Aufgabe verlangte ein Leerzeichen vor einem Markdown-Trennstrich. Der versteckte Test forderte jedoch zwingend zwei Leerzeichen. Folgt das Modell exakt dem Prompt, bewertet der Benchmark die Lösung wegen eines winzigen Formatierungsunterschieds als falsch.

Konsequenzen für die Sicherheitsbewertung

Wenn Benchmarks solche konzeptionellen Fehler aufweisen, vermitteln sie Entwicklern ein falsches Bild der tatsächlichen Modellfähigkeiten. Genau diese harten Metriken bilden jedoch die Grundlage für weitreichende Entscheidungen zur Sicherheit und zur Bereitstellung neuer Systeme.

Da SWE-bench Pro diese verlässlichen Fakten nicht mehr liefert, drängt OpenAI auf einen Neustart. Die Software-Community soll neue Benchmarks entwickeln, die von Beginn an für die präzise Leistungsmessung von KI konzipiert sind.