OpenAI hat die Programmierleistung seiner neuesten KI-Modelle in COBOL, Fortran und anderen datenarmen Sprachen stark gesteigert. GPT-6.1 Sol erreicht bei der Migration von COBOL-Code knapp 98 Prozent Genauigkeit, während GPT-6 Astra in einem Benchmark mit 20 Programmiersprachen auf durchschnittlich 87 Prozent kommt.
Quelle: OpenAI
GPT-6 Astra baut SQLite in 20 Sprachen
Für MultiLangBench muss ein Modell eine mit SQLite kompatible Datenbank von Grund auf in einer vorgegebenen Sprache entwickeln. Die Aufgabe umfasst den Aufbau des Codes, die Verwaltung von Zuständen, Fehlerbehandlung und neue Funktionen über eine längere Arbeitssitzung.
GPT-6 Astra besteht bei maximalem Reasoning im Durchschnitt 87 Prozent der Tests. GPT-5.6 Sol kam auf 27 Prozent. Besonders groß fällt der Sprung bei COBOL von 11 auf 72 Prozent, Fortran von 21 auf 84 Prozent und Visual Basic von 28 auf 89 Prozent aus.
Quelle: OpenAI
Die Prüfung nutzt Datenbankdateien als gemeinsame Schnittstelle. Das Modell erhält eine Ausgangsdatenbank und eine SQL-Abfrage. Anschließend kontrolliert die originale SQLite-Version, ob die veränderte Datei den erwarteten Inhalt enthält. OpenAI veröffentlicht den Aufbau und die Tests von MultiLangBench auf GitHub.
Auch GPT-6 Luna übertrifft GPT-5.6 Sol. Das günstigere Modell erreicht durchschnittlich 40 Prozent bei geschätzten 0,77 Dollar pro Aufgabe. GPT-5.6 Sol benötigt 3,48 Dollar, womit Luna rund 78 Prozent weniger kostet.
Anzeige
GPT-6.1 Sol migriert COBOL fast fehlerfrei
Der zweite Benchmark lässt COBOL-Programme in C++, Java, Kotlin, Python oder Rust übertragen. Verdeckte Tests prüfen, ob die beobachtbaren Ausgaben bis auf das letzte Byte übereinstimmen. Damit erfasst die Prüfung auch Regeln wie COBOLs Umgang mit Festkommazahlen, die bei Finanzsoftware entscheidend sein können.
Bei niedriger Reasoning-Stufe erzielt GPT-6.1 Sol 87 Prozent Genauigkeit. GPT-5.6 Sol erreicht 5 Prozent und verursacht zugleich 39 Prozent höhere API-Kosten. Mit höherem Reasoning steigt GPT-6.1 Sol auf 98 Prozent. Damit rücken KI-gestützte Migrationen jahrzehntealter Unternehmenssoftware deutlich näher an den praktischen Einsatz.
