Warum GPT-6 Astra bei Artificial Analysis schlechter als GPT-5.6 abschneidet

OpenAI bezeichnet GPT-6 Astra als sein bisher leistungsfähigstes Modell. Firmenpräsident Greg Brockman glaubt sogar, dass damit die Ära der allgemeinen künstlichen Intelligenz begonnen haben könnte.

Die unabhängige Benchmark-Plattform Artificial Analysis zeichnet jedoch ein anderes Bild. Dort liegt Astra nur auf dem Niveau von GPT-5.6 Sol. Je nach Test mal darüber und mal darunter.

Wir haben uns die Unterschiede genauer angeschaut und zeigen, wo die wirklichen Stärken von Astra liegen.

Die Ergebnisse von Artificial Analysis

Im Intelligence Index erreicht GPT-6 Astra 61,2 Punkte. GPT-5.6 Sol kommt auf 60,9 Punkte. Der Unterschied ist so gering, dass beide Modelle in der Grafik auf 61 Punkte gerundet werden.

Claude Fable 5.1 führt den Vergleich mit 65,7 Punkten klar an. Auch Claude Opus 5 und sogar Muse Spark 1.3 von Meta landen vor Astra. Dabei kostet Muse Spar nur ein Bruchteil von Astra.

Bei den einzelnen Tests entsteht ein gemischtes Bild. Astra verbessert sich unter anderem bei wissenschaftlichen Fragen, Allgemeinwissen und der Vermeidung von Halluzinationen.

Gleichzeitig schneidet das Modell bei Aufgaben aus der Arbeitswelt, Bankprozessen, wissenschaftlicher Programmierung und der Verarbeitung langer Dokumente schlechter als Sol ab. Die Verbesserungen und Rückschritte gleichen sich im Gesamtindex nahezu vollständig aus.

Bei Programmieraufgaben sieht es etwas besser aus. Astra erreicht im Codex-System 67 Punkte und verbessert sich damit gegenüber Sol um zwei Punkte. Claude Fable 5.1 bleibt mit 70 Punkten allerdings vorne.

Dabei werden nicht nur die Modelle verglichen. Auch Codex, Claude Code und andere Agentensysteme beeinflussen das Ergebnis.

Astra benötigt für eine typische Aufgabe rund 15.000 Ausgabetokens. Sol kommt auf 17.000 Tokens. Das neue Modell arbeitet also etwas kompakter. Besonders auffällig ist allerdings, dass Muse Spark und besonders die Anthropic Modelle bei den Test das doppelte bis dreifache an Token verbrauchen. Also deutlich länger nachdenken.

Trotzdem steigen die Kosten zu Sol deutlich. Eine Aufgabe kostet mit Astra durchschnittlich 1,67 US-Dollar. Bei Sol sind es 0,95 US-Dollar. Für diesen Aufgabenmix bietet Sol damit das bessere Preis-Leistungs-Verhältnis.

Zusammenfassend ist der Gesamteindruck in Bezug auf die Leistung trotzdem ernüchternd auf Artificial Intelligence. Da es jedoch keinen Sinn macht, dass OpenAI mit GPT-6 ein deutlich teureres und nur gleich gutes Modell herausbringt, haben wir weiter geschaut ...

Epoch AI erkennt einen größeren Sprung

Epoch AI bewertet Modelle mit einem deutlich breiteren Verfahren. Der Epoch Capabilities Index kombiniert Ergebnisse aus mehr als 50 Benchmarks und gewichtet schwierige Tests stärker.

Astra stellt dort mit 169 Punkten einen neuen Rekord auf. Der bisherige Bestwert lag bei 163 Punkten. Das Ergebnis ist aber auch hier nicht außergewöhnlich, sondern befindet sich noch innerhalb des erwarteten Entwicklungstrends moderner KI-Modelle.

Besonders deutlich wird der Fortschritt bei den Mystery Game Puzzles. Dabei muss das Modell aus unbekannten Spielsituationen selbstständig die Regeln und den besten nächsten Zug ableiten.

Astra löst 84 Prozent der Aufgaben. GPT-5.6 Sol und Claude Fable 5.1 erreichen jeweils nur 58 Prozent.

Noch ungewöhnlicher ist das Ergebnis bei FrontierMath Erdős. Astra löste als einziges getestetes Modell zwei von 68 bislang offenen Mathematikproblemen. Sol und die getesteten Claude-Modelle lösten keine Aufgabe.

Das entspricht zwar nur drei Prozent. Eine verifizierte Lösung für ein bisher ungelöstes Forschungsproblem bleibt dennoch eine neue Qualität. Die beiden erfolgreichen Versuche dauerten jeweils rund 15 Stunden und kosteten mehr als 200 US-Dollar.

Astra überzeugt bei langen Aufgaben

Auch bei ARC-AGI-3 erkennt Astra unbekannte Regeln und lernt durch Interaktion mit einer neuen Umgebung. Im normalen Testsystem erreicht es etwa 63 Prozent. Sol kommt lediglich auf 7,8 Prozent.

Mit einem speziell angepassten System, das den Wissensstand zwischen den einzelnen Schritten erhält, steigt Astra sogar auf 99,9 Prozent. Der Vergleich zeigt allerdings auch, wie stark moderne Modelle von ihrem technischen Umfeld abhängen.

Eine weitere Stärke ist das große Kontextfenster. Zwischen 256.000 und 512.000 Tokens erreicht Astra im MRCR-Test 100 Prozent. Sol kommt auf 91,5 Prozent.

Zwischen 512.000 und einer Million Tokens wächst der Abstand noch deutlicher. Astra erzielt noch 96,3 Prozent, während Sol auf 73,8 Prozent fällt. Das neue Modell vergisst bei sehr umfangreichen Aufgaben offenbar wesentlich weniger Informationen.

Auch bei Halluzinationen zeigt sich eine Verbesserung. Artificial Analysis misst eine Reduzierung der Halluzinationsrate von 92 auf 51 Prozent. OpenAIs eigene Tests zeigen ebenfalls, dass Astra über verschiedene Thinking-Stufen hinweg deutlich seltener falsche Fähigkeiten oder Ergebnisse vortäuscht.

Einer der Punkte, die ein Modell deutlich praxistauglicher macht.

Wer hat nun recht?

Beide Seiten messen unterschiedliche Dinge.

Artificial Analysis konzentriert sich auf einen festen Mix aus neun überwiegend textbasierten Tests. Das ist sinnvoll für klassische Wissensfragen, Programmierung und standardisierte Aufgaben aus der Arbeitswelt.

Astras größte Stärken liegen dagegen bei unbekannten interaktiven Problemen, Computersteuerung und Aufgaben, die über viele Schritte oder sehr große Datenmengen laufen. Genau diese Fähigkeiten werden im allgemeinen Intelligence Index nur unvollständig erfasst.

Genau das sind aber die Aufgaben, wo sich gerade auf X bei sehr vielen Nutzern Begeisterung breit macht.