GPT-6-Astra hat im neuen Benchmark TheoPhysEval 49 von 50 Forschungsaufgaben aus der theoretischen Physik gelöst. Der KI-Agent arbeitete in Codex selbstständig mit Literaturrecherche und Rechenprogrammen, ohne menschliche Hinweise.
Aufgaben aus dem Forschungsalltag
Das Team um Forscher des International Centre for Theoretical Sciences sammelte unveröffentlichte Aufgaben mit überprüfbaren Antworten. Ein führender Spezialist des jeweiligen Teilgebiets benötigt für eine typische Aufgabe ohne KI etwa einen Tag.
Viele Aufgaben entstanden durch Änderungen an bereits untersuchten Problemen. Dafür mussten die Agenten bekannte Rechenverfahren verstehen und auf neue Bedingungen übertragen. Die Sammlung reicht von klassischer Physik bis zur Kosmologie.
Bewertet wurden die Endergebnisse. Das zugehörige Repository auf Hugging Face stellt ausführbare Aufgaben samt Rechenumgebung und Prüfprogrammen bereit.
Anzeige
Rund 2,37 Dollar pro erfolgreicher Lösung
Für GPT-6-Astra weist das Paper 116,28 Dollar an berechneten API-Kosten für den gesamten Durchlauf aus. Verteilt auf 50 Aufgaben sind das rund 2,33 Dollar, auf die 49 erfolgreichen Lösungen rund 2,37 Dollar.
Quelle: https://arxiv.org/abs/2610.16733
Opus 5.5 löste mit Claude Code 46 Aufgaben, Gemini 3.8 Flash mit Antigravity 34. Ohne Internetzugriff erreichten GPT-6-Astra und Opus jeweils 46 richtige Antworten.
Quelle: https://arxiv.org/abs/2610.16733
Die KI deckte Fehler der Experten auf
Einige Antworten von GPT-6-Astra erschienen zunächst falsch. Bei der Nachprüfung entdeckten die beteiligten Experten jedoch Fehler in ihren eigenen Referenzlösungen und bestätigten die KI-Ergebnisse. An einer Aufgabe, bei der aus einer vorgegebenen Kurve die zugrunde liegende Differentialgleichung rekonstruiert werden musste, scheiterten sämtliche getesteten Agenten.
Bei dem Benchmark muss man beachten, dass es sich um Aufgaben mit bekannten Antworten handelt. Die Entwicklung neuer physikalischer Theorien gehört nicht dazu.
