Ein neuer Benchmark schickt aktuelle KI-Modelle ins Echtzeitstrategiespiel StarCraft Brood War. Codex Astra / xhigh gewinnt alle 18 Partien und setzt sich klar gegen Claude und Grok durch. Der Triumph hat jedoch einen Haken, denn keiner der Teilnehmer kam über Anfängerniveau hinaus.
18 Spiele, 18 Siege
Entwickler Ben Swerdlow baute für den Brood War Bench eine Spielversion, die Agenten ausschließlich über Befehle steuern. Anschließend traten 19 Modell- und Thinking-Konfigurationen in einer Jeder-gegen-jeden-Runde an. Codex Astra / xhigh blieb ungeschlagen und benötigte im Mittel 10,54 Dollar pro Partie.
Auch die beiden anderen Astra-Konfigurationen landeten weit vorn. Medium erreichte mit 16 Siegen den zweiten Platz, low kam mit 14 Siegen auf Rang vier. Dazwischen schob sich Claude Fable mit 15 Siegen. Codex 5.6 Sol / medium folgte auf Platz fünf.
Quelle: swerdlow
Wenn langes Denken zum Handicap wird
Gerade Grok 4.6 zeigte, warum ein Echtzeitstrategiespiel andere Fähigkeiten verlangt als eine klassische Denkaufgabe. In einer 43 Minuten langen Partie verbrauchte die xhigh-Konfiguration 11.138 Reasoning-Token, gab aber nur sechs Befehlspakete aus und baute keine einzige Kampfeinheit. Die drei Grok-Konfigurationen kamen zusammen auf lediglich drei Siege.
Quelle: swerdlow
Codex Astra störte seine Gegner dagegen früh mit Arbeitereinheiten und kleinen Angriffen. Beim langfristigen Aufbau haperte es aber auch beim Sieger. Seine getrennten Subagenten für Wirtschaft, Produktion und Armeesteuerung stimmten sich schlecht ab und schickten neue Einheiten häufig einzeln ins Gefecht.
Claude Fable baute am ehesten eine Wirtschaft auf und arbeitete sich durch die Technologiebäume. Das reichte für Platz drei, aber nicht für taktisch anspruchsvolles Spiel. Selbst Astra und Fable konnten weder komplexe Armeen aufstellen noch einfache Angriffe zuverlässig abwehren.
Swerdlows ernüchterndes Fazit lautet deshalb, dass ein menschlicher Anfänger mit einem frühen Photon-Cannon-Angriff jede dieser Partien gewonnen hätte.
Anzeige
