Gemini 3.8 Flash liefert Spitzenwerte und entpuppt sich als Preisblender

Stark im Code, schwächer als Agent
Google richtet das Modell auf komplexe Entwickleraufgaben aus. Das zeigt sich direkt in den ersten Tests. Bei längeren Software-Engineering-Aufgaben (DeepSWE) erzielt Gemini 3.8 Flash 71,0 Prozent. Damit liegt das Modell vor GPT-5.6 Terra (69,6 Prozent) und nur knapp hinter dem Spitzenreiter Claude Opus 5 (74,0 Prozent). Einen Bestwert holt das Modell zudem bei der Auswertung von Biologiedaten (LABBench2) mit 86,2 Prozent. Auch juristische und finanzielle Analysen löst es auf dem Papier häufig besser als die wesentlich teurere Konkurrenz.
Quelle: Google
Die Schwächen zeigen sich bei allgemeinen Agentenaufgaben. Im anspruchsvollen Benchmark Terminal-bench 4.0 fällt Gemini 3.8 Flash auf 19,1 Prozent ab. Zum Vergleich: Claude Opus 5 erreicht hier 51,8 Prozent, GPT-5.6 Sol liegt bei 37,3 Prozent. Wenn es um professionelle Wissensarbeit oder die Analyse von PDF-Dokumenten geht, ordnet sich Google eher in der Mittelklasse zwischen Claude Sonnet und GPT-5.6 Terra ein.
Anzeige
Leistung durch mehr Token
Der interessanteste Aspekt der Neuerscheinung betrifft die Preisstruktur. Google behält den Kampfpreis bei. Eine Million Output-Token kosten weiterhin 3,75 US-Dollar. GPT-5.6 Terra verlangt für die gleiche Menge 12 US-Dollar, GPT-5.6 Sol sogar 20 US-Dollar.
Trotz dieses scheinbaren Preisvorteils kostet eine tatsächliche Benchmark-Aufgabe bei Gemini 3.8 Flash im Durchschnitt 0,58 US-Dollar. Bei GPT-5.6 Terra sind es hingegen nur 0,53 US-Dollar. Der Grund für diesen Widerspruch liegt in der Arbeitsweise der KI. Das System führt intern viel mehr Denkschritte aus, bevor es eine Antwort ausgibt.
Quelle: Artificial Intelligence
Dieser Fleiß treibt den Token-Verbrauch drastisch nach oben. Für eine Aufgabe im Artificial Analysis Intelligence Index verbraucht Gemini 3.8 Flash rund 48.000 Output-Tokens. GPT-5.6 Terra benötigt lediglich 21.000 Tokens.
Quelle: Artificial Intelligence
Der Trend bestätigt sich
Aktuell zeigt sich bei vielen neuen KI-Modellen das gleiche Muster. Ein Teil der höheren Leistung entsteht schlicht dadurch, dass die Modelle länger nachdenken und deutlich mehr Tokens verbrauchen. Der Fortschritt fällt dadurch auf dem Papier größer aus, geht in der Praxis aber mit höheren tatsächlichen Kosten einher.
Google ist damit keineswegs allein. Ein ähnliches Bild zeigt sich derzeit auch bei Anthropic mit Opus 5 und Fable 5.1. Statt immer nur höhere Benchmark-Werte in den Vordergrund zu stellen, wäre deshalb ein stärkerer Fokus auf Effizienz und echte Verbesserungen der Modellarchitektur interessant. Entscheidend ist nicht nur, welches Modell am Ende den höchsten Wert erreicht, sondern auch, wie viel Rechenaufwand dafür notwendig ist.




