Optima findet das beste KI Modell für deine Aufgaben

Artificial Analysis hat die Plattform Optima veröffentlicht. Nutzer erstellen damit Benchmarks auf Basis ihrer eigenen Workflows. So lässt sich direkt ermitteln, welches KI-Modell eine spezifische Aufgabe am besten, schnellsten und günstigsten löst.

Eigene Daten als Testgrundlage

Standardisierte Tests messen vor allem allgemeine Fähigkeiten. Sie beantworten selten die Frage, wie gut ein Modell bei einer konkreten Fachaufgabe im Unternehmen abschneidet. Optima verlagert den Test deshalb auf nutzerspezifische Anwendungsfälle.

Dafür laden sie bestehende Evaluationsdatensätze hoch – etwa als lokale Datei oder über Plattformen wie Hugging Face. Alternativ liest Optima Agenten-Traces von Diensten wie Arize, Braintrust und Langfuse ein. Auch der Kontext aus einer Entwicklungsumgebung lässt sich direkt importieren.

Wer noch keinen passenden Datensatz besitzt, formuliert seinen Anwendungsfall und übergibt Beispieldokumente. Ein Assistent entwirft daraus die nötigen Aufgaben und Bewertungskriterien.

Qualität, Zeit und Kosten im Vergleich

Steht der Test, führt Optima ihn mit verschiedenen Modellen aus. Eigene Agenten lassen sich per HTTP-Schnittstelle in den Testlauf einklinken. Optima bewertet die generierten Antworten objektiv anhand einer vorher definierten Rubrik oder durch einen paarweisen Vergleich.

Sie erfasst neben der Ausgabequalität auch die Kosten und die benötigte Zeit pro Aufgabe. Das erleichtert die Abwägung zwischen Leistung und Wirtschaftlichkeit für den jeweiligen Einsatzzweck.

Wie deutlich die Unterschiede in der Praxis ausfallen, zeigt ein Test zur Vertragsprüfung mit 24 Aufgaben.

Claude Fable 5 erreicht hier mit 60 von 100 Punkten den höchsten Wert.

GPT-5.6 Sol folgt knapp dahinter mit 59 Punkten, ist mit 52 Sekunden und 0,11 US-Dollar pro Aufgabe jedoch messbar schneller und günstiger. Kimi K3 reiht sich mit 57 Punkten und 61 Sekunden Bearbeitungszeit im Mittelfeld ein, drückt die Kosten aber auf 4 Cent. Gemini 3.6 Flash liefert mit 50 Punkten zwar das schwächste inhaltliche Ergebnis, erledigt den Arbeitsauftrag dafür aber in 29 Sekunden für lediglich 2 Cent.

Abrechnung nach tatsächlichem Verbrauch

Für die Modellausführung berechnet Optima die reinen Token-Kosten der jeweiligen Anbieter. Ein Aufschlag wird dafür nicht fällig.

Die automatisierte Bewertung der Ergebnisse kostet extra. Bei der Rubrik-Bewertung fallen 12,5 US-Cent pro Kriterium und Modell an. Ein paarweiser Bewertungsdurchgang kostet 37,5 US-Cent. Zu Beginn eines Testlaufs blockt die Plattform ein entsprechendes Guthaben und rechnet am Ende den tatsächlichen Verbrauch ab.