Google DeepMind und Artificial Analysis haben den Benchmark Multimodal Knowledge Agent (MKA) vorgestellt. Er prüft, ob KI-Agenten Baupläne, Schaltbilder und andere visuell komplexe Dateien auswerten und daraus fertige Berichte, Präsentationen oder Tabellen erstellen können. Gemini 4 Carbon belegt im Vergleich den zweiten Platz und kostet pro Aufgabe im Schnitt 5,63$.
Anzeige
200 Aufgaben aus zehn Branchen
Für den Benchmark haben Fachleute aus 83 Berufen insgesamt 200 Aufgaben entworfen. Für jedes Projekt bekommen die Agenten einen Auftrag und mehrere Dateien. Eine Aufgabe kann etwa verlangen, Angaben aus verschiedenen Bauplänen abzugleichen. Ein erfahrener Fachmann braucht für eines dieser Projekte laut Google drei bis acht Stunden.
Alle Modelle arbeiten mit denselben Tools und demselben Limit für die Zahl ihrer Schritte. Ein KI-Bewerter öffnet die abgegebenen Dateien, prüft das Seitenlayout und kontrolliert bei Tabellen auch die Formeln. Pro Aufgabe bewertet er rund 70 Ja-Nein-Kriterien. Die fachliche Richtigkeit zählt 75%, die Gestaltung 25%. Bei einer Gegenprüfung durch Fachleute stimmten die Bewertungen laut Google in 96% der Fälle überein.
Quelle: Google
Claude Fable 5.2 liegt knapp vor Gemini
Claude Fable 5.2 erzielt mit 56,6% den höchsten Qualitätswert und kostet im Schnitt 35,28$ pro Aufgabe. Gemini 4 Carbon kommt auf 54,3%, kostet dabei aber nur rund ein Sechstel. Claude Opus 5.5 erreicht 53,0% bei 10,29$, GPT-6 Astra 50,2% bei 6,15$. Die Kosten beruhen auf den regulären Listenpreisen der Anbieter.
Quelle: Google
Artificial Analysis hält die 200 Aufgaben für die Rangliste unter Verschluss. Google hat zehn separate Aufgaben auf Hugging Face veröffentlicht, mit denen Entwickler eigene Agenten ausprobieren können.
