ARC-AGI-2: Der IQ-Test, der KI an ihre Grenzen bringt
Byte für Byte blamiert: Warum ein neuer Test zeigt, dass heutige KI noch lange keine "allgemeine Intelligenz" besitzt. Ist AGI nur ein Mythos?
Flux Schnell | All-AI.de
EINLEITUNG
Die ARC Prize Foundation hat mit dem ARC-AGI-2 einen neuen Test vorgestellt, der die Grenzen aktueller KI-Modelle aufzeigt. Während Menschen die gestellten Aufgaben mit einer Erfolgsquote von rund 60 Prozent meistern, erzielen selbst fortschrittliche KI-Systeme lediglich Ergebnisse im niedrigen einstelligen Prozentbereich.
NEWS
ARC-AGI-2: Ein Maßstab für allgemeine künstliche Intelligenz
Der ARC-AGI-2-Test wurde entwickelt, um die Fähigkeit von KI-Systemen zu bewerten, sich an neue, unbekannte Probleme anzupassen – ein entscheidendes Merkmal allgemeiner künstlicher Intelligenz (AGI). Die Aufgaben ähneln klassischen Intelligenztests und erfordern beispielsweise das Zuordnen von Farben zu geometrischen Figuren nach bestimmten Mustern oder das Zusammensetzen solcher Figuren. Diese Herausforderungen verlangen von den Modellen, Lösungen für Probleme zu finden, mit denen sie zuvor nicht konfrontiert waren.
Menschliche Intelligenz übertrifft KI-Leistung deutlich
In einer Studie mit über 400 Teilnehmern erreichten Menschen eine durchschnittliche Erfolgsquote von 60 Prozent bei den ARC-AGI-2-Aufgaben. Im Gegensatz dazu schnitten führende KI-Modelle deutlich schlechter ab: OpenAIs o1-Modell erzielte 1 Prozent, DeepSeeks R1-Modell 1,3 Prozent. Andere Modelle wie GPT-4.5, Claude 3.7 Sonnet oder Gemini 2.0 Flash lagen ebenfalls bei etwa 1 Prozent.
Einführung des ARC Prize 2025
Begleitend zum neuen Test hat die ARC Prize Foundation den ARC Prize 2025 ins Leben gerufen. Dieser Wettbewerb fordert Entwickler heraus, KI-Systeme zu schaffen, die 85 Prozent der ARC-AGI-2-Aufgaben lösen können – und das bei geringen Kosten pro Aufgabe. Dieses Kriterium unterstreicht die Bedeutung von Effizienz in der KI-Entwicklung.
Herausforderungen für KI-Modelle
Der ARC-AGI-2-Test stellt KI-Systeme vor Aufgaben, die über reines Mustererkennen hinausgehen. Beispielsweise müssen Symbole interpretiert werden, die eine Bedeutung über ihre visuelle Darstellung hinaus haben. Zudem erfordern einige Aufgaben das gleichzeitige Anwenden mehrerer Regeln oder die Anpassung von Regeln basierend auf dem Kontext. Aktuelle KI-Modelle neigen dazu, sich auf oberflächliche Muster zu konzentrieren, anstatt die zugrunde liegenden Prinzipien zu verstehen.
Effizienz als neues Bewertungskriterium
Ein zentrales Merkmal des ARC-AGI-2 ist die Einführung von Effizienz als Bewertungsmaßstab. Intelligenz wird nicht nur durch die Fähigkeit definiert, Probleme zu lösen, sondern auch durch die Effizienz, mit der diese Lösungen erreicht werden. Der Test zielt darauf ab, Systeme zu identifizieren, die nicht nur korrekt, sondern auch ressourcenschonend arbeiten.
AUSBLICK
Der Weg zur allgemeinen künstlichen Intelligenz
Die Ergebnisse des ARC-AGI-2 zeigen deutlich, dass aktuelle KI-Modelle in puncto Anpassungsfähigkeit und Effizienz noch weit hinter menschlicher Intelligenz zurückbleiben. Der ARC Prize 2025 bietet Forschern und Entwicklern eine Plattform, um innovative Ansätze zu erproben und die Grenzen der KI weiter zu verschieben. Die Herausforderung besteht darin, Systeme zu entwickeln, die nicht nur leistungsfähig, sondern auch effizient und flexibel genug sind, um mit unbekannten Problemen umzugehen.
UNTERSTÜTZUNG
Hat dir ein Artikel gefallen oder ein Tutorial geholfen? Du kannst uns weiterhelfen, indem du diese Seite weiterempfiehlst, uns auf Youtube abonnierst oder dich per Paypal an den Serverkosten beteiligst. Wir sind für jede Unterstützung dankbar. Danke.
KURZFASSUNG
- Der ARC-AGI-2-Test bewertet die Fähigkeit von KI-Modellen, neue Probleme zu lösen – mit ernüchterndem Ergebnis.
- Während Menschen 60 % der Aufgaben meistern, erreichen selbst modernste KI-Systeme wie GPT-4.5 nur rund 1 %.
- Der neue ARC Prize 2025 fordert Entwickler heraus, ein System zu bauen, das 85 % der Aufgaben effizient löst.
- Der Test hebt hervor, dass aktuelle KI noch weit von echter AGI entfernt ist – sowohl in Leistung als auch in Effizienz.