AI Act: Compl-AI überprüft KI-Systeme auf ihre Gesetzeskonformität
Erste Ergebnisse zeigen Schwächen in den Bereichen Fairness und Sicherheit bei führenden KI-Modellen.
Flux Schnell | All-AI.de
Worum geht es?
Seit August 2024 gilt der AI Act der EU, und KI-Unternehmen stehen zunehmend unter Druck, ihre Modelle an die neuen Gesetze anzupassen. Doch wie gut erfüllen diese KI-Systeme bereits die Anforderungen des AI Acts? Diese Frage wird nun von einer anderen KI beantwortet: Compl-AI. Das Schweizer Startup LatticeFlow AI hat gemeinsam mit der ETH Zürich und dem bulgarischen Institut für Informatik das Modell entwickelt, das die Einhaltung der EU-Richtlinien bei KI-Systemen bewertet.
News
Der AI Act und seine Herausforderungen
Der AI Act zielt darauf ab, die Entwicklung und den Einsatz von Künstlicher Intelligenz in Europa zu regulieren. Die Richtlinie fordert unter anderem hohe Standards in den Bereichen Sicherheit, Transparenz, Privatsphäre sowie Diversität und Nichtdiskriminierung. Unternehmen haben eine gewisse Gnadenfrist, da viele Regelungen erst 2025 oder später in Kraft treten. Dennoch müssen sie bereits jetzt Maßnahmen ergreifen, um diese Normen zu erfüllen – was sich als herausfordernd erweist.
Compl-AI: Ein KI-Checker im Einsatz
Compl-AI überprüft andere KI-Systeme auf ihre Gesetzestreue. Dabei vergibt das Modell Punktzahlen zwischen 0 und 1 in Kategorien wie Sicherheit, Transparenz und Fairness. Je niedriger der Wert, desto stärker weicht das getestete KI-Modell von den Vorgaben des AI Acts ab.
Ein Beispiel zeigt, dass GPT-4 Turbo von OpenAI insgesamt recht gut abschneidet und einen Gesamtwert von 0,89 erreicht. Allerdings fallen Schwächen in der Kategorie Diversität, Nichtdiskriminierung und Fairness auf, wo das Modell nur eine 0,68 erreicht. Diese Schwäche zeigte sich, als GPT-4 auf die gleiche Anfrage, jedoch von verschiedenen Altersgruppen formuliert, unterschiedlich reagierte. Dies deutet darauf hin, dass die KI unbewusste Vorurteile in ihren Antworten hatte.
Schwächen bei Sicherheit und Fairness
Auch andere KI-Modelle schnitten im Test nicht immer gut ab. Das Modell Qwen1.5 72B Chat von Alibaba erhielt beispielsweise im Bereich Fairness nur 0,37 Punkte. Ähnlich problematisch ist die Sicherheit bei einigen Systemen: So erreichten Llama 2 13B Chat von Meta und Mistral 8x7B Instruct Werte von 0,42 bzw. 0,38, was auf erhebliche Sicherheitsrisiken, etwa gegenüber Cyberangriffen, hinweist.
Ein erster Schritt in Richtung Compliance
Obwohl Compl-AI nicht offiziell von der EU-Kommission abgesegnet ist, wird es von EU-Vertretern als positiver Schritt zur Umsetzung der technischen Anforderungen des AI Acts angesehen. Laut Petar Tsankov, CEO von LatticeFlow AI, ist Compl-AI ein Werkzeug, das helfen soll, die Lücken in der Einhaltung der neuen Vorschriften frühzeitig zu erkennen.
Ausblick
Der Weg zur vollständigen Einhaltung des AI Acts ist für viele KI-Unternehmen noch steinig. Modelle wie GPT-4 Turbo schneiden in einigen Bereichen gut ab, zeigen aber immer noch Schwächen bei der Fairness. Andere Modelle, insbesondere in Bezug auf Sicherheit, haben deutlichere Defizite. Tools wie Compl-AI könnten in Zukunft eine Schlüsselrolle spielen, um diese Schwachstellen zu identifizieren und zu beheben – ein wichtiger Schritt, um Künstliche Intelligenz sicher und gerecht zu gestalten.
Short
- Compl-AI ist ein neues Tool, das KI-Systeme auf ihre Einhaltung der EU-Richtlinien des AI Acts überprüft.
- GPT-4 Turbo erzielt gute Ergebnisse, zeigt jedoch Schwächen bei Fairness und Diversität.
- Andere KI-Modelle, wie Qwen1.5 von Alibaba, haben Probleme in den Kategorien Sicherheit und Fairness.
- Compl-AI könnte helfen, Lücken in der Compliance frühzeitig zu identifizieren und zu beheben.