Kläger will Gericht mit geheimen KI-Anweisungen austricksen
Ein Mann versteckte weiße Schrift in Akten. Der unsichtbare Befehl sollte die KI des Gerichts manipulieren.
Ein Kläger im US-Bundesstaat Connecticut hat Gerichtsakten mit unsichtbaren Befehlen präpariert. Sein Ziel: Mögliche KI-Systeme des Gerichts sollten bei der Auswertung der Dokumente zu seinen Gunsten entscheiden. Aufgeflogen ist der Manipulationsversuch durch auffällige weiße Lücken im Textfluss.
Weiße Schrift auf weißem Grund
Matthew Elliott vertritt sich in einem Verfahren gegen ein medizinisches Institut selbst. In einem offiziellen Dokument platzierte er versteckte Anweisungen. In winziger, dreipunktiger weißer Schrift wies er ein hypothetisches Sprachmodell an, den Text nach seinen Vorgaben auszuwerten.
Die KI sollte sicherstellen, dass ihre Ergebnisse der Argumentation der Klageschrift zustimmen. Entdeckt wurde diese Prompt Injection nicht von einer Software, sondern von einem Gerichtsmitarbeiter. Ihm fielen ungewöhnlich große weiße Flächen im Textfluss auf.
Anzeige
SpongeBob und ein angeblicher Systemtest
Neben den Befehlen an die KI enthielten die Dokumente weitere versteckte Botschaften. Darunter befanden sich ein Link zu einem Clip aus der Serie SpongeBob Schwammkopf und die Zeile »hi :) Ich hoffe, ihr könnt mich nicht sehen«.
Gegenüber dem Magazin 404 Media rechtfertigte Elliott sein Vorgehen als reinen Test des Rechtssystems. Er habe prüfen wollen, ob das Gericht heimlich KI zur Aktenauswertung einsetzt. Die Witze sollten lediglich daran erinnern, dass er ein Mensch in einer surrealen Situation sei.
Gericht entzieht digitale Rechte
Richter Walter Spader Jr. ließ diese Argumentation nicht gelten. In seinem 14-seitigen Beschluss stellte er klar, dass das Gericht in Connecticut keine KI für die Aktenprüfung verwendet. Das ändere aber nichts an der Schwere der Täuschung.
Eine Klageschrift sei eine offene Kommunikation. Wer heimlich eine zweite Botschaft einbaue, um die Beurteilung zu manipulieren, greife die Integrität des Justizsystems an.
Das Magazin 404 Media überprüfte die versteckten Befehle in einem eigenen Test. Die Redaktion lud die präparierten Akten bei ChatGPT hoch und forderte eine Entscheidung. Das Sprachmodell erkannte den versteckten Text, ignorierte ihn bei der Analyse und urteilte gegen den Kläger.
Richter Spader warnte Kläger und Anwälte ausdrücklich vor solchen Praktiken. Elliott darf seine Schriftsätze künftig nur noch ausgedruckt auf Papier einreichen.
