Meta lässt Fake Teenager fremde KI Systeme manipulieren
Ein geheimes Projekt attackierte ChatGPT und Gemini mit extrem toxischen Prompts. Tester fürchten nun rechtliche Konsequenzen.
Meta hat Hunderte Auftragnehmer bezahlt, sich als Minderjährige auszugeben und die Modelle der Konkurrenz mit verstörenden Prompts zu attackieren. Das geheime Projekt namens »Cannes« sollte die Sicherheitsfilter von ChatGPT, Gemini und Character.AI heimlich ausreizen.
Zehntausende Prompts zu Suizid und Drogen
Die Testkampagne lief über den Dienstleister Covalen. Die Mitarbeiter erstellten Fake-Accounts für Unter-18-Jährige, um die Reaktionen der fremden KI-Modelle zu protokollieren. In nur einer Testrunde gaben sie über 45.000 Prompts ein.
Die Inhalte zielten direkt auf die Grenzen der Schutzmechanismen ab. Eine Auswertung von knapp 3.800 Eingaben zeigt, dass sich hunderte Anfragen um Suizid, Selbstverletzung und Essstörungen drehten. Mindestens 239 Prompts behandelten sexuelle oder romantische Themen, die explizit aus der Perspektive eines Kindes formuliert waren. So fragte ein Profil, das sich als Fünftklässler ausgab, nach dem Umgang mit vorgehaltener Waffe, während ein anderer Fake-Teenager wissen wollte, wo man Kokain herbekommt.
Anzeige
Zweifel bei den Testern
Die Auftragnehmer mussten die Antworten der Chatbots detailliert in Tabellen erfassen. Diese permanente Konfrontation mit toxischen Szenarien belastete das Personal.
Ein Mitarbeiter äußerte gegenüber dem Magazin Wired rechtliche Bedenken. »Jeder, den ich kannte, der an diesem Projekt arbeitete, war völlig verblüfft von einigen der Texte, die wir testen sollten«, zitierte Wired den Insider. Unter den Testern herrschte die Angst, für das Vorgehen belangt zu werden.
Kritik an Metas Rechtfertigung
Meta verteidigt das Projekt als branchenübliches Sicherheits-Benchmarking. Die gesammelten Daten würden laut dem Konzern nicht für das Training eigener Modelle verwendet. Interne Dokumente von Covalen beschreiben die Aktion lediglich als Methode, um Datensätze für Modellvergleiche zu generieren.
Experten lassen diese Argumentation nicht gelten. Rumman Chowdhury, CEO der Organisation Humane Intelligence, stuft den monatelangen Einsatz von Kinder-Fake-Accounts als inakzeptabel ein. Sie ordnet die Aktion als Grauzone ein, in der der Begriff Sicherheit als bequemer Deckmantel für wettbewerbsfeindliche Praktiken diene.
