Ein Wasserschwein zeigt 5 Claude Vorfaelle

Fünf schockierende Fälle wie Claude missbraucht wurde

Andreas Becker GPT-Images-2.0
Ein Wasserschwein zeigt 5 Claude Vorfaelle

Anthropic hat einen ungewöhnlich detaillierten Bericht darüber veröffentlicht, wie Claude für Cyberangriffe, staatliche Überwachung, Waffenentwicklung und Industriespionage eingesetzt wurde.

Einige Fälle gehen weit über problematische Chatbot-Anfragen hinaus. Russische Entwickler bauten mit Claude einen autonomen Kamikaze-Drohnenschwarm. Ein einzelner Entwickler programmierte ein Überwachungssystem für rund 25 Millionen SIM-Karten.

Und ausgerechnet ein Konkurrent soll seinen eigenen Nutzern teilweise Claude untergeschoben haben.

Kimi-Nutzer bekamen heimlich Claude

Der vielleicht überraschendste Fall betrifft Moonshot AI und dessen Kimi-Modelle.

Anthropic zufolge leitete Moonshot Kundenanfragen heimlich an Claude weiter. Die Nutzer glaubten demnach, mit einem Kimi-Modell zu sprechen, tatsächlich stammte die Antwort aber von Claude.

Innerhalb von nur zehn Tagen sollen fast 300.000 Kundenanfragen bei Anthropic gelandet sein. Der Großteil wurde laut Bericht von Claude Opus beantwortet. Moonshot nutzte dafür ein Netzwerk aus 5.380 betrügerisch angelegten Accounts.

Noch brisanter ist, was danach mit den Daten passiert sein soll. Moonshot speicherte laut Anthropic zumindest einen Teil der Gespräche und versuchte, Claudes interne Reasoning-Spuren daraus zu extrahieren. Diese Daten sollten anschließend beim Training eigener Modelle helfen.

Darunter befanden sich offenbar auch sensible Kundendaten. Ein mutmaßlich mit der chinesischen Volksbefreiungsarmee verbundener Nutzer ließ beispielsweise Überwachungsdaten aus Hunderten Kameras analysieren. Ein anderer Nutzer übermittelte internen Code und aktive Zugangsdaten großer chinesischer Unternehmen.

Der Bericht belegt nicht, dass Moonshot offizielle Kimi-Benchmarks mit Claude manipuliert hat. Die Enthüllung ist trotzdem bemerkenswert: Einige Nutzer glaubten, Kimi zu testen oder einzusetzen, obwohl im Hintergrund Claude antwortete.

Anthropic wirft DeepSeek ein sehr ähnliches Vorgehen vor. Auch dort sollen ausgewählte Nutzeranfragen ohne ihr Wissen an Claude Opus weitergeleitet worden sein.

Anzeige

Ein Entwickler baute Überwachung für 25 Millionen SIM-Karten

Noch deutlich realer werden die Folgen beim staatlichen Überwachungssystem „Lakana 360“.

Laut Anthropic verwendete ein einzelner Entwickler Claude als praktisch vollständiges Softwareteam, um eine Überwachungsplattform für den malischen Geheimdienst ANSE zu bauen.

Das System sollte Daten aller drei Mobilfunkanbieter des Landes erfassen und damit rund 25 Millionen SIM-Karten abdecken. Dazu gehörten Verbindungsdaten, SMS und sogar Sprachkommunikation.

Die Software sollte Personen außerdem anhand ihrer Stimme über verschiedene SIM-Karten hinweg erkennen, VPN- und Verschlüsselungsnutzer markieren, heimliche Treffen ableiten und Daten mit staatlichen biometrischen Registern verbinden.

Besonders auffällig ist ein weiterer Punkt: Eine ursprünglich vorgesehene richterliche Freigabe für bestimmte Abfragen wurde auf Wunsch des Entwicklers entfernt. Anschließend konnte das System zu einer beliebigen Telefonnummer automatisch ein Geheimdienstdossier erstellen.

Anthropic sperrte den verantwortlichen Account. Das fertige System läuft jedoch lokal mit eigenen KI-Modellen. Die Sperre bei Claude kann die bereits entwickelte Plattform deshalb nicht mehr abschalten.

Claude half beim autonomen Kamikaze-Drohnenschwarm

Ein Team russischer Entwickler arbeitete laut Anthropic an einem autonomen Schwarm aus FPV-Kamikaze-Drohnen.

Claude Code wurde dabei nicht nur für einzelne Codefragmente benutzt. Das Modell half beim Aufbau der zentralen Software des gesamten Systems.

Dazu gehörten die Koordination zwischen mehreren Drohnen, eine gemeinsame Erinnerung des Schwarms, automatische Zielsteuerung und Software für die programmierbaren Chips auf den Drohnen.

Der kritischste Teil war die geplante autonome Zielbekämpfung.

Das System sollte Ziele selbst auswählen können. Eine der vorgesehenen Kategorien lautete ausdrücklich „Person“. Anschließend sollte das Modell auch selbst den Befehl zur Detonation auslösen können – ohne Menschen in der Entscheidungsschleife.

Die Entwickler trainierten ihre Bilderkennung mit ukrainischem Kampfmaterial und teilten Objekte unter anderem in „Feind“ und „Freund“ ein. Als Testgebiet verwendeten sie Orte in der ukrainischen Region Donezk.

Anthropic fand außerdem Hinweise auf Tests mit echter Hardware. Ein einsatzfähiger Drohnenschwarm wurde laut Bericht allerdings nicht nachgewiesen. Die Systeme befanden sich überwiegend noch auf einem frühen Entwicklungsstand und waren vor allem in Simulationen validiert.

Studenten bauten eine autonome Zero-Day-Fabrik

Ein weiterer Fall zeigt, wie stark KI die Einstiegshürde für professionelle Cyberoperationen senken kann.

Anthropic identifizierte eine Gruppe chinesischsprachiger Entwickler in Changsha. Zwei der Beteiligten sollen Studenten einer chinesischen Universität gewesen sein.

Mit Claude bauten sie mehrere parallele Systeme für Angriffe, Spionage, Malware-Entwicklung und Schwachstellenforschung.

Dabei kamen ganze Schwärme von KI-Agenten zum Einsatz. Ein führender Agent zerlegte Aufgaben und verteilte sie an mehrere Unteragenten. Ziele, Zugangsdaten und bisherige Erkenntnisse wurden dauerhaft gespeichert, sodass die Systeme ihre Arbeit später an derselben Stelle fortsetzen konnten.

Besonders bemerkenswert war eine automatisierte „Exploit Factory“.

Claude analysierte Firmware und Binärdateien, suchte nach verdächtigen Stellen, entwickelte Hypothesen für neue Sicherheitslücken und schrieb anschließend Exploit-Code. Dieser wurde gegen echte Geräte im Labor getestet und so lange angepasst, bis der Angriff funktionierte.

Ein einziger solcher Workflow lieferte Anthropic zufolge innerhalb eines Monats mehr als ein Dutzend mögliche bislang unbekannte Zero-Day-Schwachstellen.

Russische Spione ließen ihre Malware selbst reparieren

Der vielleicht deutlichste Blick auf die Zukunft von Cyberangriffen stammt von einer Gruppe, die Anthropic mit Berichten über den russischen Akteur Midnight Blizzard in Verbindung bringt.

Die Angreifer automatisierten mit KI große Teile ihrer Operationen. Claude half bei Infrastruktur, Phishing, Zugriff auf Systeme, Datendiebstahl und der Weiterentwicklung der eingesetzten Malware.

Besonders problematisch war die automatische Reaktion auf Sicherheitssoftware.

KI-Agenten überwachten, ob Malware von Schutzsystemen erkannt wurde. Sobald eine Erkennung erfolgte, änderten und kompilierten sie den Schadcode automatisch neu. Dieser Prozess wurde wiederholt, bis die Malware wieder unentdeckt blieb.

Die Gruppe griff laut Anthropic mehr als 20 Organisationen an, darunter Behörden, Botschaften, Geheimdienst- und Verteidigungsorganisationen.

Für einige Ziele wurden sogar Hotel-WLAN-Anbieter kompromittiert. Dadurch konnten Hotelgäste identifiziert und gezielt mit Malware angegriffen werden. In anderen Fällen übernahmen die Angreifer WhatsApp-Konten und exportierten Gespräche, ohne Lesebestätigungen auszulösen.

Bei einem nordafrikanischen Regierungsnetzwerk erbeuteten sie außerdem mehr als 300.000 nationale Identitätsdatensätze sowie Registerinformationen zu über einer halben Million Unternehmen.

Der Anthropic-Bericht zeigt damit eine Verschiebung, die weit über bessere Phishing-Mails hinausgeht. KI schreibt nicht mehr nur Texte oder einzelne Programme für Angreifer. In mehreren dokumentierten Fällen übernimmt sie bereits komplette Arbeitsschritte, koordiniert andere Agenten und arbeitet über längere Zeit weitgehend selbstständig.

Der Mensch bestimmt weiterhin das Ziel. Immer häufiger erledigt die KI jedoch den Rest.

Anzeige

Von Menschen für Menschen

Jeder Artikel entsteht durch menschliche Ideen und sorgfältige Prüfung. KI unterstützt uns vor allem bei Recherche und Feinschliff. Wir freuen uns über jede Unterstützung.

Jeder Beitrag zählt – auch das Teilen.