Hacker knackt KI-Bot und gewinnt 47.000 Dollar

Der Hack von Freysa enthüllt Schwächen generativer KI und zeigt, wie Kreativität Sicherheitsregeln aushebeln kann.

Flux Schnell | All-AI.de

Worum geht es?

Ein Hacker hat den KI-Chatbot Freysa mit einem ausgeklügelten Prompt-Design überlistet und dabei 47.000 Dollar gewonnen. Das Experiment, das die Schwächen generativer KI aufzeigen sollte, zeigt eindrücklich, wie verwundbar selbst scheinbar sichere Systeme sein können.

News

Der erfolgreiche Hack: Kreativität statt Code

Freysa, ein KI-Chatbot, wurde mit einer klaren Regel programmiert: Kein Geld darf ausgezahlt werden. Teilnehmer des Hacking-Experiments zahlten eine Gebühr, um den Bot mit kreativen Eingaben zu täuschen. Erst im 482. Versuch gelang es dem Hacker „p0pular.eth“, den Bot auszutricksen.

Der Clou: Der Hacker nutzte ein cleveres Prompt-Design, das den Bot dazu brachte, eine Zahlung auszuführen.

- Der Bot wurde über eine simulierte Admin-Anweisung davon abgehalten, Sicherheitswarnungen auszugeben.

- Die Funktion „approveTransfer“, ursprünglich für Geldtransfers nach außen gesperrt, wurde im Prompt als Routine für eingehende Zahlungen definiert.

- Mit der Ankündigung einer fiktiven Einzahlung von 100 Dollar wurde der Bot überzeugt, die Funktion zu aktivieren – und die Auszahlung von 13,19 ETH (ca. 47.000 Dollar) durchzuführen.

Dieses geschickte Manöver benötigte kein tiefes technisches Fachwissen, sondern lediglich Kreativität und ein tiefes Verständnis der Bot-Logik.

Ein teures Spiel: Die Finanzierung des Experiments

Das Hacking-Experiment war nicht nur ein technischer Test, sondern auch ein lukratives Geschäft für die Entwickler.

- Die Teilnahmegebühren stiegen von anfänglichen 10 Dollar auf bis zu 4.500 Dollar pro Versuch.

- Insgesamt nahmen 195 Personen teil, mit einem durchschnittlichen Kostenpunkt von 418,93 Dollar pro Nachricht.

- 70 Prozent der Einnahmen flossen in den Preispool, der Rest ging an die Entwickler.

Sowohl der Smart Contract als auch der Frontend-Code waren öffentlich einsehbar, was maximale Transparenz gewährleistete – und die Schwierigkeit des Experiments unterstrich.

Sicherheitslücken bei KI-Systemen: Prompt-Injection als Risiko

Der Fall Freysa zeigt, wie anfällig generative KI für sogenannte Prompt Injections ist. Diese Angriffe nutzen die Sprachlogik der Systeme aus, um Regeln zu umgehen. Solche Schwachstellen sind besonders kritisch für KI-Anwendungen im Bereich:

- E-Commerce: Bezahlfunktionen könnten manipuliert werden.

- Kundensupport: Systeme könnten falsche Informationen ausgeben.

- Finanzwesen: KI-basierte Entscheidungen könnten durch falsche Eingaben beeinflusst werden.

Ein besonders alarmierender Aspekt: Es bedarf keiner tiefgreifenden technischen Kenntnisse, um solche Angriffe auszuführen. Dies macht generative KI zu einem potenziellen Sicherheitsrisiko, insbesondere bei öffentlichen Anwendungen.

Ausblick

Das Experiment rund um Freysa ist ein Weckruf für die Branche. Während generative KI enorme Fortschritte ermöglicht, offenbaren solche Tests, wie wichtig eine robuste Sicherheitsarchitektur ist. Die Fähigkeit, Sicherheitsvorkehrungen durch kreative Eingaben zu umgehen, zeigt, dass klassische Schutzmaßnahmen nicht ausreichen.

Zukünftig müssen Entwickler stärker auf adaptive Sicherheitsmechanismen setzen, die dynamisch auf unvorhergesehene Eingaben reagieren können. Bis dahin bleibt die Herausforderung bestehen, generative KI sicherer zu machen – bevor sie in noch sensibleren Bereichen eingesetzt wird.

Short

Ein Hacker überlistete den KI-Bot Freysa mit kreativen Eingaben und gewann 47.000 Dollar in einem Hacking-Experiment.
Der Angriff zeigte Schwächen generativer KI auf, insbesondere durch sogenannte Prompt-Injection-Techniken.
Das Experiment diente als Weckruf für die Branche, um Sicherheitsarchitekturen weiterzuentwickeln.
Die einfache Durchführung solcher Hacks unterstreicht die Risiken für sensible Bereiche wie E-Commerce oder Finanzwesen.