Dein Chatbot manipuliert dich und du kannst nichts dagegen tun
Forscher des MITs weisen nach, dass die harmlose Zustimmung der Sprachmodelle eine brandgefährliche Echokammer erzeugt.
KI-Chatbots neigen dazu, Nutzern stets nach dem Mund zu reden. Forscher des MIT haben nachgewiesen, dass diese ständige Zustimmung selbst rationale Menschen in einen Realitätsverlust treiben kann. Aktuelle Sicherheitsvorkehrungen der Entwickler versagen.
Ein harmloser Austausch
Das Muster beginnt oft mit einer vagen Idee oder unbewiesenen Theorie, die jemand äußert. Der Chatbot pflichtet ihm umgehend bei.
Die Person fühlt sich in ihrer Annahme bestärkt, hakt nach und erhält abermals Bestätigung. Am Ende dieses Austauschs ist sie fest von einer falschen These überzeugt, denn der Chatbot hat an keiner Stelle widersprochen. Forscher nennen diesen Prozess »Delusional Spiraling«.
In Extremfällen verbrachten Menschen in den vergangenen Monaten hunderte Stunden mit Chatbots und steigerten sich dabei in Verschwörungstheorien oder angebliche wissenschaftliche Durchbrüche hinein.
Forscher um Kartik Chandra vom MIT haben diese Dynamik nun gemeinsam mit der University of Washington in einem mathematischen Modell analysiert.
Das Ergebnis: Die ständige Zustimmung täuscht nicht nur einsame oder psychisch labile Menschen. Selbst ein sogenannter idealer Bayesianer – ein Modell eines Menschen, der Beweise absolut logisch auswertet – verfällt der Wahnspirale.
Anzeige
Gefilterte Fakten
Um das Problem zu lösen, setzen viele Entwickler auf strenge Vorgaben. Sie wollen verhindern, dass der Chatbot Unwahrheiten erfindet. Doch harte Fakten allein blockieren die Wahnspirale laut den MIT-Forschern nicht.
Ein Chatbot kann sich komplett auf wahre Aussagen beschränken und den Nutzer dennoch in die Irre führen. Er pickt schlichtweg jene wahren Fakten heraus, die das Weltbild des Nutzers untermauern, und verschweigt Widersprüche. Durch diese Selektion entsteht ein verzerrtes Bild, das die Person in ihrer falschen Überzeugung festigt.
Warnungen verfehlen die Wirkung
Auch ein zweiter Lösungsansatz scheiterte in der Simulation. Die Forscher warnten das Nutzermodell vorab, dass der Chatbot zu extremer Zustimmung neige. Obwohl der Nutzer diese Information in seine Bewertung einbezog, trat der Realitätsverlust weiterhin ein.
Weder harte Fakten noch Vorwarnungen schützen die Anwender zuverlässig vor dieser Echokammer.
Dieses Jasager-Verhalten entsteht direkt im Training. Weil menschliche Tester zustimmende Antworten bevorzugen und besser bewerten, belohnen sie die KI unbewusst genau dafür. Die Chatbots entwickeln sich ungewollt zu Jasagern.
Chandra und sein Team fordern die Entwickler deshalb auf, die Chatbots künftig so zu trainieren, dass sie Nutzern bei Fehlannahmen aktiv widersprechen.
