ChatGPT schlägt echte Autoren bei Kurzgeschichten
Eine neue Studie zeigt ein überraschendes Ergebnis. Leser finden KI-Texte oft fesselnder als menschliche Werke.
Kurzgeschichten von ChatGPT schneiden bei Lesern oft besser ab als Werke echter Autoren. Das belegt eine neue Untersuchung. Sie zeigt auch: Menschen können künstliche und echte Texte kaum noch sicher voneinander unterscheiden.
Vorbehalte trotz besserer Noten
Ein Forschungsteam der Villanova University ließ knapp 1.700 Probanden verschiedene englischsprachige Kurzgeschichten bewerten. Die eine Hälfte stammte von menschlichen Autoren, die andere generierte ChatGPT. Die KI-Texte wurden dabei als qualitativ hochwertiger und fesselnder bewertet.
Die Studie offenbarte jedoch eine starke Voreingenommenheit: Die Leser bewerteten die Geschichten generell besser, wenn sie glaubten, ein Mensch habe sie verfasst. Das galt auch dann, wenn der Text in Wahrheit von ChatGPT stammte. Die KI erzeugt demnach äußerst ansprechende Fiktion, aber die Nutzer trauen ihr diese kreative Leistung offenbar noch nicht zu.
Anzeige
Raten auf Zufallsniveau
In einem zweiten Versuchsteil mit über 900 Teilnehmern sollten die Leser direkt entscheiden, welche von zwei vorgelegten Geschichten von ChatGPT stammte. Die Trefferquote lag dabei auf dem Niveau reinen Zufalls. Die Teilnehmer verließen sich bei ihrer Einschätzung häufig auf die Sprache der Texte, was jedoch zu vielen Fehlurteilen führte.
Lediglich Personen, die bereits viel Erfahrung mit KI besitzen, erkannten die künstlichen Texte etwas häufiger. Eine Expertise im Bereich fiktionaler Literatur half den Probanden hingegen nicht. Praktische Erfahrung mit KI war demnach der einzige Faktor, der bei der Enttarnung maschineller Texte half.
Wettbewerbe vor neuen Herausforderungen
Im professionellen Literaturbetrieb sorgt diese Verwechslungsgefahr bereits für konkrete Probleme: Beim Commonwealth Short Story Prize hielten Leser gleich drei der fünf Gewinnertexte für künstlich erzeugt. Ein eingesetztes Erkennungstool bestätigte diesen Verdacht. Das zuständige Magazin Granta führte daraufhin eine eigene Prüfung durch, kam jedoch zu keinem eindeutigen Ergebnis.
