Der Bildgenerator Midjourney sorgt für kreative Texte

Dank neuer Trainingsmethode mit Abweichungsmetriken schreiben KI-Modelle jetzt spannender, vielfältiger und überraschender – wie funktioniert das?

Flux Schnell | All-AI.de

Künstliche Intelligenz generiert heute problemlos Texte auf hohem Niveau, doch oft wirken diese eintönig oder vorhersehbar. Kann eine neue Trainingsmethode das ändern?

Kreativere Texte durch Abweichungsmetriken

Genau diese Frage beantwortet ein Forschungsteam der New York University positiv. Die Forschenden haben Abweichungsmetriken entwickelt, die direkt im Training von KI-Sprachmodellen angewandt werden. Diese Metriken messen, wie unterschiedlich die generierten Texte sind, indem sie deren Unterschiede mathematisch erfassen. Die Methode arbeitet mit eingebetteten Textdarstellungen und berechnet deren Ähnlichkeit über sogenannte Kosinus-Abstände. Durch diese Technik entstehen Texte, die sowohl inhaltlich als auch stilistisch abwechslungsreicher sind.

Vielversprechende Ergebnisse bestätigen den Ansatz

Erste Tests mit dieser Trainingsmethode zeigen eine erhebliche Verbesserung der Textvielfalt. Die Modelle generieren rund 23 Prozent vielfältigere Inhalte, wobei die Qualität nur geringfügig – etwa fünf Prozent laut Reddit-Reward-Score – sinkt. Ein anschauliches Beispiel liefert der Prompt „Warum zitterst du, mein Liebster? Du bist jetzt König“: Während das ursprüngliche GPT-4o-Modell meist ähnliche Szenarien von Selbstzweifel beschreibt, produzierte das neue Modell unterschiedliche Geschichten, die von düsteren Fantasy-Szenarien bis hin zu märchenhaften Erzählungen reichen.

Unterschiedliche Formen der Textvielfalt

Dabei unterscheiden die Forschenden zwei Formen von Vielfalt. Semantische Diversität zeigt sich in der Breite der Themen und Handlungen, während stilistische Diversität unterschiedliche Schreibstile umfasst, sodass Texte wirken, als stammten sie von verschiedenen Autoren. Eine Kombination dieser beiden Ansätze lieferte die überzeugendsten Resultate.

Evaluation bestätigt Praxisnähe

Für das Training nutzte das Forschungsteam eine Datenbank des Reddit-Forums r/WritingPrompts, bestehend aus über 100.000 Text-Paaren. Bereits bei nur vier Antwortvarianten pro Prompt wurde eine deutliche Verbesserung der Vielfalt festgestellt. Menschliche Beurteiler bestätigten in anschließenden Bewertungen die erhöhte Vielfalt, ohne dabei einen signifikanten Qualitätsverlust festzustellen.

Grenzen der Methode und zukünftige Perspektiven

Trotz der positiven Ergebnisse bleiben einige offene Fragen. So muss beispielsweise noch geprüft werden, ob sich die Methode auch für andere Anwendungsbereiche wie technische Dokumentationen oder Zusammenfassungen eignet. Ebenfalls unklar ist, ob diese Trainingsmethode auch in Online-Trainingsszenarien größerer Modelle funktioniert, wie sie aktuell oft eingesetzt werden.