Harvard-Studie: So werden KI-Modelle dauerhaft kreativ
Ein neues Framework löst das Problem monotoner KI-Texte. Modelle generieren endlich vielfältigere und konstantere Antworten.
KI-Modelle schreiben oft vorhersehbare und gleichförmige Texte. Eine aktuelle Studie der Harvard University zeigt nun einen Weg auf, wie Sprachmodelle dauerhaft kreative und vielfältige Antworten generieren. Das Team um den Forscher Gary King hat dafür ein neues Framework entwickelt.
Das Problem der schwindenden Vielfalt
Textgeneratoren verfallen bei längeren Aufgaben schnell in einen monotonen Durchschnitt, den Forscher als Homogenisierung bezeichnen.
Nutzer versuchen oft, durch aufwendiges Prompting gegenzusteuern. Die KI-Modelle ignorieren diese spezifischen Vorgaben jedoch häufig nach wenigen Sätzen wieder. Das führt zu vorhersehbaren Mustern im Text.
Das Harvard-Projekt QUEST analysierte dieses Verhalten im Detail. Die Wissenschaftler erkannten, dass aktuelle Architekturen fast immer den sichersten mathematischen Pfad wählen. Dadurch geht jede Varianz verloren.
Quelle: https://gking.harvard.edu/quest
Ein Eingriff in die interne Zahlensprache
Die aktuelle Publikation beschreibt eine konkrete technische Lösung für dieses Problem. Das Team greift direkt in die sogenannten Embeddings ein. Das ist die abstrakte Ebene, auf der ein KI-Modell alle Wörter in Zahlen übersetzt.
Anstatt nur das nächste logische Token zu berechnen, erzwingt das Framework eine breitere Suche in diesem mathematischen Raum. Das Modell verknüpft dadurch weiter entfernte Begriffe miteinander.
Diese Methode bewahrt das komplexe Reasoning der Systeme. Die Qualität der Fakten bleibt stabil, während die Textvielfalt spürbar steigt.
Anzeige
Training statt Chatfenster
Im Alltag bedeutet das: Anwender können diese neue Kreativität nicht selbst durch cleveres Prompting erzwingen. Entwickler müssen die Modelle stattdessen zwingend mit dem neuen Ansatz trainieren.
Das Framework der Forscher setzt dafür exakt beim Fine-Tuning an. Programmierer können diese Methode direkt auf bestehende Open Source Modelle und Architekturen mit Open Weights anwenden.
Eine häufige Sorge bei kreativeren Ausgaben ist die Erfindung falscher Fakten. Die Studie belegt jedoch, dass das neue Verfahren die Rate der Halluzination nicht erhöht.
Praktischer Nutzen für die Zukunft
Auf der Plattform X betonte der Experte Ethan Mollick die praktische Bedeutung dieser Forschung. Er sieht darin einen wichtigen Schritt, um KI im Alltag vielseitiger einzusetzen.
Die Entwicklung einer AGI steht zwar noch aus, aber die Fähigkeit zu dauerhafter Kreativität schließt eine spürbare Lücke in der aktuellen Technik. Die Forschungsergebnisse stehen der Entwicklergemeinde ab sofort zur Verfügung.