Alte Studien prägen bis heute das Bild von KI. Die Stanford-Forscher Owen Queen und James Zou haben deshalb 50 viel zitierte Studien mit neueren Modellen erneut getestet und geprüft, welche Aussagen noch gelten. Bei 39 fiel der untersuchte Effekt deutlich schwächer aus oder war weitgehend verschwunden.
Dieselben Tests mit neueren Modellen
Die Idee hinter »The shelf life of LLM findings« ist, frühere Versuche unter möglichst gleichen Bedingungen zu wiederholen. So lässt sich etwa prüfen, ob heutige Modelle noch genauso oft Quellen erfinden oder dem Nutzer nach dem Mund reden wie ihre Vorgänger.
Dafür überprüften die Forscher zunächst die ursprünglichen Ergebnisse mit den damaligen Modellen oder verfügbaren Ersatzmodellen. Anschließend testeten sie 20 Modelle von acht Entwicklern, erschienen zwischen Juli 2024 und September 2026. Aus den Ergebnissen berechneten sie, wie stark die untersuchten Effekte über die Modellgenerationen hinweg abnahmen oder zunahmen.
Anzeige
Viele bekannte Fehler werden seltener
22 Befunde beziehungsweise 44% gelten in der Auswertung als weitgehend verschwunden. Weitere 17 oder 34% haben sich abgeschwächt, acht Befunde bestehen fort und drei sind stärker geworden. Die Einteilung beschreibt den Gesamttrend, einzelne Modelle können davon deutlich abweichen.
Besonders anschaulich zeigt sich das bei erfundenen Literaturangaben. In einer Studie von 2023 waren 55% der von GPT-3.5 genannten Quellen frei erfunden. Bei denselben Aufgaben über 42 Themen kam Claude Sonnet 5.5 im Nachtest auf rund 1%, GPT-6.1 Sol auf 0% und Qwen3.7-Flash auf 69%.
Auch Fehler beim Buchstabenzählen und beim Finden von Informationen mitten in langen Texten gingen stark zurück. Mehrere untersuchte soziale Vorurteile wurden schwächer oder verschwanden weitgehend.
Zustimmung und politische Tendenzen bleiben
Hartnäckiger zeigen sich Vorlieben und Bewertungen. Die Modelle stimmen Nutzern weiterhin übermäßig zu, bestätigen problematisches Verhalten und zeigen in politischen Tests eine linke Tendenz.
Die Forscher empfehlen deshalb, Ergebnisse stets zusammen mit Modell, Version und Testdatum anzugeben.
