Das Ende der KI-Halluzinationen?

Forscher von OpenAI haben den wahren Grund für erfundene Fakten gefunden. Die Lösung ist überraschend einfach – und doch radikal.

gpt-image-1 | All-AI.de

KI-Halluzinationen verursachen weltweit Schäden in Milliardenhöhe. Sie sind nicht nur ein Ärgernis für Nutzer, sondern ein ernsthaftes wirtschaftliches Problem. Eine neue Studie von Forschern bei OpenAI und der Georgia Tech liefert nun eine der bisher klarsten Erklärungen für dieses Phänomen. Die Ergebnisse zeigen, dass das Problem tief in der Trainingsmethode der Modelle verwurzelt ist und deuten auf eine radikale, aber notwendige Lösung hin.

Die Wurzeln der KI-Lüge

Die Forscher identifizieren zwei Haupttreiber für die Halluzinationen. Der erste liegt im sogenannten Pre-Training, bei dem die Modelle lernen, das wahrscheinlichste nächste Wort in einem Satz vorherzusagen. Ziel ist es, flüssige und menschlich klingende Sprache zu erzeugen, nicht zwangsläufig die Wahrheit abzubilden. Das Modell lernt aus riesigen Textmengen, ohne dass die Fakten darin als "wahr" oder "falsch" markiert sind. Es reproduziert Muster, kann aber seltene oder komplexe Ereignisse nicht korrekt aus diesen Mustern ableiten, was zu plausibel klingendem, aber frei erfundenem Inhalt führt.

Der zweite und entscheidende Faktor ist das Bewertungssystem, das falsche Anreize setzt. Die Studie vergleicht die Situation der KI mit einem Schüler in einem Multiple-Choice-Test. Wenn es für falsche Antworten keinen Punktabzug gibt, ist Raten die beste Strategie, denn eine leere Antwort garantiert null Punkte. Heutige KI-Modelle werden primär für ihre Genauigkeit belohnt, also den Prozentsatz richtiger Antworten. Dieses System verleitet die KI dazu, im Zweifelsfall lieber eine potenziell falsche Antwort zu generieren, als gar keine Antwort zu geben.

Ein neues System gegen das Raten

Die Lösung der Forscher zielt genau auf dieses Anreizsystem ab. Anstatt die KI nur für richtige Antworten zu belohnen, schlagen sie vor, falsche Antworten negativ zu bewerten. Eine andere Möglichkeit wäre, Teilpunkte für das Eingeständnis von Unsicherheit zu vergeben – also wenn das Modell signalisiert, eine Frage nicht beantworten zu können. Dadurch würde das blinde Raten für die KI unattraktiv, da es potenziell zu einem schlechteren Gesamtergebnis führt.

Dieser Ansatz erfordert jedoch eine grundlegende Änderung der etablierten Evaluationsmethoden. Es reicht laut den Forschern nicht, nur ein paar neue Tests einzuführen, die gezielt auf Unsicherheiten abzielen. Das gesamte Bewertungssystem muss überarbeitet werden, um die Modelle dazu zu erziehen, bei Unsicherheit zu schweigen, anstatt selbstbewusst Falschinformationen zu präsentieren. Erst dann könnte die Zuverlässigkeit von Sprachmodellen ein neues Niveau erreichen.

Kostenlose News und Tutorials – mit minimaler Werbung und maximalem Mehrwert. Damit das so bleibt und wir uns stetig verbessern können, freuen wir uns über deine Unterstützung.

Teile diesen Beitrag

Folge uns auf Social Media

Keine KI-News mehr verpassen und direkt kommentieren!

Unterstütze uns direkt

Mit einer YouTube-Mitgliedschaft (ab 0,99 €) oder einmalig über PayPal. So helft ihr uns, unabhängig neue Tools zu testen und noch mehr Tutorials für euch zu erstellen. Vielen Dank für euren Support!