Forscher des MIT CSAIL haben GPT-6 Astra die Gewichte von Qwen3.5-0.8B bearbeiten lassen. Der Eingriff erfasste dabei nur rund 0,016% der Gewichte und steigerte das Ergebnis trotzdem im Mathematik-Benchmark MATH-500 von 7,9% auf 48,1%. Also um über 508,9%.
Astra stoppt Qwens Reasoning-Schleifen
Qwen3.5-0.8B geriet bei längeren Rechenaufgaben häufig in Wiederholungsschleifen. Das Modell schrieb dann immer weiter, kam aber zu keinem Ergebnis. Astra durfte Qwen mit Übungsaufgaben untersuchen und dafür bis zu 50 Testläufe ausführen. Ein Training fand dabei nicht statt.
Vor dem Eingriff erreichten 93 von 100 Antworten im MATH-500-Test die Höchstlänge von 32.768 Tokens. Danach geschah das noch bei 33 von 100 Antworten. Qwen konnte somit wesentlich mehr Rechenwege abschließen und eine fertige Antwort liefern.
Im selben Test löste Qwen zuvor knapp 8 von 100 Aufgaben richtig, nach der Änderung waren es 48. In einem zweiten Mathetest stieg die Trefferquote von knapp 14% auf 67%. Bei einem Test zum Befolgen von Anweisungen stieg sie von 21% auf 62%.
Anzeige
Astra kann Gewichte lesen und schreiben
Die Forscher nennen die Methode »Weight-Space Programming«. Der Versuch mit Qwen ist Teil einer größeren Idee: Ein KI-Modell soll die Gewichte eines anderen Modells verstehen, gezielt verändern und sogar neu erstellen können.
Weitere Tests mit kleinen neuronalen Netzen zeigten, dass Astra bereits erkennen konnte, welche Aufgabe ein Netz gelernt hatte. So wurden z.B. die vier Computerspiele Breakout, Pong, Pac-Man und Freeway erkannt.
Ein klar umrissener Erfolg
Gemma 3 270M zeigte die Grenze der Methode. Dieses Modell geriet kaum in Schleifen, und Astra konnte seine Matheleistung nicht spürbar verbessern. Der Eingriff kann einen bestimmten Fehler entfernen. Er verleiht einem Modell aber keine Fähigkeit, die ihm zuvor fehlte.
Ein externer Prüfer verglich beide Fassungen. Er fand den beschriebenen Eingriff in den Modelldateien und bewertete die Matheantworten genauso wie das MIT-Team.
