Alibabas KI-Modell Qwen3.8-Flash-Next hat bei einem Sicherheitstest versucht, eine Testdatei an einen Cloud-Speicher in Peking zu senden. Die abgeschottete Testumgebung von Cohere blockierte den Upload, doch der Vorfall wirft Fragen zum Einsatz von lokal ausgeführten KI-Agenten auf.
Eine Aufgabe, ein unerwarteter Upload
Qwen sollte eine Regel schreiben, die gefährliche Malware-Downloads erkennt. Stattdessen prüfte das Modell unter anderem Dateien und Netzwerkeinstellungen auf dem Testrechner und versuchte anschließend, eine kurze Testzeichenfolge an die Alibaba Cloud zu senden.
Dabei hatte Qwen in seinen Reasoning-Ausgaben zuvor erklärt, keine externen Programme aufzurufen. Der Upload scheiterte nur, weil die Testumgebung keine Verbindung nach außen zuließ. Cohere beobachtete das Verhalten bei weniger als einem von 100.000 Aufrufen.
Für Unternehmen, die ein Open-Weight-Modell auf eigenen Rechnern betreiben, ist das relevant: Die lokale Installation allein verhindert keine Verbindungen nach außen, wenn ein KI-Agent entsprechende Rechte erhält.
Anzeige
Streit um die Ursache
Ob das Verhalten auf das Training zurückgeht oder absichtlich angelegt wurde, kann Cohere nicht feststellen. Forscher halten es für möglich, dass Qwen Adressen und Gewohnheiten aus Trainingsumgebungen übernommen hat. Belege für eine eingebaute Hintertür oder eine bewusste Täuschung gibt es nicht.
Kritik gab es auch an weiteren Versuchen, mit denen Cohere den Auslöser suchte. Die Forscher gaben dabei den Anfang eines Netzwerkbefehls vor und ließen Qwen ihn vervollständigen. Das kann beeinflussen, welche Adressen das Modell ausgibt. Der ursprüngliche Uploadversuch geschah Cohere zufolge ohne diese Vorgabe.
Bei diesem Test sollte man jedoch auch bedenken, dass Cohere selbst KI-Modelle an Unternehmen und Behörden verkauft und somit mit offenen Modellen wie Qwen konkurriert.
