Soofie S: Ein gutes deutsches KI-Modell

Ein deutsches Forschungskonsortium hat das vollständig offene Sprachmodell Soofi S veröffentlicht. Mit einer hocheffizienten Hybridarchitektur und einem starken Fokus auf deutsche Trainingsdaten übertrifft das Modell bisherige europäische Entwicklungen deutlich.

Geringer Speicherbedarf durch Mamba-Hybrid

Soofi S basiert auf der von Nvidia quelloffen bereitgestellten Architektur des Modells Nemotron 3 Nano. Es ist als Mixture-of-Experts-Modell aufgebaut und verfügt über insgesamt 31,6 Milliarden Parameter. Pro Token nutzt es jedoch nur 3,2 Milliarden Parameter aktiv. Dadurch erreicht das Modell die Leistung großer Netze bei den Rechenkosten einer kleinen Variante.

Die Architektur verknüpft Mamba-2-Layer mit klassischen Attention-Layern. Herkömmliche Transformer-Modelle stoßen bei langen Texten an Grenzen, weil ihr Zwischenspeicher – der sogenannte KV-Cache – mit jedem Wort linear anwächst. Soofi S umgeht dieses Problem, indem nur sechs der 52 Layer einen solchen Cache pflegen.

Das verringert den Speicherbedarf der Sequenz auf rund sechs Kilobyte pro Token. In der Praxis bleibt die Verarbeitungsgeschwindigkeit von 4.000 bis 256.000 Token nahezu konstant. Bei einem Kontext von 40.000 Token und 32 parallelen Anfragen erreicht Soofi S einen Durchsatz von 4.820 Token pro Sekunde auf einer einzelnen GPU.

Fokus auf deutsche Sprachdaten

Das Konsortium trainierte das Modell mit rund 27 Billionen Tokens. Das Training gliedert sich in drei Abschnitte, in denen das Team den Anteil deutscher Texte schrittweise hochschraubte. Während der Anteil in der ersten Phase bei 7,2 Prozent lag, stieg er in der nachfolgenden Optimierungsphase auf 15,3 Prozent. Die Nvidia-Referenz nutzt für alle nicht-englischen Sprachen zusammen lediglich fünf Prozent der Trainingsdaten.

Neben Webtexten aus dem HPLT-Korpus und dem German Commons floß der kommerzielle Genios-Korpus in das Training ein. Dieser umfasst 193 Millionen Artikel aus 916 deutschen Zeitungen und Fachpublikationen. Weil hochwertige deutsche Daten knapp sind, nutzte das Team zusätzlich maschinelle Übersetzungen und synthetische Texte.

Spitzenwerte im europäischen Vergleich

In Benchmarks erzielt Soofi S 79,1 Punkte im deutschen und 70,1 Punkte im englischen Zustand. Damit übertrifft es andere europäische Modelle wie EuroLLM 22B oder Apertus 70B deutlich. Während europäische Vorgänger oft in einer niedrigeren Leistungsklasse blieben, spielt Soofi S auf Augenhöhe mit internationaler Konkurrenz.

Das zeigt sich besonders beim Programmieren. Mit 73,8 Prozent auf HumanEval und 84,2 Prozent auf der deutschen Variante MBPP-DE setzt sich das Modell an die Spitze der offenen Vergleichsgruppe. Beim Test für deutschlandspezifisches Alltagswissen (INCLUDE-DE) erreicht es 61,2 Punkte und zieht mit dem größeren Modell Qwen3.5 35B-A3B gleich.

Training auf deutschem Boden

Soofi S wurde auf der Industrial AI Cloud der Deutschen Telekom in München trainiert. Der Rechenlauf erfolgte zwischen März und Mai 2026 auf bis zu 512 Nvidia-B200-GPUs. Die Anlage läuft mit erneuerbarer Energie, wird mit Wasser aus dem Eisbach-Kanal gekühlt und speist ihre Abwärme in das umliegende Wohnviertel Tucherpark.

Das Modell erfüllt die Open Source AI Definition 1.0 der Open Source Initiative. Der technische Projektleiter Nicolas Flores-Herr betont: »Soofi S ist nicht als weiteres allgemeines Chatmodell gedacht, sondern als technische Grundlage für industrielle KI.«

Das Konsortium veröffentlicht neben den Gewichten auch Zwischenschritte des Trainings, den Evaluationscode und detaillierte Datenstatistiken. Der kommerziell lizenzierte Genios-Anteil von 1,3 Prozent kann aus rechtlichen Gründen zwar nicht frei verteilt werden, rund 99 Prozent des Trainingsmixes lassen sich jedoch unabhängig rekonstruieren.

Für die nächste Phase sucht das Konsortium Industriepartner, um das Modell in realen Anwendungen wie der Analyse technischer Dokumente zu erproben.