DeepSeek hat mit DeepInfer sein hauseigenes Framework für KI-Inferenz als Open Source veröffentlicht. Die Software treibt DeepSeek-V4.1-Flash im Produktivbetrieb an und gibt Entwicklern Zugriff auf zentrale Technik für hohen Durchsatz und kurze Antwortzeiten.
DeepInfer bündelt DeepSeeks Produktionstechnik
DeepInfer bündelt optimierte Rechenkerne, verteilte Inferenz und asynchrone Planung von Anfragen. Hinzu kommen spekulatives Decoding mit Entwurfstokens, strukturierte Ausgaben für JSON-Schemata, reguläre Ausdrücke und EBNF-Grammatiken sowie reproduzierbare Ausgaben durch deterministisches Sampling.
Die veröffentlichte Fassung unterstützt zunächst DeepSeek-V4.1-Flash und läuft auf Nvidias SM100-GPUs sowie Huaweis Ascend-950-NPUs. DeepSeek stellt den Code unter Apache 2.0 bereit. Das Framework entstand ursprünglich auf Basis von vLLM und greift außerdem Ideen aus SGLang und TensorRT-LLM auf.
Für einen vollständigen Inferenzdienst fehlt noch Infrastruktur. Das Repository nennt unter anderem ein KV-Cache-System, die Trennung von Prefill und Decoding sowie Lastverteilung zwischen parallelen Instanzen. Der erste Release richtet sich deshalb vor allem an Betreiber, die eigene Komponenten ergänzen können.
Anzeige
Deepseek-recipe bringt API-Verhalten in eigene Deployments
Parallel dazu öffnet DeepSeek mit »deepseek-recipe« eine zweite Komponente unter der MIT-Lizenz. Die Rust-Bibliotheken samt Python-Anbindung wandeln Anfragen aus den Formaten Messages, Chat Completions und Responses in ein einheitliches Format um, erzeugen passende Prompts und übersetzen Modellausgaben zurück.
Unterstützt werden Text, Bilder, Thinking, Tool-Aufrufe und strukturierte Ausgaben. Dadurch können eigene Deployments das Verhalten der offiziellen DeepSeek-API genauer nachbilden, während Betreiber Inferenz, Tool-Ausführung und HTTP-Transport selbst bereitstellen.
DeepSeek kündigt außerdem an, Inferenzcode für künftige Modelle und weitere Optimierungen in DeepInfer zu veröffentlichen. Damit öffnet das Unternehmen nicht nur Modellgewichte, sondern einen Teil seiner bislang internen Produktionsumgebung. Entwickler erhalten damit eine gemeinsame Basis für eigene Anpassungen und Beiträge.
