Mistral 3B und 8B: Revolutionäre KI für Geräte vor Ort

Das französische KI-Unternehmen Mistral AI hat zwei neue Sprachmodelle vorgestellt, die speziell für den Einsatz auf Endgeräten und in Edge-Computing-Umgebungen entwickelt wurden: Ministral 3B und Ministral 8B. Diese als „Ministraux“ bezeichneten Modelle bieten laut Mistral AI die höchste Leistungsfähigkeit ihrer Klasse und sollen eine Vielzahl von Anwendungen unterstützen, bei denen lokale Verarbeitung und Datenschutz eine zentrale Rolle spielen.

Leistungsstarke Modelle für lokale KI-Anwendungen

Die neuen Modelle sind insbesondere für Szenarien gedacht, in denen KI-Systeme direkt auf Geräten vor Ort arbeiten, ohne auf Cloud-Computing zurückgreifen zu müssen. Zu den Anwendungsbereichen zählen unter anderem:

On-Device-Übersetzungen: Maschinen können Texte in Echtzeit übersetzen, ohne dass eine Internetverbindung erforderlich ist.

Intelligente Assistenten: Smarte Assistenten, die lokal auf Geräten laufen, und dabei ohne ständigen Internetzugriff funktionieren.

Lokale Datenanalyse: Unternehmen können sensible Daten direkt vor Ort analysieren lassen, ohne sie in die Cloud hochzuladen.

Autonome Robotik: In der Robotik kommen die Modelle für autonome Entscheidungen und Prozesse ohne Verzögerungen durch externe Datenverarbeitung zum Einsatz.

Beide Modelle unterstützen eine Kontextlänge von bis zu 128.000 Token, was besonders für komplexe Aufgaben mit umfangreichen Daten von Vorteil ist.

Benchmarks und Leistungsfähigkeit

Laut den von Mistral AI durchgeführten Tests übertreffen die neuen Modelle viele ihrer Mitbewerber, wie zum Beispiel Gemma 2 2B und Llama 3.1 8B, in den Bereichen Wissen, Alltagsverstand und Mehrsprachigkeit. Besonders hervorzuheben ist das kleinere Modell Ministral 3B, das in einigen Benchmarks sogar besser abschneidet als das weit verbreitete Mistral 7B, der Vorgänger des aktuellen 8B-Modells.

In den Benchmarks zeigt Ministral 8B seine überlegene Leistung gegenüber Mistral 7B und liefert insbesondere in den Kategorien Wissen und mehrsprachige Fähigkeiten herausragende Ergebnisse. Ein Vergleich mit dem neueren Modell Llama 3.2 11B fehlt bisher, da sich die Tests auf das etwas ältere Llama 3.1 8B konzentriert haben.

Preise und Verfügbarkeit

Die neuen Modelle sind ab sofort verfügbar. Der Preis für die Nutzung von Ministral 8B beträgt 0,1 US-Dollar pro Million Token, während Ministral 3B für 0,04 US-Dollar pro Million Token angeboten wird. Mistral AI stellt für Forschungszwecke die Modellgewichte von Ministral 8B Instruct bereit und bietet kommerzielle Lizenzen für den Einsatz auf eigenen Systemen an.

Darüber hinaus sollen beide Modelle bald über Cloud-Dienste wie Google Vertex und AWS zugänglich sein, wodurch die Integration in bestehende Systeme erleichtert wird.

Kommentieren, diskutieren und teilen!