Mistral bündelt mit Voxtral 3 neue Modelle für Transkription und Sprachausgabe mit einem SDK für Sprachagenten. Sie sollen Anrufe verstehen, Aktionen ausführen und in weniger als einer Sekunde antworten.
Ein SDK verbindet Zuhören, Denken und Handeln
Das auf LiveKit aufbauende SDK verarbeitet Spracheingabe, Reasoning, Tool-Aufrufe und Sprachausgabe als durchgehenden Datenstrom. Ein Agent kann während eines Gesprächs die Identität eines Anrufers prüfen, Rechnungen aufrufen oder Termine buchen. Dafür unterstützt die Software Function Calling, Websuche und eigene Unternehmensdaten. Telefonate laufen über SIP, Browser und Apps über WebRTC.
Die einzelnen Stufen bleiben austauschbar. Entwickler können das Sprachmodell, die Stimme oder die Sprache wechseln, ohne den gesamten Agenten neu aufzubauen. Unterbricht ein Anrufer die Antwort, stoppt auch die Sprachausgabe.
Anzeige
Transkription in mehr als 50 Sprachen
Voxtral Small Transcribe 3 und die kleinere Mini-Version erkennen mehr als 50 Sprachen. Beide trennen Sprecher voneinander und lassen sich mit Fachbegriffen, Namen oder anderen Schlüsselwörtern auf einen Einsatz vorbereiten. Voxtral Mini Transcribe Realtime 3 arbeitet in mehr als 35 Sprachen mit einer Latenz unter 500 Millisekunden und erkennt selbst, wann ein Sprecher seinen Satz beendet hat.
Im FLEURS-35-Benchmark erreicht die Echtzeitversion bei 480 Millisekunden rund 6 Prozent Wortfehlerrate. GPT Live Transcribe kommt auf 8 Prozent, Scribe v2 Realtime auf 9 Prozent. Die mitgelieferte Offline-Version liegt bei 4 Prozent.
Quelle: Mistral
Natürliche Stimmen und eigene Infrastruktur
Voxtral Speech 3 erzeugt Sprache in mehr als 35 Sprachen und über 50 Dialekten. Das Modell passt Emotion, Tempo und Betonung an den Gesprächskontext an. Für Pro Voice reichen 30 Minuten Audiomaterial, um Charakter und Sprechweise einer Stimme über mehrere Sprachen hinweg zu klonen.
Mistrals API ist über europäische, US-amerikanische und globale Endpunkte verfügbar. Die Preise beginnen bei 0,0035 Dollar pro Audiominute für Voxtral Mini Transcribe 3. Die Echtzeit-Transkription kostet 0,008 Dollar pro Minute, Voxtral Speech 3 kostet 13 Dollar pro Million Zeichen. Unternehmen können die Lösung auch in der eigenen Infrastruktur oder einer privaten Cloud betreiben.
