ElevenLabs startet mit Eleven Realtime v1 Mini und v1 Max zwei Speech-to-Speech-Modelle, die einen kompletten Sprachagenten in einer Auswahl bündeln. Entwickler müssen Spracherkennung, Gesprächssteuerung, Sprachmodell und Text-to-Speech damit nicht mehr einzeln zusammenstellen und aufeinander abstimmen.
Zwei Modelle für Gespräche und komplexe Aufgaben
Eleven Realtime v1 Mini richtet sich an günstige, natürliche Gespräche mit Assistenten, Tutoren oder interaktiven Figuren. V1 Max ist für Kundendienst, Lead-Qualifizierung und mehrstufige Abläufe gedacht, bei denen der Sprachagent Anweisungen befolgt, Reasoning nutzt und Tools aufruft. Beide Modelle unterstützen mehr als 90 Sprachen und sämtliche über 17.000 Stimmen der ElevenLabs-Bibliothek.
In ElevenAgents lassen sich die Realtime-Modelle direkt als Sprachmodus auswählen. Stimmen, System-Prompt, Tools, Wissensdatenbank und Einstellungen für Unterbrechungen funktionieren weiter. ElevenLabs führt die Modelle schrittweise ein, weshalb die Auswahl noch nicht in jedem Workspace erscheint.
Die Realtime-API orientiert sich an OpenAIs Spezifikation und arbeitet über WebSocket. Wer bereits OpenAIs Realtime-API verwendet, kann den vorhandenen Client samt SDK behalten und lediglich Endpunkt sowie Modellnamen austauschen.
Anzeige
V1 Max verbindet Tempo mit hoher Trefferquote
Artificial Analysis hat beide Modelle in drei öffentlichen Benchmarks geprüft. V1 Max beantwortete bei Big Bench Audio 99 Prozent der 1.000 gesprochenen Reasoning-Fragen richtig und begann im Mittel nach 570 Millisekunden zu sprechen. V1 Mini erreichte 76 Prozent bei einer Reaktionszeit von 620 Millisekunden.
Beim Full-Duplex-Bench für Pausen, Sprecherwechsel und Unterbrechungen lag Mini mit 96 Prozent knapp vor Max mit 94 Prozent. Dafür erzielte Max bei Gesprächen mit Tool-Nutzung eine Erfolgsquote von 87 Prozent, während Mini auf 60 Prozent kam. In der Speech Agent Arena erreichten die Modelle 998 beziehungsweise 988 Elo-Punkte. Damit setzt Max den Schwerpunkt klar auf anspruchsvolle Abläufe, während Mini als günstigere Standardwahl für direkte Gespräche dient.
Quelle: ElevenLabs
