ElevenLabs verwandelt Chatbots in Voicebots mit einem Prompt
Die neue Speech Engine stattet bestehende Chat-Agenten unkompliziert mit einer natürlichen Sprachausgabe aus.
Ein einziger Prompt genügt, um bestehende textbasierte Chatbots in vollwertige Voicebots zu verwandeln. Die neue Audio-Ebene »Speech Engine« von ElevenLabs ermöglicht diese direkte Transformation, ohne dass Entwickler die bestehende KI-Infrastruktur oder Datenbasis anpassen müssen.
Flexibler Audio-Aufsatz für bestehende KI-Modelle
Die Integration erfolgt über ein SDK für JavaScript oder Python und setzt direkt auf der vorhandenen Infrastruktur auf. Entwickler behalten dadurch die vollständige Kontrolle über die Gesprächslogik, die Datenabfrage per RAG sowie das gewählte KI-Modell. Die Verbindung zum Server wird über das WebSocket-Protokoll hergestellt.
Das SDK bietet eine integrierte Stream-Extraktion für etablierte KI-Modelle von OpenAI, Anthropic und Google. Für andere Anbieter lässt sich die Textausgabe als einfacher String übertragen. Im Gegensatz zur vollständig verwalteten Plattform ElevenAgents richtet sich diese Lösung an Entwickler, die eigene Inferenz-Strukturen nutzen wollen.
Quelle: Elevenlabs
Zwei Prompts zum Glück
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";
import "dotenv/config";
const elevenlabs = new ElevenLabsClient({
apiKey: process.env.ELEVENLABS_API_KEY,
});
const engine = await elevenlabs.speechEngine.create({
name: "My Speech Engine",
speechEngine: {
// Note we use the wss protocol instead of https
wsUrl: "wss://abc123.ngrok.io/ws",
},
});
console.log("Speech Engine ID:", engine.engineId);
import express from "express";
import { ElevenLabsClient } from "@elevenlabs/elevenlabs-js";
import "dotenv/config";
const app = express();
const elevenlabs = new ElevenLabsClient({ apiKey: process.env.ELEVENLABS_API_KEY });
const speechEngineId = "seng_8k3m9xr4hjnfg983brhmhkd98n6";
app.get("/api/token", async (req, res) => {
const { token } = await elevenlabs.conversationalAi.conversations.getWebrtcToken({ agentId: speechEngineId });
res.json({ token });
});
app.listen(3002, () => console.log("Token server listening on port 3002"));
Intelligente Steuerung natürlicher Konversationen
Die neue Audio-Ebene kombiniert mehrere spezialisierte KI-Modelle, um eine minimale Latenz im realen Einsatz zu gewährleisten. Die Transkription der Nutzersprache unterstützt mehr als 90 Sprachen. Für die eigentliche Sprachausgabe stehen über 70 Sprachen sowie eine Bibliothek von 11.000 vorgefertigten Stimmen zur Verfügung.
Für einen flüssigen Austausch sorgen integrierte Automatismen:
- Sprechpausen-Erkennung: Das KI-Modell unterscheidet präzise zwischen kurzen Pausen und dem tatsächlichen Ende einer Aussage.
- Unterbrechungs-Management: Sobald der Nutzer spricht, wird die Audioausgabe automatisch über ein Abbruchsignal gestoppt.
- Geräuschfilterung: Hintergrundgeräusche werden isoliert, sodass nur klare Audiosignale die Transkription erreichen.
Die Steuerung der Sitzungen im Browser oder in mobilen Anwendungen wird über eine WebRTC-Token-Anbindung realisiert. Damit steht Entwicklern eine umfassende Architektur für die direkte Sprachinteraktion zur Verfügung.
