ElevenLabs stellt mit Cue ein KI-Modell vor, das gesprochenen Text mit der passenden Stelle in einer Audioaufnahme verknüpft. Damit lassen sich etwa Untertitel und Transkripte zeitlich auf die Stimme abstimmen.
Vom Transkript zur richtigen Zeitmarke
Cue bekommt eine Aufnahme und den dazugehörigen Text. Das Modell ermittelt anschließend für jedes Wort und jedes Zeichen, wann es beginnt und endet. Klickt ein Nutzer in einem Transkript auf ein Wort, kann der Audioplayer dadurch an die entsprechende Stelle springen.
Dieses Verfahren heißt »Forced Alignment«. Cue erstellt dabei nicht selbst das Transkript: Dafür nutzt ElevenLabs sein Spracherkennungsmodell Scribe. Cue liefert die Zeitmarken und arbeitet bereits hinter jeder Scribe-Transkription. Auch bei Untertiteln, Synchronisationen und Liedtexten kommt es zum Einsatz.
Anzeige
Schneller bei langen Aufnahmen
Cue verarbeitet Aufnahmen jeder Länge in einem Durchlauf und unterstützt mehr als 90 Sprachen. Andere Modelle müssen längere Dateien oft in kurze Abschnitte aufteilen, wodurch sich Zeitfehler ansammeln können.
Auf einer Grafikkarte ordnet Cue eine Stunde Audio in rund einer halben Sekunde zu. Im Benchmark von ElevenLabs erreichte das Modell bei Alltagsaufnahmen über 29 Sprachen hinweg für 79 Prozent der Wortanfänge und -enden eine Abweichung von höchstens 50 Millisekunden. Der bisherige ElevenLabs-Aligner kam auf 72 Prozent.
Bei vollständigen Aufnahmen mit einer mittleren Länge von fünf Minuten lag Cues durchschnittlicher Zeitfehler bei 179 Millisekunden. Für das bisherige Modell waren es 238 Millisekunden.
Quelle: ElevenLabs
Auch für gesungene Texte
Gesang ist besonders schwierig zuzuordnen, weil Sänger Wörter dehnen und Laute ineinander übergehen. Cue erreichte bei 22 getesteten Liedern in vier Sprachen, darunter Deutsch, für 93 Prozent der Wortanfänge eine Abweichung von höchstens 0,3 Sekunden.
Entwickler können Cue auch unabhängig von Scribe über die Forced-Alignment-API nutzen. Sie übergeben dafür eine Audiodatei und den zugehörigen Text und erhalten Zeitangaben für Wörter und Zeichen zurück.
