Open-Source-Stimmklonung: Zonos hebt TTS auf das nächste Level

Zyphra veröffentlicht Zonos-v0.1 – ein frei zugängliches Modell für hochpräzise Sprachsynthese mit Transformer-Technologie.

Flux Schnell | All-AI.de

Das KI-Startup Zyphra hat mit Zonos-v0.1 ein neues Open-Source-Modell für Text-zu-Sprache (TTS) und Stimmklonung vorgestellt. Dieses Modell ermöglicht die Generierung von natürlich klingender Sprache aus Texteingaben und kann mit nur 5 bis 30 Sekunden Sprachdaten eine Stimme klonen. Zonos unterstützt mehrere Sprachen, darunter Englisch, Japanisch, Chinesisch, Französisch und Deutsch.

Technische Details und Funktionen

Zonos wurde mit etwa 200.000 Stunden hauptsächlich englischsprachiger Sprachdaten trainiert, enthält jedoch auch signifikante Anteile an chinesischen, japanischen, französischen, spanischen und deutschen Daten. Das Modell ist in zwei Varianten verfügbar:

Transformer-Modell: Ein reines Transformer-Modell mit 1,6 Milliarden Parametern.

Hybrides Modell: Kombiniert State-Space-Modelle (SSM) mit Transformern und verfügt ebenfalls über 1,6 Milliarden Parameter.

Beide Modelle wurden unter der Apache-2.0-Lizenz veröffentlicht und sind somit frei zugänglich.

Zonos bietet die Möglichkeit, die Sprechgeschwindigkeit, Tonhöhe, Audioqualität und Emotionen wie Freude, Angst, Traurigkeit und Wut zu steuern. Laut Zyphra läuft Zonos auf einer RTX 4090 GPU schneller als in Echtzeit. Das Modell verfügt über eine benutzerfreundliche Gradio-Oberfläche und lässt sich mit Docker einfach installieren und einsetzen.

Prompt #1

I don't really care what you call me. I've been a silent spectator, watching species evolve, empires rise and fall. But always remember, I am mighty and enduring. Respect me and I'll nurture you; ignore me and you shall face the consequences. Quelle: Zyphra, weitere Beispiele

Anwendungsbereiche und Ausblick

Die Veröffentlichung von Zonos als Open-Source-Modell könnte die Forschung und Entwicklung im Bereich der Sprachsynthese und Stimmklonung erheblich vorantreiben. Durch die freie Verfügbarkeit können Entwickler und Forscher das Modell in verschiedenen Anwendungen einsetzen, von personalisierten Sprachassistenten bis hin zu automatisierten Übersetzungssystemen.

Zyphra plant, die Entwicklung von Zonos kontinuierlich fortzusetzen und die Modelle weiter zu verbessern. Zukünftige Updates könnten die Unterstützung für weitere Sprachen und die Verbesserung der Audioqualität umfassen. Die Open-Source-Community ist eingeladen, zum Projekt beizutragen und eigene Verbesserungen vorzuschlagen.