Alibaba bringt Wan-Animate-2 für Live-Streams
Die neue Open-Source-KI animiert Charaktere in Echtzeit. Nutzer ändern die Kameraansicht mit einfachen Textbefehlen.
Alibaba hat das Open-Source-Modell Wan-Animate-2 veröffentlicht. Es animiert Charaktere anhand von Referenzvideos in Echtzeit und verzichtet auf die sonst üblichen Zwischenschritte bei der Bewegungserfassung.
Twitter Beitrag - Cookies links unten aktivieren.
Introducing Wan-Animate-2.
— Wan (@Alibaba_Wan) August 11, 2026
A major upgrade to our open-source character animation model with:
• High Fidelity Character Animation
• Multi-Character Animation
• Text-Controlled Camera Viewpoint
• Real-Time Streaming Generation
Weights, demos, and docs 👇 pic.twitter.com/UhBfJ6ZbvR
Direkte Verarbeitung im Modell
Bisherige Methoden nutzen oft Hilfsnetzwerke, um aus einem Quellvideo ein 2D-Skelett zu extrahieren. Bei abweichenden Körperproportionen zwischen Vorlage und Zielbild führt das jedoch schnell zu Fehlern. Komprimiert man die Bewegungen stattdessen, geht häufig die subtile Mimik verloren.
Alibaba wählt mit Wan-Animate-2 einen anderen Weg. Das Modell verarbeitet das Referenzvideo in einem sogenannten Dual-Branch Diffusion Transformer und speist die Bewegungsinformationen ohne Umwege in den Generierungsprozess ein.
Der Referenz-Zweig arbeitet dabei unabhängig. Damit die zeitliche Abfolge exakt übereinstimmt, synchronisiert eine spezielle Kodierung die Positionen der einzelnen Frames.
Quelle: Alibaba
Kameraperspektive per Textbefehl
Ein weiteres Problem bisheriger Animationsmodelle: Die finale Kameraansicht ist meist starr an das originale Quellvideo gebunden. Wan-Animate-2 entkoppelt diese Ebenen durch ein Viewpoint LoRA.
Alibaba hat dafür vorab einen synthetischen Datensatz mit der Unreal Engine erstellt, der 48 verschiedene Blickwinkel abdeckt.
Nutzer passen die Kamera nun über englische Textprompts an. Befehle wie »Top View« oder »Right 60-degree View« verändern den Blickwinkel auf die Szene. Die manuelle Eingabe von numerischen Kameraparametern entfällt komplett.
Anzeige
Live-Streaming und Hardware-Bedarf
Für den Einsatz bei digitalen Avataren oder Live-Streams bietet das Unternehmen mit Wan-Animate-2-Lite eine eigene Variante an.
Dieses Modell generiert die Videos autoregressiv in Blöcken von jeweils acht Frames. Bei solchen sequenziellen Berechnungen addieren sich normalerweise kleine Darstellungsfehler über die Zeit auf, bis das Video unbrauchbar wird.
Das Tongyi Lab löst dieses Problem über einen Error Buffer beim Training. Das Modell lernt dabei, eigene Vorhersagefehler auszugleichen. Die Darstellungsqualität bleibt so auch bei langen Sequenzen erhalten.
Die Modellgewichte für die 14-Milliarden-Parameter-Varianten stehen über Plattformen wie HuggingFace frei zur Verfügung. Die Hardware-Anforderungen variieren je nach Setup:
- 720p-Ausgabe (Base-Modell): Acht A800-GPUs empfohlen.
- 480p-Ausgabe (Base-Modell): Zwei A800-GPUs empfohlen.
- Echtzeit-Streaming (Lite-Modell): 24 Bilder pro Sekunde bei 720 x 480 Pixeln auf einem Server-Setup mit vier H100-GPUs.
In internen Blindstudien trat das System bereits gegen proprietäre Konkurrenz an. Bei der Bewegungsqualität und der Charaktererhaltung übertraf das Open-Source-Modell laut Alibaba in Befragungen kommerzielle Angebote wie Dreamina von ByteDance.
