Metas Movie Gen: KI-Modell für grenzenlose Kreativität
Text zu Video, Bild und Audio – Wie Metas neues Modell neue Möglichkeiten für Kreative schafft.
Flux Schnell | All-AI.de
Worum geht es?
Meta hat ein neues KI-Medienmodell vorgestellt, das der Konkurrenz die Stirn bieten soll: "Movie Gen". Das Modell kann Videos, Bilder und Audio aus Text erzeugen – und soll das Potenzial für eine Vielzahl neuer Anwendungen haben.
News
Transformer-Modell mit 30 Milliarden Parametern
Das Kernstück von Movie Gen ist ein Transformer-Modell mit stolzen 30 Milliarden Parametern. Laut Meta kann das Modell Videos bis zu 16 Sekunden Länge mit 16 Bildern pro Sekunde generieren. Dabei lassen sich Videos in verschiedenen Seitenverhältnissen (1:1, 9:16, 16:9) und in einer Auflösung von 768 × 768 Pixeln erstellen. Ein Upscaler erhöht die Auflösung sogar auf Full HD (1080p). Zudem kann Movie Gen fotorealistische Szenen allein aus Textbeschreibungen generieren.
Für die Audiogenerierung nutzt Meta ein separates Modell mit 13 Milliarden Parametern. Dieses kann passenden Ton, Hintergrundmusik und Geräuscheffekte zu den Videos erzeugen – und zwar bis zu einer Länge von 45 Sekunden und einer Abtastrate von 48 kHz.
Video-Bearbeitung und Personalisierung
Movie Gen beschränkt sich nicht nur auf die reine Erstellung von Medien. Es enthält auch eine Komponente zur Videobearbeitung, die es ermöglicht, bestehende Videos anhand von Textanweisungen zu verändern. Zudem können personalisierte Videos erstellt werden, indem ein Bild einer Person mit einer Textbeschreibung kombiniert wird.
Meta sieht sich vor der Konkurrenz
Laut Meta übertrifft Movie Gen vergleichbare Modelle anderer Unternehmen wie Runway, Sora, LumaLabs, Kling und Pika. Bei menschlichen Bewertungen schnitt es besser ab, wobei der Abstand zu Sora und Kling am geringsten ausfiel. Sora etwa kann laut Meta sogar konsistente Videos von bis zu einer Minute Länge und mit höherer Framerate generieren.
Meta hat Movie Gen mit einer Kombination aus lizenzierten und öffentlich verfügbaren Datensätzen trainiert: etwa 100 Millionen Videos und eine Milliarde Bilder für die Videogenerierung sowie etwa eine Million Stunden Audiodaten für das Audio-Modell. Dennoch räumt Meta ein, dass noch Herausforderungen bestehen, insbesondere bei komplexen Geometrien und Objektmanipulation.
Dritte Generation von Metas KI-Modellen
Movie Gen repräsentiert die dritte Generation von Metas KI-Medienmodellen. Die erste Generation umfasste die "Make-A-Video"-Modelle zur Erstellung von Bildern, Audio, Video und 3D-Animationen, während die zweite Generation "Llama Image"-Modelle für die Bildgenerierung und -bearbeitung bot. Mit Movie Gen kombiniert Meta nun alle diese Modalitäten und ermöglicht präzisere Kontrolle.
Meta will Kreative nicht ersetzen
Meta betont, dass Movie Gen nicht dazu gedacht ist, Künstler oder Animatoren zu ersetzen, sondern neue Ausdrucksmöglichkeiten zu schaffen. Als mögliche Anwendungen nennt Meta animierte „Ein Tag im Leben“-Videos für Instagram Reels oder personalisierte Geburtstagsgrüße für WhatsApp.
Aktuell ist Movie Gen nur für Forschungszwecke verfügbar. Meta plant, eng mit Filmemachern und Kreativen zusammenzuarbeiten, um deren Feedback zu integrieren. Ein möglicher Veröffentlichungstermin ist noch nicht bekannt.
Ausblick
Mit Movie Gen bringt Meta ein fortschrittliches KI-Modell auf den Markt, das in der Lage ist, Videos, Bilder und Audio aus Text zu erzeugen. Besonders beeindruckend ist die Vielseitigkeit, die von der Generierung bis zur Bearbeitung von Medien reicht. Allerdings bleibt abzuwarten, ob und wie sich Meta gegenüber anderen KI-Modellen durchsetzen kann. Sollte Meta die noch bestehenden technischen Herausforderungen in den Griff bekommen, könnte Movie Gen die Medienerstellung revolutionieren und neue kreative Möglichkeiten eröffnen.
Short
- Meta hat mit Movie Gen ein neues KI-Modell vorgestellt, das Videos, Bilder und Audio aus Text erzeugen kann.
- Das Modell nutzt 30 Milliarden Parameter, um Videos bis zu 16 Sekunden in verschiedenen Formaten und Auflösungen zu erstellen.
- Zusätzlich ermöglicht es die Bearbeitung bestehender Videos und die Generierung von personalisierten Inhalten.
- Meta behauptet, dass Movie Gen die Konkurrenz übertrifft, gibt aber zu, dass noch Herausforderungen bestehen.
- Movie Gen ist aktuell nur für Forschungszwecke verfügbar und Meta plant die Zusammenarbeit mit Kreativen.