KI-Video erstellen 2026: Vom ersten Prompt zum fertigen Film

Higgsfield hat einen 95-minütigen KI-Spielfilm veröffentlicht und dabei die komplette Produktionsweise dokumentiert. Ab Minute 2.13 wird deutlich, was heute schon alles möglich ist.

Wir zeigen die wichtigsten Schritte, um einen solchen Film selbst zu erstellen.

Passend dazu gibt es ein Filmfestival, bei dem man mit KI-Kurzfilmen bis zu 1 Million US-Dollar gewinnen kann. Es lohnt sich also, jetzt anzufangen!

Das Projekt startete als kurze Serie und wuchs zu einem abendfüllenden Action-Fantasy-Film heran. »Hell Grind« lief bereits im Mai auf dem Marché du Film in Cannes.

Der Film wurde von 15 Beteiligten mit einem Budget von 500.000 US-Dollar und nach einer kürzeren Vorbereitungszeit in 14 Tagen reiner Generierungszeit erstellt. Es wurden weder Kameras noch echte Schauspieler oder Sets verwendet.

Jedes Bildmaterial entstammt KI-Modellen. Für die Basis der Gesichter und Orte nutzte das Team Soul Cinema. Seedance 2.0 übernahm die Video- und Audiogenerierung. Text und Requisiten lieferte GPT Image 2. Nano Banana Pro und Seedream 4.5 kamen für nachträgliche Bildanpassungen zum Einsatz.

Mittlerweile gibt es zu Seedance 2.0 aber einige Alternativen. Wir empfehlen Seedance 2.5, weil es neben 30 Sekunden am Stück auch neue erweiterte Bearbeitungsfunktionen wie z. B. Greenscreens oder endlose Referenzen unterstützt.

Gleichzeitig ist Omni Flash von Google hervorragend, um einzelne Szenen nachzubearbeiten oder weitere Effekte einzufügen.

Ebenfalls auf einem ähnlichen Niveau sind die brandneuen Modelle Flux 3 Video und MiniMax H3. Gerade das letztere hat deutlich weniger Restriktionen und eignet sich damit auch für explizitere Szenen.

Das Schöne: Auf Higgsfield kann man all diese Modelle auswählen und nutzen. So kann man zum Start vergleichen, welches Modell den eigenen Grafikstil am besten umsetzt.

Ein Videomodell besitzt kein gutes Gedächtnis für vorangegangene Einstellungen. Beschreibt man eine Figur in einem Prompt unvollständig, trägt sie im nächsten Schnitt eine andere Jacke oder hat veränderte Gesichtszüge. Higgsfield umgeht diese Hürde über ein striktes Asset-Management.

Jede Figur basiert auf einer festen Referenzkarte, die aus genau drei Bildern besteht. Ein Blick auf die Asset-Übersicht des Teams zeigt eine akribische Organisation aller Modellelemente. Die Bilder umfassen eine Nahaufnahme des Gesichts, eine Rückansicht und eine Frontalansicht des gesamten Körpers.

Die Frontalansicht weist eine Besonderheit auf: Die Figur ist darauf kopflos, wie Detailansichten aus der Produktion zeigen. Dieser Kniff verhindert, dass das Modell bei Weitwinkelaufnahmen das winzige, unscharfe Gesicht der Ganzkörperansicht interpoliert. Es bleibt nur die hochauflösende Nahaufnahme als Informationsquelle für das Gesicht.

Die korrekte Benennung dieser Referenzen im weiteren Prozess ist entscheidend. Das Team füttert Seedance nicht einfach mit Bildern, sondern definiert die genaue Rolle direkt im Prompt.

Ein »Tag« wie @roco for character reference zwingt das Modell, ausschließlich die Person zu übernehmen. Ohne diese klare Zuweisung kopiert die KI oft fehlerhaft die gesamte Bildkomposition.

Alle festgelegten Namen landen in einem internen Wörterbuch, das im gesamten Projekt einheitlich verwendet wird.

Das Team legte Wert auf organische Hauttexturen mit sichtbaren Poren und asymmetrischen Muttermalen. Das Modell »Soul Cinema« lieferte diese Basis, durfte die Bilder aber nicht mehrfach verarbeiten. Jeder zusätzliche Durchlauf durch ein Modell zerstört die Textur und lässt Gesichter leblos wirken.

Wenn die Hauptfigur Roco im Film blutet oder nasse Haare hat, generierte das Team diese Zustände nicht komplett neu. Blutspritzer oder Schmutz wurden über Masken in herkömmlichen Bildbearbeitungsprogrammen über das Originalbild gelegt.

Jede dieser Variationen speicherte das Team als separates Asset ab. Das verhindert, dass Seedance 2.0 die Zustände zwischen verschiedenen Schnitten vermischt.

Gleichzeitig verhindert der Vorgang, dass Verletzungen auf einmal an einer anderen Stelle auftauchen. Genau das hat man schon bei anderen KI-Filmen gesehen.

Diese strikte Trennung ist unterm Strich weitaus effizienter als der Kampf gegen halluzinierende Modelle. Selbst Tageszeiten speichert das Team als eigenständige Orte ab.

Ein regnerischer Hinterhof ist im Workflow ein komplett anderes Asset als derselbe Hof bei strahlendem Sonnenschein. Alles andere führt unweigerlich zu fehlerhaften Mischformen in der Generierung.

Räume und Kamerafahrten brechen in KI-Videos schnell auseinander. Um das zu unterbinden, generierte das Team Schauplätze prinzipiell aus einem Dreiviertel-Winkel.

Eine rein frontale Ansicht interpretiert das Modell oft als flache Tapete. Dreht sich die Kamera über den Rand hinaus, erfindet das Modell den restlichen Raum bei jedem Versuch neu. Der leicht gedrehte Winkel gibt dem Modell dagegen echte räumliche Tiefe.

Für jeden Schauplatz erstellte das Team einen Bauplan in Textform. Dieser Textblock beschreibt in Metern, wo markante Objekte stehen und auf welcher Seite sich die Kamera befindet. Der Bauplan wanderte unverändert in jeden einzelnen Prompt einer Szene.

Ergänzend begann jede Szene zwingend mit einer einsekündigen Weitwinkelaufnahme ohne Bewegung. Das Modell fotografiert in dieser Sekunde die räumliche Anordnung und behält sie für die folgenden Schnitte bei.

In frühen Tests sprangen Figuren plötzlich an andere Positionen oder die Kamera wechselte ungewollt die Seite. Der textbasierte Bauplan löst dieses Problem der fehlenden räumlichen Logik.

Das Modell erhält so in jedem Schnitt den identischen Grundriss und hat schlicht keinen Spielraum mehr, die Figuren falsch zu platzieren.

Ein weiteres großes Problem waren extreme Größenunterschiede. Ein 30 Meter großer Wächter-Dämon schrumpft bei KI-Modellen oft auf menschliche Ausmaße zurück, wenn Bezugspunkte fehlen.

Der Prompt schrieb daher zwingend vor, dass die Silhouette des Wächters mindestens fünfmal so groß sein muss wie die menschliche Figur daneben.

Die Größe wird somit nicht nur durch eine Zahl beschrieben. Das Modell erhält zusätzlich einen sichtbaren Vergleich innerhalb des Bildes, an dem es sich orientieren kann.

Eine wichtige Erkenntnis über Seedance 2.0 war, niemals Emotionen direkt zu benennen. Wörter wie »traurig« oder »wütend« führten zu flachen Ergebnissen.

Das Team beschrieb stattdessen physische Reaktionen: eine angespannte Kiefermuskulatur, gezielte Atemmuster oder ein unruhiges Blinzeln.

Gepaart mit der inneren Motivation der Figur, die als Text mitgeliefert wurde, erzeugt das Modell so natürlichere Reaktionen.

Als Assistent diente dem Team bei der Texterstellung Claude. Das Sprachmodell erhielt Zugriff auf den gesamten Projektordner, inklusive Drehbuch, Asset-Listen und Shotlists.

Darauf aufbauend nutzten die Macher spezifische Regelwerke, sogenannte Skills. Der »Lira Skill« optimiert Prompts für reine Bilderzeuger. Der »Acting Skill« definiert die Regeln für lebendiges Schauspiel durch Mikromimik. Der »Cinedance Skill« bündelt das gesamte gesammelte Wissen für die finale Videogenerierung.

Download:

• LIRA Skill
• ACTING Skill
• CINEDANCE Skill

Claude schreibt die Prompts dabei nach einem starren Skelett. Jeder Prompt beginnt mit dem Kontext der Szene und der exakten Anzahl der Figuren im Bild.

Danach folgen die aktiven Referenzen, die räumliche Karte und die Startpositionen im ersten Frame. Erst im Anschluss beschreibt der Text die eigentliche Kameraarbeit, das Timing der Action und die physikalischen Bedingungen.

Grundaufbau des Prompts:

• SCENE CONTEXT – mit der Überschrift „GENAU N ZEICHEN – KEINE DUPLIKATE“: Was passiert, wer ist in der Einstellung zu sehen, wie lang ist die Einstellung?
• ACTIVE REFERENCES – Charakter- und Ortskennzeichnungen mit Nennung ihrer Rollen.
• LOCATION MAP – die Geografie des Ortes in Worten.
• FIRST FRAME AND SPATIAL BLOCKING – wer steht wo im ersten Bild?
• FORMAT MODE – eine einzige Einstellung oder harte Schnitte, Dauer, Echtzeit.
• OPTICS – das Objektiv und der Fokusplan.
• CAMERA – wie sich die Kamera verhält und was sie niemals tut.
• ACTION TIMING – die Handlung Schritt für Schritt, in Sekunden.
• PHYSICS – Gewicht, Kontakt und Trägheit von allem, was sich bewegt.
• LIGHTING – Logik der einzigen Lichtquelle und die Richtung, aus der sie kommt.
• AUDIO – die Sprachbeschreibungen und die genauen Dialoge; nur SFX.
• CHARACTER ACTING – Zustand, Wunsch, was verborgen ist, Körperrhythmus und was sich verändert.
• STYLE – das Stilpräfix, Wort für Wort eingefügt.
• QUALITY – Anforderungen an Detailgenauigkeit und Stabilität.
• POSITIVE CONSTRAINTS – jede Vorgabe und jedes Verbot, geschrieben als das, was im Bild zu sehen IST.

Für die Formulierung gelten klare Regeln. Der Text steht ausnahmslos im Präsens und kurze Sätze sind Pflicht.

Komplexe Aktionen bereiten KI-Modellen ohnehin Probleme. Soll eine Figur eine Tür eintreten, friert das Bild oft ein oder zeigt eine völlig ungelenke Bewegung.

Das Team umgeht dies, indem es die Aktion im Zeitablauf nach vorne verlegt. Der Text lautet dann »die Tür bricht bereits auf«, während der vorherige Anlauf in einem separaten Shot landet.

Alle Anweisungen erfolgen ausschließlich positiv. Schreibt man »fällt nicht auf den Rücken«, ignoriert das Modell das Wort »nicht« oder macht genau das Gegenteil. Der korrekte Befehl lautet schlicht »fällt auf den Bauch«.

Auch das Alter von Figuren taucht im Prompt nie auf. Altersangaben, besonders bei jüngeren Charakteren, aktivieren oft die strengen Inhaltsfilter der Modelle. Stattdessen beschreibt das Team die Kleidung, die Rolle und die konkrete Aktion der Figur.

Seedance bietet für jede Figur eigene Stimmen, die das Team im Vorfeld festlegte und über Parameter wie Register, Tempo und Akzent definierte. Diese spezifische Beschreibung landet bei jedem Dialog im Audio-Feld des Prompts.

Die Dialogzeilen stehen dabei ausschließlich im Audio-Block, niemals im Abschnitt für die Action. Das verhindert, dass das Modell eigenmächtig Geräusche generiert oder Wörter hinzufügt.

Im Aktionsfeld steht nur die physische Reaktion, beispielsweise ein lautloses Lachen.

Am Ende jedes Prompts steht zudem zwingend der Befehl »SFX only. No music«. Musik stört das Modell beim Generieren und den Cutter beim späteren Schnitt. Ein übergreifendes Sounddesign findet daher am Ende in der Postproduktion statt.

Trotz all dieser Vorsichtsmaßnahmen war eine manuelle Nachbearbeitung nötig. Fehlerhafte Finger oder flimmernde Texturen besserte das Team Bild für Bild aus, bevor der finale Schnitt in die Farbkorrektur ging.

Der Arbeitsablauf verdeutlicht, dass die Produktion von KI-Filmen aktuell weniger mit einem klassischen Dreh zu tun hat, sondern eher dem systematischen Programmieren von Logikregeln ähnelt.

Der eigentliche Schnitt fand parallel zur laufenden Generierung statt. Die Editoren setzten eintreffende Szenen sofort zusammen und bestellten bei Bedarf eine neue Einstellung nach, etwa einen Zwischenschnitt auf die Hände.

Ein kompletter »Neudreh« kostet bei dieser Produktionsweise nur Minuten.

Da KI-Clips im Tempo oft zu langsam wirken, schnitt das Team aggressiver als beim klassischen Film. Die erste und letzte halbe Sekunde eines Clips wurde oftmals komplett entfernt, da hier die Bildstabilität am häufigsten einbricht.

Jede Szene bringt zudem ihre eigene Farbgebung aus der Generierung mit. Ein Colorist glich benachbarte Clips sorgfältig an, griff dabei aber immer auf den Grundlook zurück, der bereits in den Referenzbildern verankert war.

Noch detailliertere Anweisungen zu dem Projekt und zum 1-Million-US-Dollar-Filmfestival findet man direkt auf Higgsfield.

Nachdem KI-Videos in den letzten zwei Jahren im Gegensatz zur Image-Generation eher eine Randerscheinung waren, haben wir nun auf einmal mehrere grandiose Modelle, mit denen man wirklich gute und kreative Filme erstellen kann.

Gleichzeitig zeigt Hell Grind, dass ein längerer KI-Film nicht einfach durch möglichst ausführliche Prompts entsteht. Entscheidend sind feste Referenzen, klar getrennte Assets, räumliche Baupläne und Regeln, die für jede einzelne Szene identisch angewendet werden.

Die Zeit ist also gekommen, um es selbst auszuprobieren!