WonderWorld: KI erstellt interaktive 3D-Welten in Sekundenschnelle

Die Generierung von 3D-Welten ist traditionell ein aufwendiger und zeitintensiver Prozess. Doch nun haben Forscher der Stanford University und des MIT mit einem neuen KI-System namens WonderWorld einen Durchbruch erzielt. WonderWorld ist in der Lage, aus einem einzigen Bild in wenigen Sekunden interaktive 3D-Szenen zu erstellen, die von den Nutzern nach Belieben erkundet und gestaltet werden können. Diese Innovation könnte die Spieleentwicklung und Virtual Reality revolutionieren.

Wie funktioniert WonderWorld?

WonderWorld nutzt fortschrittliche Techniken des maschinellen Lernens, um aus einem einzelnen Eingabebild eine zusammenhängende 3D-Szene zu generieren. Der Nutzer kann anschließend steuern, wie die Szene weiter aufgebaut wird, indem er über Texteingaben und Kamerabewegungen den Inhalt und das Layout beeinflusst. Eine der größten Herausforderungen bestand für die Forscher darin, den Generierungsprozess zu beschleunigen, da bisherige Systeme oft Stunden benötigten, um eine Szene zu erstellen. WonderWorld meistert diese Aufgabe jedoch in weniger als 10 Sekunden – und das auf einer Nvidia A6000-GPU.

Das System arbeitet in einer Schleife: Zunächst wird aus dem Eingabebild eine 3D-Szene generiert, die dann weiter modifiziert wird. Nutzer können dabei festlegen, welche Art von Umgebung entstehen soll, zum Beispiel ein Wald, eine Stadt oder eine Landschaft. Durch die Bewegung der Kamera wird zudem bestimmt, wo neue Szenenteile hinzugefügt werden.

Technische Hintergründe

Ein zentraler Aspekt von WonderWorld ist die sogenannte FLAGS-Darstellung. Diese besteht aus drei Ebenen: dem Vordergrund, dem Hintergrund und dem Himmel. Jede Ebene enthält eine Menge von sogenannten Surfels – das sind kleine Flächen, die durch ihre 3D-Position, Orientierung, Skalierung, Deckkraft und Farbe beschrieben werden. Diese Surfels basieren auf Tiefen- und Normalenkarten, die mithilfe von KI-Algorithmen geschätzt und optimiert werden.

Ein weiteres technisches Highlight ist die geführte Tiefendiffusion. Dabei handelt es sich um eine Methode, die ein vortrainiertes Diffusionsmodell für Tiefenkarten verwendet. Diese Technik stellt sicher, dass die generierten 3D-Szenen nahtlos ineinander übergehen, ohne dass sichtbare Verzerrungen an den Übergängen entstehen.

In Experimenten zeigte sich, dass WonderWorld deutlich schneller arbeitet als bisherige Systeme wie WonderJourney oder Text2Room, die oft mehrere Minuten für die Generierung einer Szene benötigen. WonderWorld schafft dies in weniger als 10 Sekunden, was eine nahezu Echtzeitinteraktion ermöglicht.

Anwendungen in der Spieleentwicklung und Virtual Reality

Die Forscher sehen ein großes Potenzial für WonderWorld in der Spieleentwicklung. Mit dem System könnten Designer 3D-Welten schneller und einfacher erstellen, indem sie die generierten Szenen iterativ erweitern. So lassen sich in kürzester Zeit komplexe, miteinander verbundene Umgebungen aufbauen, die frei erkundbar sind. Dies könnte besonders bei der Entwicklung von Open-World-Spielen von Vorteil sein, in denen große, dynamische Welten erschaffen werden müssen.

Auch für Virtual Reality (VR) könnte WonderWorld neue Möglichkeiten bieten. Nutzer könnten zukünftig in Echtzeit an der Gestaltung von VR-Welten mitwirken und diese nach ihren eigenen Vorstellungen formen. Da WonderWorld Inhalte auf Basis von Texteingaben erzeugt, wäre es denkbar, dass Nutzer eines Tages einfach per Sprachbefehl die Struktur ihrer virtuellen Umgebung anpassen.

Herausforderungen und Grenzen

Trotz der beeindruckenden Leistung von WonderWorld gibt es noch einige Herausforderungen, die das Forscherteam adressieren muss. Eine der größten Einschränkungen besteht darin, dass die erzeugten Szenen nur „nach vorne gerichtete“ Oberflächen darstellen können. Nutzer können sich in der virtuellen Welt also nur um maximal 45 Grad drehen, bevor die Illusion zusammenbricht. Dies liegt daran, dass das System auf flache, papieren wirkende Oberflächen setzt, die aus einem bestimmten Winkel betrachtet realistisch erscheinen, aber bei größerer Drehung ihre räumliche Tiefe verlieren.

Ein weiteres Problem ist die Darstellung von komplexen Objekten, wie etwa Bäumen oder Sträuchern. Hier kommt es oft zu Fehlern, bei denen die Objekte unvollständig dargestellt werden oder in der Luft zu schweben scheinen. Diese „Löcher“ und „schwebenden Elemente“ treten auf, wenn sich der Blickwinkel des Nutzers ändert und die generierten Objekte nicht korrekt angepasst werden.

Trotz dieser Einschränkungen bewerten die Nutzer die visuelle Qualität der Szenen in Studien als äußerst überzeugend, insbesondere im Vergleich zu anderen Methoden zur 3D-Szenengenerierung.

Kommentieren, diskutieren und teilen!