Google DeepMind vereint mit GenCeption alle »Sehaufgaben«
Ein neues Modell ersetzt spezialisierte KIs und löst komplexe Bildverarbeitung in einem einzigen Durchlauf.
Google DeepMind hat mit GenCeption ein KI-Modell vorgestellt, das die visuelle Datenverarbeitung vereinfacht. Statt für jede Bildanalyse ein eigenes KI-Modell zu entwickeln, nutzt GenCeption einen Videogenerator als universelles Fundament.
Spezialisten gegen Generalisten
In der Computer-Vision dominieren bislang Spezialisten. Ein Modell erkennt Objekte, ein zweites berechnet die räumliche Tiefe, und ein drittes analysiert menschliche Posen. GenCeption bündelt diese Aufgaben in einer Architektur. Die Forschergruppe um Kaiming He greift dafür auf die Fähigkeiten großer Text-to-Video-Modelle zurück.
Beim Erzeugen realistischer Videos lernen diese Modelle physikalische Gesetzmäßigkeiten, 3D-Geometrien und zeitliche Zusammenhänge. GenCeption nutzt dieses Vorwissen. Das Team hat den rechenintensiven Prozess der iterativen Bildgenerierung in ein schnelles Feed-Forward-Modell umgewandelt. GenCeption benötigt dadurch nur einen einzigen Rechendurchlauf, um ein Video zu analysieren. Gesteuert wird der Vorgang über Textbefehle, die vorgeben, welche Analyseaufgabe das Modell ausführen soll.
Anzeige
Der Generalist gewinnt
Laut den Forschungsdaten erreicht oder übertrifft GenCeption die Ergebnisse etablierter Spezialisten. Bei der Tiefenschätzung, der Vorhersage von 3D-Koordinaten oder der Segmentierung liefert es Resultate, die mit spezialisierten Modellen wie DepthAnything V3, SAM3 oder Sapiens vergleichbar sind.
Quelle: Google Deepmind
Die Architektur ist sehr dateneffizient. Für bestimmte Geometrieaufgaben erzielt GenCeption das Niveau führender Modelle wie D4RT. Es benötigt dafür aber 7 bis 500 Mal weniger Trainingsdaten. Das Training fand fast ausschließlich mit synthetisch generierten Videos statt.
Obwohl das Modell primär mit simulierten menschlichen Bewegungen trainiert wurde, wendet es sein Wissen problemlos auf echte Videoaufnahmen an.
GenCeption identifiziert zudem Objekte, die im Training fehlten. Es segmentiert in den Tests auch Tiere oder Fahrzeuge zuverlässig. Für die Entwickler belegt dies, dass Videogeneratoren ein universelles »Weltmodell« der physischen Realität verinnerlichen und künftig die Grundlage für visuelle Allzweck-Intelligenz bilden.
