Meta erhält für SAM 3D wichtige Auszeichnung
Die neue Technologie wandelt einfache Fotos in detaillierte 3D Modelle um. Das System benötigt dafür keine speziellen Sensoren.
Meta hat für das KI-Modell SAM 3D eine »Best Paper Honorable Mention« auf der Fachkonferenz CVPR 2026 erhalten. Das System rekonstruiert aus einem einzigen Foto 3D-Modelle von Objekten sowie menschlichen Körpern. Weder Tiefensensoren noch mehrere Kameraperspektiven sind dafür notwendig.
Von der Fläche in den Raum
Der Ansatz führt die Idee der bekannten Segmentierungsmodelle von Meta weiter. Anstatt Bildinhalte nur zu markieren, berechnet SAM 3D die räumliche Tiefe und Form. Nutzer steuern das Modell über einfache Befehle und wählen bestimmte Bereiche aus, selbst wenn diese auf dem Originalbild teilweise verdeckt sind.
Das System teilt sich in zwei spezialisierte Bereiche auf. »SAM 3D Objects« konzentriert sich auf Gegenstände und generiert deren Geometrie sowie Textur. Dabei berechnen sogenannte Diffusion Transformers zuerst die Grundform und arbeiten anschließend die feinen Details aus.
Die generierten Modelle lassen sich im Anschluss unabhängig voneinander bewegen. Das erleichtert die Platzierung mehrerer Objekte in einer gemeinsamen Szene.
Quelle: Meta Paper
Körperhaltung exakt erfassen
Das zweite Teilmodell trägt den Namen »SAM 3D Body« und fokussiert sich auf den menschlichen Körper. Es erstellt ein vollständiges 3D-Netz, das die genaue Körperhaltung abbildet. Dies schließt auch feine Details wie die Position einzelner Finger oder der Füße mit ein.
Diese Funktion eignet sich für die Analyse komplexer Bewegungsabläufe. Ein konkretes Anwendungsbeispiel liegt in der Physiotherapie. Dort wertet das System die statische Haltung von Patienten aus und unterstützt Mediziner bei der Rehabilitation. Die klare Trennung von allgemeiner Körperhaltung und detaillierter Handsteuerung verhindert dabei Rechenfehler.
Anzeige
Reale Testumgebung für die Forschung
Um die Leistung des Modells zu messen, hat Meta den Datensatz »SA-3DAO« vorgestellt. Dieser umfasst tausend Paare aus echten Fotos und den dazugehörigen 3D-Netzen. Professionelle Künstler haben diese Referenzmodelle per Hand erstellt.
Der Datensatz deckt eine breite Palette an Objekten ab. Die Spanne reicht von kleinen Haushaltsgegenständen bis hin zu großen Strukturen. Diese Daten helfen Forschern dabei, die KI-Modelle jenseits von rein synthetischen Laborbedingungen zu bewerten. Die Auszeichnung auf der CVPR bestätigt den technischen Fortschritt dieses Ansatzes.
