Google bringt Gebärdensprache per KI auf das Pixel 11
Gehörlose Nutzer können ihr Smartphone nun steuern ohne zu tippen. Die Kamera erfasst einfach ihre Handbewegungen.
Google DeepMind bringt Gebärdensprache auf das Smartphone. Das neue Modell SL2T übersetzt Handbewegungen in Text und startet auf dem Pixel 11. Gehörlose Nutzer bedienen ihr Gerät damit erstmals, ohne tippen zu müssen.
Gebärden statt tippen
Mit SL2T (Sign-Language-to-Text) verlässt ein solches Modell das Forschungslabor und landet in regulären Endkundenprodukten. Auf dem Pixel 11 zieht SL2T in die Tastatur-App Gboard und die Transkriptions-App Live Transcribe ein.
Nutzer stellen Suchanfragen, verfassen Nachrichten oder kommunizieren mit Gemini. Anstatt ihre Eingaben abzutippen, gebärden sie direkt in die Smartphone-Kamera.
Der Startschuss fällt für die American Sign Language (ASL), die ins Englische übersetzt wird. Weitere Sprachen und Geräte sollen folgen.
Anzeige
Koordinaten statt Videos
Die maschinelle Übersetzung von Gebärdensprache gilt als komplexe Herausforderung. Es reicht nicht, einzelne Zeichen in Wörter umzuwandeln, da diese Sprachen eigene Grammatiken besitzen. Zudem muss SL2T nicht nur Handzeichen, sondern die gesamte Körperhaltung und Mimik synchron erfassen.
Das Modell verarbeitet das Kamerasignal aus Datenschutzgründen in zwei Schritten. Zunächst registriert MediaPipe Holistic, ein weiteres lokales Modell, die Körperhaltung des Nutzers auf dem Gerät. Es wandelt die Bewegungen in geometrische Koordinaten um.
Ausschließlich dieser abstrakte Datenstrom wandert zur Übersetzung auf die Google-Server. Das ursprüngliche Video wird laut Entwicklern sofort verworfen.
Quelle: Google Deepmind
Training und Benchmarks
Google trainierte SL2T mit über 100.000 Stunden Videomaterial in mehr als 50 Gebärdensprachen. Ein Viertel der Daten entfiel auf ASL.
Im Benchmark FLEURS-ASL erreicht das Modell einen Zero-Shot-Wert von 70 BLEURT und schneidet damit besser ab als bisherige Ansätze. Dieser Leistungssprung gelingt, weil die Entwickler auf künstliche Zwischenschritte verzichten: Das Modell übersetzt die erfassten Koordinaten direkt in Text.
Für den Einsatz im Alltag wurde SL2T zudem an typische Smartphone-Situationen angepasst. Es erkennt Eingaben von Linkshändern und verarbeitet Gebärden, die mit nur einer Hand ausgeführt werden, wenn die andere das Gerät festhält. Die Funktionen stehen auf dem Pixel 11 ohne zusätzliche Kosten zur Verfügung.
