Der KI-Mauszeiger von Google kommt
Ein neues Konzept erfasst Bildschirminhalte selbstständig und führt Befehle auf Zuruf direkt am Cursor aus.
Ein halbes Jahrhundert lang blieb der Mauszeiger nahezu unverändert auf den Bildschirmen. Nun integriert ein intelligenter Cursor das Modell Gemini direkt in den Arbeitsfluss. Lästiges Kopieren in externe Chatfenster entfällt dadurch z.B. komplett.
Kontextverständnis ersetzt komplexe Prompts
Bisher erfordern KI-Modelle oft sehr präzises Prompting, damit brauchbare Ergebnisse entstehen. Zukünftig reicht ein simples Deuten auf den Bildschirm. Automatisch erfasst das System den visuellen sowie semantischen Kontext der angezeigten Inhalte. Lediglich einen bestimmten Bereich markieren Anwender und sprechen dazu kurze Befehle wie »Mach daraus eine Power Point Präsentation«.
Sofort versteht die Software die Absicht, ohne dass der Nutzer seinen aktuellen Workflow unterbricht. Wertvolle Zeit sparen solche natürlichen Interaktionen im digitalen Alltag. Die Technik interpretiert dabei nicht nur einfachen Text, sondern wandelt bloße Pixel direkt in strukturierte Konzepte um.
Pixel werden zu interaktiven Datenpunkten
Dank dieses Ansatzes verwandelt sich beispielsweise das Foto einer handgeschriebenen Notiz sofort in eine interaktive Checkliste. Fährt der Cursor über ein pausiertes Reisevideo, erkennt die Mustererkennung ein Restaurant und liefert zielsicher den passenden Buchungslink. Lange Umwege über separate Anwendungen gehören somit endgültig der Vergangenheit an.
Bereits jetzt startet die Auslieferung erster Funktionen für den Chrome-Browser in den USA. Dort wählen Anwender Webseiteninhalte aus und befragen Gemini umgehend dazu. Später folgt zudem der sogenannte »Magic Pointer« für die kommende Laptop-Generation Googlebook.
Anzeige
Datenschutz bleibt eine zentrale Frage
Um diese nahtlose Interaktion überhaupt zu gewährleisten, muss der Code den Bildschirminhalt kontinuierlich analysieren. Daraus ergeben sich unweigerlich Fragen zur Privatsphäre der Nutzer. In der jüngsten Vergangenheit sorgten ähnliche Konzepte zur permanenten Bildschirmüberwachung bereits für scharfe Kritik.
Genaue technische Details zur lokalen Datenverarbeitung oder zur Übertragung in die Cloud stehen aktuell noch aus. Zunächst testen Entwickler weitere Konzepte in experimentellen Umgebungen. Bis zur flächendeckenden Einführung bleibt abzuwarten, wie sicher die sensiblen Informationen der Nutzer wirklich aufbewahrt werden.
