Eine KI am israelischen Weizmann-Institut rekonstruiert aus der Hirnaktivität eines Menschen Bilder, die er gerade betrachtet. Das Modell Brain-IT bildet dabei auch Farben und die Anordnung von Objekten besser nach als bisherige Verfahren.
Die KI erzeugt ihre eigenen Trainingsdaten
Das Team um Michal Irani nutzte Hirnscans von acht Probanden, die jeweils rund 9.000 Bilder gesehen hatten. Die funktionelle Magnetresonanztomografie, kurz fMRT, erfasst Veränderungen der Sauerstoffversorgung im Gehirn und macht dadurch dessen Aktivität sichtbar.
Für das Training reichten diese Daten jedoch nicht. Deshalb entwickelten die Forscher zusätzlich einen Encoder, der aus einem Bild die dazugehörige Hirnaktivität vorhersagt. Ein Decoder rekonstruiert anschließend aus diesen künstlich erzeugten Scandaten wieder das Bild.
Quelle: https://arxiv.org/pdf/2510.25976
So konnte das Team auch mit Bildern trainieren, die kein Proband im Scanner gesehen hatte. Rund 70 Prozent der Trainingsdaten stammen aus solchen Bildern.
Bei der Rekonstruktion verarbeitet Brain-IT Bildinhalt und Bildaufbau getrennt. Ein Teil erkennt etwa Bananen auf einem Teller, der andere ermittelt Farben und Positionen. Ein Diffusionsmodell, wie es auch KI-Bildgeneratoren nutzen, setzt daraus das Bild zusammen.
Quelle: https://arxiv.org/pdf/2510.25976
Eine Stunde statt 40 Stunden im Scanner
Für einen neuen Probanden genügt Brain-IT etwa eine Stunde an fMRT-Daten. Damit erreicht es Ergebnisse auf dem Niveau bisheriger Verfahren, die mit vollständigen 40-stündigen Aufzeichnungen trainiert wurden.
Fehler kommen weiterhin vor. Aus einem Hund in einer Badewanne machte die KI beispielsweise eine ähnlich gefärbte Ziege in einer Badewanne.
Irani will künftig auch innere Vorstellungen und Träume rekonstruieren. Ein mögliches Ziel ist, vollständig gelähmten Patienten Kommunikation zu ermöglichen.
Damit rückt die Privatsphäre von Gedanken in den Fokus. Der Neuroethiker Marcello Ienca von der TU München warnt vor Unternehmen, die künftig zusätzliche Informationen ohne Zustimmung aus Hirndaten gewinnen könnten. Besonders relevant wäre das bei einer Übertragung auf EEG-Geräte, die elektrische Hirnaktivität über Elektroden erfassen.
