Neue KI übersetzt unbewusste Gedanken in Sprache
Ohne auf Datenbanken zurückzugreifen, formt die Technologie aus Gehirnsignalen strukturierte Texte. Davon könnten ALS-Patienten künftig profitieren.
Tomoyasu Horikawa von der japanischen NTT Corporation hat mit Unterstützung der Universität Tokio eine Methode entwickelt, die menschliche Gehirnaktivität direkt in strukturierten Text übersetzt. Das als »Mind Captioning« bezeichnete Verfahren erfasst komplexe visuelle Zusammenhänge und funktioniert bei Wahrnehmung sowie reiner Vorstellungskraft gleichermaßen zuverlässig.
Tiefe Sprachmodelle entschlüsseln Gehirnströme
Bisherige Ansätze der Neurowissenschaften beschränkten sich oft auf die Zuordnung einzelner Wörter oder die Auswertung statischer Bilder. Das Forscherteam wählt nun einen zweistufigen Weg, um dynamische Abläufe und Interaktionen zu erfassen. Die funktionelle Magnetresonanztomografie zeichnet die Gehirnaktivität der Probanden auf, während diese kurze Videos betrachten.
Diese neuronalen Muster wandelt das System mithilfe des Modells DeBERTa-large in semantische Merkmale um. Anschließend übernimmt ein weiteres Sprachmodell die schrittweise Textgenerierung. Ausgehend von einem leeren Startpunkt optimiert RoBERTa-large die Wortfolgen in hundert Durchläufen so lange, bis sie exakt zu den aus dem Gehirn extrahierten Merkmalen passen.
Ein Rückgriff auf fertige Satzbausteine oder bestehende Datenbanken findet dabei nicht statt. Die generierten Sätze erfassen stattdessen die spezifischen Relationen zwischen verschiedenen Objekten völlig eigenständig.
Textgenerierung ohne Sprachzentrum
Besonders bemerkenswert ist die Unabhängigkeit vom Sprachnetzwerk des menschlichen Gehirns. Die Auswertung zeigt, dass die visuelle Struktur der Gedanken ausreicht, um korrekte linguistische Zusammenhänge in Textform darzustellen. Bereiche der Großhirnrinde, die für das Erkennen von Handlungen zuständig sind, liefern die entscheidenden Signale.
Diese Eigenschaft demonstriert das System auch bei interkulturellen Besonderheiten. Obwohl alle Testpersonen japanische Muttersprachler mit teils geringen Englischkenntnissen waren, generierte die KI fehlerfreie englische Beschreibungen. Das Verfahren übersetzt die nonverbale visuelle Bedeutung folglich direkt in eine fremde Schriftsprache.
Anzeige
Potenzial für die medizinische Anwendung
Die Technologie beschränkt sich keinesfalls auf aktuelle Sinneseindrücke. Wenn sich die Probanden lediglich an zuvor gesehene Videoclips erinnerten, lieferte der Ansatz ebenfalls verständliche Sätze. Ein auf visuelle Wahrnehmung trainierter Decoder lässt sich somit erfolgreich auf rein kognitive Vorstellungsbilder anwenden.
Dieser Umstand eröffnet neue Perspektiven für Gehirn-Computer-Schnittstellen. Patienten mit Aphasie oder neurodegenerativen Erkrankungen wie ALS könnten über ein solches System künftig wieder kommunizieren. Da die Methode nicht auf das biologische Sprachzentrum angewiesen ist, umgeht sie eine wesentliche Hürde herkömmlicher Schnittstellen.
Trotz des medizinischen Potenzials verweisen die Studienautoren auf die Notwendigkeit strikter ethischer Richtlinien. Die Fähigkeit, unbewusste Gedanken noch vor deren bewusster Formulierung auszulesen, berührt grundlegende Aspekte der mentalen Privatsphäre. Feste Vorgaben zum Schutz der persönlichen Autonomie bleiben für die weitere Forschung unerlässlich.
Ich finde das absolut faszinierend und gleichzeitig unheimlich... Unheimlich.
