Die Gehirn-Computer-Oberfläche verwandelt mentale Handschrift in Text auf dem Bildschirm

Update: 8. Dezember 2023

Wissenschaftler untersuchen eine Reihe von Möglichkeiten für Menschen mit Behinderungen, mit ihren Gedanken zu kommunizieren. Das Neueste und Schnellste kehrt zu einem Vintage-Mittel zurück, um sich auszudrücken: Handschrift.

Zum ersten Mal haben Forscher die Gehirnaktivität entschlüsselt, die mit dem Versuch verbunden ist, Briefe von Hand zu schreiben. In Zusammenarbeit mit einem Teilnehmer mit Lähmung, dem Sensoren in sein Gehirn implantiert sind, verwendete das Team einen Algorithmus, um Buchstaben zu identifizieren, während er versuchte, sie zu schreiben. Anschließend zeigte das System den Text in Echtzeit auf einem Bildschirm an.

Die Innovation könnte mit der Weiterentwicklung Menschen mit Lähmungen schnell tippen lassen, ohne ihre Hände zu benutzen, sagt Studienkoautor Krishna Shenoy, ein Forscher des Howard Hughes Medical Institute an der Stanford University, der die Arbeit gemeinsam mit Jaimie Henderson, einer Stanford-Neurochirurgin, beaufsichtigte.

Beim Versuch, eine Handschrift zu schreiben, tippte der Studienteilnehmer 90 Zeichen pro Minute ein - mehr als das Doppelte des vorherigen Datensatzes für das Tippen mit einer solchen „Gehirn-Computer-Schnittstelle“, berichten Shenoy und seine Kollegen.

Dieser Technologie und andere wie es haben das Potenzial, Menschen mit allen möglichen Behinderungen zu helfen, sagt Jose Carmena, ein Neuroingenieur an der University of California in Berkeley, der nicht an der Studie beteiligt war. Obwohl es sich bei den Ergebnissen um vorläufige Erkenntnisse handelt, sagt er, „handelt es sich um einen großen Fortschritt auf diesem Gebiet.“

Gehirn-Computer-Schnittstellen wandeln Gedanken in Handlungen um, sagt Carmena. "Dieses Papier ist ein perfektes Beispiel: Die Benutzeroberfläche entschlüsselt den Gedanken des Schreibens und erzeugt die Aktion."

Gedankengetriebene Kommunikation

Wenn eine Verletzung oder Krankheit eine Person der Bewegungsfähigkeit beraubt, bleibt die neuronale Aktivität des Gehirns zum Gehen, Trinken einer Tasse Kaffee oder Sprechen eines Satzes bestehen. Forscher können diese Aktivität nutzen, um Menschen mit Lähmungen oder Amputationen dabei zu helfen, verlorene Fähigkeiten wiederzugewinnen.

Der Bedarf hängt von der Art der Behinderung ab. Einige Personen, die den Gebrauch ihrer Hände verloren haben, können weiterhin einen Computer mit Spracherkennung und anderer Software verwenden. Für diejenigen, die Schwierigkeiten beim Sprechen haben, haben Wissenschaftler andere Wege entwickelt, um Menschen bei der Kommunikation zu helfen.

In den letzten Jahren hat Shenoys Team die mit Sprache verbundene neuronale Aktivität in der Hoffnung, sie zu reproduzieren, entschlüsselt. Sie haben auch eine Möglichkeit für Teilnehmer mit implantierten Sensoren entwickelt, ihre Gedanken, die mit versuchten Armbewegungen verbunden sind, zu verwenden, um einen Cursor auf einem Bildschirm zu bewegen. Wenn Sie auf diese Weise auf Buchstaben zeigen und darauf klicken, können Sie ungefähr 40 Zeichen pro Minute eingeben. Dies ist der vorherige Geschwindigkeitsrekord für das Tippen mit einer Gehirn-Computer-Schnittstelle (BCI).

Niemand hatte sich jedoch die Handschrift angesehen. Frank Willett, ein Neurowissenschaftler in Shenoys Gruppe, fragte sich, ob es möglich sein könnte, die Gehirnsignale zu nutzen, die durch das Aufschreiben von Stift auf Papier hervorgerufen werden. „Wir wollen neue Wege finden, um Menschen schneller kommunizieren zu lassen“, sagt er. Er war auch motiviert von der Gelegenheit, etwas anderes auszuprobieren.

Das Team arbeitete mit einem Teilnehmer zusammen, der an einer klinischen Studie namens BrainGate2 teilnahm, in der die Sicherheit von BCIs getestet wird Relais Informationen direkt vom Gehirn eines Teilnehmers zu einem Computer. (Der Direktor der Studie ist Leigh Hochberg, Neurologe und Neurowissenschaftler am Massachusetts General Hospital der Brown University und am Providence VA Medical Center.) Henderson implantierte zwei winzige Sensoren in den Teil des Gehirns, der Hand und Arm steuert, um dies zu ermöglichen Damit die Person beispielsweise einen Roboterarm oder einen Cursor auf einem Bildschirm bewegen kann, indem sie versucht, ihren eigenen gelähmten Arm zu bewegen.

Der Teilnehmer, der zum Zeitpunkt der Untersuchung 65 Jahre alt war, hatte eine Rückenmarksverletzung, die ihn vom Nacken abwärts gelähmt ließ. Unter Verwendung von Signalen, die die Sensoren von einzelnen Neuronen aufnahmen, als der Mann sich das Schreiben vorstellte, erkannte ein Algorithmus für maschinelles Lernen die Muster, die sein Gehirn mit jedem Buchstaben erzeugte. Mit diesem System konnte der Mann Sätze kopieren und Fragen mit einer ähnlichen Geschwindigkeit beantworten wie jemand in seinem Alter, der auf einem Smartphone tippt.

Dieses sogenannte „Brain-to-Text“ -BCI ist so schnell, weil jeder Buchstabe ein sehr ausgeprägtes Aktivitätsmuster hervorruft, was es dem Algorithmus relativ einfach macht, sich voneinander zu unterscheiden, sagt Willett.

Ein neues System

Das Team von Shenoy beabsichtigt, die versuchte Handschrift für die Texteingabe als Teil eines umfassenderen Systems zu verwenden, das auch eine Point-and-Click-Navigation, ähnlich wie bei aktuellen Smartphones, und sogar eine versuchte Sprachdecodierung umfasst. "Diese zwei oder drei Modi zu haben und zwischen ihnen zu wechseln, ist etwas, was wir natürlich tun", sagt er.

Als nächstes, so Shenoy, beabsichtige das Team, mit einem Teilnehmer zusammenzuarbeiten, der nicht sprechen kann, beispielsweise mit jemandem mit Amyotropher Lateralsklerose, einer degenerativen neurologischen Störung, die zum Verlust von Bewegung und Sprache führt.

Das neue System könnte möglicherweise denjenigen helfen, die an einer Lähmung leiden, die durch eine Reihe von Erkrankungen verursacht wird, fügt Henderson hinzu. Dazu gehören Einnahme von Medikamenten Stielschlag, von dem Jean-Dominique Bauby, der Autor des Buches Die Taucherglocke und der Schmetterling, betroffen war. "Er war in der Lage, dieses bewegende und schöne Buch zu schreiben, indem er die Charaktere akribisch einzeln mit Augenbewegungen auswählte", sagt Henderson. "Stellen Sie sich vor, was er mit Franks Handschrift-Oberfläche hätte tun können!"