L'interface Brain Computer transforme l'écriture mentale en texte à l'écran

Mise à jour : 8 décembre 2023

Les scientifiques explorent un certain nombre de façons pour les personnes handicapées de communiquer avec leurs pensées. Le plus récent et le plus rapide revient à un moyen vintage de s'exprimer: l'écriture manuscrite.

Pour la première fois, des chercheurs ont déchiffré l'activité cérébrale associée à la tentative d'écrire des lettres à la main. Travaillant avec un participant paralysé qui a des capteurs implantés dans son cerveau, l'équipe a utilisé un algorithme pour identifier les lettres alors qu'il tentait de les écrire. Ensuite, le système a affiché le texte sur un écran - en temps réel.

L'innovation pourrait, avec un développement ultérieur, permettre aux personnes atteintes de paralysie de taper rapidement sans utiliser leurs mains, déclare Krishna Shenoy, co-auteur de l'étude, chercheur de l'Institut médical Howard Hughes à l'Université de Stanford qui a supervisé conjointement le travail avec Jaimie Henderson, un neurochirurgien de Stanford.

En essayant d'écrire à la main, le participant à l'étude a tapé 90 caractères par minute - plus du double du record précédent pour taper avec une telle «interface cerveau-ordinateur», rapportent Shenoy et ses collègues.

Ce sans souci et d'autres similaires ont le potentiel d'aider les personnes souffrant de toutes sortes de handicaps, explique Jose Carmena, ingénieur neuronal à l'Université de Californie à Berkeley, qui n'a pas participé à l'étude. Bien que les résultats soient préliminaires, dit-il, « il s’agit d’un grand progrès dans le domaine ».

Les interfaces cerveau-ordinateur transforment la pensée en action, dit Carmena. «Cet article est un parfait exemple: l'interface décode la pensée de l'écriture et produit l'action.»

Communication alimentée par la pensée

Lorsqu'une blessure ou une maladie prive une personne de la capacité de bouger, l'activité neuronale du cerveau pour marcher, prendre une tasse de café ou prononcer une phrase demeure. Les chercheurs peuvent profiter de cette activité pour aider les personnes paralysées ou amputées à retrouver des capacités perdues.

Le besoin varie selon la nature du handicap. Certaines personnes qui ont perdu l'usage de leurs mains peuvent toujours utiliser un ordinateur avec la reconnaissance vocale et d'autres logiciels. Pour ceux qui ont des difficultés à parler, les scientifiques ont développé d'autres moyens d'aider les gens à communiquer.

Ces dernières années, l'équipe de Shenoy a décodé l'activité neuronale associée à la parole dans l'espoir de la reproduire. Ils ont également mis au point un moyen pour les participants dotés de capteurs implantés d'utiliser leurs pensées associées aux tentatives de mouvements de bras pour déplacer un curseur sur un écran. Le fait de pointer et de cliquer sur des lettres de cette manière permet aux gens de taper environ 40 caractères par minute, le record de vitesse précédent pour taper avec une interface cerveau-ordinateur (BCI).

Personne, cependant, n'avait examiné l'écriture manuscrite. Frank Willett, un neuroscientifique du groupe de Shenoy, s'est demandé s'il serait possible d'exploiter les signaux cérébraux évoqués en mettant un stylo sur du papier. «Nous voulons trouver de nouvelles façons de permettre aux gens de communiquer plus rapidement», dit-il. Il était également motivé par l'opportunité d'essayer quelque chose de différent.

L'équipe a travaillé avec un participant inscrit à un essai clinique appelé BrainGate2, qui teste la sécurité des BCI qui Relais informations directement du cerveau d'un participant à un ordinateur. (Le directeur de l'essai est Leigh Hochberg, neurologue et neuroscientifique au Massachusetts General Hospital, à l'Université Brown et au Providence VA Medical Center.) Henderson a implanté deux minuscules capteurs dans la partie du cerveau qui contrôle la main et le bras, ce qui le rend possible pour que la personne, par exemple, déplace un bras robotique ou un curseur sur un écran en essayant de déplacer son propre bras paralysé.

Le participant, qui avait 65 ans au moment de la recherche, avait une blessure à la moelle épinière qui l'a laissé paralysé du cou vers le bas. En utilisant des signaux que les capteurs captaient de neurones individuels lorsque l'homme imaginait l'écriture, un algorithme d'apprentissage automatique a reconnu les modèles que son cerveau produisait avec chaque lettre. Avec ce système, l'homme pouvait copier des phrases et répondre à des questions à un rythme similaire à celui d'une personne de son âge tapant sur un smartphone.

Ce soi-disant «Brain-to-Text» BCI est si rapide parce que chaque lettre suscite un modèle d'activité très distinctif, ce qui rend relativement facile pour l'algorithme de les distinguer les uns des autres, dit Willett.

Un nouveau système

L'équipe de Shenoy envisage d'utiliser une tentative d'écriture manuscrite pour la saisie de texte dans le cadre d'un système plus complet qui comprend également une navigation pointer-cliquer, un peu comme celle utilisée sur les smartphones actuels, et même une tentative de décodage de la parole. «Avoir ces deux ou trois modes et basculer entre eux est quelque chose que nous faisons naturellement», dit-il.

Ensuite, dit Shenoy, l'équipe a l'intention de travailler avec un participant qui ne peut pas parler, comme une personne atteinte de sclérose latérale amyotrophique, un trouble neurologique dégénératif qui entraîne une perte de mouvement et d'élocution.

Le nouveau système pourrait potentiellement aider ceux qui souffrent de paralysie causée par un certain nombre de conditions, ajoute Henderson. Ceux-ci incluent cerveau coup de tige, qui a affligé Jean-Dominique Bauby, l'auteur du livre The Diving Bell and the Butterfly. «Il a pu écrire ce livre émouvant et magnifique en sélectionnant minutieusement les personnages, un à la fois, en utilisant le mouvement des yeux», dit Henderson. "Imaginez ce qu'il aurait pu faire avec l'interface d'écriture manuscrite de Frank!"