Wetenschappers onderzoeken een aantal manieren waarop mensen met een handicap kunnen communiceren met hun gedachten. De nieuwste en snelste keert terug naar een vintage middel om zich uit te drukken: handschrift.
Voor het eerst hebben onderzoekers de hersenactiviteit ontcijferd die gepaard gaat met het met de hand schrijven van brieven. In samenwerking met een deelnemer met verlamming die sensoren in zijn hersenen heeft geïmplanteerd, gebruikte het team een algoritme om letters te identificeren terwijl hij ze probeerde te schrijven. Vervolgens gaf het systeem de tekst in realtime weer op een scherm.
De innovatie zou, met verdere ontwikkeling, mensen met verlamming snel kunnen laten typen zonder hun handen te gebruiken, zegt studieco-auteur Krishna Shenoy, een Howard Hughes Medical Institute Investigator aan de Stanford University die samen toezicht hield op het werk met Jaimie Henderson, een Stanford-neurochirurg.
Door te proberen met de hand te schrijven, typte de studiedeelnemer 90 tekens per minuut - meer dan het dubbele van het vorige record voor typen met zo'n 'hersencomputer-interface', rapporteren Shenoy en zijn collega's.
Deze technologie en anderen zoals deze hebben het potentieel om mensen met allerlei soorten handicaps te helpen, zegt Jose Carmena, een neurale ingenieur aan de Universiteit van Californië, Berkeley, die niet bij het onderzoek betrokken was. Hoewel de bevindingen voorlopig zijn, zegt hij, “is het een grote vooruitgang op dit gebied.”
Brain-computer interfaces zetten gedachte om in actie, zegt Carmena. "Dit document is een perfect voorbeeld: de interface decodeert de gedachte aan schrijven en produceert de actie."
Doordachte communicatie
Wanneer een verwonding of ziekte een persoon berooft van het vermogen om te bewegen, blijft de neurale activiteit van de hersenen om te lopen, een kop koffie te pakken of een zin uit te spreken over. Onderzoekers kunnen gebruikmaken van deze activiteit om mensen met verlamming of amputaties te helpen verloren vermogens terug te krijgen.
De behoefte hangt af van de aard van de handicap. Sommige mensen die hun handen niet meer kunnen gebruiken, kunnen nog steeds een computer gebruiken met spraakherkenning en andere software. Voor degenen die moeite hebben met spreken, hebben wetenschappers andere manieren ontwikkeld om mensen te helpen communiceren.
In de afgelopen jaren heeft het team van Shenoy de neurale activiteit gedecodeerd die verband houdt met spraak in de hoop deze te reproduceren. Ze hebben ook een manier bedacht voor deelnemers met geïmplanteerde sensoren om hun gedachten die verband houden met pogingen tot armbewegingen te gebruiken om een cursor op een scherm te verplaatsen. Door op deze manier naar letters te wijzen en erop te klikken, kunnen mensen ongeveer 40 tekens per minuut typen, het eerdere snelheidsrecord voor typen met een brain-computer interface (BCI).
Niemand had echter naar handschrift gekeken. Frank Willett, een neurowetenschapper in de groep van Shenoy, vroeg zich af of het mogelijk zou zijn om de hersensignalen te benutten die worden opgeroepen door pen op papier te zetten. "We willen nieuwe manieren vinden om mensen sneller te laten communiceren", zegt hij. Hij werd ook gemotiveerd door de mogelijkheid om iets anders te proberen.
Het team werkte samen met een deelnemer die deelnam aan een klinische studie genaamd BrainGate2, die de veiligheid test van BCI's die: Relais informatie rechtstreeks van de hersenen van een deelnemer naar een computer. (De directeur van het onderzoek is Leigh Hochberg, een neuroloog en neurowetenschapper aan het Massachusetts General Hospital, Brown University en het Providence VA Medical Center.) Henderson implanteerde twee kleine sensoren in het deel van de hersenen dat de hand en arm bestuurt, waardoor het mogelijk werd voor de persoon om bijvoorbeeld een robotarm of een cursor op een scherm te bewegen door te proberen zijn eigen verlamde arm te bewegen.
De deelnemer, die ten tijde van het onderzoek 65 jaar oud was, had een dwarslaesie waardoor hij vanaf de nek verlamd raakte. Met behulp van signalen die de sensoren van individuele neuronen oppikten toen de man zich het schrijven voorstelde, herkende een machine learning-algoritme de patronen die zijn hersenen bij elke letter produceerden. Met dit systeem kon de man zinnen kopiëren en vragen beantwoorden in een tempo dat vergelijkbaar is met dat van iemand van zijn leeftijd die op een smartphone typt.
Deze zogenaamde "Brain-to-Text" BCI is zo snel omdat elke letter een zeer onderscheidend activiteitenpatroon oproept, waardoor het voor het algoritme relatief eenvoudig is om de ene van de andere te onderscheiden, zegt Willett.
Een nieuw systeem
Het team van Shenoy ziet het gebruik van een poging tot handschrift voor tekstinvoer als onderdeel van een uitgebreider systeem dat ook point-and-click-navigatie omvat, net zoals dat wordt gebruikt op de huidige smartphones, en zelfs pogingen tot spraakdecodering. "Die twee of drie modi hebben en ertussen schakelen is iets dat we van nature doen", zegt hij.
Vervolgens, zegt Shenoy, is het team van plan om te werken met een deelnemer die niet kan praten, zoals iemand met amyotrofische laterale sclerose, een degeneratieve neurologische aandoening die resulteert in het verlies van beweging en spraak.
Het nieuwe systeem zou mogelijk mensen kunnen helpen die lijden aan verlamming veroorzaakt door een aantal aandoeningen, voegt Henderson toe. Die omvatten: hersenen stamslag, die Jean-Dominique Bauby, de auteur van het boek The Diving Bell and the Butterfly, trof. "Hij was in staat om dit ontroerende en prachtige boek te schrijven door de personages nauwgezet één voor één te selecteren met behulp van oogbewegingen", zegt Henderson. "Stel je voor wat hij had kunnen doen met Franks handschriftinterface!"