Ученые изучают ряд способов общения людей с ограниченными возможностями своими мыслями. Самое новое и быстрое возвращается к старинным средствам самовыражения: почерку.
Впервые исследователи расшифровали активность мозга, связанную с попытками писать буквы от руки. Работая с участником с параличом, которому в мозг имплантированы датчики, команда использовала алгоритм для идентификации букв, когда он пытался их написать. Затем система отображала текст на экране в реальном времени.
По словам соавтора исследования Кришны Шеноя, исследователя Медицинского института Говарда Хьюза при Стэнфордском университете, который вместе с нейрохирургом из Стэнфорда Джейми Хендерсон руководил работой, при дальнейшем развитии нововведение может позволить людям с параличом быстро печатать, не используя руки.
Пытаясь писать от руки, участник исследования печатал 90 символов в минуту, что более чем вдвое превышает предыдущий рекорд для набора текста с помощью такого «интерфейса мозг-компьютер», сообщают Шеной и его коллеги.
Эта technology и другие подобные ему могут помочь людям со всеми видами инвалидности, говорит Хосе Кармена, нейроинженер из Калифорнийского университета в Беркли, который не участвовал в исследовании. Хотя полученные результаты являются предварительными, по его словам, «это большой прогресс в этой области».
По словам Кармена, интерфейсы мозг-компьютер превращают мысль в действие. «Этот документ является прекрасным примером: интерфейс декодирует мысль о письме и производит действие».
Коммуникация, основанная на мыслях
Когда травма или болезнь лишают человека возможности двигаться, нервная активность мозга при ходьбе, захвате чашки кофе или произнесении предложения сохраняется. Исследователи могут воспользоваться этим занятием, чтобы помочь людям с параличом или ампутацией восстановить утраченные способности.
Потребность зависит от характера инвалидности. Некоторые люди, потерявшие способность пользоваться руками, все еще могут использовать компьютер с функцией распознавания речи и другим программным обеспечением. Для тех, кто испытывает трудности с речью, ученые разрабатывают другие способы помочь людям общаться.
В последние годы команда Шеноя расшифровала нейронную активность, связанную с речью, в надежде воспроизвести ее. Они также разработали способ, позволяющий участникам с имплантированными датчиками использовать свои мысли, связанные с попытками движений рук, для перемещения курсора на экране. Указание и нажатие на буквы таким образом позволяет людям печатать около 40 символов в минуту, что является предыдущим рекордом скорости набора текста с помощью интерфейса мозг-компьютер (BCI).
Однако на почерк никто не смотрел. Фрэнк Уиллетт, нейробиолог из группы Шеноя, задавался вопросом, можно ли использовать сигналы мозга, вызванные прикосновением ручки к бумаге. «Мы хотим найти новые способы, позволяющие людям общаться быстрее», - говорит он. Его также мотивировала возможность попробовать что-то другое.
Команда работала с участником клинического исследования под названием BrainGate2, в котором проверяется безопасность BCI, которые Реле информация прямо из мозга участника на компьютер. (Директором исследования является Ли Хохберг, невролог и нейробиолог из Массачусетской больницы общего профиля, Университета Брауна и Медицинского центра Провиденс, штат Вирджиния.) Хендерсон имплантировал два крошечных датчика в ту часть мозга, которая контролирует руку и руку, что сделало это возможным. для человека, чтобы, например, переместить роботизированную руку или курсор на экране, пытаясь переместить свою парализованную руку.
Участник, которому на момент исследования было 65 лет, имел травму спинного мозга, в результате которой он был парализован от шеи до низа. Используя сигналы датчиков, полученные от отдельных нейронов, когда человек воображал письмо, алгоритм машинного обучения распознал шаблоны, создаваемые его мозгом с каждой буквой. С помощью этой системы мужчина мог копировать предложения и отвечать на вопросы с той же скоростью, что и человек его возраста, печатающий на смартфоне.
Этот так называемый BCI «мозг-текст» работает так быстро, потому что каждая буква вызывает четко выраженный паттерн активности, что позволяет алгоритму относительно легко отличать одно от другого, говорит Уиллетт.
Новая система
Команда Шеноя предполагает использовать попытки рукописного ввода для ввода текста как часть более комплексной системы, которая также включает навигацию по принципу «укажи и щелкни», как в современных смартфонах, и даже попытки декодирования речи. «Мы естественным образом делаем эти два или три режима и переключение между ними», - говорит он.
Затем, говорит Шеной, команда намеревается работать с участником, который не может говорить, например, с кем-то с боковым амиотрофическим склерозом, дегенеративным неврологическим расстройством, которое приводит к потере движения и речи.
Новая система потенциально может помочь тем, кто страдает параличом, вызванным рядом заболеваний, добавляет Хендерсон. К ним относятся мозг Стволовой удар, поразивший Жана-Доминика Боби, автора книги «Водолазный колокол и бабочка». «Он смог написать эту трогательную и красивую книгу, тщательно выбирая персонажей по одному, используя движение глаз», - говорит Хендерсон. «Представьте, что он мог бы сделать с рукописным интерфейсом Фрэнка!»