두뇌 컴퓨터 인터페이스는 정신 필기를 화면의 텍스트로 전환

업데이트: 8년 2023월 XNUMX일

과학자들은 장애가 있는 사람들이 자신의 생각과 소통할 수 있는 다양한 방법을 모색하고 있습니다. 자신을 표현하기 위한 빈티지 수단인 손글씨로 되돌아가는 최신의 가장 빠른 전환.

연구원들은 처음으로 손으로 편지를 쓰려고 시도하는 것과 관련된 뇌 활동을 해독했습니다. 뇌에 센서를 이식한 마비 환자와 함께 작업하면서 팀은 문자를 쓰려고 시도할 때 문자를 식별하는 알고리즘을 사용했습니다. 그런 다음 시스템은 실시간으로 화면에 텍스트를 표시했습니다.

스탠포드 대학의 하워드 휴즈 의학 연구소 조사관이자 스탠포드 신경외과 의사인 제이미 헨더슨과 공동으로 작업을 감독한 연구 공동저자인 크리슈나 셰노이는 이 혁신이 더 발전하면 마비 환자가 손을 사용하지 않고 빠르게 타이핑할 수 있다고 말했습니다.

연구 참가자는 손글씨를 시도함으로써 분당 90자를 입력했는데, 이는 이러한 "두뇌-컴퓨터 인터페이스"로 입력한 이전 기록의 두 배 이상이라고 Shenoy와 그의 동료들은 보고했습니다.

technology 그리고 이와 유사한 다른 것들은 모든 종류의 장애를 가진 사람들을 도울 수 있는 잠재력을 가지고 있다고 캘리포니아 대학교 버클리 캠퍼스의 신경 공학자인 호세 카르메나(Jose Carmena)는 말했습니다. 그는 이번 연구에는 참여하지 않았습니다. 비록 이번 발견은 예비적인 것이지만 그는 "이 분야에서 큰 발전이다"라고 말했습니다.

뇌-컴퓨터 인터페이스는 생각을 행동으로 전환한다고 Carmena는 말합니다. "이 문서는 완벽한 예입니다. 인터페이스는 쓰기의 생각을 해독하고 작업을 생성합니다."

생각으로 움직이는 커뮤니케이션

부상이나 질병으로 사람이 움직일 수 없게 되면 걷기, 커피 한 잔 잡기, 문장 말하기 등의 뇌의 신경 활동은 남게 됩니다. 연구원은 마비 또는 절단 환자가 잃어버린 능력을 되찾도록 돕기 위해 이 활동을 활용할 수 있습니다.

필요는 장애의 성격에 따라 다릅니다. 손을 사용할 수 없는 일부 사람들은 여전히 ​​음성 인식 및 기타 소프트웨어가 있는 컴퓨터를 사용할 수 있습니다. 말하기에 어려움이 있는 사람들을 위해 과학자들은 사람들이 의사소통하는 데 도움이 되는 다른 방법을 개발해 왔습니다.

최근 몇 년 동안 Shenoy의 팀은 그것을 재현하기 위해 말과 관련된 신경 활동을 해독했습니다. 그들은 또한 이식된 센서가 있는 참가자가 시도한 팔 움직임과 관련된 생각을 사용하여 화면에서 커서를 움직일 수 있는 방법을 고안했습니다. 이러한 방식으로 글자를 가리키고 클릭하면 사람들은 분당 약 40자를 입력할 수 있으며, 이는 뇌-컴퓨터 인터페이스(BCI)로 입력하는 이전 속도 기록입니다.

그러나 아무도 손글씨를 보지 않았습니다. Shenoy 그룹의 신경과학자 Frank Willett은 펜을 종이에 대면 발생하는 뇌 신호를 활용하는 것이 가능한지 궁금해했습니다. "우리는 사람들이 더 빠르게 의사소통할 수 있는 새로운 방법을 찾고 싶습니다."라고 그는 말합니다. 그는 또한 다른 것을 시도할 수 있는 기회에 동기를 부여 받았습니다.

팀은 BCI의 안전성을 테스트하는 BrainGate2라는 임상 시험에 등록한 참가자와 협력했습니다. 계전기 참가자의 두뇌에서 컴퓨터로 직접 정보. (시험의 책임자는 매사추세츠 종합병원, 브라운 대학교, 프로비던스 VA 의료 센터의 신경학자이자 신경과학자인 Leigh Hochberg입니다.) Henderson은 손과 팔을 제어하는 ​​뇌 부분에 두 개의 작은 센서를 이식했습니다. 예를 들어 사람이 자신의 마비된 팔을 움직이려고 시도하여 로봇 팔이나 화면의 커서를 움직일 수 있습니다.

연구 당시 65세였던 참가자는 척수 손상으로 목 아래가 마비되었습니다. 사람이 쓰기를 상상할 때 센서가 개별 뉴런에서 포착한 신호를 사용하여 기계 학습 알고리즘은 각 문자로 뇌가 생성하는 패턴을 인식했습니다. 이 시스템을 통해 그 남자는 스마트폰에 타이핑하는 또래의 사람과 비슷한 속도로 문장을 복사하고 질문에 답할 수 있었습니다.

소위 "Brain-to-Text" BCI는 각 문자가 매우 독특한 활동 패턴을 이끌어내어 알고리즘이 상대적으로 서로를 구별하기 쉽기 때문에 매우 빠릅니다.

새로운 시스템

Shenoy의 팀은 현재 스마트폰에서 사용되는 것과 매우 유사한 포인트 앤 클릭 내비게이션과 음성 디코딩 시도를 포함하는 보다 포괄적인 시스템의 일부로 텍스트 입력에 손글씨를 사용하는 것을 구상하고 있습니다. "두세 가지 모드를 가지고 전환하는 것은 우리가 자연스럽게 하는 일입니다."라고 그는 말합니다.

다음으로 Shenoy는 팀이 움직임과 말의 상실을 초래하는 퇴행성 신경 장애인 근위축성 측삭 경화증 환자와 같이 말을 할 수 없는 참가자와 함께 작업할 계획이라고 말했습니다.

Henderson은 새로운 시스템이 여러 조건으로 인한 마비로 고통받는 사람들을 잠재적으로 도울 수 있다고 덧붙였습니다. 여기에는 다음이 포함됩니다. The Diving Bell and the Butterfly 책의 저자 Jean-Dominique Bauby를 괴롭힌 줄기 뇌졸중. Henderson은 “그는 눈 움직임을 사용하여 한 번에 한 명씩 힘들게 캐릭터를 선택하여 이 감동적이고 아름다운 책을 쓸 수 있었습니다. "그가 Frank의 필기 인터페이스로 무엇을 할 수 있었는지 상상해보세요!"