Giao diện máy tính não biến chữ viết tay bằng tinh thần thành văn bản trên màn hình

Cập nhật: ngày 8 tháng 2023 năm XNUMX

Các nhà khoa học đang khám phá một số cách để người khuyết tật giao tiếp với suy nghĩ của họ. Cách mới nhất và nhanh nhất quay trở lại một phương tiện cổ điển để thể hiện bản thân: viết tay.

Lần đầu tiên, các nhà nghiên cứu đã giải mã được hoạt động của não liên quan đến việc cố gắng viết các chữ cái bằng tay. Làm việc với một người tham gia bị liệt có cảm biến được cấy vào não của anh ta, nhóm nghiên cứu đã sử dụng một thuật toán để xác định các chữ cái khi anh ta cố gắng viết chúng. Sau đó, hệ thống hiển thị văn bản trên màn hình - trong thời gian thực.

Đồng tác giả nghiên cứu Krishna Shenoy, Điều tra viên Viện Y tế Howard Hughes tại Đại học Stanford, người đã cùng giám sát công việc với Jaimie Henderson, một nhà giải phẫu thần kinh Stanford, cho biết, đổi mới có thể, với sự phát triển hơn nữa, cho phép những người bị liệt nhanh chóng nhập liệu mà không cần dùng tay.

Bằng cách cố gắng viết tay, người tham gia nghiên cứu đã gõ 90 ký tự mỗi phút — nhiều hơn gấp đôi so với kỷ lục trước đó về việc đánh máy với “giao diện não-máy tính”, Shenoy và các đồng nghiệp của anh ấy báo cáo.

T công nghệ và những thứ khác giống như nó có khả năng giúp đỡ những người mắc mọi loại khuyết tật, Jose Carmena, kỹ sư thần kinh tại Đại học California, Berkeley, người không tham gia vào nghiên cứu, cho biết. Ông nói, mặc dù những phát hiện này chỉ là sơ bộ, “đó là một bước tiến lớn trong lĩnh vực này”.

Carmena nói: Giao diện não-máy tính chuyển đổi suy nghĩ thành hành động. “Bài báo này là một ví dụ hoàn hảo: giao diện giải mã ý nghĩ viết và tạo ra hành động.”

Giao tiếp dựa trên suy nghĩ

Khi một chấn thương hoặc bệnh tật cướp đi khả năng di chuyển của một người, hoạt động thần kinh của não để đi bộ, lấy một tách cà phê hoặc nói một câu vẫn còn. Các nhà nghiên cứu có thể khai thác hoạt động này để giúp những người bị liệt hoặc cụt tay lấy lại khả năng đã mất.

Nhu cầu thay đổi theo bản chất của khuyết tật. Một số người mất khả năng sử dụng tay vẫn có thể sử dụng máy tính có nhận dạng giọng nói và các phần mềm khác. Đối với những người khó nói, các nhà khoa học đã và đang phát triển những cách khác để giúp mọi người giao tiếp.

Trong những năm gần đây, nhóm của Shenoy đã giải mã hoạt động thần kinh liên quan đến lời nói với hy vọng tái tạo nó. Họ cũng đã nghĩ ra một cách để những người tham gia có cảm biến được cấy ghép sử dụng suy nghĩ của họ liên quan đến các chuyển động của cánh tay đã cố gắng di chuyển con trỏ trên màn hình. Chỉ vào và nhấp vào các chữ cái theo cách này cho phép mọi người nhập khoảng 40 ký tự mỗi phút, kỷ lục về tốc độ nhập văn bản với giao diện não-máy tính (BCI) trước đây.

Tuy nhiên, không ai nhìn vào chữ viết tay. Frank Willett, một nhà khoa học thần kinh trong nhóm của Shenoy, tự hỏi liệu có thể khai thác các tín hiệu não được gợi lên bằng cách đặt bút vào giấy hay không. Ông nói: “Chúng tôi muốn tìm ra những cách mới để cho phép mọi người giao tiếp nhanh hơn. Anh ấy cũng được thúc đẩy bởi cơ hội để thử một cái gì đó khác biệt.

Nhóm đã làm việc với một người tham gia đã đăng ký thử nghiệm lâm sàng có tên là BrainGate2, thử nghiệm này đang kiểm tra tính an toàn của BCIs. Đặt lại thông tin trực tiếp từ não của người tham gia đến máy tính. (Giám đốc thử nghiệm là Leigh Hochberg, nhà thần kinh học và nhà thần kinh học tại Bệnh viện Đa khoa Massachusetts, Đại học Brown, và Trung tâm Y tế Providence VA.) Henderson đã cấy hai cảm biến nhỏ vào phần não điều khiển bàn tay và cánh tay, khiến nó có thể để người đó, chẳng hạn, di chuyển cánh tay robot hoặc con trỏ trên màn hình bằng cách cố gắng di chuyển cánh tay bị liệt của chính họ.

Người tham gia, 65 tuổi vào thời điểm nghiên cứu, bị chấn thương tủy sống khiến anh ta bị liệt từ cổ trở xuống. Sử dụng các tín hiệu mà các cảm biến thu được từ các tế bào thần kinh riêng lẻ khi người đàn ông tưởng tượng ra chữ viết, một thuật toán máy học nhận ra các mẫu mà não của anh ta tạo ra với mỗi chữ cái. Với hệ thống này, người đàn ông có thể sao chép các câu và trả lời câu hỏi với tốc độ tương tự như một người cùng tuổi gõ trên điện thoại thông minh.

Cái gọi là BCI “Brain-to-Text” này rất nhanh vì mỗi chữ cái gợi ra một mẫu hoạt động rất đặc biệt, khiến thuật toán tương đối dễ dàng phân biệt chữ cái này với chữ cái khác, Willett nói.

Một hệ thống mới

Nhóm của Shenoy hình dung việc sử dụng chữ viết tay cố gắng để nhập văn bản như một phần của hệ thống toàn diện hơn cũng bao gồm điều hướng trỏ và nhấp, giống như được sử dụng trên điện thoại thông minh hiện tại và thậm chí đã cố gắng giải mã giọng nói. “Có hai hoặc ba chế độ đó và chuyển đổi giữa chúng là điều mà chúng tôi tự nhiên làm,” anh nói.

Tiếp theo, Shenoy nói, nhóm nghiên cứu dự định làm việc với một người tham gia không thể nói, chẳng hạn như một người mắc bệnh xơ cứng teo cơ một bên, một chứng rối loạn thần kinh thoái hóa dẫn đến mất khả năng vận động và giọng nói.

Henderson cho biết thêm, hệ thống mới có thể giúp những người bị tê liệt do một số bệnh lý gây ra. Chúng bao gồm não đột quỵ thân, khiến Jean-Dominique Bauby, tác giả của cuốn sách The Diving Bell and the Butterfly, đã ảnh hưởng đến Jean-Dominique Bauby. Henderson nói: “Anh ấy có thể viết cuốn sách cảm động và đẹp đẽ này bằng cách chọn các ký tự một cách cẩn thận, từng nhân vật một, sử dụng chuyển động của mắt. “Hãy tưởng tượng những gì anh ấy có thể làm với giao diện chữ viết tay của Frank!”