Antaramuka Komputer Otak Mengubah Tulisan Tangan Mental menjadi Teks di Skrin

Kemas kini: 8 Disember 2023

Para saintis meneroka beberapa cara bagi orang kurang upaya untuk berkomunikasi dengan pemikiran mereka. Yang terbaru dan terpantas berubah menjadi kaedah vintage untuk mengekspresikan diri: tulisan tangan.

Buat pertama kalinya, para penyelidik menguraikan aktiviti otak yang berkaitan dengan usaha menulis surat dengan tangan. Bekerja dengan peserta dengan kelumpuhan yang memiliki sensor yang ditanamkan di otaknya, pasukan menggunakan algoritma untuk mengenal pasti huruf ketika dia berusaha menulisnya. Kemudian, sistem memaparkan teks di layar — dalam masa nyata.

Inovasi ini dapat, dengan pengembangan lebih lanjut, memungkinkan orang yang mengalami kelumpuhan cepat menaip tanpa menggunakan tangan mereka, kata penulis kajian Krishna Shenoy, seorang Penyiasat Institut Perubatan Howard Hughes di Stanford University yang bersama-sama mengawasi kerja dengan Jaimie Henderson, seorang ahli bedah saraf Stanford.

Dengan mencuba tulisan tangan, peserta kajian menaip 90 aksara per minit — lebih dari dua kali ganda rekod sebelumnya untuk menaip dengan "antara muka otak-komputer," laporan Shenoy dan rakan-rakannya.

ini teknologi dan lain-lain seperti itu berpotensi untuk membantu orang yang mempunyai pelbagai jenis kecacatan, kata Jose Carmena, seorang jurutera saraf di Universiti California, Berkeley, yang tidak terlibat dalam kajian itu. Walaupun penemuannya adalah awal, dia berkata, "ia adalah kemajuan besar dalam bidang ini."

Antaramuka otak-komputer mengubah pemikiran menjadi tindakan, kata Carmena. "Makalah ini adalah contoh yang sempurna: antara muka menguraikan pemikiran menulis dan menghasilkan tindakan."

Komunikasi berasaskan pemikiran

Apabila kecederaan atau penyakit merampas kemampuan seseorang untuk bergerak, aktiviti saraf otak untuk berjalan, mengambil secawan kopi, atau mengucapkan kalimat tetap ada. Penyelidik dapat memanfaatkan aktiviti ini untuk membantu orang yang mengalami lumpuh atau amputasi mendapatkan kembali kemampuan yang hilang.

Keperluan berbeza mengikut sifat kecacatan. Sebilangan orang yang kehilangan penggunaan tangan masih boleh menggunakan komputer dengan pengecaman pertuturan dan perisian lain. Bagi mereka yang sukar bercakap, saintis telah mengembangkan cara lain untuk membantu orang berkomunikasi.

Dalam beberapa tahun kebelakangan ini, pasukan Shenoy telah menguraikan aktiviti saraf yang berkaitan dengan pertuturan dengan harapan dapat memperbanyaknya. Mereka juga telah merancang cara bagi para peserta dengan sensor implan untuk menggunakan pemikiran mereka yang berkaitan dengan percubaan gerakan lengan untuk menggerakkan kursor di layar. Menunjuk dan mengklik huruf dengan cara ini memungkinkan orang mengetik sekitar 40 aksara per minit, rekod kelajuan sebelumnya untuk menaip dengan antara muka otak-komputer (BCI).

Namun, tidak ada yang melihat tulisan tangan. Frank Willett, ahli sains saraf dalam kumpulan Shenoy, bertanya-tanya apakah mungkin memanfaatkan isyarat otak yang timbul dengan meletakkan pena ke kertas. "Kami ingin mencari cara baru untuk membiarkan orang berkomunikasi lebih cepat," katanya. Dia juga terdorong oleh kesempatan untuk mencuba sesuatu yang berbeza.

Pasukan ini bekerjasama dengan peserta yang terdaftar dalam percubaan klinikal bernama BrainGate2, yang menguji keselamatan BCI yang relay maklumat secara langsung dari otak peserta ke komputer. (Pengarah percubaan itu adalah Leigh Hochberg, pakar neurologi, dan ahli sains saraf di Massachusetts General Hospital, Brown University, dan Providence VA Medical Center.) Henderson menanamkan dua sensor kecil ke bahagian otak yang mengendalikan tangan dan lengan, memungkinkan untuk orang itu, misalnya, menggerakkan lengan robot atau kursor pada skrin dengan cuba menggerakkan lengan lumpuh mereka sendiri.

Peserta, yang berusia 65 tahun pada masa penyelidikan, mengalami kecederaan saraf tunjang yang membuatnya lumpuh dari leher ke bawah. Dengan menggunakan isyarat, sensor yang diambil dari neuron individu ketika lelaki itu membayangkan menulis, algoritma pembelajaran mesin mengenali corak yang dihasilkan otaknya dengan setiap huruf. Dengan sistem ini, lelaki itu dapat menyalin ayat dan menjawab soalan dengan kadar yang serupa dengan seseorang yang seusia dengannya menaip di telefon pintar.

BCI yang disebut "Brain-to-Text" ini sangat pantas kerana setiap huruf menghasilkan corak aktiviti yang sangat khas, menjadikan algoritma mudah membezakan antara yang lain, kata Willett.

Sistem baru

Pasukan Shenoy membayangkan menggunakan tulisan tangan percubaan untuk memasukkan teks sebagai sebahagian daripada sistem yang lebih komprehensif yang juga merangkumi navigasi titik dan klik, seperti yang digunakan pada telefon pintar semasa, dan bahkan percubaan penyahkodan ucapan. "Memiliki dua atau tiga mod itu dan beralih di antara mereka adalah sesuatu yang kita alami," katanya.

Seterusnya, Shenoy mengatakan, pasukan bermaksud untuk bekerjasama dengan peserta yang tidak dapat bercakap, seperti seseorang dengan sklerosis lateral amyotrophic, gangguan neurologi degeneratif yang mengakibatkan kehilangan pergerakan dan pertuturan.

Sistem baru berpotensi membantu mereka yang menderita lumpuh disebabkan oleh beberapa keadaan, Henderson menambah. Itu termasuk otak pukulan batang, yang menimpa Jean-Dominique Bauby, pengarang buku The Diving Bell and the Butterfly. "Dia dapat menulis buku yang bergerak dan indah ini dengan memilih watak dengan susah payah, satu per satu, dengan menggunakan gerakan mata," kata Henderson. "Bayangkan apa yang dapat dilakukannya dengan antara muka tulisan tangan Frank!"