Beyin Bilgisayar Arayüzü Zihinsel El Yazısını Ekrandaki Metne Dönüştürüyor

Güncelleme: 8 Aralık 2023

Bilim insanları, engelli kişilerin düşünceleriyle iletişim kurabilmeleri için çeşitli yollar araştırıyor. En yenisi ve en hızlısı, kendini ifade etmenin eski bir yoluna dönüyor: el yazısı.

Araştırmacılar ilk kez elle harf yazmaya çalışırken ortaya çıkan beyin aktivitesini deşifre etti. Beynine sensörler yerleştirilmiş felçli bir katılımcıyla çalışan ekip, kendisi yazmaya çalışırken harfleri tanımlamak için bir algoritma kullandı. Daha sonra sistem metni ekranda gerçek zamanlı olarak görüntüledi.

Stanford Üniversitesi'nde Howard Hughes Tıp Enstitüsü Araştırmacısı olan ve çalışmayı Stanford beyin cerrahı Jaimie Henderson ile ortaklaşa denetleyen çalışmanın yazarlarından Krishna Shenoy, daha fazla gelişmeyle birlikte, felçli kişilerin ellerini kullanmadan hızlı bir şekilde yazı yazmasına olanak tanıyabileceğini söylüyor.

Shenoy ve meslektaşlarının raporuna göre, çalışma katılımcısı el yazısını deneyerek dakikada 90 karakter yazdı; bu, böyle bir "beyin-bilgisayar arayüzü" ile yazmada önceki rekorun iki katından fazlaydı.

Bu teknoloji Araştırmada yer almayan Berkeley Kaliforniya Üniversitesi'nden sinir mühendisi Jose Carmena, ve bunun gibi diğerlerinin her türlü engelli insana yardım etme potansiyeline sahip olduğunu söylüyor. Bulgular ön hazırlık olmasına rağmen "bu alanda büyük bir ilerleme" diyor.

Carmena, beyin-bilgisayar arayüzlerinin düşünceyi eyleme dönüştürdüğünü söylüyor. "Bu makale mükemmel bir örnek: arayüz yazma düşüncesinin şifresini çözüyor ve eylemi üretiyor."

Düşünce destekli iletişim

Bir yaralanma ya da hastalık kişinin hareket etme yeteneğini elinden aldığında, beynin yürüme, bir fincan kahve içme ya da bir cümle söyleme gibi nöral faaliyetleri devam eder. Araştırmacılar, felçli veya ampütasyonlu kişilerin kaybolan yeteneklerini yeniden kazanmalarına yardımcı olmak için bu aktiviteden yararlanabilirler.

İhtiyaç, engelliliğin niteliğine göre değişir. Ellerini kullanamayan bazı kişiler, konuşma tanıma ve diğer yazılımlara sahip bir bilgisayarı hâlâ kullanabilirler. Bilim insanları, konuşma güçlüğü çekenler için insanların iletişim kurmasına yardımcı olacak başka yollar geliştiriyor.

Son yıllarda Shenoy'un ekibi, konuşmayı yeniden üretme umuduyla konuşmayla ilişkili sinirsel aktivitenin kodunu çözdü. Ayrıca, implante edilmiş sensörlere sahip katılımcıların, ekrandaki bir imleci hareket ettirmek için kol hareketleriyle ilgili düşüncelerini kullanmaları için bir yol da tasarladılar. Bu şekilde harflere işaret etmek ve tıklamak, insanların dakikada yaklaşık 40 karakter yazmasına olanak tanıyor; bu, beyin-bilgisayar arayüzü (BCI) ile yazmada önceki hız rekoru.

Ancak kimse el yazısına bakmamıştı. Shenoy'un grubundaki sinir bilimci Frank Willett, kalemi kağıda dokundurarak ortaya çıkan beyin sinyallerinden yararlanmanın mümkün olup olmadığını merak etti. "İnsanların daha hızlı iletişim kurmasını sağlamanın yeni yollarını bulmak istiyoruz" diyor. Ayrıca farklı bir şey deneme fırsatı onu motive etti.

Ekip, BCI'ların güvenliğini test eden BrainGate2 adlı klinik araştırmaya kayıtlı bir katılımcıyla çalıştı. Röle bilgileri doğrudan katılımcının beyninden bilgisayara aktarır. (Denemenin yöneticisi, Massachusetts Genel Hastanesi, Brown Üniversitesi ve Providence VA Tıp Merkezi'nde nörolog ve sinir bilimci olan Leigh Hochberg'dir.) Henderson, beynin el ve kolu kontrol eden kısmına iki küçük sensör yerleştirdi ve bunu mümkün kıldı. Örneğin kişinin kendi felçli kolunu hareket ettirmeye çalışarak robotik bir kolu veya ekrandaki bir imleci hareket ettirmesi.

Araştırmanın yapıldığı sırada 65 yaşında olan katılımcının, boyundan aşağısının felç olmasına neden olan bir omurilik yaralanması vardı. Adam yazmayı hayal ettiğinde sensörlerin bireysel nöronlardan aldığı sinyalleri kullanan bir makine öğrenimi algoritması, beyninin her harfle ürettiği desenleri tanıdı. Bu sistem sayesinde adam, kendi yaşındaki birinin akıllı telefonda yazdığına benzer bir hızda cümleleri kopyalayabiliyor ve soruları yanıtlayabiliyor.

Willett, "Beyinden Metne" BCI olarak adlandırılan bu yöntemin çok hızlı olduğunu, çünkü her harfin son derece farklı bir aktivite modeli ortaya çıkardığını ve algoritmanın birini diğerinden ayırt etmesini nispeten kolaylaştırdığını söylüyor Willett.

Yeni bir sistem

Shenoy'un ekibi, mevcut akıllı telefonlarda kullanılana benzer şekilde işaretle ve tıkla navigasyonunu da içeren daha kapsamlı bir sistemin parçası olarak metin girişi için el yazısı denemesini kullanmayı ve hatta konuşma kod çözme girişimini kullanmayı öngörüyor. "Bu iki veya üç moda sahip olmak ve bunlar arasında geçiş yapmak doğal olarak yaptığımız bir şey" diyor.

Shenoy, daha sonra ekibin, hareket ve konuşma kaybıyla sonuçlanan dejeneratif nörolojik bir bozukluk olan amyotrofik lateral skleroz hastası gibi konuşamayan bir katılımcıyla çalışmayı planladığını söylüyor.

Henderson, yeni sistemin çeşitli rahatsızlıklardan kaynaklanan felçten muzdarip olanlara potansiyel olarak yardımcı olabileceğini ekliyor. Bunlar şunları içerir: beyin Dalgıç Çanı ve Kelebek kitabının yazarı Jean-Dominique Bauby'yi etkileyen sap darbesi. Henderson, "Bu etkileyici ve güzel kitabı, göz hareketlerini kullanarak karakterleri teker teker titizlikle seçerek yazmayı başardı" diyor. "Frank'in el yazısı arayüzüyle neler yapabileceğini bir düşünün!"