تحول واجهة الدماغ الحاسوبية الكتابة اليدوية العقلية إلى نص على الشاشة

التحديث: 8 ديسمبر 2023

يستكشف العلماء عددًا من الطرق التي يمكن للأشخاص ذوي الإعاقة من خلالها التواصل مع أفكارهم. الأحدث والأسرع يعود إلى وسيلة قديمة للتعبير عن الذات: الكتابة اليدوية.

لأول مرة ، قام الباحثون بفك رموز نشاط الدماغ المرتبط بمحاولة كتابة الحروف باليد. من خلال العمل مع مشارك مصاب بالشلل لديه أجهزة استشعار مزروعة في دماغه ، استخدم الفريق خوارزمية لتحديد الحروف أثناء محاولته كتابتها. بعد ذلك ، عرض النظام النص على الشاشة - في الوقت الفعلي.

يقول المؤلف المشارك في الدراسة كريشنا شينوي ، الباحث في معهد هوارد هيوز الطبي بجامعة ستانفورد ، والذي أشرف بشكل مشترك على العمل مع جيمي هندرسون ، جراح الأعصاب في ستانفورد ، إن الابتكار يمكن ، مع مزيد من التطوير ، أن يسمح للأشخاص المصابين بالشلل بالكتابة بسرعة دون استخدام أيديهم.

من خلال محاولة الكتابة اليدوية ، كتب المشارك في الدراسة 90 حرفًا في الدقيقة - أي أكثر من ضعف الرقم القياسي السابق للكتابة باستخدام مثل "واجهة الدماغ والحاسوب" ، وفقًا لتقرير شينوي وزملائه.

هذه التكنلوجيا ويقول خوسيه كارمينا، مهندس الأعصاب في جامعة كاليفورنيا، بيركلي، الذي لم يشارك في الدراسة، إن التجارب المماثلة لها القدرة على مساعدة الأشخاص الذين يعانون من جميع أنواع الإعاقات. وعلى الرغم من أن النتائج أولية، إلا أنه يقول: "إنها تقدم كبير في هذا المجال".

تقول كارمينا إن واجهات الدماغ والحاسوب تحول الفكر إلى أفعال. "هذه الورقة هي مثال ممتاز: تقوم الواجهة بفك تشفير فكرة الكتابة وتنتج الإجراء."

التواصل القائم على الفكر

عندما تحرم إصابة أو مرض الشخص من القدرة على الحركة ، يبقى النشاط العصبي للدماغ في المشي أو تناول فنجان من القهوة أو التحدث بجملة ما. يمكن للباحثين الاستفادة من هذا النشاط لمساعدة الأشخاص المصابين بالشلل أو بتر الأطراف على استعادة قدراتهم المفقودة.

تختلف الحاجة باختلاف طبيعة الإعاقة. لا يزال بإمكان بعض الأشخاص الذين فقدوا استخدام أيديهم استخدام الكمبيوتر مع التعرف على الكلام والبرامج الأخرى. بالنسبة لأولئك الذين يجدون صعوبة في التحدث ، طور العلماء طرقًا أخرى لمساعدة الناس على التواصل.

في السنوات الأخيرة ، قام فريق Shenoy بفك شفرة النشاط العصبي المرتبط بالكلام على أمل إعادة إنتاجه. لقد ابتكروا أيضًا طريقة للمشاركين الذين لديهم أجهزة استشعار مزروعة لاستخدام أفكارهم المرتبطة بمحاولة حركات الذراع لتحريك المؤشر على الشاشة. إن التأشير على الحروف والنقر عليها بهذه الطريقة يتيح للأشخاص كتابة حوالي 40 حرفًا في الدقيقة ، وهو الرقم القياسي السابق للسرعة للكتابة باستخدام واجهة الدماغ والحاسوب (BCI).

ومع ذلك ، لم ينظر أحد إلى الكتابة اليدوية. تساءل فرانك ويليت ، عالم الأعصاب في مجموعة شينوي ، عما إذا كان من الممكن تسخير إشارات الدماغ التي تثيرها عن طريق وضع القلم على الورق. يقول: "نريد إيجاد طرق جديدة للسماح للناس بالتواصل بشكل أسرع". كان مدفوعًا أيضًا بفرصة تجربة شيء مختلف.

عمل الفريق مع مشارك مسجل في تجربة سريرية تسمى BrainGate2 ، والتي تختبر سلامة BCIs التي المرحل المعلومات مباشرة من دماغ المشارك إلى جهاز كمبيوتر. (مدير التجربة هو لي هوشبيرج ، طبيب أعصاب وعالم أعصاب في مستشفى ماساتشوستس العام ، جامعة براون ، ومركز بروفيدنس فيرجينيا الطبي.) زرع هندرسون جهازي استشعار صغيرين في جزء الدماغ الذي يتحكم في اليد والذراع ، مما جعل ذلك ممكنًا على الشخص ، على سبيل المثال ، تحريك ذراع آلية أو مؤشر على الشاشة من خلال محاولة تحريك ذراعه المشلولة.

المشارك ، الذي كان يبلغ من العمر 65 عامًا وقت إجراء البحث ، تعرض لإصابة في النخاع الشوكي تركته مشلولًا من الرقبة إلى أسفل. باستخدام الإشارات التي التقطتها المستشعرات من الخلايا العصبية الفردية عندما تخيل الرجل الكتابة ، تعرفت خوارزمية التعلم الآلي على الأنماط التي ينتجها دماغه مع كل حرف. باستخدام هذا النظام ، يمكن للرجل نسخ الجمل والإجابة على الأسئلة بمعدل مماثل لمعدل شخص في مثل عمره يكتب على هاتف ذكي.

يقول ويليت إن ما يسمى بـ "Brain-to-Text" BCI سريع للغاية لأن كل حرف يثير نمط نشاط مميز للغاية ، مما يجعل من السهل نسبيًا للخوارزمية التمييز بين أحدهما والآخر.

نظام جديد

يتصور فريق Shenoy استخدام محاولة الكتابة اليدوية لإدخال النص كجزء من نظام أكثر شمولاً يتضمن أيضًا التنقل بالإشارة والنقر ، تمامًا مثل ذلك المستخدم في الهواتف الذكية الحالية ، وحتى محاولة فك تشفير الكلام. يقول: "إن وجود هذين الوضعين أو الثلاثة والتبديل بينهما هو شيء نقوم به بشكل طبيعي".

بعد ذلك ، يقول شينوي ، يعتزم الفريق العمل مع مشارك لا يستطيع التحدث ، مثل شخص مصاب بالتصلب الجانبي الضموري ، وهو اضطراب عصبي تنكسي يؤدي إلى فقدان الحركة والكلام.

يضيف هندرسون أن النظام الجديد يمكن أن يساعد أولئك الذين يعانون من الشلل الناجم عن عدد من الحالات. وتشمل تلك الدماغ ضربة جذعية أصابت جان دومينيك بوبي ، مؤلف كتاب The Diving Bell and the Butterfly. يقول هندرسون: "لقد كان قادرًا على كتابة هذا الكتاب المؤثر والجميل عن طريق اختيار الشخصيات بشق الأنفس ، واحدًا تلو الآخر ، باستخدام حركة العين". "تخيل ما كان يمكن أن يفعله بواجهة الكتابة اليدوية لفرانك!"