ממשק מחשב מוחי הופך את כתב היד הנפשי לטקסט על המסך

עדכון: 8 בדצמבר 2023

מדענים בוחנים מספר דרכים לאנשים עם מוגבלות לתקשר עם מחשבותיהם. החדש והמהיר ביותר חוזר לאמצעי וינטאג 'לביטוי: כתב יד.

לראשונה חוקרים פענחו את הפעילות המוחית הקשורה לניסיון לכתוב מכתבים ביד. בעבודה עם משתתף עם שיתוק שמושתלים חיישנים במוחו, הצוות השתמש באלגוריתם כדי לזהות אותיות כשניסה לכתוב אותן. לאחר מכן, המערכת הציגה את הטקסט על גבי מסך - בזמן אמת.

החידוש יכול, עם התפתחות נוספת, לאפשר לאנשים עם שיתוק להקליד במהירות מבלי להשתמש בידיים, אומר מחבר המחקר קרישנה שנוי, חוקר המכון הרפואי הווארד יוז באוניברסיטת סטנפורד, שפיקח במשותף על העבודה עם ג'יימי הנדרסון, נוירוכירורג בסטנפורד.

על ידי ניסיון בכתב יד, המשתתף במחקר הקליד 90 תווים לדקה - יותר מכפול מהתיעוד הקודם בהקלדה עם "ממשק מוח-מחשב" כזה, דו"ח שנוי ועמיתיו.

זֶה טֶכנוֹלוֹגִיָה ולאחרים כמוהו יש פוטנציאל לעזור לאנשים עם כל מיני מוגבלויות, אומר חוזה כרמנה, מהנדס עצבים באוניברסיטת קליפורניה, ברקלי, שלא היה מעורב במחקר. למרות שהממצאים ראשוניים, הוא אומר, "זו התקדמות גדולה בתחום".

ממשקי מוח-מחשב ממירים מחשבה לפעולה, אומרת כרמנה. "מאמר זה הוא דוגמה מושלמת: הממשק מפענח את מחשבת הכתיבה ומייצר את הפעולה."

תקשורת מונעת מחשבה

כאשר פציעה או מחלה גוזלים מאדם את יכולת התנועה, נותרה הפעילות העצבית של המוח להליכה, לתפוס כוס קפה או לדבר משפט. חוקרים יכולים להשתמש בפעילות זו כדי לעזור לאנשים עם שיתוק או קטיעה להחזיר את היכולות שאבדו.

הצורך משתנה עם אופי הנכות. יש אנשים שאיבדו את השימוש בידיהם עדיין יכולים להשתמש במחשב עם זיהוי דיבור ותוכנות אחרות. למי שמתקשה לדבר, מדענים פיתחו דרכים אחרות לעזור לאנשים לתקשר.

בשנים האחרונות הצוות של שנוי פענח את הפעילות העצבית הקשורה לדיבור בתקווה לשחזר אותו. הם גם פיתחו דרך למשתתפים עם חיישנים מושתלים להשתמש במחשבות שלהם הקשורות לניסיון תנועות זרוע כדי להזיז את הסמן על המסך. הצבעה על ולחיצה על אותיות באופן זה מאפשרת לאנשים להקליד כ 40 תווים לדקה, שיא המהירות הקודם להקלדה באמצעות ממשק מוח-מחשב (BCI).

איש, לעומת זאת, לא הביט בכתב יד. פרנק ווילט, מדעי המוח בקבוצתו של שנוי, תהה האם ניתן יהיה לרתום את האותות המוחיים המופנים באמצעות הנחת עט על הנייר. "אנחנו רוצים למצוא דרכים חדשות לתת לאנשים לתקשר מהר יותר", הוא אומר. הוא גם הניע את ההזדמנות לנסות משהו אחר.

הצוות עבד עם משתתף שנרשם לניסוי קליני בשם BrainGate2, שבודק את בטיחותם של BCI ממסר מידע ישירות ממוחו של משתתף למחשב. (מנהל המשפט הוא ליי הוכברג, נוירולוג ומדעי המוח בבית החולים הכללי של מסצ'וסטס, אוניברסיטת בראון והמרכז הרפואי פרובידנס VA). הנדרסון השתיל שני חיישנים זעירים לחלק המוח השולט ביד ובזרוע, מה שמאפשר את האפשרות. כדי שהאדם, למשל, יניע זרוע רובוטית או סמן על המסך על ידי ניסיון להזיז את הזרוע המשותקת שלו.

המשתתף, שהיה בן 65 במחקר, נפצע בחוט השדרה שהותיר אותו משותק מהצוואר ומטה. באמצעות אותות שהחיישנים אספו מתאי עצב בודדים כאשר האיש דמיין את כתיבתו, זיהה אלגוריתם למידת מכונה את הדפוסים שהמוח שלו יצר עם כל אות. בעזרת מערכת זו, האיש יכול היה להעתיק משפטים ולענות על שאלות בקצב הדומה לזה של מי שגילו מקליד בסמארטפון.

מה שמכונה "מוח לטקסט" BCI הוא כה מהיר מכיוון שכל אות מביאה דפוס פעילות מובחן ביותר, מה שמקל יחסית על האלגוריתם להבדיל זה מזה, אומר ווילט.

מערכת חדשה

הצוות של שנוי מתאר לעצמו שימוש בניסיון כתב יד להזנת טקסט כחלק ממערכת מקיפה יותר הכוללת גם ניווט באמצעות לחיצה-ולחיצה, בדומה לזה שבשימוש בסמארטפונים הנוכחיים, ואפילו ניסיון לפענוח דיבור. "קיום שניים או שלושה מצבים ומעבר ביניהם זה דבר שאנחנו עושים באופן טבעי," הוא אומר.

לאחר מכן, אומר שנוי, הצוות מתכוון לעבוד עם משתתף שאינו יכול לדבר, כמו מישהו עם טרשת לרוחב אמיוטרופית, הפרעה נוירולוגית ניוונית המביאה לאובדן תנועה ודיבור.

המערכת החדשה עשויה לסייע לסובלים משיתוק הנגרם על ידי מספר מצבים, מוסיף הנדרסון. אלה כוללים מוֹחַ שבץ גזע, שפקד את ז'אן-דומיניק באובי, מחבר הספר "פעמון הצלילה והפרפר". "הוא הצליח לכתוב את הספר המרגש והיפה הזה על ידי בחירת דמויות בקפידה, אחת אחת, תוך שימוש בתנועת עיניים", אומר הנדרסון. "תאר לעצמך מה הוא יכול היה לעשות עם ממשק כתב היד של פרנק!"