תנועות פנים אנושיות מעבירות רגשות, ועוזרות לנו לתקשר ללא מילולית ולבצע פעילויות גופניות, כגון אכילה ושתייה. מעקב אחר תנועות הפנים ואולי הסיבה שלהן הוא אחד היישומים המוצעים ל- NeckFace, אחת הטכנולוגיות הראשונות לחיישנים לבישים מסוג שרשרת חכמה. צוות בראשות צ'נג ג'אנג, פרופסור למדעי המידע במכללת מחשוב ומידע קורנל אן ס 'באוארס, פיתח את NeckFace, אשר יכול לעקוב אחר הבעות פנים מלאות באמצעות מצלמות אינפרא אדום לצילום תמונות של הסנטר והפנים מ מתחת לצוואר. עבודתם מפורטת ב "NeckFace: מעקב רציף אחר הבעות פנים מלאות על לבישים המותקנים בצוואר",
NeckFace הוא הדור הבא של עבודתו הקודמת של ג'אנג, שהביאה ל- C-Face, מכשיר דומה אך בפורמט אוזניות. ג'אנג אמר כי NeckFace מספק שיפור משמעותי בביצועים ובפרטיות, ונותן ללובש את האפשרות של מכשיר פחות בולט לצוואר.
בנוסף למעקב רגשות פוטנציאלי, ג'אנג רואה יישומים רבים לכך טֶכנוֹלוֹגִיָה: ועידה וירטואלית כאשר מצלמה קדמית אינה אופציה; זיהוי הבעות פנים בתרחישי מציאות מדומה; וזיהוי דיבור שקט.
"המטרה הסופית היא שהמשתמש יוכל לעקוב אחר ההתנהגויות שלו, באמצעות מעקב רציף אחר תנועות הפנים", אמר ג'אנג, חוקר הראשי של מעבדת SciFi. "וזה בתקווה יכול לספר לנו מידע רב על הפעילות הגופנית והפעילות הנפשית שלך."
Guimbretière אמר כי ל- NeckFace יש גם פוטנציאל לשנות ועידות וידאו.
"המשתמש לא צריך להיות זהיר כדי להישאר בשדה הראייה של המצלמה", אמר. "במקום זאת, NeckFace יכול לשחזר את זריקת הראש המושלמת כשאנחנו מסתובבים בכיתה, או אפילו לצאת החוצה כדי לשתף טיול עם חבר רחוק."
כדי לבדוק את האפקטיביות של NeckFace, ג'אנג ומשתפי הפעולה שלו ערכו מחקר משתמשים עם 13 משתתפים, שכל אחד מהם התבקש לבצע שמונה הבעות פנים בישיבה ועוד שמונה בהליכה. בתרחישי הישיבה, המשתתפים התבקשו גם לסובב את הראש תוך כדי ביצוע הבעות הפנים, ולהסיר ולהתקין מחדש את המכשיר בפגישה אחת.
NeckFace נבדק בשני עיצובים: סרט צוואר, עטוף בחלק האחורי של הצוואר עם מצלמות תאומות ממש מתחת לרמת עצם הבריח; ומחרוזת חכמה, עם מכשיר מצלמה אינפרא אדום (IR) דמוי תליון תלוי מתחת לצוואר.
הקבוצה אספה נתוני תנועת פנים בסיסיים באמצעות מצלמת התלת מימד TrueDepth במכשיר iPhone X, ולאחר מכן השוו זאת לנתונים שנאספו עם NeckFace. בין הבעות הישיבה, ההליכה וההתאמה מחדש, משתתפי המחקר הביעו בסך הכל 3 צורות פנים.
באמצעות חישובים הכרוכים בלמידה עמוקה, קבעה הקבוצה כי NeckFace זיהה תנועות פנים כמעט באותו דיוק כמו המדידות הישירות באמצעות מצלמת הטלפון. החוקרים מצאו כי הצוואר מדויק יותר מהשרשרת החכמה, מאחר ושתי מצלמות על הצוואר יכולות ללכוד יותר מידע משני הצדדים מאשר מצלמת השרשרת שבמרכזה.
ג'אנג אמר כי המכשיר, כאשר הוא מותאם, יכול להיות שימושי במיוחד בתחום בריאות הנפש, למעקב אחר רגשותיהם של אנשים במהלך יום. למרות שאנשים לא תמיד עונדים את רגשותיהם על פניהם, הוא אמר, כמות השינויים בהבעת הפנים לאורך זמן יכולה להצביע על תנודות רגשיות.
"האם אנחנו באמת יכולים לראות כיצד הרגש שלך משתנה לאורך כל היום?" הוא אמר. "עם זה טֶכנוֹלוֹגִיָה, יכול להיות לנו מאגר מידע על מצבך הפיזי והנפשי לאורך כל היום, וזה אומר שתוכל לעקוב אחר ההתנהגויות שלך. כמו כן, רופא יכול להשתמש במידע כדי לתמוך בהחלטה ".
