Pergerakan wajah manusia menyampaikan emosi, dan membantu kita berkomunikasi secara lisan dan melakukan aktiviti fizikal, seperti makan dan minum. Menjejaki pergerakan wajah dan kemungkinan penyebabnya adalah salah satu aplikasi yang dicadangkan untuk NeckFace, salah satu teknologi penderiaan kalung jenis kalung pintar pertama. Pasukan yang diketuai oleh Cheng Zhang, penolong profesor sains maklumat di Cornell Ann S. Bowers College of Computing and Information Science, telah mengembangkan NeckFace, yang dapat terus melacak ekspresi wajah penuh dengan menggunakan kamera inframerah untuk menangkap gambar dagu dan wajah dari di bawah leher. Karya mereka diperincikan dalam "NeckFace: Melacak Ekspresi Muka Penuh Terus pada Wearables yang dipasang di leher,"
NeckFace adalah generasi berikutnya karya Zhang sebelumnya, yang menghasilkan C-Face, peranti serupa tetapi dalam format alat dengar. Zhang berkata NeckFace memberikan peningkatan yang signifikan dalam prestasi dan privasi, dan memberikan pilihan kepada pemakai peranti yang dipasang pada leher yang kurang mengganggu.
Selain potensi penjejakan emosi, Zhang melihat banyak aplikasi untuk ini teknologi: persidangan maya apabila kamera menghadap ke hadapan bukan pilihan; pengesanan ekspresi muka dalam senario realiti maya; dan pengecaman ucapan senyap.
"Tujuan utamanya adalah agar pengguna dapat melacak tingkah laku mereka sendiri, melalui penjejakan pergerakan wajah secara berterusan," kata Zhang, penyiasat utama SciFi Lab. "Dan ini diharapkan dapat memberitahu kami banyak maklumat mengenai aktiviti fizikal dan aktiviti mental anda."
Guimbretière berkata, NeckFace juga berpotensi mengubah persidangan video.
"Pengguna tidak perlu berhati-hati untuk tetap berada di bidang pandangan kamera," katanya. "Sebaliknya, NeckFace dapat membuat tembakan kepala yang sempurna ketika kita bergerak di kelas, atau bahkan berjalan di luar untuk berkongsi jalan dengan rakan yang jauh."
Untuk menguji keberkesanan NeckFace, Zhang dan kolaboratornya melakukan kajian pengguna dengan 13 peserta, masing-masing diminta untuk melakukan lapan ekspresi wajah ketika duduk dan lapan lagi ketika berjalan. Dalam senario duduk, para peserta juga diminta memutar kepala sambil melakukan ekspresi wajah, dan mengeluarkan dan memasang kembali perangkat dalam satu sesi.
NeckFace diuji dalam dua reka bentuk: tali leher, digantung di bahagian belakang leher dengan kamera berkembar tepat di bawah paras tulang selangka; dan kalung pintar, dengan peranti kamera inframerah (IR) seperti loket yang tergantung di bawah leher.
Kumpulan ini mengumpulkan data pergerakan wajah awal menggunakan kamera 3D TrueDepth pada iPhone X, kemudian membandingkannya dengan data yang dikumpulkan dengan NeckFace. Antara ekspresi duduk, berjalan dan mengingatkan kembali, peserta kajian menyatakan sebanyak 52 bentuk wajah.
Dengan menggunakan pengiraan yang melibatkan pembelajaran mendalam, kumpulan tersebut menentukan bahawa NeckFace mengesan pergerakan wajah dengan ketepatan yang hampir sama dengan pengukuran langsung menggunakan kamera telefon. Tali leher didapati lebih tepat daripada kalung pintar, kata para penyelidik, mungkin kerana dua kamera pada tali leher dapat menangkap lebih banyak maklumat dari kedua sisi daripada kamera kalung yang dipasang di tengah.
Zhang mengatakan bahawa alat itu, apabila dioptimumkan, dapat sangat berguna dalam bidang kesihatan mental, untuk mengesan emosi orang selama sehari. Walaupun orang tidak selalu memakai emosi mereka di wajah mereka, katanya, jumlah perubahan ekspresi wajah dari masa ke masa dapat menunjukkan perubahan emosi.
"Bolehkah kita melihat bagaimana emosi anda berubah sepanjang hari?" katanya. "Dengan ini teknologi, kami boleh mempunyai pangkalan data mengenai bagaimana anda melakukan secara fizikal dan mental sepanjang hari, dan itu bermakna anda dapat mengesan tingkah laku anda sendiri. Dan juga, doktor boleh menggunakan maklumat tersebut untuk menyokong keputusan. "
