Gerakan wajah manusia menyampaikan emosi, dan membantu kita berkomunikasi secara nonverbal dan melakukan aktivitas fisik, seperti makan dan minum. Melacak gerakan wajah dan kemungkinan penyebabnya adalah salah satu aplikasi yang diusulkan untuk NeckFace, salah satu teknologi sensor wearable tipe kalung pintar pertama. Sebuah tim yang dipimpin oleh Cheng Zhang, asisten profesor ilmu informasi di Cornell Ann S. Bowers College of Computing and Information Science, telah mengembangkan NeckFace, yang dapat terus melacak ekspresi wajah penuh dengan menggunakan kamera inframerah untuk menangkap gambar dagu dan wajah dari di bawah leher. Pekerjaan mereka dirinci dalam "NeckFace: Continuously Tracking Full Facial Expressions on Neck-mounted Wearables,"
NeckFace adalah generasi berikutnya dari karya Zhang sebelumnya, yang menghasilkan C-Face, perangkat serupa tetapi dalam format headset. Zhang mengatakan NeckFace memberikan peningkatan yang signifikan dalam kinerja dan privasi, dan memberi pemakainya pilihan perangkat yang dipasang di leher yang tidak terlalu mencolok.
Selain potensi pelacakan emosi, Zhang melihat banyak penerapannya teknologi: konferensi virtual ketika kamera depan bukan merupakan pilihan; deteksi ekspresi wajah dalam skenario realitas virtual; dan pengenalan ucapan senyap.
“Tujuan utamanya adalah membuat pengguna dapat melacak perilaku mereka sendiri, melalui pelacakan gerakan wajah yang berkelanjutan,” kata Zhang, peneliti utama dari SciFi Lab. “Dan semoga ini dapat memberi tahu kami banyak informasi tentang aktivitas fisik dan aktivitas mental Anda.”
Guimbretière mengatakan NeckFace juga berpotensi mengubah konferensi video.
“Pengguna tidak perlu berhati-hati untuk tetap berada di bidang pandang kamera,” katanya. “Sebaliknya, NeckFace dapat membuat ulang bidikan kepala yang sempurna saat kita bergerak di dalam kelas, atau bahkan berjalan di luar untuk berbagi jalan-jalan dengan teman yang jauh.”
Untuk menguji keefektifan NeckFace, Zhang dan rekan-rekannya melakukan studi pengguna dengan 13 peserta, masing-masing diminta untuk melakukan delapan ekspresi wajah sambil duduk dan delapan lagi sambil berjalan. Dalam skenario duduk, para peserta juga diminta untuk memutar kepala saat melakukan ekspresi wajah, serta melepas dan memasang kembali perangkat dalam satu sesi.
NeckFace diuji dalam dua desain: ikat leher, dililitkan di bagian belakang leher dengan kamera kembar tepat di bawah tulang selangka; dan kalung pintar, dengan perangkat kamera infra merah (IR) seperti liontin tergantung di bawah leher.
Kelompok tersebut mengumpulkan data gerakan wajah dasar menggunakan kamera TrueDepth 3D pada iPhone X, kemudian membandingkannya dengan data yang dikumpulkan dengan NeckFace. Di antara ekspresi duduk, berjalan, dan duduk kembali, peserta penelitian mengekspresikan total 52 bentuk wajah.
Menggunakan perhitungan yang melibatkan pembelajaran mendalam, kelompok tersebut menentukan bahwa NeckFace mendeteksi gerakan wajah dengan akurasi yang hampir sama dengan pengukuran langsung menggunakan kamera ponsel. Ikat leher ditemukan lebih akurat daripada kalung pintar, kata para peneliti, mungkin karena dua kamera pada pita leher dapat menangkap lebih banyak informasi dari kedua sisi daripada kamera kalung yang dipasang di tengah.
Zhang mengatakan perangkat itu, ketika dioptimalkan, bisa sangat berguna di bidang kesehatan mental, untuk melacak emosi orang selama sehari. Sementara orang tidak selalu menunjukkan emosi mereka di wajah mereka, katanya, jumlah ekspresi wajah yang berubah dari waktu ke waktu dapat mengindikasikan perubahan emosi.
"Bisakah kami benar-benar melihat bagaimana emosi Anda bervariasi sepanjang hari?" dia berkata. "Dengan ini teknologi, kami dapat memiliki database tentang apa yang Anda lakukan secara fisik dan mental sepanjang hari, dan itu berarti Anda dapat melacak perilaku Anda sendiri. Dan juga, seorang dokter dapat menggunakan informasi tersebut untuk mendukung suatu keputusan.”
