I movimenti facciali umani trasmettono emozioni e ci aiutano a comunicare in modo non verbale e a svolgere attività fisiche, come mangiare e bere. Tracciare i movimenti del viso e forse la loro causa è una delle applicazioni proposte per NeckFace, una delle prime tecnologie di rilevamento indossabili a forma di collana intelligente. Un team guidato da Cheng Zhang, assistente professore di scienze dell'informazione presso il Cornell Ann S. Bowers College of Computing and Information Science, ha sviluppato NeckFace, che può monitorare continuamente le espressioni facciali complete utilizzando telecamere a infrarossi per catturare immagini del mento e del viso da sotto il collo. Il loro lavoro è descritto in dettaglio in "NeckFace: monitoraggio continuo delle espressioni facciali complete su dispositivi indossabili montati sul collo",
NeckFace è la prossima generazione del lavoro precedente di Zhang, che ha portato a C-Face, un dispositivo simile ma in un formato auricolare. Zhang ha affermato che NeckFace offre un miglioramento significativo delle prestazioni e della privacy e offre a chi lo indossa la possibilità di un dispositivo montato sul collo meno invadente.
Oltre al potenziale monitoraggio delle emozioni, Zhang vede molte applicazioni in questo senso la tecnologia: conferenze virtuali quando una fotocamera frontale non è un'opzione; rilevamento delle espressioni facciali in scenari di realtà virtuale; e riconoscimento vocale silenzioso.
"L'obiettivo finale è consentire all'utente di monitorare i propri comportamenti, attraverso il monitoraggio continuo dei movimenti facciali", ha affermato Zhang, investigatore principale dello SciFi Lab. "E si spera che questo possa darci molte informazioni sulla tua attività fisica e mentale".
Guimbretière ha affermato che NeckFace ha anche il potenziale per cambiare le videoconferenze.
"L'utente non dovrebbe stare attento a rimanere nel campo visivo di una telecamera", ha detto. "Invece, NeckFace può ricreare l'inquadratura perfetta della testa mentre ci muoviamo in un'aula, o addirittura usciamo per condividere una passeggiata con un amico lontano".
Per testare l'efficacia di NeckFace, Zhang e i suoi collaboratori hanno condotto uno studio sugli utenti con 13 partecipanti, a ciascuno dei quali è stato chiesto di eseguire otto espressioni facciali mentre era seduto e altre otto mentre camminava. Negli scenari seduti, ai partecipanti è stato anche chiesto di ruotare la testa durante l'esecuzione delle espressioni facciali e di rimuovere e rimontare il dispositivo in una sessione.
NeckFace è stato testato in due modelli: una fascia da collo, drappeggiata intorno alla nuca con due fotocamere appena sotto il livello della clavicola; e una collana intelligente, con una fotocamera a infrarossi (IR) simile a un ciondolo appesa sotto il collo.
Il gruppo ha raccolto i dati di base sui movimenti del viso utilizzando la fotocamera TrueDepth 3D su un iPhone X, quindi li ha confrontati con i dati raccolti con NeckFace. Tra le espressioni di seduta, camminata e rimonta, i partecipanti allo studio hanno espresso un totale di 52 forme del viso.
Utilizzando calcoli che coinvolgono l'apprendimento profondo, il gruppo ha determinato che NeckFace ha rilevato il movimento del viso con quasi la stessa precisione delle misurazioni dirette utilizzando la fotocamera del telefono. La fascia da collo è risultata più accurata della collana intelligente, hanno detto i ricercatori, forse perché due fotocamere sulla fascia da collo potrebbero acquisire più informazioni da entrambi i lati rispetto alla fotocamera della collana montata al centro.
Zhang ha affermato che il dispositivo, una volta ottimizzato, potrebbe essere particolarmente utile nel campo della salute mentale, per monitorare le emozioni delle persone nel corso della giornata. Anche se le persone non portano sempre le proprie emozioni sul viso, ha detto, la quantità di espressioni facciali che cambiano nel tempo potrebbe indicare sbalzi emotivi.
"Possiamo effettivamente vedere come varia la tua emozione durante il giorno?" Egli ha detto. "Con questo la tecnologia, potremmo avere un database su come stai fisicamente e mentalmente durante il giorno, e questo significa che puoi tenere traccia dei tuoi comportamenti. Inoltre, un medico potrebbe utilizzare le informazioni per supportare una decisione".
