Os movimentos faciais humanos transmitem emoções e nos ajudam a nos comunicar não verbalmente e a realizar atividades físicas, como comer e beber. Rastrear movimentos faciais e possivelmente sua causa é uma das aplicações propostas para o NeckFace, uma das primeiras tecnologias de detecção vestíveis do tipo colar inteligente. Uma equipe liderada por Cheng Zhang, professor assistente de ciência da informação na Cornell Ann S. Bowers College de Computação e Ciência da Informação, desenvolveu o NeckFace, que pode rastrear continuamente expressões faciais completas usando câmeras infravermelhas para capturar imagens do queixo e do rosto. abaixo do pescoço. Seu trabalho é detalhado em "NeckFace: Continuously Tracking Full Facial Expressions on Neck-mounted Wearables",
NeckFace é a próxima geração do trabalho anterior de Zhang, que resultou no C-Face, um dispositivo semelhante, mas em formato de fone de ouvido. Zhang disse que o NeckFace oferece uma melhoria significativa no desempenho e na privacidade, e dá ao usuário a opção de um dispositivo montado no pescoço menos intrusivo.
Além do potencial rastreamento de emoções, Zhang vê muitas aplicações para isso tecnologia: conferência virtual quando uma câmera frontal não é uma opção; detecção de expressões faciais em cenários de realidade virtual; e reconhecimento de fala silenciosa.
“O objetivo final é fazer com que o usuário seja capaz de rastrear seus próprios comportamentos, por meio do rastreamento contínuo dos movimentos faciais”, disse Zhang, principal investigador do SciFi Lab. “E espero que isso possa nos dar muitas informações sobre sua atividade física e atividades mentais.”
Guimbretière disse que o NeckFace também tem potencial para mudar a videoconferência.
“O usuário não precisaria ter o cuidado de permanecer no campo de visão de uma câmera”, disse ele. “Em vez disso, o NeckFace pode recriar a foto perfeita enquanto nos movemos em uma sala de aula ou até mesmo saímos para dar um passeio com um amigo distante.”
Para testar a eficácia do NeckFace, Zhang e seus colaboradores conduziram um estudo de usuário com 13 participantes, cada um dos quais foi solicitado a realizar oito expressões faciais enquanto estava sentado e mais oito enquanto caminhava. Nos cenários sentados, os participantes também foram solicitados a girar a cabeça durante a realização das expressões faciais e remover e remontar o dispositivo em uma sessão.
O NeckFace foi testado em dois designs: uma fita para o pescoço, colocada em volta da nuca com câmeras gêmeas logo abaixo do nível da clavícula; e um colar inteligente, com uma câmera infravermelha (IR) tipo pingente pendurada abaixo do pescoço.
O grupo coletou dados básicos de movimentos faciais usando a câmera TrueDepth 3D em um iPhone X e, em seguida, comparou-os aos dados coletados com o NeckFace. Entre as expressões de sentar, andar e remontar, os participantes do estudo expressaram um total de 52 formas faciais.
Usando cálculos envolvendo aprendizado profundo, o grupo determinou que o NeckFace detectou o movimento facial com quase a mesma precisão das medições diretas usando a câmera do telefone. A fita de pescoço foi considerada mais precisa do que o colar inteligente, disseram os pesquisadores, possivelmente porque duas câmeras na fita de pescoço podiam capturar mais informações de ambos os lados do que a câmera de colar montada no centro.
Zhang disse que o dispositivo, quando otimizado, pode ser particularmente útil no campo da saúde mental, para rastrear as emoções das pessoas ao longo de um dia. Embora as pessoas nem sempre mostrem suas emoções, ele disse, a quantidade de mudanças na expressão facial ao longo do tempo pode indicar oscilações emocionais.
“Podemos realmente ver como sua emoção varia ao longo do dia?” ele disse. "Com isso tecnologia, poderíamos ter um banco de dados sobre como você está fisicamente e mentalmente ao longo do dia, e isso significa que você pode rastrear seus próprios comportamentos. E também, um médico pode usar as informações para apoiar uma decisão ”.
