인간의 얼굴 움직임은 감정을 전달하고 비언어적으로 의사 소통하고 먹고 마시는 것과 같은 신체 활동을 수행하는 데 도움이 됩니다. 얼굴 움직임과 그 원인을 추적하는 것은 최초의 스마트 목걸이형 웨어러블 감지 기술 중 하나인 NeckFace에 대해 제안된 응용 프로그램 중 하나입니다. Cornell Ann S. Bowers 컴퓨터 및 정보 과학 대학의 정보 과학 조교수인 Cheng Zhang이 이끄는 팀은 적외선 카메라를 사용하여 턱과 얼굴의 이미지를 캡처하여 전체 얼굴 표정을 지속적으로 추적할 수 있는 NeckFace를 개발했습니다. 목 아래. 그들의 작업은 "NeckFace: 목에 장착된 웨어러블에서 전체 얼굴 표정을 지속적으로 추적"에 자세히 설명되어 있습니다.
NeckFace는 Zhang의 이전 작업의 차세대 제품으로 C-Face와 유사한 장치이지만 헤드셋 형식입니다. Zhang은 NeckFace가 성능과 개인 정보 보호 측면에서 상당한 개선을 제공하고 착용자에게 덜 눈에 띄는 목 장착 장치의 옵션을 제공한다고 말했습니다.
잠재적인 감정 추적 외에도 Zhang은 이에 대한 많은 응용 프로그램을 보고 있습니다. technology: 전면 카메라가 옵션이 아닌 경우 가상 회의 가상 현실 시나리오의 얼굴 표정 감지; 그리고 자동 음성 인식.
SciFi Lab의 수석 연구원인 Zhang은 "궁극적인 목표는 사용자가 얼굴 움직임을 지속적으로 추적하여 자신의 행동을 추적할 수 있도록 하는 것"이라고 말했습니다. "그리고 이것은 우리에게 신체 활동과 정신 활동에 대한 많은 정보를 알려줄 수 있기를 바랍니다."
Guimbretière는 NeckFace도 화상 회의를 바꿀 잠재력이 있다고 말했습니다.
"사용자는 카메라의 시야에 머물기 위해 주의할 필요가 없습니다."라고 그는 말했습니다. "대신 NeckFace는 우리가 교실에서 돌아다닐 때 완벽한 헤드 샷을 재현하거나 멀리 떨어져 있는 친구와 산책을 나누기 위해 밖에 나갈 수도 있습니다."
NeckFace의 효과를 테스트하기 위해 Zhang과 그의 동료들은 13명의 참가자를 대상으로 사용자 연구를 수행했으며, 참가자 각각은 앉아 있는 동안 XNUMX개의 표정을 수행하고 걷는 동안 XNUMX개의 추가 표정을 수행하도록 요청받았습니다. 앉아 있는 시나리오에서 참가자는 얼굴 표정을 수행하는 동안 머리를 회전하고 한 세션에서 장치를 제거했다가 다시 장착하도록 요청받았습니다.
NeckFace는 XNUMX가지 디자인으로 테스트되었습니다. 목 아래에 매달린 펜던트 같은 적외선(IR) 카메라 장치가 있는 스마트 목걸이.
이 그룹은 iPhone X의 TrueDepth 3D 카메라를 사용하여 기본 얼굴 움직임 데이터를 수집한 다음 NeckFace로 수집한 데이터와 비교했습니다. 앉고, 걷고, 다시 앉는 표정 사이에서 연구 참가자는 총 52개의 얼굴 모양을 표현했습니다.
딥 러닝과 관련된 계산을 사용하여 그룹은 NeckFace가 전화 카메라를 사용한 직접 측정과 거의 동일한 정확도로 얼굴 움직임을 감지했다고 결정했습니다. 연구원들은 넥밴드가 스마트 목걸이보다 더 정확한 것으로 밝혀졌는데, 이는 아마도 넥밴드에 있는 두 대의 카메라가 중앙에 장착된 목걸이 카메라보다 양쪽에서 더 많은 정보를 캡처할 수 있기 때문일 것이라고 연구원들은 말했습니다.
Zhang은 이 장치가 최적화되면 하루 동안 사람들의 감정을 추적하는 정신 건강 영역에서 특히 유용할 수 있다고 말했습니다. 사람들이 항상 감정을 표현하는 것은 아니지만 시간이 지남에 따라 표정 변화의 양은 감정 변화를 나타낼 수 있다고 그는 말했습니다.
"당신의 감정이 하루 종일 어떻게 변하는지 실제로 볼 수 있습니까?" 그는 말했다. "이걸로 technology, 우리는 당신이 하루 종일 신체적으로 정신적으로 어떻게 지내는지에 대한 데이터베이스를 가질 수 있으며, 이는 당신이 자신의 행동을 추적할 수 있음을 의미합니다. 또한 의사는 결정을 뒷받침하는 정보를 사용할 수 있습니다.”
