Menselijke gezichtsbewegingen brengen emoties over en helpen ons non-verbaal te communiceren en fysieke activiteiten uit te voeren, zoals eten en drinken. Het volgen van gezichtsbewegingen en mogelijk de oorzaak ervan is een van de voorgestelde toepassingen voor NeckFace, een van de eerste slimme draagbare detectietechnologieën van het kettingtype. Een team onder leiding van Cheng Zhang, assistent-professor informatiewetenschappen aan het Cornell Ann S. Bowers College of Computing and Information Science, heeft NeckFace ontwikkeld, dat continu volledige gezichtsuitdrukkingen kan volgen door infraroodcamera's te gebruiken om beelden van de kin en het gezicht van onder de nek. Hun werk wordt gedetailleerd beschreven in "NeckFace: het continu volgen van volledige gezichtsuitdrukkingen op op de nek gemonteerde wearables",
NeckFace is de volgende generatie van Zhang's eerdere werk, wat resulteerde in C-Face, een soortgelijk apparaat maar in een headset-formaat. Zhang zei dat NeckFace een aanzienlijke verbetering van de prestaties en privacy biedt, en de drager de optie geeft van een minder opdringerig op de nek gemonteerd apparaat.
Naast het potentiële volgen van emoties ziet Zhang hier veel toepassingen voor technologie: virtuele conferenties wanneer een camera aan de voorzijde geen optie is; detectie van gezichtsuitdrukkingen in virtual reality-scenario's; en stille spraakherkenning.
"Het uiteindelijke doel is dat de gebruiker zijn eigen gedrag kan volgen, door continue gezichtsbewegingen te volgen", zegt Zhang, hoofdonderzoeker van het SciFi Lab. "En dit kan ons hopelijk veel informatie geven over uw fysieke activiteit en mentale activiteiten."
Guimbretière zei dat NeckFace ook het potentieel heeft om videoconferenties te veranderen.
"De gebruiker hoeft niet voorzichtig te zijn om in het gezichtsveld van een camera te blijven", zei hij. "In plaats daarvan kan NeckFace het perfecte hoofdschot nabootsen terwijl we ons in een klaslokaal bewegen, of zelfs naar buiten lopen om een wandeling te delen met een verre vriend."
Om de effectiviteit van NeckFace te testen, voerden Zhang en zijn medewerkers een gebruikersonderzoek uit met 13 deelnemers, van wie elk werd gevraagd om acht gezichtsuitdrukkingen uit te voeren terwijl ze zaten en nog eens acht tijdens het lopen. In de zittende scenario's werden de deelnemers ook gevraagd om het hoofd te draaien tijdens het uitvoeren van de gezichtsuitdrukkingen en het apparaat in één sessie te verwijderen en opnieuw te monteren.
NeckFace is getest in twee ontwerpen: een nekband, gedrapeerd rond de achterkant van de nek met twee camera's net onder het niveau van het sleutelbeen; en een slimme ketting, met een hangerachtig infrarood (IR) camera-apparaat dat onder de nek hangt.
De groep verzamelde basisgegevens over gezichtsbewegingen met behulp van de TrueDepth 3D-camera op een iPhone X en vergeleek die vervolgens met de gegevens die waren verzameld met NeckFace. Tussen de zittende, lopende en remount-uitdrukkingen uitten de deelnemers aan de studie in totaal 52 gezichtsvormen.
Met behulp van berekeningen met deep learning stelde de groep vast dat NeckFace bewegingen van het gezicht met bijna dezelfde nauwkeurigheid detecteerde als de directe metingen met behulp van de telefooncamera. De nekband bleek nauwkeuriger te zijn dan de slimme ketting, zeiden de onderzoekers, mogelijk omdat twee camera's op de nekband meer informatie van beide kanten konden vastleggen dan de in het midden gemonteerde kettingcamera.
Zhang zei dat het apparaat, wanneer het is geoptimaliseerd, bijzonder nuttig kan zijn in de geestelijke gezondheidszorg, om de emoties van mensen in de loop van een dag te volgen. Hoewel mensen hun emoties niet altijd op hun gezicht dragen, zei hij, kan de hoeveelheid verandering van gezichtsuitdrukking in de loop van de tijd wijzen op emotionele schommelingen.
"Kunnen we echt zien hoe uw emotie gedurende een dag varieert?" hij zei. "Hiermee technologie, zouden we een database kunnen hebben over hoe het met u fysiek en mentaal gaat gedurende de dag, en dat betekent dat u uw eigen gedrag kunt volgen. En ook zou een arts de informatie kunnen gebruiken om een beslissing te ondersteunen.”
