Menschliche Gesichtsbewegungen vermitteln Emotionen und helfen uns, nonverbal zu kommunizieren und körperliche Aktivitäten wie Essen und Trinken auszuführen. Das Verfolgen von Gesichtsbewegungen und möglicherweise deren Ursache ist eine der vorgeschlagenen Anwendungen für NeckFace, eine der ersten tragbaren Sensortechnologien in Form einer intelligenten Halskette. Ein Team unter der Leitung von Cheng Zhang, Assistenzprofessor für Informationswissenschaft am Cornell Ann S. Bowers College of Computing and Information Science, hat NeckFace entwickelt, das mit Infrarotkameras kontinuierlich den vollständigen Gesichtsausdruck verfolgen kann, um Bilder von Kinn und Gesicht von unter dem Hals. Ihre Arbeit ist detailliert in „NeckFace: Continuously Tracking Full Facial Expressions on Neck-Mounted Wearables“ beschrieben.
NeckFace ist die nächste Generation von Zhangs vorheriger Arbeit, die zu C-Face führte, einem ähnlichen Gerät, jedoch im Headset-Format. Laut Zhang bietet NeckFace eine deutliche Verbesserung der Leistung und Privatsphäre und gibt dem Träger die Möglichkeit, ein weniger auffälliges Gerät am Hals zu tragen.
Zusätzlich zum potenziellen Emotion-Tracking sieht Zhang hierfür viele Anwendungsmöglichkeiten Technologie: virtuelle Konferenzen, wenn eine Frontkamera keine Option ist; Erkennung von Gesichtsausdrücken in Virtual-Reality-Szenarien; und stille Spracherkennung.
„Das ultimative Ziel besteht darin, dass der Benutzer in der Lage ist, sein eigenes Verhalten durch kontinuierliches Nachverfolgen von Gesichtsbewegungen zu verfolgen“, sagte Zhang, leitender Forscher des SciFi Lab. „Und das kann uns hoffentlich viele Informationen über Ihre körperliche Aktivität und Ihre geistigen Aktivitäten geben.“
Guimbretière sagte, dass NeckFace auch das Potenzial hat, Videokonferenzen zu verändern.
„Der Benutzer müsste nicht darauf achten, im Sichtfeld einer Kamera zu bleiben“, sagte er. „Stattdessen kann NeckFace den perfekten Kopfschuss nachbilden, wenn wir uns in einem Klassenzimmer bewegen oder sogar nach draußen gehen, um einen Spaziergang mit einem entfernten Freund zu teilen.“
Um die Wirksamkeit von NeckFace zu testen, führten Zhang und seine Mitarbeiter eine Benutzerstudie mit 13 Teilnehmern durch, von denen jeder gebeten wurde, acht Gesichtsausdrücke im Sitzen und acht weitere beim Gehen auszuführen. In den sitzenden Szenarien wurden die Teilnehmer auch gebeten, den Kopf während der Mimik zu drehen und das Gerät in einer Sitzung zu entfernen und wieder zu montieren.
NeckFace wurde in zwei Ausführungen getestet: ein Nackenband, das mit Doppelkameras knapp unterhalb des Schlüsselbeins um den Nacken drapiert wird; und eine intelligente Halskette mit einem anhängerartigen Infrarot (IR)-Kameragerät, das unter dem Hals hängt.
Die Gruppe sammelte grundlegende Gesichtsbewegungsdaten mit der TrueDepth 3D-Kamera auf einem iPhone X und verglich diese dann mit den mit NeckFace gesammelten Daten. Zwischen den Gesichtsausdrücken im Sitzen, Gehen und Aufsteigen drückten die Studienteilnehmer insgesamt 52 Gesichtsformen aus.
Anhand von Berechnungen mit Deep Learning stellte die Gruppe fest, dass NeckFace Gesichtsbewegungen mit fast der gleichen Genauigkeit wie die direkten Messungen mit der Telefonkamera erkannte. Das Nackenband erwies sich als genauer als die intelligente Halskette, sagten die Forscher, möglicherweise weil zwei Kameras am Nackenband mehr Informationen von beiden Seiten erfassen konnten als die mittig angebrachte Halskettenkamera.
Zhang sagte, dass das Gerät, wenn es optimiert ist, besonders im Bereich der psychischen Gesundheit nützlich sein könnte, um die Emotionen der Menschen im Laufe eines Tages zu verfolgen. Obwohl die Menschen ihre Emotionen nicht immer im Gesicht tragen, könnte die Veränderung des Gesichtsausdrucks im Laufe der Zeit auf emotionale Schwankungen hinweisen.
„Können wir tatsächlich sehen, wie sich deine Emotionen im Laufe des Tages ändern?“ er sagte. "Mit diesem Technologie, könnten wir eine Datenbank darüber haben, wie es Ihnen den ganzen Tag über körperlich und geistig geht, und das bedeutet, dass Sie Ihr eigenes Verhalten verfolgen können. Und auch ein Arzt könnte die Informationen verwenden, um eine Entscheidung zu unterstützen.“
