İnsan yüz hareketleri duyguları aktarır ve sözsüz iletişim kurmamıza ve yeme, içme gibi fiziksel aktiviteleri gerçekleştirmemize yardımcı olur. Yüz hareketlerini ve muhtemelen nedenlerini takip etmek, ilk akıllı kolye tipi giyilebilir algılama teknolojilerinden biri olan NeckFace için önerilen uygulamalardan biridir. Cornell Ann S. Bowers Bilgisayar ve Bilgi Bilimi Koleji'nde bilgi bilimi alanında yardımcı doçent olan Cheng Zhang liderliğindeki bir ekip, çene ve yüz görüntülerini yakalamak için kızılötesi kameralar kullanarak tam yüz ifadelerini sürekli olarak takip edebilen NeckFace'i geliştirdi. boynun altında. Çalışmaları "NeckFace: Boyuna Monte Giyilebilir Cihazlarda Tam Yüz İfadelerini Sürekli Takip Etme" başlıklı makalede ayrıntılı olarak açıklanmıştır.
NeckFace, Zhang'ın benzer bir cihaz olan ancak kulaklık formatındaki C-Face ile sonuçlanan önceki çalışmasının yeni neslidir. Zhang, NeckFace'in performans ve mahremiyette önemli bir iyileşme sağladığını ve kullanıcıya daha az rahatsız edici bir boyuna monte cihaz seçeneği sunduğunu söyledi.
Zhang, potansiyel duygu takibine ek olarak bunun için birçok uygulama görüyor teknoloji: Öne bakan kameranın bir seçenek olmadığı durumlarda sanal konferans; sanal gerçeklik senaryolarında yüz ifadesi tespiti; ve sessiz konuşma tanıma.
Bilim Kurgu Laboratuvarı'nın baş araştırmacısı Zhang, "Nihai hedef, yüz hareketlerinin sürekli takibi yoluyla kullanıcının kendi davranışlarını takip edebilmesini sağlamak" dedi. "Ve bunun bize fiziksel aktiviteniz ve zihinsel aktiviteleriniz hakkında birçok bilgi verebileceğini umuyoruz."
Guimbretière, NeckFace'in aynı zamanda video konferansı değiştirme potansiyeline sahip olduğunu söyledi.
"Kullanıcının kameranın görüş alanı içinde kalmak için dikkatli olmasına gerek yok" dedi. "Bunun yerine, NeckFace biz sınıfta dolaşırken veya hatta uzaktaki bir arkadaşımızla yürüyüşe çıkmak için dışarı çıkarken mükemmel kafa vuruşunu yeniden yaratabilir."
NeckFace'in etkinliğini test etmek için Zhang ve işbirlikçileri, 13 katılımcıyla bir kullanıcı çalışması gerçekleştirdi; her birinden otururken sekiz yüz ifadesi ve yürürken sekiz yüz ifadesi daha yapması istendi. Oturma senaryolarında katılımcılardan yüz ifadelerini gerçekleştirirken başlarını döndürmeleri ve tek seansta cihazı çıkarıp tekrar takmaları istendi.
NeckFace iki tasarımda test edildi: köprücük kemiği seviyesinin hemen altında ikiz kameralarla boynun arkasına sarılmış bir boyun bandı; ve boynun altına asılan kolye benzeri kızılötesi (IR) kamera cihazının bulunduğu akıllı bir kolye.
Grup, iPhone X'taki TrueDepth 3D kamerayı kullanarak temel yüz hareketi verilerini topladı ve ardından bunları NeckFace ile toplanan verilerle karşılaştırdı. Oturma, yürüme ve yeniden binme ifadeleri arasında, çalışma katılımcıları toplam 52 yüz şeklini ifade etti.
Derin öğrenmeyi içeren hesaplamalar kullanan grup, NeckFace'in yüz hareketini telefon kamerasını kullanarak yapılan doğrudan ölçümlerle neredeyse aynı doğrulukla algıladığını belirledi. Araştırmacılar, boyun bandının akıllı kolyeden daha doğru sonuç verdiğini söyledi; bunun nedeni muhtemelen boyun bandındaki iki kameranın, merkeze monte edilmiş kolye kamerasına göre her iki taraftan daha fazla bilgi yakalayabilmesiydi.
Zhang, cihazın optimize edilmesi durumunda insanların gün içindeki duygularını takip etmek için özellikle zihinsel sağlık alanında yararlı olabileceğini söyledi. İnsanlar duygularını her zaman yüzlerine yansıtmasalar da, zamanla yüz ifadesindeki değişim miktarının duygusal dalgalanmalara işaret edebileceğini söyledi.
“Duygularınızın gün içinde nasıl değiştiğini gerçekten görebilir miyiz?” dedi. "Bununla teknoloji, gün boyunca fiziksel ve zihinsel olarak nasıl olduğunuza dair bir veri tabanına sahip olabiliriz ve bu da kendi davranışlarınızı takip edebileceğiniz anlamına gelir. Ayrıca doktor bu bilgiyi bir kararı desteklemek için kullanabilir."
