สร้อยคออัจฉริยะสามารถติดตามการแสดงออกทางสีหน้าของคุณอย่างละเอียด

การเคลื่อนไหวของใบหน้าของมนุษย์ถ่ายทอดอารมณ์ และช่วยให้เราสื่อสารโดยไม่ใช้คำพูดและทำกิจกรรมทางกาย เช่น การกินและดื่ม การติดตามการเคลื่อนไหวของใบหน้าและสาเหตุอาจเป็นหนึ่งในแอปพลิเคชั่นที่เสนอสำหรับ NeckFace ซึ่งเป็นหนึ่งในเทคโนโลยีการตรวจจับแบบสวมใส่ได้แบบสร้อยคออัจฉริยะเครื่องแรก ทีมที่นำโดย Cheng Zhang ผู้ช่วยศาสตราจารย์ด้านวิทยาการสารสนเทศในวิทยาลัยคอมพิวเตอร์และสารสนเทศ Cornell Ann S. Bowers ได้พัฒนา NeckFace ซึ่งสามารถติดตามการแสดงออกทางสีหน้าได้อย่างต่อเนื่องโดยใช้กล้องอินฟราเรดเพื่อจับภาพคางและใบหน้าจาก ใต้คอ งานของพวกเขามีรายละเอียดใน “NeckFace: การติดตามการแสดงออกทางสีหน้าแบบเต็มอย่างต่อเนื่องบนอุปกรณ์สวมใส่ที่คอ”

NeckFace เป็นผลงานก่อนหน้าของ Zhang รุ่นต่อไป ซึ่งส่งผลให้ C-Face ซึ่งเป็นอุปกรณ์ที่คล้ายกันแต่อยู่ในรูปแบบชุดหูฟัง Zhang กล่าวว่า NeckFace ให้การปรับปรุงที่สำคัญในด้านประสิทธิภาพและความเป็นส่วนตัว และทำให้ผู้สวมใส่มีทางเลือกในการติดตั้งอุปกรณ์ที่คอที่ไม่เกะกะ

นอกเหนือจากการติดตามอารมณ์ที่อาจเกิดขึ้นแล้ว Zhang ยังมองเห็นการใช้งานหลายอย่างสำหรับสิ่งนี้ เทคโนโลยี: การประชุมเสมือนจริงเมื่อกล้องหน้าไม่ใช่ตัวเลือก การตรวจจับการแสดงออกทางสีหน้าในสถานการณ์เสมือนจริง และการรู้จำเสียงพูดแบบเงียบ

"เป้าหมายสูงสุดคือการที่ผู้ใช้สามารถติดตามพฤติกรรมของตนเองผ่านการติดตามการเคลื่อนไหวของใบหน้าได้อย่างต่อเนื่อง" Zhang นักวิจัยหลักของ SciFi Lab กล่าว "และหวังว่าจะสามารถบอกข้อมูลมากมายเกี่ยวกับกิจกรรมทางกายและกิจกรรมทางจิตของคุณ"

Guimbretièreกล่าวว่า NeckFace ยังมีศักยภาพในการเปลี่ยนแปลงการประชุมทางวิดีโอ

“ผู้ใช้จะไม่ต้องระมัดระวังในการอยู่ในระยะการมองเห็นของกล้อง” เขากล่าว "แต่ NeckFace สามารถสร้างภาพศีรษะที่สมบูรณ์แบบได้เมื่อเราเดินไปรอบๆ ในห้องเรียน หรือแม้กระทั่งออกไปเดินเล่นกับเพื่อนที่อยู่ห่างไกลกัน"

เพื่อทดสอบประสิทธิภาพของ NeckFace Zhang และผู้ทำงานร่วมกันได้ทำการศึกษาผู้ใช้กับผู้เข้าร่วม 13 คน แต่ละคนถูกขอให้แสดงสีหน้า XNUMX ครั้งขณะนั่งและอีก XNUMX ครั้งขณะเดิน ในสถานการณ์นั่ง ผู้เข้าร่วมยังถูกขอให้หมุนศีรษะขณะแสดงสีหน้า และถอดและติดตั้งอุปกรณ์อีกครั้งในเซสชันเดียว

NeckFace ได้รับการทดสอบในสองแบบ: สายคล้องคอที่พาดรอบด้านหลังคอด้วยกล้องคู่ที่อยู่ต่ำกว่าระดับกระดูกไหปลาร้า และสร้อยคออัจฉริยะที่มีอุปกรณ์กล้องอินฟราเรดแบบจี้ห้อยอยู่ใต้คอ

กลุ่มรวบรวมข้อมูลการเคลื่อนไหวของใบหน้าพื้นฐานโดยใช้กล้อง TrueDepth 3D บน iPhone X จากนั้นเปรียบเทียบกับข้อมูลที่รวบรวมด้วย NeckFace ระหว่างท่าทางการนั่ง การเดิน และการขึ้นเขียง ผู้เข้าร่วมการศึกษาได้แสดงรูปร่างใบหน้าทั้งหมด 52 แบบ

เมื่อใช้การคำนวณที่เกี่ยวข้องกับการเรียนรู้เชิงลึก กลุ่มนี้ระบุว่า NeckFace ตรวจพบการเคลื่อนไหวของใบหน้าด้วยความแม่นยำเกือบเท่ากับการวัดโดยตรงโดยใช้กล้องของโทรศัพท์ นักวิจัยกล่าวว่าสายคล้องคอนั้นแม่นยำกว่าสร้อยคออัจฉริยะ อาจเป็นเพราะกล้องสองตัวบนสายคล้องคอสามารถจับข้อมูลจากทั้งสองด้านได้มากกว่ากล้องสร้อยคอแบบติดตั้งตรงกลาง

จางกล่าวว่าอุปกรณ์ดังกล่าวเมื่อปรับให้เหมาะสมแล้ว อาจมีประโยชน์อย่างยิ่งในด้านสุขภาพจิต สำหรับการติดตามอารมณ์ของผู้คนในช่วงเวลาหนึ่งวัน แม้ว่าผู้คนจะไม่ได้แสดงอารมณ์บนใบหน้าเสมอไปก็ตาม เขากล่าว ปริมาณการแสดงออกทางสีหน้าที่เปลี่ยนไปเมื่อเวลาผ่านไปอาจบ่งบอกถึงอารมณ์แปรปรวน

“เราจะเห็นได้อย่างไรว่าอารมณ์ของคุณเปลี่ยนแปลงไปตลอดทั้งวันหรือไม่” เขาพูดว่า. "ด้วยสิ่งนี้ เทคโนโลยีเราอาจมีฐานข้อมูลเกี่ยวกับการปฏิบัติตัวของคุณทั้งทางร่างกายและจิตใจตลอดทั้งวัน และนั่นหมายความว่าคุณสามารถติดตามพฤติกรรมของคุณเองได้ และแพทย์สามารถใช้ข้อมูลเพื่อสนับสนุนการตัดสินใจได้”