Chuyển động khuôn mặt của con người truyền tải cảm xúc và giúp chúng ta giao tiếp phi ngôn ngữ và thực hiện các hoạt động thể chất, chẳng hạn như ăn uống. Theo dõi chuyển động trên khuôn mặt và có thể nguyên nhân của chúng là một trong những ứng dụng được đề xuất cho NeckFace, một trong những công nghệ cảm biến đeo được dạng vòng cổ thông minh đầu tiên. Một nhóm do Cheng Zhang, trợ lý giáo sư khoa học thông tin tại Đại học Khoa học Thông tin và Máy tính Cornell Ann S. Bowers dẫn đầu, đã phát triển NeckFace, có thể liên tục theo dõi toàn bộ nét mặt bằng cách sử dụng camera hồng ngoại để chụp ảnh cằm và khuôn mặt từ đó. dưới cổ. Công việc của họ được trình bày chi tiết trong “Khuôn mặt cổ: Theo dõi liên tục biểu cảm khuôn mặt đầy đủ trên thiết bị đeo cổ,”
NeckFace là thế hệ tiếp theo của tác phẩm trước đây của Zhang, tạo ra C-Face, một thiết bị tương tự nhưng ở dạng tai nghe. Zhang cho biết NeckFace mang lại sự cải thiện đáng kể về hiệu suất và quyền riêng tư, đồng thời cung cấp cho người đeo tùy chọn thiết bị đeo trên cổ ít gây khó chịu hơn.
Ngoài khả năng theo dõi cảm xúc tiềm năng, Zhang còn thấy nhiều ứng dụng cho việc này công nghệ: hội nghị ảo khi camera phía trước không phải là một lựa chọn; phát hiện nét mặt trong các tình huống thực tế ảo; và nhận dạng giọng nói im lặng.
Zhang, nhà điều tra chính của Phòng thí nghiệm SciFi cho biết: “Mục tiêu cuối cùng là giúp người dùng có thể theo dõi hành vi của chính họ, thông qua việc theo dõi liên tục các chuyển động trên khuôn mặt”. “Và hy vọng điều này có thể cho chúng tôi biết nhiều thông tin về hoạt động thể chất và hoạt động tinh thần của bạn.”
Guimbretière cho biết NeckFace cũng có tiềm năng thay đổi hội nghị truyền hình.
Ông nói: “Người dùng sẽ không cần phải cẩn thận khi ở trong tầm nhìn của máy ảnh. “Thay vào đó, NeckFace có thể tạo lại cảnh quay hoàn hảo khi chúng tôi di chuyển trong lớp học hoặc thậm chí đi bộ ra ngoài để đi dạo cùng một người bạn ở xa.”
Để kiểm tra tính hiệu quả của NeckFace, Zhang và các cộng tác viên đã tiến hành một nghiên cứu người dùng với 13 người tham gia, mỗi người được yêu cầu thực hiện XNUMX nét mặt khi ngồi và XNUMX nét nữa khi đi bộ. Trong các tình huống ngồi, những người tham gia cũng được yêu cầu xoay đầu trong khi thực hiện các nét mặt, đồng thời tháo và lắp lại thiết bị trong một phiên.
NeckFace đã được thử nghiệm ở hai thiết kế: dây đeo cổ, quàng quanh sau gáy với camera kép ngay dưới xương đòn; và một chiếc vòng cổ thông minh, có thiết bị camera hồng ngoại (IR) giống như mặt dây chuyền treo bên dưới cổ.
Nhóm đã thu thập dữ liệu chuyển động cơ bản trên khuôn mặt bằng camera TrueDepth 3D trên iPhone X, sau đó so sánh dữ liệu đó với dữ liệu được thu thập bằng NeckFace. Giữa các biểu hiện ngồi, đi và kể lại, những người tham gia nghiên cứu thể hiện tổng cộng 52 hình dạng khuôn mặt.
Sử dụng các tính toán liên quan đến học sâu, nhóm xác định rằng NeckFace đã phát hiện chuyển động trên khuôn mặt với độ chính xác gần như tương đương với các phép đo trực tiếp bằng camera điện thoại. Các nhà nghiên cứu cho biết, dây đeo cổ có độ chính xác cao hơn vòng cổ thông minh, có thể là do hai camera trên dây đeo cổ có thể thu được nhiều thông tin từ cả hai phía hơn so với camera đeo cổ gắn ở giữa.
Zhang cho biết thiết bị này khi được tối ưu hóa có thể đặc biệt hữu ích trong lĩnh vực sức khỏe tâm thần, giúp theo dõi cảm xúc của mọi người trong một ngày. Ông nói, mặc dù mọi người không phải lúc nào cũng thể hiện cảm xúc trên khuôn mặt nhưng mức độ thay đổi biểu cảm trên khuôn mặt theo thời gian có thể cho thấy sự thay đổi cảm xúc.
“Chúng ta có thể thực sự thấy cảm xúc của bạn thay đổi như thế nào trong suốt một ngày không?” anh ấy nói. "Với cái này công nghệ, chúng tôi có thể có cơ sở dữ liệu về tình trạng thể chất và tinh thần của bạn suốt cả ngày và điều đó có nghĩa là bạn có thể theo dõi hành vi của chính mình. Ngoài ra, bác sĩ có thể sử dụng thông tin này để hỗ trợ đưa ra quyết định.”
