Движения лица человека передают эмоции и помогают нам невербально общаться и выполнять физические действия, такие как еда и питье. Отслеживание движений лица и, возможно, их причины - одно из предлагаемых приложений для NeckFace, одной из первых интеллектуальных технологий носимых датчиков типа ожерелья. Команда под руководством Ченга Чжана, доцента информатики в Колледже компьютерных и информационных наук Корнелл-Энн С. Бауэрс, разработала NeckFace, которая может непрерывно отслеживать выражение лица в полном объеме с помощью инфракрасных камер для захвата изображений подбородка и лица. под шеей. Их работа подробно описана в статье «Лицо шеи: постоянное отслеживание полного выражения лица на носимых устройствах на шее».
NeckFace - это следующее поколение предыдущей работы Чжана, результатом которой стало создание C-Face, аналогичного устройства, но в формате гарнитуры. Чжан сказал, что NeckFace обеспечивает значительное улучшение производительности и конфиденциальности, а также дает пользователю возможность использовать менее заметное устройство для крепления на шее.
Помимо потенциального отслеживания эмоций, Чжан видит для этого множество применений. technology: виртуальная конференция, когда фронтальная камера невозможна; обнаружение выражения лица в сценариях виртуальной реальности; и распознавание тихой речи.
«Конечная цель - дать пользователю возможность отслеживать собственное поведение посредством непрерывного отслеживания движений лица», - сказал Чжан, главный исследователь SciFi Lab. «И, надеюсь, это может дать нам много информации о вашей физической и умственной активности».
Гимбретьер сказал, что NeckFace также может изменить видеоконференцсвязь.
«Пользователю не нужно быть осторожным, чтобы оставаться в поле зрения камеры», - сказал он. «Вместо этого NeckFace может воссоздать идеальный снимок головы, когда мы передвигаемся по классу или даже выходим на улицу, чтобы прогуляться с дальним другом».
Чтобы проверить эффективность NeckFace, Чжан и его сотрудники провели пользовательское исследование с 13 участниками, каждому из которых было предложено выполнить восемь выражений лица сидя и еще восемь во время ходьбы. В сценариях сидя участников также просили повернуть голову во время выражения лица, а также снять и снова установить устройство за один сеанс.
NeckFace был протестирован в двух вариантах: шейный ободок, накиданный на шею сзади с двумя камерами чуть ниже уровня ключицы; и умное ожерелье с подвесной инфракрасной (ИК) камерой, подвешенной ниже шеи.
Группа собрала базовые данные о движениях лица с помощью 3D-камеры TrueDepth на iPhone X, а затем сравнила их с данными, собранными с помощью NeckFace. В период между сидением, ходьбой и повторной посадкой участники исследования выразили в общей сложности 52 формы лица.
Используя вычисления с использованием глубокого обучения, группа определила, что NeckFace обнаруживает движения лица почти с той же точностью, что и прямые измерения с помощью камеры телефона. По словам исследователей, ободок оказался более точным, чем умное ожерелье, возможно, потому, что две камеры на ободке могли захватывать больше информации с обеих сторон, чем камера, установленная в центре ожерелья.
Чжан сказал, что оптимизированное устройство может быть особенно полезным в сфере психического здоровья для отслеживания эмоций людей в течение дня. По его словам, хотя люди не всегда выражают свои эмоции на лице, степень изменения выражения лица со временем может указывать на эмоциональные колебания.
«Можем ли мы на самом деле увидеть, как ваши эмоции меняются в течение дня?» он сказал. "С этим technology, у нас может быть база данных о том, как вы занимаетесь физически и психологически в течение дня, а это значит, что вы можете отслеживать свое собственное поведение. Кроме того, врач может использовать эту информацию для обоснования своего решения ».
