За последние несколько десятилетий компьютерные ученые разработали широкий спектр моделей и подходов для анализа различных аспектов человеческого поведения и общения, таких как речь, эмоции и жесты. Большинство существующих методов распознавания жестов рук основаны на использовании носимых технологий с одним датчик и может распознавать только ограниченное количество основных жестов.
Исследователи из Университета Коменского в Братиславе в Словакии недавно разработали WaveGlove, новую систему распознавания жестов рук, в которой вместо одного датчика используется несколько инерциальных датчиков. Эта новая система представляет собой перчатку с инерционным датчиком на каждом пальце.
«Наша недавняя статья демонстрирует использование нескольких инерциальных датчиков для распознавания жестов рук (HGR)», - сказал один из исследователей, проводивших исследование. «Создав индивидуальный прототип оборудования и предложив новую модель на основе трансформатора (сетевая архитектура, которая имела большой успех в задачах обработки естественного языка), мы демонстрируем, что использование нескольких датчиков может существенно повлиять на точность классификации и позволяет для более богатого словарного запаса жестов ».
Используя WaveGlove, созданную ими систему распознавания жестов рук, исследователи смогли получить два набора данных, содержащих более 11000 образцов жестов рук. Затем они разработали два разных словаря жестов, один из которых содержит 8 движений всей рукой (WaveGlove-single), а другой - 10 более сложных, тщательно разработанных жестов рук, для которых отдельные пальцы двигаются по-разному (WaveGlove-multi).
Наличие нескольких датчиков позволяет нам разрабатывать и классифицировать более богатый словарь жестов по сравнению с отдельными портативными датчиками. Жесты, которые мы классифицируем с помощью нескольких датчиков, аналогичны тем, которые мы уже используем в нашей повседневной жизни. Это делает использование такого устройства, как WaveGlove, более простым и естественным.
Помимо сбора данных о жестах рук и подтверждения эффективности системы WaveGlove, исследователи протестировали более 10 методов классификации для распознавания жестов рук, некоторые из которых они разработали в рамках своего предыдущего исследования. Они оценили эти методы на множестве различных наборов данных, так как надеялись, что это поможет стандартизировать результаты в области распознавания жестов рук.
Результаты, собранные этой группой исследователей, могут иметь множество ценных значений. Во-первых, их работа может послужить источником информации для исследований, посвященных распознаванию жестов рук, и помочь улучшить существующие системы. Во-вторых, созданный ими прототип WaveGlove в конечном итоге может быть использован для улучшения связи между людьми и и машины всегда новые для производства лучших продуктов., позволяя последнему лучше интерпретировать жесты рук человека.