Nas últimas décadas, os cientistas da computação desenvolveram uma ampla gama de modelos e abordagens para analisar diferentes aspectos do comportamento humano e da comunicação, como fala, emoções e gestos. A maioria das técnicas existentes para reconhecimento de gestos manuais dependem do uso de tecnologias vestíveis com um único sensor e só pode reconhecer um número limitado de gestos básicos.
Pesquisadores da Comenius University Bratislava, na Eslováquia, desenvolveram recentemente o WaveGlove, um novo sistema para reconhecimento de gestos manuais que utiliza vários sensores inerciais, em vez de um único sensor. Este novo sistema é essencialmente uma luva com um sensor inercial colocado em cada um de seus dedos.
“Nosso artigo recente mostra o uso de vários sensores inerciais para reconhecimento de gestos com as mãos (HGR)”, disse um dos pesquisadores que realizou o estudo. “Ao construir um protótipo de hardware personalizado e propor um novo modelo baseado em Transformer (uma arquitetura de rede, que teve muito sucesso em tarefas de processamento de linguagem natural), demonstramos que o uso de vários sensores pode ter um efeito significativo na precisão da classificação e permite para um vocabulário mais rico de gestos. ”
Usando WaveGlove, o sistema de reconhecimento de gestos de mão que eles criaram, os pesquisadores foram capazes de adquirir dois conjuntos de dados contendo mais de 11000 amostras de gestos de mão. Eles então criaram dois vocabulários de gestos diferentes, um contendo 8 movimentos de mão inteira (WaveGlove-single) e outro contendo 10 gestos de mão mais complexos e cuidadosamente projetados, para os quais dedos individuais se movem de forma diferente (WaveGlove-multi).
A presença de vários sensores nos permite projetar e classificar um vocabulário mais rico de gestos em comparação com sensores portáteis individuais. Os gestos que classificamos usando vários sensores são semelhantes aos que já usamos em nosso dia a dia. Isso torna o uso de um dispositivo como o WaveGlove mais fácil e natural.
Além de compilar conjuntos de dados de gestos manuais e confirmar a eficácia do sistema WaveGlove, os pesquisadores compararam mais de 10 métodos de classificação para reconhecimento de gestos manuais, alguns dos quais desenvolveram como parte de sua pesquisa anterior. Eles avaliaram esses métodos em vários conjuntos de dados diferentes, pois esperavam que isso ajudasse a padronizar os resultados no campo do reconhecimento de gestos manuais.
As descobertas reunidas por esta equipe de pesquisadores podem ter inúmeras implicações valiosas. Em primeiro lugar, seu trabalho poderia informar pesquisas com foco no reconhecimento de gestos das mãos e ajudar a aprimorar os sistemas existentes. Em segundo lugar, o protótipo WaveGlove que eles criaram poderia, em última análise, ser usado para melhorar a comunicação entre humanos e máquinas, permitindo que o último interprete melhor os gestos das mãos humanas.