In de afgelopen decennia hebben computerwetenschappers een breed scala aan modellen en benaderingen ontwikkeld om verschillende aspecten van menselijk gedrag en communicatie, zoals spraak, emoties en gebaren, te analyseren. De meeste bestaande technieken voor handgebarenherkenning zijn gebaseerd op het gebruik van draagbare technologieën met een enkele a sensor en kan slechts een beperkt aantal basisgebaren herkennen.
Onderzoekers van de Comenius Universiteit Bratislava in Slowakije hebben onlangs WaveGlove ontwikkeld, een nieuw systeem voor handgebarenherkenning dat gebruik maakt van meerdere traagheidssensoren in plaats van een enkele sensor. Dit nieuwe systeem is in wezen een handschoen met een traagheidssensor op elk van zijn vingers.
"Ons recente artikel toont het gebruik van meerdere traagheidssensoren voor handgebarenherkenning (HGR)", vertelde een van de onderzoekers die het onderzoek uitvoerden. "Door een op maat gemaakt hardware-prototype te bouwen en een nieuw op Transformer gebaseerd model voor te stellen (een netwerkarchitectuur die veel succes had bij de verwerking van natuurlijke taal), laten we zien dat het gebruik van meerdere sensoren een significant effect kan hebben op de nauwkeurigheid van de classificatie en het mogelijk maakt voor een rijker vocabulaire van gebaren.”
Met behulp van WaveGlove, het handgebarenherkenningssysteem dat ze ontwikkelden, konden de onderzoekers twee datasets verkrijgen met meer dan 11000 handgebarenvoorbeelden. Vervolgens ontwierpen ze twee verschillende gebarenvocabulaires, een met 8 hele handbewegingen (WaveGlove-single) en een andere met 10 meer complexe, zorgvuldig ontworpen handgebaren, waarvoor individuele vingers anders bewegen (WaveGlove-multi).
De aanwezigheid van meerdere sensoren stelt ons in staat om een rijker vocabulaire van gebaren te ontwerpen en te classificeren in vergelijking met enkele handsensoren. Gebaren die we classificeren met behulp van meerdere sensoren zijn vergelijkbaar met de gebaren die we al in ons dagelijks leven gebruiken. Dit maakt het gebruik van een apparaat als WaveGlove makkelijker en natuurlijker.
Naast het samenstellen van datasets van handgebaren en het bevestigen van de effectiviteit van het WaveGlove-systeem, hebben de onderzoekers meer dan 10 classificatiemethoden voor handgebarenherkenning gebenchmarkt, waarvan sommige ze hadden ontwikkeld als onderdeel van hun eerdere onderzoek. Ze evalueerden deze methoden op tal van verschillende datasets, omdat ze hoopten dat dit zou helpen om de resultaten op het gebied van handgebarenherkenning te standaardiseren.
De bevindingen die door dit team van onderzoekers zijn verzameld, kunnen tal van waardevolle implicaties hebben. Ten eerste zou hun werk kunnen bijdragen aan onderzoek gericht op handgebarenherkenning en kunnen helpen om bestaande systemen te verbeteren. Ten tweede kan het WaveGlove-prototype dat ze hebben gemaakt uiteindelijk worden gebruikt om de communicatie tussen mensen en machines, waardoor de laatste menselijke handgebaren beter kan interpreteren.