In den letzten Jahrzehnten haben Informatiker eine Vielzahl von Modellen und Ansätzen entwickelt, um verschiedene Aspekte menschlichen Verhaltens und der Kommunikation wie Sprache, Emotionen und Gesten zu analysieren. Die meisten bestehenden Techniken zur Handgestenerkennung beruhen auf der Verwendung tragbarer Technologien mit einem einzigen Sensor und kann nur eine begrenzte Anzahl grundlegender Gesten erkennen.
Forscher der Comenius-Universität Bratislava in der Slowakei haben kürzlich WaveGlove entwickelt, ein neues System zur Handgestenerkennung, das mehrere Trägheitssensoren anstelle eines einzelnen Sensors verwendet. Dieses neue System ist im Wesentlichen ein Handschuh mit einem Trägheitssensor an jedem seiner Finger.
„Unser jüngstes Papier zeigt die Verwendung mehrerer Trägheitssensoren für die Handgestenerkennung (HGR)“, sagte einer der Forscher, die die Studie durchgeführt haben. „Indem wir einen benutzerdefinierten Hardware-Prototyp bauen und ein neuartiges Transformer-basiertes Modell vorschlagen (eine Netzwerkarchitektur, die bei der Verarbeitung natürlicher Sprache sehr erfolgreich war), zeigen wir, dass die Verwendung mehrerer Sensoren einen erheblichen Einfluss auf die Klassifizierungsgenauigkeit haben kann und ermöglicht für ein reicheres Vokabular an Gesten.“
Mit WaveGlove, dem von ihnen entwickelten Handgestenerkennungssystem, konnten die Forscher zwei Datensätze mit über 11000 Handgesten-Beispielen erfassen. Anschließend entwarfen sie zwei verschiedene Gestenvokabulare, eines mit 8 Ganzhandbewegungen (WaveGlove-single) und ein weiteres mit 10 komplexeren, sorgfältig gestalteten Handgesten, bei denen sich einzelne Finger unterschiedlich bewegen (WaveGlove-multi).
Das Vorhandensein mehrerer Sensoren ermöglicht es uns, im Vergleich zu einzelnen Handheld-Sensoren ein reichhaltigeres Gestenvokabular zu entwerfen und zu klassifizieren. Gesten, die wir mit mehreren Sensoren klassifizieren, ähneln denen, die wir bereits in unserem täglichen Leben verwenden. Dies macht die Verwendung eines Geräts wie WaveGlove einfacher und natürlicher.
Neben der Zusammenstellung von Datensätzen von Handgesten und der Bestätigung der Wirksamkeit des WaveGlove-Systems haben die Forscher über 10 Klassifikationsmethoden zur Handgestenerkennung verglichen, von denen einige im Rahmen ihrer früheren Forschungen entwickelt wurden. Sie werteten diese Methoden an zahlreichen unterschiedlichen Datensätzen aus, da sie sich davon erhofften, die Ergebnisse im Bereich der Handgestenerkennung zu standardisieren.
Die von diesem Forscherteam gesammelten Ergebnisse könnten zahlreiche wertvolle Implikationen haben. Erstens könnten ihre Arbeiten in die Forschung mit dem Schwerpunkt Handgestenerkennung einfließen und dazu beitragen, bestehende Systeme zu verbessern. Zweitens könnte der von ihnen erstellte WaveGlove-Prototyp letztendlich dazu verwendet werden, die Kommunikation zwischen Menschen und Maschinen, wodurch letztere menschliche Handgesten besser interpretieren können.