Trong vài thập kỷ qua, các nhà khoa học máy tính đã phát triển một loạt các mô hình và phương pháp tiếp cận để phân tích các khía cạnh khác nhau của hành vi và giao tiếp của con người, chẳng hạn như lời nói, cảm xúc và cử chỉ. Hầu hết các kỹ thuật hiện có để nhận dạng cử chỉ tay đều dựa vào việc sử dụng các công nghệ có thể đeo được với một cảm biến và chỉ có thể nhận ra một số cử chỉ cơ bản hạn chế.
Các nhà nghiên cứu tại Đại học Comenius Bratislava ở Slovakia gần đây đã phát triển WaveGlove, một hệ thống mới để nhận dạng cử chỉ tay sử dụng nhiều cảm biến quán tính, thay vì một cảm biến duy nhất. Hệ thống mới này thực chất là một chiếc găng tay với cảm biến quán tính được đặt trên mỗi ngón tay của nó.
“Bài báo gần đây của chúng tôi giới thiệu việc sử dụng nhiều cảm biến quán tính để nhận dạng cử chỉ tay (HGR),” một trong những nhà nghiên cứu thực hiện nghiên cứu cho biết. “Bằng cách xây dựng một nguyên mẫu phần cứng tùy chỉnh và đề xuất một mô hình dựa trên Transformer mới (một kiến trúc mạng, đã thành công trong các tác vụ xử lý ngôn ngữ tự nhiên), chúng tôi chứng minh rằng việc sử dụng nhiều cảm biến có thể có ảnh hưởng đáng kể đến độ chính xác của phân loại và cho phép để có vốn từ vựng phong phú hơn về cử chỉ. "
Sử dụng WaveGlove, hệ thống nhận dạng cử chỉ tay do họ tạo ra, các nhà nghiên cứu có thể thu được hai bộ dữ liệu chứa hơn 11000 mẫu cử chỉ tay. Sau đó, họ thiết kế hai từ vựng cử chỉ khác nhau, một từ vựng chứa 8 cử chỉ của cả bàn tay (WaveGlove-đơn) và một từ vựng khác chứa 10 cử chỉ tay phức tạp hơn, được thiết kế cẩn thận, trong đó các ngón tay di chuyển khác nhau (WaveGlove-multi).
Sự hiện diện của nhiều cảm biến cho phép chúng tôi thiết kế và phân loại vốn từ vựng về cử chỉ phong phú hơn so với các cảm biến cầm tay đơn lẻ. Những cử chỉ mà chúng tôi phân loại bằng cách sử dụng nhiều cảm biến tương tự như những cử chỉ mà chúng tôi đã sử dụng trong cuộc sống hàng ngày. Điều này làm cho việc sử dụng một thiết bị như WaveGlove dễ dàng và tự nhiên hơn.
Ngoài việc biên soạn bộ dữ liệu về cử chỉ tay và xác nhận tính hiệu quả của hệ thống WaveGlove, các nhà nghiên cứu đã chuẩn hóa hơn 10 phương pháp phân loại để nhận dạng cử chỉ tay, một số trong số đó họ đã phát triển như một phần của nghiên cứu trước đó. Họ đã đánh giá các phương pháp này trên nhiều bộ dữ liệu khác nhau, vì họ hy vọng rằng điều này sẽ giúp chuẩn hóa các kết quả trong lĩnh vực nhận dạng cử chỉ tay.
Những phát hiện được thu thập bởi nhóm các nhà nghiên cứu này có thể có nhiều ý nghĩa có giá trị. Thứ nhất, công việc của họ có thể cung cấp thông tin cho nghiên cứu tập trung vào nhận dạng cử chỉ tay và giúp cải thiện các hệ thống hiện có. Thứ hai, nguyên mẫu WaveGlove mà họ tạo ra cuối cùng có thể được sử dụng để cải thiện thông tin liên lạc giữa con người và máy, cho phép sau này giải thích tốt hơn các cử chỉ tay của con người.