Reconnaissance optique de la musique avec réseau de neurones convolutifs

Mise à jour : 9 décembre 2023

La reconnaissance optique de caractères (OCR) couramment utilisée pour convertir Le texte des documents numérisés sous une forme consultable et modifiable sur l'ordinateur est une technique de numérisation bien établie. Mais qu’en est-il d’autres types de documents, riches de sens, comme les manuscrits musicaux ?

Une nouvelle approche développée par une équipe de l'Université Bina Nusantara à Jakarta, en Indonésie, utilise l'apprentissage automatique en profondeur et un réseau de neurones convolutifs formé pour reconnaître la nuance de la notation musicale sur les manuscrits connus. L'algorithme peut ensuite convertir un manuscrit musical nouvellement présenté en une forme numérisée avec une précision de 8 %. Même à ce niveau, cela réduit considérablement la quantité de saisie manuelle et de correction nécessaire pour convertir un manuscrit.

Le système nécessite que la clé, la portée et la clé musicale soient en place, mais celles-ci sont facilement attribuées dans un modèle. La conversion d'un manuscrit scanné détecte alors la position sur la portée de chaque note, définissant ainsi la hauteur. La prochaine étape consistera à utiliser un algorithme parallèle pour détecter la durée de chaque note et pour identifier la position des silences, des silences et d'autres caractéristiques d'un manuscrit.

Une fois entièrement numérisé, étant donné les logiciels actuels, il est trivial d'utiliser l'ordinateur pour « jouer » le manuscrit en utilisant toutes sortes de sons instrumentaux ou même pour corréler une partition lyrique avec la musique et faire « chanter » la chanson par l'ordinateur. L'OMR, une fois mature, aura de nombreuses applications dans l'archivage de manuscrits musicaux, dans l'interprétation de la musique et dans l'éducation musicale. L'équipe suggère que leur approche pourrait permettre aux développeurs de logiciels d'« applications » d'écrire un programme pour smartphone ou tablette pour permettre à quiconque de numériser rapidement une partition, par exemple, et d'effectuer une OMR sur ce manuscrit.