Reconhecimento óptico de música com rede neural convolucional

Atualização: 9 de dezembro de 2023

Reconhecimento óptico de caracteres (OCR) comumente usado para converter transformar o texto em documentos digitalizados em um formato pesquisável e editável no computador é uma técnica de digitalização bem estabelecida. Mas e outros tipos de documentos ricos em significado, como os manuscritos musicais?

Uma nova abordagem desenvolvida por uma equipe da Universidade Bina Nusantara em Jacarta, Indonésia, usa aprendizado de máquina profundo e uma rede neural convolucional treinada para reconhecer as nuances da notação musical em manuscritos conhecidos. O algoritmo pode então converter um manuscrito musical recém-apresentado em uma forma digitalizada com 8 por cento de precisão. Mesmo neste nível, isso reduz muito a quantidade de entrada manual e correção necessária para converter um manuscrito.

O sistema requer clave, pauta e chave musical para estar em posição, mas estes são facilmente atribuídos em um modelo. A conversão de um manuscrito digitalizado detecta então a posição de cada nota na pauta, definindo assim o tom. O próximo passo será usar um algoritmo paralelo para detectar a duração de cada nota e identificar a posição dos silêncios, pausas e outras características de um manuscrito.

Uma vez totalmente digitalizado, é, com base no software atual, uma tarefa trivial usar o computador para "tocar" o manuscrito usando todos os tipos de sons instrumentais ou mesmo para correlacionar uma partitura lírica com a música e fazer com que o computador "cante" a canção. OMR, uma vez maduro, terá muitas aplicações no arquivamento de manuscritos musicais, na execução musical e na educação musical. A equipe sugere que sua abordagem pode permitir que os desenvolvedores de "aplicativos" de software escrevam um programa para smartphones ou tablet para permitir que qualquer pessoa escaneie rapidamente uma partitura, por exemplo, e execute OMR naquele manuscrito.