Reconocimiento óptico de música con red neuronal convolucional

Actualización: 9 de diciembre de 2023

El reconocimiento óptico de caracteres (OCR) comúnmente utilizado para convertir Convertir el texto de los documentos escaneados en un formato editable y con capacidad de búsqueda en la computadora es una técnica de digitalización bien establecida. Pero, ¿qué pasa con otro tipo de documentos ricos en significado, como los manuscritos musicales?

Un nuevo enfoque desarrollado por un equipo de la Universidad de Bina Nusantara en Yakarta, Indonesia, utiliza el aprendizaje automático profundo y una red neuronal convolucional entrenada para reconocer los matices de la notación musical en manuscritos conocidos. Luego, el algoritmo puede convertir un manuscrito musical recién presentado en una forma digitalizada con un 8 por ciento de precisión. Incluso en este nivel, esto reduce en gran medida la cantidad de entrada manual y corrección necesaria para convertir un manuscrito.

El sistema requiere que la clave, el pentagrama y la clave musical estén en posición, pero estos se asignan fácilmente en una plantilla. La conversión de un manuscrito escaneado detecta la posición en el pentagrama de cada nota, definiendo así el tono. El siguiente paso será utilizar un algoritmo paralelo para detectar la duración de cada nota e identificar la posición de los silencios, silencios y otras características similares de un manuscrito.

Una vez completamente digitalizado, dado el software actual, es una cuestión trivial usar la computadora para "reproducir" el manuscrito usando todo tipo de sonidos instrumentales o incluso para correlacionar una partitura lírica con la música y hacer que la computadora "cante" la canción. OMR, una vez que esté maduro, tendrá muchas aplicaciones en el archivo de manuscritos musicales, en la interpretación musical y en la educación musical. El equipo sugiere que su enfoque podría permitir a los desarrolladores de "aplicaciones" de software escribir un programa para teléfono inteligente o tableta para permitirle a cualquiera escanear rápidamente una partitura, por ejemplo, y realizar OMR en ese manuscrito.