Optische muziekherkenning met convolutioneel neuraal netwerk

Update: 9 december 2023

Optische tekenherkenning (OCR) wordt vaak gebruikt converteren het omzetten van tekst in gescande documenten in een doorzoekbare en bewerkbare vorm op de computer is een beproefde digitaliseringstechniek. Maar hoe zit het met andere soorten documenten, rijk aan betekenis, zoals muziekmanuscripten?

Een nieuwe aanpak ontwikkeld door een team van de Bina Nusantara University in Jakarta, Indonesië, maakt gebruik van diepgaande machine learning en een convolutioneel neuraal netwerk dat is getraind om de nuance van muzieknotatie op bekende manuscripten te herkennen. Het algoritme kan vervolgens een nieuw gepresenteerd muzikaal manuscript omzetten in een gedigitaliseerde vorm met een nauwkeurigheid van 8 procent. Zelfs op dit niveau vermindert dit de hoeveelheid handmatige invoer en correctie die nodig is om een ​​manuscript te converteren aanzienlijk.

Het systeem vereist dat de sleutel, notenbalk en muzieksleutel op hun plaats zitten, maar deze kunnen eenvoudig worden toegewezen in een sjabloon. De conversie van een gescand manuscript detecteert vervolgens de positie op de notenbalk van elke noot, waardoor de toonhoogte wordt gedefinieerd. De volgende stap zal zijn om een ​​parallel algoritme te gebruiken om de duur van elke noot te detecteren en om de positie van stiltes, rusten en andere soortgelijke kenmerken van een manuscript te identificeren.

Eenmaal volledig gedigitaliseerd is het, gezien de huidige software, een triviale zaak om de computer te gebruiken om het manuscript te "spelen" met allerlei instrumentale geluiden of zelfs om een ​​tekstscore met de muziek te correleren en de computer het lied te laten "zingen". OMR, eenmaal volwassen, zal veel toepassingen hebben bij het archiveren van muzikale manuscripten, bij de uitvoering van muziek en bij muziekeducatie. Het team suggereert dat hun aanpak software-app-ontwikkelaars in staat zou kunnen stellen een programma te schrijven voor smartphone of tablet om bijvoorbeeld snel een bladmuziek te scannen en OMR op dat manuscript uit te voeren.