Optische Musikerkennung mit Convolutional Neural Network

Update: 9. Dezember 2023

Die optische Zeichenerkennung (OCR) wird häufig verwendet verkaufen Der Text in gescannten Dokumenten in eine durchsuchbare und bearbeitbare Form auf dem Computer zu bringen, ist eine bewährte Digitalisierungstechnik. Aber was ist mit anderen Arten bedeutungsvoller Dokumente, wie zum Beispiel Musikmanuskripten?

Ein neuer Ansatz, der von einem Team der Bina Nusantara University in Jakarta, Indonesien, entwickelt wurde, verwendet tiefes maschinelles Lernen und ein neuronales Faltungsnetzwerk, das darauf trainiert wurde, die Nuancen der musikalischen Notation bekannter Manuskripte zu erkennen. Der Algorithmus kann dann ein neu präsentiertes Musikmanuskript mit einer Genauigkeit von 8 Prozent in eine digitalisierte Form umwandeln. Selbst auf dieser Ebene reduziert dies den manuellen Eingabe- und Korrekturaufwand für die Konvertierung eines Manuskripts erheblich.

Das System erfordert, dass Notenschlüssel, Notensystem und Tonart in Position sind, aber diese können leicht in einer Vorlage zugewiesen werden. Die Konvertierung eines gescannten Manuskripts erkennt dann die Position auf der Notenzeile jeder Note und definiert so die Tonhöhe. Der nächste Schritt besteht darin, einen parallelen Algorithmus zu verwenden, um die Dauer jeder Note zu erkennen und die Position von Schweigen, Pausen und anderen solchen Merkmalen eines Manuskripts zu identifizieren.

Ist es einmal vollständig digitalisiert, ist es mit heutiger Software eine triviale Angelegenheit, das Manuskript mit allen möglichen Instrumentalklängen am Computer zu „spielen“ oder gar eine lyrische Partitur mit der Musik zu korrelieren und den Computer das Lied „singen“ zu lassen. OMR wird, wenn es einmal ausgereift ist, viele Anwendungen in der Archivierung von Musikmanuskripten, in der Aufführung von Musik und in der Musikausbildung haben. Das Team schlägt vor, dass ihr Ansatz es Software-"App"-Entwicklern ermöglichen könnte, ein Programm für Smartphone oder Tablet, damit jeder schnell ein Notenblatt scannen und an diesem Manuskript OMR durchführen kann.