基于YOLO的簡譜自動識別

基金項目：2023年江蘇省大學生創(chuàng)新創(chuàng)業(yè)項目；項目編號：202313571010Z。

作者簡介：李少春（2002— ），男，本科生；研究方向：深度學習，機械電子工程。

摘要：隨著人工智能和計算機視覺的快速發(fā)展，樂譜識別已成為音樂信息識別領域的熱點研究話題之一。文章基于YOLO算法實現了吉他簡譜的自動識別，通過識別譜面上的音符坐標，實現輸入樂譜與檢索庫樂譜集的匹配。基于YOLO模型的處理能力和匹配效果，文章提出了基于YOLO的簡譜自動識別方法，建立了音符坐標匹配模型。對簡譜識別和匹配的仿真結果表明，該方法在準確性和效率上表現出色，驗證了該方法在音樂信息檢索和簡譜識別方面的有效性。

關鍵詞：簡譜；識別；YOLO；匹配

中圖分類號：TP29" 文獻標志碼：A

0" 引言

樂譜是音樂作品的重要表達形式之一，以可視化的方式記錄音樂的旋律、和聲以及節(jié)奏。在音樂學習和創(chuàng)作中，樂譜的獲取和分析至關重要。然而，傳統(tǒng)的樂譜識別和匹配方式依賴人工操作，效率較低，容易受到人為主觀因素的影響。因此，開發(fā)一種高效、準確、客觀的簡譜自動識別方法具有重要的實際意義。

隨著計算機視覺和深度學習技術的不斷發(fā)展，基于深度學習的目標檢測算法在許多領域得到了廣泛的研究和應用［1］。YOLO（You Only Look Once）是其中一種基于深度學習的目標檢測模型，憑借快速準確的特性而備受關注。YOLO檢測算法具有泛用性高、誤檢率低且檢測速度快等優(yōu)點［2］。本研究旨在探索基于YOLOv5的簡譜自動識別方法，通過識別譜面上的音符坐標，實現輸入樂譜和檢索庫樂譜集的匹配；通過對多個數據集進行測試和對比，驗證了該方法在簡譜識別和音樂信息檢索中的有效性和優(yōu)勢。結果表明，該方法在識別準確性和運行效率方面均表現出色，為簡譜處理和音樂信息檢索提供了一種新的解決方案。

1" YOLO模型介紹

YOLOv5是在YOLO系列算法的基礎上進行了改進和優(yōu)化，性能和精度都有了極大的提升［3］。在YOLOv5中，每一層都能將每一個物體的位置和類別進行分類。每個網絡層都能檢測出不同大小的物體，并逐層檢測出大物體，然后在這些檢測框中繼續(xù)檢測出較小的物體。YOLOv5將每個檢測框分解成9個框，每個框具有不同的預測結果，檢測到物體時會返回物體的大小、位置和類別。

在網絡架構中，YOLOv5使用了標準的CNN，能夠通過C接口API從多層網絡中抽取特征。這種方法使檢測到的物體的整體框架結構更加穩(wěn)定，且能夠正確預測物體的大小、位置信息和類別。此外，YOLOv5工作原理是基于卷積神經網絡、網格視角和多尺度預測技術的目標檢測技術，快速準確地檢測目標物體［4］。

此外，YOLOv5沿用了YOLO系列的多尺度預測設計［5］，以更好地抓取物體的最佳大小。通過多尺度預測，網絡會選擇從較小物體到較大物體的路徑，從而更好地捕捉物體，更準確地計算物體的尺寸，并且在檢測時使用較大的網格。

2" 簡譜識別訓練過程

為了不干擾根目錄下的文件管理，可以在根目錄下單獨創(chuàng)建一個名為“guitar”的文件夾。在該文件夾內，文件和文件夾應按照以下結構命名：

（1）一個名為“images”的文件夾，用于存儲訓練和測試照片。該文件夾下應分別包含名為“train”和“test”的子文件夾，用于保存相應的訓練和測試照片。

（2）創(chuàng)建一個名為“l(fā)abels”的文件夾，用于存儲訓練和測試標注文件。請注意，YOLO只支持.txt文件格式的標注集。

2.1" 修改配置文件

首先，將-yolov5/data/coco128.yaml-文件復制并粘貼到-guitar-目錄下，并將文件名更改為-guitar_parameter.yaml-。其次，需調整參數-nc-和-names-。其中，-nc-表示標簽數量，-names-是標簽名稱。此外，-path-參數應設置為項目根目錄的絕對路徑，而-train-參數應指向-guitar-文件夾下的相對路徑。對于驗證集（-val-），可以使用與訓練集相同的路徑。

將yolov5/models/yolov5x.yaml復制、粘貼至guitar目錄下，更名為guitar_model.yaml，只將如下的nc修改為訓練集種類即可。由于在樂譜識別的例子中有不定量的標簽，故設置音符數量的最大值為40。

為了縮短網絡的訓練時間并提高模型精度，通常使用預訓練權重進行網絡訓練［6］。YOLOv5版本5.0提供了多種預訓練權重，用戶可以根據不同需求選擇不同版本的權重［7］。通過了解權重的名稱和大小信息，可以預見，權重越大，訓練出來的精度可能越高，但檢測速度可能會變慢。

2.2" 收集訓練圖像并處理

收集簡譜圖像數據集并對其進行標注，包括為每個簡譜圖像中的音符和休止符標注邊界框和類別標簽。此過程需要大量簡譜圖像，并對圖像文件進行重新命名，利用-labelme-工具對圖像進行標注，將標注結果存儲在-images-文件夾中。通常，訓練大約100張單行譜面圖像可以獲得較好的效果，這是由YOLO的識別原理和圖像分割的特性導致的。

3" 識別過程

3.1" 環(huán)境配置

本文使用Python編程語言以及YOLOv5代碼庫提供的解析器來處理命令行參數，以靈活配置模型訓練、驗證和測試的流程。根據YOLOV5官網的運行環(huán)境要求，Python版本為3.7。

為了使程序能夠接受靈活的參數配置，本文使用Python中的argparse庫提供的ArgumentParser（）類來創(chuàng)建參數解析器，使用YOLOv5模型進行目標檢測任務的程序設計［8］。通過使用Python編程語言和argparse庫提供的參數解析器，能夠靈活配置模型的訓練、驗證和測試流程，以滿足不同任務和數據集的需求。

參數解析器的設計和使用介紹向讀者展示了定義和解析各種命令行參數的方法，包括模型權重路徑、模型配置文件路徑、數據集配置文件路徑等。這些參數的靈活配置使得用戶可以輕松地調整模型的超參數和訓練設置，以獲得最佳的檢測性能。

3.2" 識別結果

簡譜的識別過程主要涉及以下幾個關鍵步驟：首先，需要準備簡譜圖像數據集，包括不同樂曲的簡譜圖像樣本。這些樣本應該覆蓋各種樂器、不同音符類型和大小的情況，并且標注對應的簡譜位置和類別信息。其次，在選擇模型時，本文采用YOLOv5作為簡譜識別的目標檢測模型。YOLOv5具有較高的檢測精度和較快的推理速度，在保證識別效果的同時能夠滿足實時性的要求。同時，利用準備好的簡譜圖像數據集，對YOLOv5模型進行訓練。在訓練過程中，通過反向傳播算法不斷調整模型的參數，使其能夠準確地檢測簡譜中的音符、符號和其他元素。再次，對YOLOv5模型進行調優(yōu)，以提高模型在簡譜數據上的識別性能。這包括調整模型的輸入大小、網絡結構、學習率等超參數，并進行合適的數據增強操作。在簡譜識別的推理過程中，本文將訓練好的YOLOv5模型應用于待識別的簡譜圖像上。模型將對圖像進行前向傳播，生成預測結果，包括檢測到的音符位置和類別。通過分析預測結果，本文可以得到簡譜中每個音符的位置坐標和對應的音高信息。最后，本文可以對模型輸出的預測結果進行后處理，包括去除重復檢測、合并相鄰音符、校正位置偏差等操作，以提高識別結果的準確性和穩(wěn)定性。

通過以上步驟，本文可以實現基于YOLOv5模型的簡譜識別，識別結果如圖1所示。

簡譜識別完成后，接下來的關鍵步驟是將識別得到的簡譜信息輸出，以便后續(xù)單片機程序對簡譜進行解析和演奏。這一過程包括以下幾個環(huán)節(jié)。

首先，從YOLOv5模型的輸出結果中提取識別到的音符信息。這些信息包括音符的位置坐標、音高、音符類型（如音符、休止符、調號等）等。其次，根據識別到的音符信息，對簡譜圖像進行解析。這一步驟包括將音符位置映射到簡譜坐標系中，識別音符類型和時值，確定音符之間的時序關系和音高關系等。最后，將解析得到的簡譜信息存儲在合適的數據結構中，以便后續(xù)的單片機程序進行讀取和處理。通常可以使用數組、鏈表或其他數據結構來存儲簡譜信息。每個音符對應一個數據結構對象，包括音符類型、音高、時值、起始位置等屬性。

4" 結語

本文實現了基于YOLOv5的簡譜自動識別。該方法不僅有效提高了簡譜的識別效率和準確性，還為音樂信息檢索和簡譜處理提供了一種創(chuàng)新的解決方案。結果表明，該方法具有較高的識別效率和準確性，可在各種音樂應用場景中發(fā)揮作用，為后續(xù)的音樂信息檢索提供了堅實的基礎。

未來的研究中，研究人員可以繼續(xù)探索將這種方法應用于其他樂器的樂譜識別，從而進一步提升音樂學習和創(chuàng)作的效率。通過持續(xù)優(yōu)化算法和模型，期待在音樂領域創(chuàng)造更多智能化、自動化的解決方案，為" 音樂產業(yè)和音樂教育的發(fā)展作出貢獻。

參考文獻

［1］孫孚斌，朱兆優(yōu)，陳思超，等.基于改進YOLOv5的人臉檢測算法［J］.機電工程技術，2023（2）：172-176.

［2］高駿一，鄭榜貴，王穎雪，等.基于YOLOv5的超市自動取貨機器人設計與實現［J］.計算機時代，2023（11）：22-27，33.

［3］朱瑞鑫，楊福興.運動場景下改進YOLOv5小目標檢測算法［J］.計算機工程與應用，2023（10）：196-203.

［4］米佳豪，蔣權.基于葉片數量與類別占比的香蕉樹長勢檢測［J］.現代信息科技，2023（23）：106-110，115.

［5］張明.基于YOLOv5算法的觀影人數檢測模型探索［J］.現代電影技術，2022（2）：42-46.

［6］汪陽.中藥飲片的智能檢測分類［D］.阜陽：阜陽師范大學，2023.

［7］付嬈.不確定背景下深基坑施工進度智能化動態(tài)預測研究［D］.哈爾濱：哈爾濱工業(yè)大學，2022.

［8］鄭楚偉，林輝.基于Swin Transformer的YOLOv5安全帽佩戴檢測方法［J］.計算機測量與控制，2023（3）：15-21.

（編輯" 王雪芬）

Automatic recognition of simplified notation based on YOLO

LI" Shaochun， HUANG" Ye， WU" Yang

（School of Intelligent Equipment Engineering， Wuxi Taihu University， Wuxi 214064， China）

Abstract：" With the rapid development of artificial intelligence and computer vision technology， music recognition has become one of the hot research topics in the field of music information retrieval and recognition. Based on YOLO algorithm， this paper studies and realizes the automatic recognition method of guitar simple score. By recognizing the note coordinates on the spectrum surface， the input score can be matched with the score set in the retrieval library. Methods considering the processing power of YOLO model and the effect of matching algorithm， an automatic recognition method based on YOLO is proposed， and a matching model of note coordinates is established. The simulation results show that this method is excellent in accuracy and efficiency， and the correctness and effectiveness of this method in music information retrieval and recognition of simplified music processing are verified.

Key words： numbered musical notation; recognition; YOLO; matching