基于物聯網技術的音樂特征識別系統設計

陳浩 吳煜祺

摘? 要： 由于受到音樂專業性強、樂理知識復雜、變化多樣等因素影響，導致音樂特征識別難度較大，為此設計基于物聯網技術的音樂特征識別系統。系統物理感知層在不同位置布設聲音傳感器采集音樂原始信號，采用TMS320VC5402數字信號處理器展開音樂信號分析處理;網絡傳輸層將處理完成音樂信號，傳輸至系統應用層中的音樂信號數據庫中;應用層中的音樂特征分析模塊，采用動態時間規整算法，獲取測試模板和參考模板間最大相似度，實現音樂信號特征識別，并依據識別結果識別音樂曲式和音樂情感對應音樂特征內容。實驗結果表明，該系統運行穩定，可采集到高音質音樂信號，且能正確識別音樂曲式特征和情感特征。

關鍵詞： 音樂特征識別; 物聯網; 系統設計; 信號采集; 信號處理; 實驗分析

中圖分類號： TN912.34?34; TP311.13? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）10?0043?03

Design of music feature recognition system based on Internet of Things technology

CHEN Hao1， WU Yuqi2

（1. Shiyuan College of Nanning Normal University， Nanning 530226， China; 2. Jiaxing University Nanhu College， Jiaxing 314001， China）

Abstract： In allusion to the influence of strong music specialization， complex music theory knowledge， various changes and other factors， it is difficult to recognize the music features. Therefore， a music feature recognition system based on Internet of Things technology is designed. The sound sensors are equipped at the different locations in the physical perception layer of the system to collect the original music signal. The music signals are analyzed and processed by the digital signal processor TMS320VC5402. The processed music signals are transmitted to the music signal database in the application layer of the system through network transmission layer.? The maximum similarity between the testing template and the reference template is obtained with the music feature analysis module in the application layer and by means of the dynamic time warping algorithm， so as to realize the music signal feature recognition， and identify? the musical form and musical emotion corresponding to the music feature contents according to the recognition results. The experimental results show that the system runs steadily， can collect high?quality music signals， and can identify the musical form features and emotional features correctly.

Keywords： music feature recognition; Internet of Things; system design; signal acquisition; signal processing; experimental analysis

0? 引? 言

音樂特征識別是基于語音識別發展藝術，通過音頻信號獲取音樂內容，進一步得到音樂曲式、情感等音樂特征[1]。音樂特征識別的研究涉及到許多方面，如心理聲學、樂器分析及樂理知識等。目前音樂識別系統未能大范圍應用，是由于缺少有利于提升性能信息的系統整體框架設計。物聯網技術的出現使音樂特征識別系統的實現成為可能[2]。物聯網技術通過有線/無線網絡間信息實時傳遞，實現音樂信號的智能化采集、處理、分析等，其具有感知全面、傳遞可靠、方便快捷等優勢[3]。設計基于物聯網技術的音樂特征識別系統，利用物聯網技術實現音樂信號的感知、傳輸及識別。

1? 音樂特征識別系統總體結構

基于物聯網技術的音樂特征識別系統主要由物理感知層、網絡傳輸層以及系統應用層共同構成，系統總體結構框圖如圖1所示[4]。

物理感知層主要包括音樂信號采集模塊和音樂信號處理模塊[5]。其中音樂信號采集模塊通過布設在不同位置的聲音傳感器采集系統識別所需音樂信號，并將采集到的音樂信號傳輸到音樂信號處理模塊，該模塊利用DSP處理器處理音樂信號。網絡傳輸層通過無線網絡通信傳輸方式將物理感知層采集并處理完成的數據傳輸至系統應用層。系統應用層匯集音樂信號形成音樂信號數據庫，經音樂特征分析模塊中的音樂信號特征提取及特征識別分類后，通過LED顯示音樂特征識別結果[6]。

1.1? 音樂信號采集模塊的設計

音樂信號采集模塊包括音樂采集子模塊和語音編碼子模塊。音樂采集子模塊由安裝在不同位置的聲音傳感器組成，負責采集原始音樂信號。聲音傳感器內置對聲音敏感的電容式駐極體話筒，經A/D轉換器轉換后傳輸到語音編碼子模塊。語音編碼子模塊主要負責原始音樂信號的高保真無損壓縮，將音樂信號轉換為可傳輸的數據信息，然后將其傳輸到音樂信號處理模塊[7]。

1.2? 音樂信號處理模塊設計

音樂信號處理模塊由DSP處理器完成設計[8]。該模塊采用一款適用于語音信號處理的型號為TMS320VC5402DSP的定點DSP芯片，該DSP芯片運行功耗低，運行速度快，攜帶2個MCBSPS（多通道緩沖串口），能夠連接CODEC（編譯解碼器）實現語音輸入，具備8位增強型主機并行口（HPI8），與主機建立通信連接，內含4 KB ROM及16 KB DARAM。其結構如圖2所示。

TMS320VC5402內部功能單元如下：

內部總線結構由4條地址總線和4條程序/數據總線構成8條16位總線。特殊功能寄存器含有用于控制、管理、訪問各功能單元的26個特殊功能寄存器。定時器和中斷系統自身攜帶4位預定標的16位定時器。TMS320VC5402DSP存儲器基本空間大小為192 KB，程序空間、數據空間、I/O空間大小各占[13]，其中程序存儲空間可拓展至1 MB。TMS320VC5402DSP有BIO和XF兩個通用I/O端口。此外訪問I/O空間可以擴展I/O端口，并且TMS320VC54xDSP的HPI以及MCBSP也能夠配置成通用I/O端口。TMS320VC5402的MCBSP能夠在SPI方式下運行，有利于同串行A/D、串行E2PROM接口。主機口為DSP與外部處理器連接供應并行接口，便于DSP與外部處理器間的信息交流。

2? 音樂特征識別

2.1? 音樂信號特征識別

在系統應用層中的音樂特征分析模塊采用動態時間規整（DTW）算法[9]，通過比較音樂特征測試模板和參考模板間歐氏距離識別音樂信號特征。音樂特征測試模板、參考模板的語音幀遵循DTW算法搜索路徑展開音樂特征匹配。假設參考模板和測試模板分別表示為：

[S={S（1），S（2），S（m），S（M）}]

[P={P（1），P（2），P（n），P（N）}]

式中：[M，N]分別為參考模板和測試模板內包含的語音幀總數;[m，n]分別為[S，P]中任意幀號。歐氏距離的計算方法如下：

[l[P（n），S（m）]=1kr=1K（Hr-H′r）2]? ? ?（1）

式中，[H′，H]分別表示[S，P]的元素。

DTW算法通過搜尋并標記最優局部路徑，并沿此路徑累計局部距離獲取全局累計距離，獲取最優模板匹配相似度，將此路徑作為最優路徑。

假設路徑依次經過的格點分別為[（n1，m1）]，…，[（ni，mi）]，[（nN，mM）]，根據端點約束條件可得到[（n1，m1）=（1，1）]，[（nN，mM）=（N，M）]，為符合斜率約束，斜率選擇區間為0.5～2.5。

從局部搜索角度出發，假設最佳路徑經過的格點[（ni，mi）]的上一個格點為[（ni-1，mi）]、[（ni-1，mi-1）]以及[（ni-1，mi-2）]三者之一，假設始發點距離這三個格點的部分累計距離分別為[L[（ni-1，mi）]]，[L[（ni-1，mi-1）]]和[L[（ni-1，mi-2）]]，則[（ni，mi）]挑選部分累計距離最小格點繼續前進，以此類推。最終路徑累計距離如下：

[L[（ni，mi）]=l[T（ni，R（mi））]+L[（ni-1，mi-1）]]? ? （2）

故最小累計距離就是測試模板和參考模板的最大相似度，即音樂信號特征識別結果。

2.2? 音樂特征內容識別

2.2.1? 音樂曲式特征提取

音樂旋律一般包括兩個相近樂句，為分析音樂曲式結構采用搜索相近旋律方法，并通過初步識別、重點識別、補充識別三步識別法提升搜索效率和精確度，同時兼顧音樂曲式的節奏與和聲特點[10]。

1） 依照節奏和調性初步識別

依照音樂節奏和調性特征初步劃分整首音樂，縮小范圍，為重點識別提供基礎，增加搜索效率。

2） 通過旋律搜索重點識別

依照音樂特點采用3步假設進一步增加相近旋律搜索效率。

假設一：16個小節組成一個樂句。該假設廣泛應用于音樂結構研究中，經檢驗具備正確性。

假設二：樂句重點部分為前4個小節。該假設采用少量音符表征樂句，且假設具備正確性。

假設三：單簧管、小提琴、長笛為眾多樂器中演奏主旋律可能性最大樂器。該假設有利于快速尋求主旋律音色，是通過旋律搜索重點識別的前提。

基于3步假設，采用樹狀結構記錄旋律整體輪廓，完成相似旋律搜索。樹狀結構包括4層：第1層為一段旋律，由16個小節組成;第2 層為旋律前4個小節;第3層為每小節的3個正拍;第4層為各小節正拍和半拍。樹狀結構節奏為[34]拍，主要功能為記錄音樂相對音高。

3） 基于和聲特征補充識別

音樂經過初步識別和重點識別之后，可提取到音樂曲式特征，但也會存在例外[11]。因此通過終止一個音樂結構和樂思的和聲補充識別曲式結構，提升搜索精確度。

2.2.2? 音樂情感特征提取

音樂曲式特征提取后，音樂被分割成若干個小樂段。綜合分析每個樂段的速度、旋律、音響等特征，通過模糊分類器提取其中情感特征。最后依照情感結構合理形容音樂情感特征。

3? 實驗分析

采用Visual C++在Windows 2010平臺上模擬本文系統原型驗證本文系統的有效性。系統聲音傳感器收集到某監測區域中3個不同地點的音樂信號如圖3所示。從圖3可以看出，系統采集到的音樂信號曲線平滑，沒有毛刺且未出現信號中斷情況，表明系統運行穩定，采集到的音樂信號音質較好。依據圖3采集的音樂信號，采用本文系統識別音樂特征的結果如表1所示。

分析表1可知，本文系統可以正確識別出音樂的曲式特征和情感特征，在識別范圍內的音樂特征識別率可達100%。

4? 結? 論

本文設計基于物聯網技術的音樂特征識別系統，系統中的語音信號采集模塊實現不同來源音樂信號采集，并設置語音編碼子模塊，獲取高保真無損壓縮原始音樂信號等，可提升系統運行速度，降低能耗，極大地提高了音樂特征識別的精度。

參考文獻

[1] 胡昭華，余媛媛.深度卷積神經網絡在音樂風格識別中的應用[J].小型微型計算機系統，2018，39（9）：1932?1936.

[2] 張善文，黃文準，尤著宏.基于物聯網和深度卷積神經網絡的冬棗病害識別方法[J].浙江農業學報，2017，29（11）：1868?1874.

[3] 趙巧.基于物聯網的農作物試驗基地監控管理系統設計[J].農機化研究，2019，41（1）：222?225.

[4] 錢承山，毛海強，張永宏，等.基于物聯網技術的校園用電監控系統設計[J].電子器件，2017，40（5）：1266?1271.

[5] 馮勇，蔣高明，吳志明，等.基于物聯網的經編制造執行系統關鍵技術[J].紡織學報，2018，39（2）：144?149.

[6] 劉彪，黃蓉蓉，林和，等.基于卷積神經網絡的盲文音樂識別研究[J].智能系統學報，2019，14（1）：190?197.

[7] 王蒙蒙，關欣，李鏘.基于魯棒音階特征和測度學習SVM的音樂和弦識別[J].信號處理，2017，33（7）：943?952.

[8] 苗靜，楊帆，潘國峰.嵌入式智能音樂播放系統的設計與實現[J].聲學技術，2017，36（4）：357?362.

[9] 杜威，林滸，孫建偉，等.一種基于分層結構的音樂自動分類方法[J].小型微型計算機系統，2018，39（5）：888?892.

[10] 肖曉紅，張懿，劉冬生，等.基于隱馬爾可夫模型的音樂分類[J].計算機工程與應用，2017，53（16）：138?143.

[11] 楊曉宇，黃浩，王浩華.基于改進的T型關聯度在音樂分類中的應用[J].數學的實踐與認識，2017，47（20）：155?163.