基于差分Mel倒譜法的音樂旋律特征提取算法

摘 要：由于忽略了基頻序列的動態特性，導致音樂旋律特征提取效果不佳。對此，提出基于差分Mel倒譜法的音樂旋律特征提取算法。通過對幀長以及幀移進行設定，實現音頻信號分幀處理，并結合漢明窗函數對其進行加窗處理。引入Mel倒譜系數，對音樂旋律的動態特性進行表征，實現基頻提取。將音頻序列轉換為一維的音高序列，并針對序列進行分幀操作，從而得到音高向量信息。結合音高區間的分布情況統計結果，并在其中加入一定的區分性信息指標，得到音樂旋律的多維特征。實驗結果表明，該算法應用后，旋律結構相似度指數較高，具備較為理想的提取效果。

關鍵詞：梅爾倒譜系數;音樂旋律;特征提取;音高曲線

中圖分類號：TP391 文獻標識碼：A 文章編號：1673-260X（2024）09-0070-05

在音樂信息檢索（Music Information Retrieval， MIR）領域，旋律特征提取是至關重要的一環，它關乎音樂作品的識別、分類、檢索等應用。

何麗等[1]通過多特征融合技術，將音頻信號的時域、頻域和倒譜域特征進行融合，以全面捕捉音樂的旋律信息，利用壓縮激勵模型對融合后的特征進行進一步處理，以增強主旋律特征的表示能力。但該方法在處理復雜多變的音樂風格時可能面臨挑戰，因為多特征融合可能會導致特征之間的冗余和沖突，從而影響主旋律提取的準確性。楊汶雯等[2]利用卷積神經網絡（CNN）對音頻信號進行特征提取，并通過全連接層進行分類。但該方法的不足之處在于其對訓練數據的需求較大，且容易受到訓練數據分布不均的影響。Zhang J W[3]利用循環神經網絡（RNN）對音頻信號進行序列建模，并通過多層感知器（MLP）進行分類。但該方法對于長時依賴關系的處理能力有限，可能導致在處理復雜音樂結構時表現不佳。Zhang K D[4]利用音頻處理技術提取音樂的多種特征，并結合線性分析法對其進行融合處理。但線性分析法在對復雜資源進行處理時會受到一定的限制，從而影響特征提取效果。

對此，通過引入差分操作，設計基于差分Mel倒譜法的音樂旋律特征提取算法，能夠捕捉到旋律中相鄰幀之間的細微差異，旨在通過更加精細的音頻處理技術，揭示旋律中的深層結構和內在規律。

1 音樂旋律特征提取算法

音樂旋律特征是指反映音樂中旋律結構和音高信息的特征。以下是一些典型的音樂旋律特征：

（1）音高：音高是音樂的基本要素之一，可以用數字表示，如音名或MIDI數值。

（2）音符持續時間：描述每個音符的時間長度，可用音符時值（如四分音符、八分音符等）表示。

（3）節奏性特征：包括節拍、速度、強弱等，可以通過計算音符間的時間間隔、音符的力度（loudness）等獲取。

（4）旋律輪廓：描述音符的音高變化規律，如上升、下降、平穩等。

（5）音程：測量相鄰音符之間的音高距離，如半音、全音等。

（6）旋律輪廓特征：通過計算音符之間的跳躍關系、音符位置等來捕捉旋律的輪廓特征。

（7）音樂模式：描述音樂中重復出現的旋律或樂句結構。

（8）轉調特征：表示音樂中的調性變化，如調式變換、轉調點等。

不同的特征對應不同的屬性，需要設計不同的提取對象與提取方法。

1.1 音樂旋律加窗處理及基頻提取

音樂旋律中的旋律特征由基礎聲音頻率轉換而來，音高曲線是音樂分析中至關重要的工具，它直觀地展示了音樂旋律中音高隨時間變化的趨勢。音高曲線的形狀、波動幅度和頻率都包含著豐富的信息，可以揭示出旋律的輪廓、音高走勢以及可能的情感表達。

通過分析音高曲線，音樂學家、作曲家或音頻工程師可以捕捉到旋律的關鍵特征。例如，曲線的陡峭程度可以反映出旋律的起伏變化，而曲線的平滑程度則可能暗示著旋律的流暢性或連貫性。此外，音高曲線的極值點（如高點和低點）通常對應著旋律中的關鍵音符，這些音符在整個旋律中扮演著重要的角色。

在特征提取方面，音高曲線可以提供一系列有用的參數，如音高的平均值、中位數、方差、偏度等統計量，以及音高之間的時間間隔、音高變化的速率和方向等動態特征。這些特征可以被用于音樂分類、風格識別、旋律相似性比較等多種應用;同時，音高曲線還可以與其他音樂特征（如節奏、音色、和聲等）相結合，以提供更全面的音樂分析。例如，結合音高曲線和節奏信息，可以分析出旋律的律動感和節奏特點;而結合音高曲線和和聲信息，則可以揭示出旋律的協和性和和聲色彩。對此，結合漢明窗函數對其進行加窗處理，結合差分Mel倒譜法，對基頻進行提取，從而得到基頻特征參數[5，6]。

考慮到音樂旋律的變化往往是在短時間內發生的，因此為了捕捉音頻信號的局部特性，在進行加窗處理和分析之前，對其進行分幀處理。分幀處理需要將連續的音頻信號劃分為一些列短時的幀，對此需要對幀長以及幀移進行處理。幀長和幀移是分幀處理中的兩個重要參數[7]。幀長定義了每個幀所包含的音頻信號樣本數，而幀移則決定了相鄰幀之間的重疊程度。設定幀長為40毫秒，幀移為幀長的一半。根據確定的幀長和幀移，將音頻信號分割成一系列幀。設音頻信號為x（t），其中t表示時間，幀長為N，幀移為M，則第i幀的起始時間為ti，結束時間為ti+N。則第i幀的音頻信號表示為x（ti+N）。對音頻進行分幀處理，為了減少幀與幀之間的不連續性，采用漢明窗函數W（·）對其進行加窗處理，具體函數表達式如下所示。

其中，n代表幀內樣本的索引，α代表分幀連續參數。通過對上述加窗處理后的幀數據進行余弦變換處理，得到每一幀的倒譜參數c（n），具體參數表達式如下所示。

其中，S（m）代表音樂旋律信號的對數能量。

具有復雜結構的音樂旋律通常會包含一定的動態特性，對此，采用Mel倒譜系數，通過模擬人耳的聽覺特性，將聲音信號的頻譜轉化為Mel頻率標準的非線性形式，從而提取出音頻的動態特性，并對該動態特性進行表征，由此得到的基頻提取表達式如下所示。

其中，λi代表基頻分辨率參數，k代表倒譜常數，c（n）代表基頻動態線性變換函數。

對幀長以及幀移進行設定，實現基頻分幀處理，并結合漢明窗函數對其進行加窗處理。

1.2 音高曲線獲取

音高曲線反映了音樂旋律音高變化的趨勢。通過分析音高曲線，捕捉旋律的輪廓和主要特征，為后續的特征提取和分類提供依據。因此，在完成基頻提取之后，有必要提取音樂旋律中的音高曲線。

作為音高曲線的量化方法，音高向量包含旋律中每個音符的音高信息，以及它們之間的關系和變化。通過將連續的基音值轉換為離散的矢量形式，可以更方便地進行計算和分析。

假設音樂旋律為MIDI格式，那么該文件下的音頻信號通常由一段持續時間ti的連續音符值pi所構成，將音符值組成一個集合即為音符序列（p1，t1），…，（pi，ti），而音符的持續時間ti也等于分幀總數Fi。將任意音符pi表示為一維音高序列的形式，這個序列即為音高曲線，具體表達式如下所示。

對音高序列進行分幀處理，得到一組長度相等的音高向量。假設在音樂旋律基頻中，每段音頻對應的音高曲線為（p1，p2，…，pw），其中pw代表不同的音符值[8-10]。那么通過采用一個長度為h的時間窗對其進行分幀處理，得到一個固定的音高向量，并按照幀移參數對窗進行移動，從而得到同一窗內的新的音高向量[11]。通過采用上述操作，將音高序列進行遍歷操作，直到時間窗超過了音高曲線的截止時間，得到音高向量的提取結果如下所示。

x=（p1，…，pw+T，pw+T（D-1））（5）

其中，x代表音高向量的提取結果，T代表時間窗的采樣間隔，D代表音高向量維度。

通過將音頻序列轉換為一維的音高序列，并對序列進行分幀操作，得到音高向量信息，從而得到音樂旋律的輪廓以及主要特征。

1.3 音樂旋律特征提取

結合統計法，對音高區間的分布情況進行統計，從而獲取音高統計特征，實現音樂旋律特征提取[12]。

對于一個特征提取基礎單元S，假設該單元的長度為m，音高序列為（p1，p2，…，pm），為消除因音域差異帶來的音高波動影響，需要對其進行歸一化處理，具體處理公式如下所示。

其中，pmax和pmin分別代表音高序列中的最大值以及最小值。對于歸一化后的每個音高向量，均有一個對應的區間統計數量ci，將其進行匯總，得到不同區間的音高統計信息（c1，c2，…，cS）。

雖然能夠保證提取到的音樂旋律特征具有一定的穩定性，但是同時也會導致音樂旋律特征失去一定的區分性，即特征提取結果具有共通性，無法被準確區分[13]，具體體現在：

（1）過度簡化：過于簡化音樂旋律的復雜性，導致特征過于通用，無法準確區分不同的旋律。例如，如果只考慮音頻信號的基頻（即主旋律的音高），而忽略了其他音符、節奏和和聲信息，那么提取的特征就可能失去區分性。

（2）特征維度不足：如果提取的特征維度不足，即特征數量過少，導致特征的區分性不足。因為不同的音樂旋律可能在某些維度上具有相似性，但在其他維度上存在差異。如果只考慮少數幾個維度，那么這些差異就可能被忽略。

（3）匹配局限性：不同的特征提取算法有不同的優缺點。單一算法在提取某些類型的特征方面更好，但其他類型特征的提取效果較差，與音樂的旋律特征不匹配，失去了可辨別性。

對此，為對上述問題進行優化，選擇在上述的音高統計信息提取結果中加入一定區分性信息，具體包括音高均值、音高極差以及音高方差這三種指標，增加特征維度。考慮更多的音樂元素，如節奏、和聲、音色等，以增加特征的維度。這樣可以更全面地描述音樂旋律的特性，提高特征的區分性。具體求解表達式如下所示。

其中，Fsum代表音樂旋律多維特征提取結果。

結合音高區間的分布情況統計結果，并在其中加入一定的區分性信息指標，得到音樂旋律的多維特征。

2 實驗

所選取的音樂數據庫是一個綜合性的音樂收藏庫，音樂數據庫采用關系型數據庫管理系統，確保數據的穩定性和安全性。數據庫的核心結構由多個表組成，每個表代表音樂庫中的一個實體，如“藝術家”“專輯”“歌曲”等。這些表通過關系鍵相互連接，形成了完整的數據庫結構，具體結構如表1所示。

基于表1，將連續的模擬音頻信號轉換為離散的數字信號。設定采樣率為44.1kHz，并對量化位數進行設定。這決定了每個采樣點的精度，通常以位（bit）為單位。常見的量化位數有16位和24位。16位量化通常足以提供高質量的音頻，而24位則提供了更高的動態范圍和精度。將量化位數調整為24位，使用FFmpeg軟件，讀取原始音頻文件，并將其轉換為指定采樣率、量化位數和聲道數的數字音頻數據。

通過讀取音頻文件的元數據，確保每個音頻文件的時間戳保持一致，從而完成音頻對齊處理。在完成音頻預處理后，得到部分音頻數據波形圖如圖1所示。

選取了兩組常規的音樂旋律特征提取算法作為對比對象，分別為基于數據融合的音樂旋律特征提取算法，以及基于深度學習的音樂旋律特征提取算法，具體配置情況如表2所示。

對原始數據集中的音頻數據旋律結構進行了記錄，并針對三種提取結果中的旋律特征結構進行了調取，從而得到了一份旋律特征結構對比結果。音頻特征提取結果如圖2所示。

由圖2可知，針對不同的音頻數據進行特征提取，本文提出的方法獲得了音高曲線以及離散的音高向量數據。

以不同提取結果下的旋律結構相似性指數（SSIM）作為對比指標，用于衡量不同方法的提取效果。該指數的具體計算公式如下所示。

其中，wi代表權重參數，pi代表音符序列，δi代表頻譜參數，s（x，y）代表結構相似度判斷函數。不同方法下的旋律結構相似性指數對比結果如表3所示。

由表3可知，在針對相同的音頻數據進行特征提取時，不同方法的提取結果均有所不同。本文提出的方法在特征提取效果方面明顯優于其他方法，提取結果的旋律結構與原音頻的旋律結構具備較高的相似度。

3 結束語

本文設計了一種基于差分Mel倒譜法的音樂旋律特征提取算法，通過音樂旋律加窗處理及基頻提取，提取音樂旋律中的音高曲線，結合統計法，對音高區間的分布情況進行統計，從而獲取音高統計特征，獲得了音高曲線以及離散的音高向量數據，保證了提取后的旋律結構與原音頻的旋律結構具備較高的相似度。但是該算法在處理不同音樂風格和文化背景的音樂時，其泛化能力仍有待提高。為了克服這些局限性，在今后的研究工作中，將進一步挖掘旋律特征的深層次信息，提高特征提取的準確性和魯棒性。

參考文獻：

〔1〕何麗，劉浩.一種基于多特征融合與壓縮激勵模型的音樂主旋律提取算法[J].計算機應用與軟件，2023，40（05）：160-166+261.

〔2〕楊汶雯，石夢熒.基于深度學習的音樂特征提取及流派分類[J].長江信息通信，2021，34（05）：9-11.

〔3〕ZHANG J W. Music feature extraction and classification algorithm based on deep learning[J]. Scientific Programming， 2021， 2021： 1651560.

〔4〕ZHANG K D. Music style classification algorithm based on music feature extraction and deep neural network[J]. Wireless Communications and Mobile Computing， 2021， 2021： 9298654.

〔5〕王昊，劉淵晨，趙萌，等.基于多模態特征的音樂情感多任務識別研究[J].現代情報，2022，42（11）：61-75.

〔6〕張李明，洪蕾.基于雙閾值函數的音符檢測旋律時間序列化分析[J].電子技術，2022，51（09）：22-25.

〔7〕常鳳，徐小華，胡忠旭.基于貝葉斯判別法對音樂特征信號的分類研究[J].電腦知識與技術，2022， 18（13）：79-81.

〔8〕王寧，陳晨，陳德運，等.哼唱檢索中旋律特征的聚類與優化方法[J].哈爾濱理工大學學報，2022，27（01）：61-68.

〔9〕倪嘉惠，金文清，黃榮，等.基于頂層反饋和聯合檢測的主旋律提取算法[J].計算機應用，2021，41（S2）：103-107.

〔10〕任瑞.基于音頻特征的音樂音符智能切分識別方法[J].信息技術，2021，45（12）：31-36.

〔11〕王力，王鑫，謝凌云.音樂信號處理的特征分析綜述[J].中國傳媒大學學報（自然科學版），2021， 28（06）：59-72.

〔12〕張巖，劉哲.基于CQT的樂器獨奏單旋律的提取[J].沈陽師范大學學報（自然科學版），2021，39（05）：465-469.

〔13〕牛育謙，楊藝媛.基于諧波結構的民族樂器音色特征提取[J].自動化與儀器儀表，2023，43（04）：34-38.

〔14〕余程年，杜夢麗，吳其林，等.基于多級度量學習的細粒度旋律相似判別算法[J].綏化學院學報，2023，43（03）：147-152.