基于SVM和增強型PCP特征的和弦識別

閆志勇，關 欣，李 鏘

(天津大學電子信息工程學院，天津 300072)

1 概述

音樂信號處理是計算機智能信息處理和模式識別中一個新興的研究領域，其中和弦識別是音樂信號處理的重要方面，它在計算機自動伴奏、歌曲翻唱識別以及音頻匹配等領域具有重要作用。人們能夠從復雜的音樂演奏中提取豐富并且有意義的信息，但是截至目前，使用計算機處理這些信號是有難度的，特別是在進行和弦識別或者和弦轉錄時更是一項具有挑戰的任務[1]，因而和弦識別是本文研究的重點。

和弦識別是音樂信息檢索的中心任務之一，其中，文獻[2]依據音樂理論知識于1999年將信號能量壓縮到樂曲的12個音級上，提出使用12維的音級輪廓特征音級輪廓(Pitch Class Profile,PCP)作為和弦特征進行模式匹配來識別和弦。在和弦特征方面，文獻[3]提出了HPCP(Harmonic PCP)特征，將其用于和弦識別的鍵估計系統中并取得了66.7%的正確鍵估計；應用諧波積光譜與PCP特征相結合的EPCP(Enhanced PCP)特征[4]同傳統PCP特征相比，具有相同根音的和弦具有更好的識別率；文獻[5]結合人耳聽覺特性和音樂理論提出了新的識別特征MPCP(Mel PCP)，克服了PCP特征在低頻段特征模糊和峰值處容易發生混倄的缺陷等。對于和弦分類模型的選擇，除模板匹配方法[2]外，文獻[5]采用了條件隨機場分割方法，該方法對觀測序列沒有獨立性要求，具有表達長距離依賴性和交疊性特征的能力，缺點是運行時間長；文獻[6]采用神經網絡進行和弦識別，可以有效地避免噪聲對和弦識別率的影響，但該方法只能識別有限的歌曲；此外，文獻[7]將統計學方法隱馬爾可夫模型(Hidden Markov Model,HMM)應用于和弦的分割和識別中，最終的和弦識別率達到了75%，但HMM是一種產生式模型需要嚴格的獨立性假設；近年來，有研究者提出將延時隱馬爾可夫模型(Duration HMM)應用于和弦識別[8]。

音樂是一個典型的高度結構化的藝術形式，它頻繁使用了某些和弦進程，因此本文采用結構化預測模型來譯碼音樂的結構化信息，完成對和弦的識別[1]。結構化支持向量機SVM是近年來廣泛使用的一種機器學習方法，同HMM相比，它能夠有效減少由于增加特征數據而過度擬合帶來的誤差。本文對基于瞬時頻率光譜的PCP特征的提取提出了一種改進算法，即增加對提取的瞬時頻率光譜進行音高頻率倒譜系數的處理[9]，之后再壓縮信號從而提取基于節拍跟蹤的新的PCP特征。新的PCP特征對樂器類型以及音色的變化更具魯棒性。最后將新的PCP特征輸入結構化的SVM分類器中完成和弦的識別。

2 增強型PCP特征的和弦識別系統

和弦的自動識別主要包括2個階段：特征提取與和弦識別。如圖1所示，使用節拍跟蹤同步提取基于瞬時頻率的音級特征PCP，然后將這些特征輸入到結構化支持向量機SVM中，輸出和弦標簽，最后同標準和弦標簽比對完成和弦的識別。

圖1 增強型PCP特征的和弦識別系統流程

2.1 信號特征提取

信號特征的計算由節拍跟蹤和PCP特征計算2個部分組成。首先通過節拍跟蹤獲取與節拍構成相符的音頻節拍點信息，然后計算出每個節拍間隔內的音級特征PCP。

2.1.1 節拍跟蹤

節拍跟蹤用于獲取音樂信號中的節拍信息，確定每個節拍在信號中的大致時間位置。它是自動伴奏及轉錄、計算機輔助音頻編輯以及音樂相似性等應用的基礎，同步節拍特征也是歸一化不同音樂版本之間速率變化的一種很好的途徑。本文采用了文獻[10]提出的動態規劃(DP)節拍跟蹤算法，該算法流程如圖2所示。

圖2 節拍跟蹤檢測流程

首先需將音頻信號進行快速傅里葉變換(Fast Fourier Transform,FFT)變換，通過一個權重矩陣將傅立葉頻譜變換成40維Mel頻譜。計算每一維頻譜沿時間軸的一階差分(只有起始點信息)，將整個頻譜內的值相加，濾除直流后得到起始能量包絡。

然后對整個信號的起始能量進行自相關運算，并在其對數域上加高斯窗獲取單一主峰值，將自相關中最大的滯后值作為最佳的速率估計。

最后將起始能量包絡和全局速率輸入節拍檢測模塊，通過動態規劃算法獲取節拍時間位置信息，完成節拍跟蹤。

2.1.2 基于節拍的增強型PCP特征的提取

音級特征PCP是音樂信息檢索中廣泛使用的一種信號特征。在基于瞬時頻率IF的音級頻譜中通過估計瞬時頻率IF的光譜區域可以從噪聲中區分音調元素，同時處理調諧中的差異。本文結合音高頻率倒譜系數PFCC[9]，改進了基于IF的PCP特征的提取算法，提出了一種對樂器類型以及音色變化更具魯棒性的音級特征PCP。

(1)將經分幀處理后的音頻信號進行FFT變換得到每一幀的信號能量E，對差分相位進行求導，得到代表音調的瞬時頻率IF。這時可以采用類似于Mel尺度的音調尺度lg(C×Ε +1)代替E，C表示音高正常數，在實驗中取C=100。然后對使用對數表示的音調進行DCT變換獲取PFCC系數，只保留上層PFCC系數并對其進行DCT逆變換得到變換后的音調向量，記做lgE。對能量進行對數壓縮是考慮到聲音強度的對數感。

(2)進行頻譜映射。按照音樂理論中的平均律以對數方式將變換后的音調向量lgE映射為新的音級特征PCP，映射公式為[11]：

其中， fs為采樣率；fs/N為頻域間隔；fr為參考頻率，對應于十二平均律中的C1音；k×fs/N則表示頻域每一個分量的頻率。忽略八度關系只考慮把頻率能量分為12個頻帶，將所有與某一特定音級相對應的頻率值的音級分量根據式(2)相加得到一個12維的音級向量PCP：

(3)根據節拍跟蹤得到的節拍點計算每個節拍間隔內PCP的平均值作為基于節拍的音級特征[12]：

其中，M表示每個節拍內的幀數。選用不同樂器演奏同一首樂曲時得到的音級PCP光譜特征圖如圖3所示，其中，圖3(a)和圖3(c)分別是使用A樂器彈奏曲目時提取的傳統PCP特征和增強型PCP光譜特征圖，圖3(b)和圖3(d)分別是使用B樂器彈奏曲目時提取的傳統PCP特征和增強型PCP光譜特征圖。通過圖3(a)、圖3(b)與圖3(c)、圖3(d)的比較可以看出，圖3(c)與圖3(d)光譜特征之間的差異更小，說明了增強型的PCP特征對不同樂器的魯棒性更強。

圖3 音級PCP光譜特征圖

2.2 結構化的支持向量機

同生成模型HMM不同，支持向量機SVM屬于判別方法模型，它通過估計模型參數獲得精確的輸入輸出映射，并且與序列標簽問題直接相關。和弦轉錄的目標是將觀測特征映射為和弦標簽狀態x→y。使用結構化的支持向量機能夠很好地完成和弦轉錄，實現和弦識別。

最大間隔分類器通過使用引入松弛變量的軟間隔允許分類超平面(例如SVM)即使當訓練數據不可分時也能找到一個最佳的分割。近年來最大間隔方法已經擴展到結構分類問題例如序列標簽，盡管存在許多難以控制的約束，結構化的SVM算法使用切平面的方法使問題得以解決[1]。

結構化SVM的目的是估計一個從特征輸入空間X到離散標簽輸出空間Y的函數 f:X→Y[1]。通過尋找一個適當的函數ψ:X×Y→R以及參數向量w來滿足：

ψ取線性核，因此可以寫成ψ(x,y; w)=＜φ(x,y) ,w ＞，φ(x,y)是一個依賴于應用的聯合特征映射，假設訓練集為(xi,yi)，其中，i∈N={1,2,…,n}。

當數據可分時，在標準的SVM中根據對偶原理，最小化||w||來獲取最大間隔，因此將式(4)轉換成：

當數據不可分時，引入了松弛變量iξ，因此，SVM結構化公式寫為：

其中，A>0是一個調諧參數，用來控制間隔寬度與松弛變量之間的折中。

3 實驗與結果分析

3.1 實驗環境與數據

本文的實驗環境為安裝有Matlab2010A的PC機，采用Beatles樂隊12張專輯的180首歌曲來評估分類模型，并且使用了來自學者Chris Harte[13]對這些歌曲手動標記的標簽文件。在本文中將和弦分為25類，12個根音音級(C,C#,D,…,B)分別對應一個大調和一個小調，再加上一個無和弦的類型。

根據發行時間將專輯分成4個集合，每個集合包含3張專輯，以確保每個集合中有一系列的風格。分類集合為A:{Please Please Me,Help,Magical Mystery Tour}，B:{With The Beatles,Rubber Soul,The White Album}，C:{A Hard Day’s Night,Revolver,Abbey Roadg}以及 D:{Beatles For Sale,Sgt.Pep-per’s Lonely Hearts Club Band,Let It Be}。在實驗中首先對集合B,C,D中的樂曲提取增強型的音級特征PCP，并將這些特征作為支持向量機的訓練數據進行模型訓練，隨機選擇專輯{Please Please Me}中的4首歌曲作為測試數據進行測試。最后同基于傳統PCP特征并分別采用HMM和支持向量機方法來實現和弦識別的結果進行比較，如表1所示，其中，訓練數據為Beatles樂曲分類后的集合B,C,D。

表1 識別結果對比 %

3.2 結果分析

通過表1可以看出，采用本文改進的增強型PCP特征在和弦識別率上較之前采用的傳統PCP特征有所提高，同時實驗結果還與采用HMM進行和弦識別的結果進行了比較，識別率也有所提高。當使用SVM分類方法時，對于歌曲Anna Go To Him 和Boys，使用增強型PCP特征的和弦識別率要比使用傳統PCP特征的和弦識別率分別高2.5%和6.7%，同時由表1還可以看出，使用SVM分類方法比使用HMM模型時的和弦識別要分別高2%和9.7%，這是因為同HMM算法相比，結構化的SVM能夠有效減少由于增加特征數據而過度擬合帶來的誤差。

通過對和弦識別結果的分析可知，識別錯誤的和弦主要集中在具有相同根音的和弦之間。例如容易將C大調和C#大調區分開來，但是對于C大調和A小調的區分卻十分困難，因為A小調三和弦根音的組成A-C-E同C大調三和弦根音的組成C-E-G具有2個相同的音符，所以在實際的識別中常常會將這樣的和弦混倄，造成識別的錯誤。

4 結束語

本文結合PFCC系數，提出一種基于瞬時頻率提取音級輪廓特征(PCP)的改進算法，采用支持向量機分類方法完成和弦識別。實驗結果表明，使用增強型PCP特征的和弦識別率要比使用傳統PCP特征的和弦識別率高2.5%～6.7%。同時還與采用HMM和弦識別的結果進行了比較，識別率也有所提高。下一步將對識別錯誤原因進行分析，改進和尋找新的特征提取方法，從而提高和弦的整體識別率。

[1]Weller A,Daniel E,Jebara T.Structured Prediction Models for Chord Transcription of Music Audio[C]//Proc.of International Conference on Machine Learning and Applications.[S.1.]:IEEE Press,2009:590-595.

[2]Fujishima T.Realtime Chord Recognition of Musical Sound:A System Using Common Lisp Music[C]//Proc.of International Computer Music Conference.Beijing,China:[s.n.],1999.

[3]Gomez E,Herrera P.Automatic Extraction of Tonal Metadata from Polyphonic Audio Recordings[C]//Proc.of Audio Engineering Society.London,UK:[s.n.],2004:362-371.

[4]Lee K.Automatic Chord Recognition from Audio Using Enhanced Pitch Class Profile[C]//Proc.of International Computer Music Conference.New Orleans,USA:[s.n.],2006:225-236.

[5]Wang Feng,Zhang Xueying,Li Bingnan.Research of Chord Recognition Based on MPCP[C]//Proc. of the 2nd International Conference on Computer and Automation Engineering.[S.1.]:IEEE Press,2010:76-79.

[6]Su B,Jeng S.Multitimber Chord Classification Using Wavelet Transform and Selforganized Map Neural Networks[C]//Proc.of IEEE International Conference on Acoustics,Speech,and Signal Processing.Salt Lake City,USA:[s.n.],2001:3377-3380.

[7]Sheh A,Ellis D P.Chord Segmentation and Recognition Using EM-trained Hidden Markov Models[C]//Proc.of International Conference on Music Information Retrieval.Baltimore,USA:[s.n.],2003:185-191.

[8]Chen R F.Chord Recognition Using Duration-explicit Hidden Markov Models[C]//Proc.of the 13th International Society for Music Information Retrieval Conference.[S.1.]:IEEE Press,2012:548-559.

[9]Muller M.Towards Timbre-invariant Audio Features for Harmony-based Music[J].IEEE Transactionson Audio,Speech,and Language Processing,2010,18(3):649-662.

[10]Ellis D P W,Poliner G.Identifying Cover Songs with Chroma Features and Dynamic Programming Beat Tracking[C]//Proc.of IEEE International Conference on Acoustics,Speech and Signal Processing.[S.1.]:IEEE Press,2007:1429-1432.

[11]王 峰.美爾音級輪廓特征在音樂和弦識別算法中的應用研究[D].太原:太原理工大學,2010.

[12]董麗夢,李 鏘,關 欣.基于稀疏表示分類器的和弦識別研究[J].計算機工程與應用,2012,48(29):133-136.

[13]Harte C.Towards Automatic Extraction of Harmony Information from Music Signals[D].London,UK:Department of Electronic Engineering,University of London,2010.