基于連續(xù)隱馬爾可夫模型的旋律檢索算法研究

摘要：本文以CHMM為基礎(chǔ)進(jìn)行音樂哼唱檢索算法的研究，實(shí)現(xiàn)了模型的建立、模型的訓(xùn)練和旋律識別過程。與已有建模方法不同，本文利用從左到右、沒有跳轉(zhuǎn)的CHMM結(jié)構(gòu)建立聲學(xué)模型，使旋律模型得到簡化，明顯提高了識別效率。用經(jīng)過音調(diào)轉(zhuǎn)換的音高序列表示旋律特征，利用CHMM的二重隨機(jī)特性隱含表示音長信息，從而避免了音符切分，使哼唱方式更自然。

關(guān)鍵詞：基于內(nèi)容的旋律檢索 音高提取 隱馬爾可夫模型

1 連續(xù)隱馬爾可夫模型的結(jié)構(gòu)

旋律由不同的音符依出現(xiàn)的時間先后組合而成，所謂不同的音符指的是音高不同的音符，或者具有相同音高但音長不同的音符。因此，本文利用從左到右、沒有跳轉(zhuǎn)CHMM來描述一段旋律，模型中的每一個狀態(tài)描述了一個音符。為了適當(dāng)縮短模型長度，減少計(jì)算量，一段旋律中有兩個或以上相鄰音符具有相同的音高，則將這些音符化分為一個狀態(tài)。

這種CHMM的結(jié)構(gòu)是非常簡單的，相應(yīng)的訓(xùn)練算法和識別算法的復(fù)雜度都會降低，數(shù)據(jù)空間的占用也比較小，檢索效率比較高。模型結(jié)構(gòu)如圖1.1所示：

1.1 CHMM的狀態(tài)數(shù)

本文模型的每個狀態(tài)一般描述一個音符，如果相鄰的音符有相同的音高，那么把它們歸并到同一個狀態(tài)中。于是利用旋律所對應(yīng)的樂譜（簡譜或五線譜）就能夠很方便的建立這段旋律對應(yīng)的聲學(xué)模型，并確定模型的狀態(tài)數(shù)，圖1.2便是一個例子。從圖1.2中可以看出，該段旋律中音高相同的相鄰音符被劃分到同一個狀態(tài)中，總共可以被分為三個狀態(tài)。

1.2 CHMM的觀測值

由于音高在頻率大小上的可平移性，在許多文獻(xiàn)中[1-4]，是使用音高差作為觀測值的。但由于受噪音或是基頻提取算法本身不準(zhǔn)確的影響，很難獲得一條旋律完全準(zhǔn)確的音高序列。因此，本文利用基于FFT-ACF和候選值估計(jì)的音高提取方法[5]

得到一段旋律的音高序列后，進(jìn)行音調(diào)轉(zhuǎn)換，用音調(diào)轉(zhuǎn)換后的音高序列來表示旋律的音高特征，作為CHMM的觀測值。

進(jìn)行音調(diào)轉(zhuǎn)換的目的是減小不同使用者的哼唱習(xí)慣以及音域的不同帶來的差異，所謂哼唱習(xí)慣以及音域的不同是指如女聲普遍比男聲頻率要高這樣的固有差別。音調(diào)轉(zhuǎn)換的具體過程如下：

①得到了旋律音高序列后，利用下列式子將音高序列轉(zhuǎn)換為半音(semitone)序列：

（1.1）

②求半音序列的均值E，然后讓半音序列逐點(diǎn)減去均值E，得到作為CHMM觀測值的音高特征。

1.3 CHMM的狀態(tài)轉(zhuǎn)移概率矩陣

由于本文建立的旋律模型為從左到右、沒有跳轉(zhuǎn)的，因此狀態(tài)轉(zhuǎn)移矩陣PA（i，j）必須滿足（1.2）式：

1.4 CHMM的觀測狀態(tài)概率值

本文使用經(jīng)過音調(diào)轉(zhuǎn)化的音高序列作為CHMM的觀測值，而音高序列只是1維向量，因此CHMM的觀測狀態(tài)概率值可由

化簡為

(1.3)

在本文中，使用1維高斯概率密度函數(shù)的對數(shù)形式，這樣可以把乘法運(yùn)算改為加法運(yùn)算，提高計(jì)算效率，如（1.4）式所示：

2 CHMM的參數(shù)訓(xùn)練和識別

在進(jìn)行模型匹配檢索以前，需要獲得CHMM的最佳參數(shù)值，也就是參數(shù)的訓(xùn)練過程。CHMM的參數(shù)訓(xùn)練主要是指狀態(tài)轉(zhuǎn)移矩陣和觀測狀態(tài)概率值的訓(xùn)練。

2.1 參數(shù)初始化

CHMM的參數(shù)初始化一般有兩種方法，一是利用樂譜或MIDI音樂進(jìn)行初始化，二是利用均分法進(jìn)行初始化。現(xiàn)分別簡述如下：

①利用MIDI音樂進(jìn)行初始化：

對于觀測狀態(tài)概率值，CHMM的每個狀態(tài)的觀測狀態(tài)概率值由高斯概率密度函數(shù)表示，實(shí)際上它是由（1.4）式中的均值μj和方差 σj確定的。初始化時，每個狀態(tài)的均值μj等于對應(yīng)音符的音高（由MIDI語料獲得，且經(jīng)過音調(diào)轉(zhuǎn)換），方差σj設(shè)為1。

對語音信號一般進(jìn)行分幀處理，當(dāng)幀的大小固定時，幀數(shù)多少可以表達(dá)旋律的音長信息。當(dāng)通過MIDI音樂得到音符的音長后，則根據(jù)采樣率、幀長可以求得音長對應(yīng)的幀數(shù)，如下式：

N=t×FS/(FrameSize-Overlap) （1.5）

其中t為音符的音長，F(xiàn)S為采樣率，F(xiàn)rameSize和Overlap分別表示幀長和幀間重疊長度。假設(shè)狀態(tài)i對應(yīng)的音符含有N幀，由于該狀態(tài)中只有最后一幀能轉(zhuǎn)移到下一個狀態(tài)，則有狀態(tài)轉(zhuǎn)移概率矩陣PA（i，i+1）=1/N，PA（i，i）=1-1/N。

②利用均分法初始化：

均分法過程可簡單由圖2.1所示，將每條語料的幀數(shù)平均劃分到每個狀態(tài)中，分別計(jì)算屬于每個狀態(tài)的所有幀的音高特征序列的方差和均值，作為觀測狀態(tài)概率值的均值μj和方差σj。對狀態(tài)轉(zhuǎn)移概率矩陣，假設(shè)每個狀態(tài)共有M幀，一共有T句語料參與訓(xùn)練，則PA（i，i+1）=T/M，PA（i，i）=1-T/M。

因?yàn)樵谟?xùn)練時需要反復(fù)迭代語料，直到達(dá)到收斂條件為止，使用MIDI音樂進(jìn)行初始化和利用均分法進(jìn)行初始對于最后的訓(xùn)練結(jié)果差異不大，但兩種方法各有優(yōu)缺點(diǎn)。利用MIDI音樂進(jìn)行初始化相當(dāng)于在訓(xùn)練時加入了先驗(yàn)知識，因此在參數(shù)訓(xùn)練時收斂比較快；利用均分法初始化則比較簡單易行，省略了從MIDI音樂中提取音高和音長的步驟，訓(xùn)練時收斂時間較用MIDI音樂慢。

2.2 參數(shù)訓(xùn)練

在對CHMM的狀態(tài)轉(zhuǎn)移矩陣和觀測狀態(tài)概率值進(jìn)行初始后，利用Viterbi[6]算法進(jìn)行參數(shù)的重估和訓(xùn)練。本文使用的Viterbi算法是基于時間同步的寬度優(yōu)先算法，或稱為時間同步Viterbi-beam [7]算法。Viterbi-beam算法基本公式（1.6）式所示，圖2.2為Viterbi-beam算法路徑圖。

（1.6）

其中，i表示狀態(tài)j的前續(xù)狀態(tài)，Pj(t)表示在時刻t，狀態(tài)j的最佳路徑得分，aij表示從狀態(tài)i轉(zhuǎn)移到狀態(tài)j的轉(zhuǎn)移概率，bj(t)表示在時刻 t時，狀態(tài)為i時，狀態(tài)觀測值為Vt的概率大小。

對于一組長度為m的音高觀測值序列x=[x1，x2，……，xm]，以及一個含有n個狀態(tài)的CHMM來說，訓(xùn)練時首先要建立一個m×n的表格D（如圖2.3），表格中的每個位置的值可由（1.7）式計(jì)算：

（1.7）

其中i，j分別表示幀數(shù)和狀態(tài)數(shù)，D(i，j)則表示經(jīng)過了CHMM的前i個狀態(tài)，前i個觀測值產(chǎn)生的累積概率。（1.7）式是考慮（1.2）式的限制，對（1.6）式簡化后求自然對數(shù)后的結(jié)果。圖2.3中黑線部分表示可走路徑，相比于圖2.2可以看出（1.7）式對傳統(tǒng)Viterbi-beam算法進(jìn)行了簡化，減少了搜索路徑，提高了計(jì)算效率。

假設(shè)，音高序列第一幀必屬于第一個狀態(tài)，則有（1.7）式的初始狀態(tài)值，如（1.8）式所示：

（1.8）

對于音高觀測值序列x=[x1，x2，……，xm]，因?yàn)橐舾咝蛄凶詈笠粠蓪儆谌我鉅顟B(tài)，則有x序列對模型的最大累積概率為MaxPro=maxD(m，j)，假設(shè)音高觀測值序列最后一幀屬于狀態(tài)j，借由表格D，從狀態(tài)j路徑回溯，得到音高觀測值序列的最佳路徑，如圖2.3紅線所示。最佳路徑記錄每個音高觀測值該屬于哪個狀態(tài)。

假設(shè)最佳路徑中屬于狀態(tài)j的幀數(shù)為k，連接這些幀，得到子音高觀測值序列y=[y1，y2，……，yk]，于是可重新估算CHMM的參數(shù)：

訓(xùn)練過程實(shí)際是一個反復(fù)迭代過程，直到滿足收斂條件為止。收斂條件如（1.9）式所示：

其中n為迭代次數(shù)，MaxProi為每次迭代訓(xùn)練獲得最大累計(jì)概率。需要說明的是上述迭代過程實(shí)際是一種期望值最大化方法(Expectation Maximization)，因此全部的最大概率在迭代過程中可以被保證是單調(diào)遞增，直到收斂為止。

2.3 旋律的識別

旋律識別的具體方法是：將所有需要檢索旋律的CHMM用對應(yīng)語料進(jìn)行訓(xùn)練，得到每個CHMM的最佳參數(shù)。對于一段用于檢索的哼唱旋律，對它進(jìn)行分幀、提取音高、音調(diào)轉(zhuǎn)移后，利用（1.7）式、（1.8）式可求得這段旋律對于每個CHMM的最大累積概率MaxProi，MaxProi序列中的最大值便表示這段旋律與產(chǎn)生最大累積概率的模型最為匹配，即待識別的旋律是模型對應(yīng)旋律的可能性最大。

通過實(shí)驗(yàn)發(fā)現(xiàn)，以上檢索算法的效率是比較好的，實(shí)驗(yàn)結(jié)果如下。

從表3中可以看出，實(shí)驗(yàn)前10 名準(zhǔn)確率有92.54%，這是一個比較好的結(jié)果。說明了基于CHMM檢索算法的有效性，然而系統(tǒng)的前兩名準(zhǔn)確率是比較低的，分別只有67.22%和76.94%，這個結(jié)果是不能讓人接受的。綜合這兩者進(jìn)行分析，可以看出CHMM模型在查詢時彈性太大，雖然能夠很好的篩選出所要歌曲，然而在模型相似度比較高的時候卻很難區(qū)分模型之間的差異。

參考文獻(xiàn):

[1]L Rabiner and B Juang. Fundamentals of speech recognition. Pretice Hall，1993.

[2]張靜，朱悅心.采用人聲輸入的網(wǎng)絡(luò)音樂檢索系統(tǒng)，微電子學(xué)與計(jì)算，2006，23(5).173-178.

[3]李名，顏永紅.一種基于哼唱的音樂檢索方法.第八屆全國人機(jī)語音通訊學(xué)術(shù)會議論文集，2005，433－437.

[4]袁兵，許潔萍.基于HMM模型的音樂哼唱檢索系統(tǒng)的研究，第一屆HHME，2005.

[5]徐明，陳知困，黃云森.基于FFT-ACF和候選值估計(jì)的音高提取方法.深圳大學(xué)學(xué)報(bào).2007.

[6]Viterbi，A. J.Error Bounds for Convolutional Codes and Asymptotically Optimum Decoding Algorithm.IEEE Trans.on Information Theory，1967.13(2):pp.260-269.

[7]Sites，R.L.editor.Alpha Architecture Reference Manual. Digital Press，1992.