基于可變帶寬的Mean Shift音頻聚類算法

向 偉

0　引言

近年來,廣播新聞語料、電臺語音等現實世界中的語音信號已經成為了研究重點.在現有的音頻數據中,同一音頻中不同的時間段往往對應不同的說話人或者不同錄制環境的語音,因此有必要將其中具有不同特性的音頻數據分成不同的段,然后將具有相同特性的音頻段聚到一起,為提高音頻檢索系統的性能打下基礎.

由于對于一個未知的音頻流,了解其先驗知識不太實際,因此本文采用Mean Shift算法進行聚類.[1-3]Mean Shift算法不需要任何先驗條件,數據集中的每一點都可作為初始點,分別執行Mean Shift算法,收斂到同一個點算作一類,它能對任何維度、任何分布的采樣點進行聚類.針對文獻中固定帶寬的Mean Shift算法對聚類結果的影響,[4]本文采用基于可變帶寬的Mean Shift音頻算法.

本文的聚類算法首先提取了基于小波變換的MFCC倒譜系數,然后對小波域音頻特征進行PCA變換處理,最后采用可變帶寬的Mean Shift算法,并輸出聚類結果.

1　基于小波變換的Mel倒譜系數

MFCC是通過模擬人耳聽覺特性提取出的一種參數,該特征能很好的模擬人耳聽覺系統,在說話人識別,音頻分割和聚類,音頻檢索中廣泛采用的一種參數.MFCC參數提取過程如圖1所示:

圖1　MFCC參數提取流程圖

Mel尺度頻率域提取的倒譜特征系數,MFCC提取過程如下:

Step1:輸入的原始音頻信號經過小波變換,最后經小波變換后的低頻信號經過預加重、加窗分幀處理,然后做離散傅立葉變換,獲得頻譜分布.設音頻信號的DFT為:

式中x(n)為輸入的音頻信號的低頻信號;N表示傅立葉變換的點數.

Step2:將能量譜通過Mel濾波器組進行帶通濾波,并對每個頻帶的能量進行疊加得到頻譜能量xa(k);

Step3:將每個濾波器組輸出的頻譜能量取對數:然后經離散余弦變換(DCT)得到 MFCC系數:

其中M為濾波器個數,s(m)為頻譜能量取對數.

2　PCA特征預處理

音頻分割出的每個音頻段具有相同的聲學特征,對每個音頻段進取小波域MFCC特征,作為聚類算法的輸入.但是這些被分割開的音頻段,大多不只一秒,有些甚至是幾十秒,如何從這些大小不一的音頻段中提取出最重要的特征向量,來表示整個音頻段數據.一些文獻中使用PCA變換來對提取的特征數據進行降維,[5,6]取得比較好的效果.本文中采用主成分分析來選取能更好表示音頻段的特征.

主成分析(PCA)是一種經典的統計方法,通過可逆線性變換,將高維數據特征轉換為維數較少的特征,對數據進行分析的技術,對原有樣本數據進行簡化.簡單的說,該方法可以有效的找出數據中最“主要”的元素和結構,從而去除原數據間的相關性和冗余信息,將原有的復雜數據降維.因此被廣泛應用于數據挖掘、模式識別,信號探測等領域.

PCA的原理,設x表示m維向量xt,通過公式(3)PCA將m維向量xt線性變換為新的s維向量

其中,U表示一個m×m的正交矩陣,它的第i列ui是樣本協方差矩陣的第i個特征向量.PCA需首先求解公式(4)的特征值

公式(4)中,λi表示C的第i個特征值,ui是相應的特征向量.協方差矩陣C的特征值按降序排列λ1?λ2?…?λm?0,相應的特征向量構成矩陣U=u1,u2,…,um[].計算出ui后,向量yt可以通過公式(5)對向量xt進行正交變化得到.

3　可變帶寬的Mean Shift算法

本文中采用可變帶寬的Mean Shift算法[7]進行音頻段的聚類.即對不同的樣本數據我們選擇不同的帶寬h=h(xi),則可變帶寬的核函數密度估計變為:

其中

公式(7)中h0是固定帶寬,λ為比例常數.

定義1:X代表一個d維的歐氏空間,x是該空間中的一個點,用一列向量表示.x的模‖x‖2=xTx.R表示實數域.如果一個函數K:X→R存在一個剖面函數k:[0,￥]→R,即

并且滿足:

(1)k x()為非負;

(2)k x()非單調遞增,即如果a

那么函數k x()就被稱為核函數.本文中的可變帶寬Mean Shift算法使用的核函數為高斯核函數,它的估計更準確,收斂路徑更平滑.即

用hi表示式(6)中的h(xi),i=1,...,n,則樣本點的核函數密度估計可寫為

設g(x)=-k'(x),則由式(10)可得可變帶寬的密度梯度估計為

設G(x)=Cg(‖x‖2),則可變帶寬的Mean Shift向量為:

高考數學北京卷壓軸題(第20題)考察角度之一是學生是否具有在全新的問題情境下，自覺地進行探究、嘗試、歸納、猜想和論證而創造性地解決問題的能力(參考[6][9]).這些試題一貫的新穎大氣，特色鮮明，是北京卷的標志性題目，歷年來引起廣大師生的重視,依我們拙見，這些題目主要具有以下幾方面的特點.

其中C是歸一化常數.將式(7)代入,根據式(11)中得:

其中

則可變帶寬的Mean Shift向量為:因此Mean Shift向量Mh(x)總是指向概率密度增加最大的方向,說明局部均值朝附近數據樣本密集區域移動,可推導出核函數中心從當前位置yj移動到yj+1的表達式為:

由公式(12)有Mean Shift迭代公式:

給定樣本數據集 xi{}i=1...n,可變帶寬Mean Shift算法中與每個數據樣本相適應的帶寬,具體步驟如下:

Step1:根據給定的固定的初始帶寬h0,和樣本數據求出樣本數據點的密度估計f(xi);

Step2:計算公式(7)中的λ;則

計算出每個音頻數據段的自適應帶寬后,執行可變帶寬的Mean Shift音頻聚類算法,具體步驟如下:

Step 1:特征空間中隨機選擇初始點xi,根據該數據點的自適應帶寬h(xi),計算出其相應的結束條件εi;

Step 2:根據公式(16)計算出yj+1;

Step 3:判斷是否滿足條件 yj+1-yj<εi,如果滿足,則退出 Mean Shift迭代過程;否則,用yj+1代替yj,轉到Step2繼續進行迭代.

4　實驗結果與分析

4.1　實驗數據

實驗中使用的音頻數據來自于VOA的廣播新聞和CD音樂,數據的采樣頻率為11.025 K HZ,精度為16位.該數據集由60段長度不等的音頻數據組成,時間長度在15秒至80秒之間,其內容包括男女播音員的標準語音、外景采訪人員和被采訪人員語音、演講現場音頻、電話錄音音樂以及噪音等.這60段音頻數據中具體的實際類別如表1所示.為了使聚類結果更細化,我們將屬于同一聲學條件的音頻段分為一類,本文設計將音頻段聚成應該有的類,將文獻中固定帶寬的Mean Shift算法的聚類類別進行細化,不只是將音頻段分為男播音、女播音、外景采訪和音樂四類,而是將同一說話人或同一聲學條件無監督的聚為一類.

表1　實驗數據

聚類的正確率采用公式(18)來衡量:

聚類的正確率=聚類正確的音頻段/所有的音頻總數(18)

4.2　實驗結果與分析

將本文設計的聚類算法采用基于小波變換的MFCC參數,由于特征參數的不同選擇的初始帶寬不同,選擇與特征參數最優的帶寬進行比較.并采用兩種不同的聚類算法對選取的特征進行聚類結果比較,分別是可變帶寬的Mean Shift聚類算法和固定帶寬的Mean Shift聚類算法.因此可變帶寬的Mean Shift算法中12維小波MFCC參數的初始帶寬為2.2,所以12維特征參數采用的最優初始帶寬為1.9;固定帶寬的Mean Shift算法中最優的固定帶寬選擇分別為2.1和1.9.本文采用的12維小波MFCC特征和12維MFCC參數聚類性能的比較.如表2所示.

表2　不同特征參數的聚類性能比較

從上表中可看出在兩種不同的聚類算法下12維小波MFCC特征比沒經過小波變換的特征參數都提高了,其中固定帶寬的聚類算法提高了12%左右,可變帶寬的聚類算法提高了16%左右.因此本文提出的基于可變帶寬的Mean Shift聚類算法采用的特征經小波變換的MFCC特征.

實驗發現固定帶寬的Mean Shift聚類算法中固定帶寬的選擇對結果影響較大,隨著帶寬值的增加,聚類的類別在減少,相對來說聚類的精度在提高.按本文聚類算法的設計思想,是將聚類的結果更加的細化.本文中可變帶寬的Mean Shift算法聚類結果與固定帶寬的結果是在將聚類結果細化的基礎上進行的比較.

表3是固定帶寬的Mean Shift算法實驗結果.表4所示為固定帶寬輸出的聚類數.其中帶寬選取小于2.1時,其聚類結果更細化,屬于同類的被分開;而大于2.3時,其聚類的類數更少,把不屬于同一類的樣本聚成了一類.實驗中選取2.1,2.2,2.3三個帶寬值進行比較,由于Mean Shift算法是隨機選取一個點作為初始點,這種隨機性造成了結果的不穩定,所以對每個帶寬值進行多次實驗.

表3　固定帶寬的實驗結果

表4　固定帶寬輸出類數

從表3,4中可以看出固定帶寬的Mean Shift受帶寬的影響較大,而且這種固定帶寬的Mean Shift聚類算法受初始點隨機性的影響,其結果不穩定,輸出的聚類數也不穩定.

表5　可變帶寬的實驗結果

如表5所示,我們給出了可變帶寬的Mean Shift聚類算法的結果,在同樣的樣本數據上,初始帶寬h0我們也選取2.1,2.2,2.3這三個值作為初始帶寬h0,可變帶寬的Mean Shift根據樣本點和這個初始帶寬求出每個樣本數據相適應帶寬,再進行聚類算法.表5是可變帶寬Mean Shift聚類算法的聚類精度.

從表中可看出采用可變帶寬的Mean Shift算法的聚類結果相對較穩定,只是樣本數據中少量的樣本有變動.采用這三個初始帶寬h0輸出的聚類數分別為24、22和22,輸出的聚類數沒有變動.對比固定帶寬的Mean Shift算法和可變帶寬的Mean Shift算法,不只是聚類結果趨于穩定,而且聚類精度也提高了6%～8%.

本文中改進的Mean Shift聚類算法輸入的特征是經PCA變換后的音頻特征,為了比較本文采用PCA變換之后對聚類精度的影響,將這種變換后的聚類算法與沒有經PCA變換后的聚類算法進行實驗結果對比.也進行五次實驗結果對比,采用的初始帶寬值為2.2.

表6　未經PCA變換的聚類實驗結果

從表6可看出經PCA變換的聚類算法與未經PCA變換的聚類精度提高了3.4%,這是因為經PCA變換后去除了樣本音頻數據之間的相關性和音頻數據的冗余性,使經PCA變換后的音頻特征更能表示該音頻數據的語義信息,從而提高了聚類精度.而且從表中還可看出采用可變帶寬的算法相對于固定帶寬的聚類算法的聚類結果要穩定,采用可變帶寬的Mean Shift算法隨機選擇初始點的這種隨機性影響要小得多.

5　結論

本文設計的音頻聚類算法首先對音頻段提取基于小波變換的MFCC特征,并將經PCA變換后的小波MFCC特征作為可變帶寬的Mean Shift算法的輸入,然后輸出音頻聚類結果.從上述實驗結果可看出本文設計的可變帶寬的聚類算法比固定帶寬的聚類算法明顯有提高,而且減小了隨機性的影響,使得聚類的結果趨于穩定.

參考文獻:

[1]Fukunaga K,L Hostetler.The esti mation of the gr adient of a density f unction,with ap plications in patter n recognition[J].IEEE Transactions on Infor mation Theory,1975(1):32-40.

[2]Co maniciu D,Meer P.Mean shift:a robust approach towar d feature space anal ysis[J].IEEE Transactions on Patter n Analysis and Machine Intelligence,2002(24):603-619.

[3]Cheng Y Z.Mean shift,mode seeking,and cl ustering[J].IEEE Transactions on Patter n Analysis and Machine Intelligence,1995(8):790-799.

[4]鄭繼明,俞 佳.基于Mean-Shift的廣播音頻聚類算法[J].計算機應用,2009(10):2741-2743.

[5]J Hung,H Wang,and L Lee.Automatic metric based speech seg mentation for broadcast news via principal co mponent anal ysis[C]//Proceedings of the 6thInter national Conference on Spoken Language Pr ocessing,2004(4):121-124.

[6]刑玉娟,李 明,張亞芬.基于PCA和核Fisher判別的說話人確認[J].計算機工程與設計,2008(15):3984-3986.

[7]Co maniciu D,Meer P.The variable band with mean shift and data-driven scale selection[C]//Proceedings Eighth IEEE Inter national Conference,2001(1):438-445.

[8]文 武,姜 濤.融合SIFT和尺度方向自適應的Mean shift目標跟蹤算法[J].微電子學與計算機,2015(10):93-97.

[9]丁業兵.基于慣量矩的自適應帶寬Mean shift目標跟蹤算法[J].計算機應用與軟件,2016(7):321:325.