多類支持向量機(jī)在語音識別中的應(yīng)用

劉瀟營, 鄭郁正, 李國良

（成都信息工程學(xué)院,四川成都 610225）

語音識別是研究如何使機(jī)器能夠準(zhǔn)確地聽懂人所說的話,實(shí)質(zhì)就是一種模式識別。是近20年來發(fā)展起來的一門新興學(xué)科,是人機(jī)通信的自然媒介,具有重要的應(yīng)用價(jià)值。目前,語音識別的方法主要有以下兩種:（1）隱馬爾可夫模型（HMM）識別算法,這是當(dāng)前使用較廣且發(fā)展較成熟的算法,算法通過對大量聲音數(shù)據(jù)進(jìn)行數(shù)據(jù)統(tǒng)計(jì),建立識別條的統(tǒng)計(jì)模型,然后從待識別聲音中提取特征,與這些模型匹配,通過比較匹配分?jǐn)?shù)以獲得識別結(jié)果。但統(tǒng)計(jì)模型的建立需要依賴一個(gè)較大的聲音庫。這在實(shí)際工作中占有很大的工作量。且模型需要的存儲量和匹配計(jì)算的運(yùn)算量相對較大。（2）神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)是模仿人類大腦神經(jīng)元所設(shè)計(jì)的智能系統(tǒng),具有很強(qiáng)的分類能力。但是由于神經(jīng)網(wǎng)絡(luò)具有訓(xùn)練時(shí)間過長,訓(xùn)練時(shí)容易陷入局部最優(yōu)化,泛化能力差等缺點(diǎn),很難轉(zhuǎn)化到實(shí)際應(yīng)用中。[1]

支持向量機(jī)（support vector machine）是基于統(tǒng)計(jì)學(xué)理論發(fā)展起來的新的機(jī)器學(xué)習(xí)方法,由Vapnik等人提出[2,3]。支持向量機(jī)針對有限的小樣本,尋找最少的支持向量,最大化分類間隔,確定最優(yōu)的分類線等方法提高了泛化能力,減小了經(jīng)驗(yàn)風(fēng)險(xiǎn)。支持向量機(jī)最初是為了解決二分類的問題而設(shè)計(jì)的。而在實(shí)際中很多時(shí)候面臨的是一個(gè)多分類的問題。如何將支持向量機(jī)推廣到多分類的情況中,很多文獻(xiàn)都提出了不同的方法[4]。多類（M-ary）支持向量機(jī)[5]即為其中一種,它是多個(gè)二分類支持向量機(jī)的組合,具有使用向量機(jī)數(shù)目少,速度快等優(yōu)點(diǎn),尤其適用于語音識別實(shí)時(shí)性的要求。

1 支持向量機(jī)的基本原理

支持向量機(jī)的原理如圖1所示,圖中黑白圓圈分別表示兩種不同類別。帶有斜杠線的圓圈為支持向量。其中H為分類線,在二維空間中,存在多條這種分類線,其中,最優(yōu)分類線的條件是距離兩類樣本之間的間隙保持最大,在多維空間中,如果存在一個(gè)超平面能夠?qū)深悩颖緶?zhǔn)確地分開,且樣本距離平面的間隙保持最大,則該平面為最優(yōu)超平面。H1,H2分別為兩類中離H最近的樣本且平行于H的直線,它們之間的距離為分類間隔[6]。

設(shè)有 n個(gè)樣本:（xi,yi）,yi∈{-1,1},i=1,2,…,n

當(dāng)線性可分,對于所有樣本存在超平面w?x+b=0,滿足

圖1 支持向量機(jī)原理圖

當(dāng)線性不可分,則需引入松弛變量ζ,滿足

C為懲罰因子,為＞0的正數(shù)。

K（xi,xj）為核函數(shù)。當(dāng)非線性不可分時(shí),通常將低維空間的數(shù)據(jù)通過非線性的函數(shù)映射到高維空間,再在高維空間內(nèi)解決分類的問題。如果選取的非線性函數(shù)恰當(dāng),那么在輸入空間內(nèi)的線性不可分問題可轉(zhuǎn)化為線性可分問題,因此,通常在高維空間的運(yùn)算中,用核函數(shù)取代線性空間中的內(nèi)積。

決策函數(shù)為:

常用的核函數(shù):

（1）線性核函數(shù)（linear） K（x,xi）=x?xi

（2）多項(xiàng)式核函數(shù)（poly） K（x,xi）=[（x?xi）+1]p,p為多項(xiàng)式的階數(shù)。

2 M-ary支持向量機(jī)

M-ary支持向量機(jī)由Sebald和Buchlew等人在2000年提出。支持向量機(jī)多分類使用較多的算法有“一對一”或者是“一對多”[7]。這兩種算法的缺點(diǎn)是存在多少種類別就得構(gòu)建多少個(gè)支持向量機(jī),增加了訓(xùn)練的時(shí)間,耗費(fèi)了系統(tǒng)較多的資源。M-ary支持向量機(jī)也是由多個(gè)二分類器組合而成,從文獻(xiàn)[5,8]中得知,在處理 k類問題時(shí),只需要構(gòu)造log2k個(gè)M-ary子分類器。M-ary支持向量機(jī)的結(jié)構(gòu)如圖2所示。

M-ary支持向量機(jī)按照以下規(guī)則構(gòu)造子分類器:

上式中k為分類器的個(gè)數(shù),S={1,2,3,…,k}。則原本k分類的問題即轉(zhuǎn)換成log2k類問題。樣本集按上式規(guī)則分為+1,-1兩類。設(shè)樣本 xi對應(yīng)的第k個(gè)子分類器的輸出為y＾k,則樣本的最終類別通過以下方程來計(jì)算:

圖2 M-ary支持向量機(jī)構(gòu)造圖

3 語音特征的提取

要構(gòu)成一個(gè)完整的語音識別系統(tǒng),除了具備一個(gè)優(yōu)良的識別算法,還需要有相應(yīng)的前端處理部分才能夠進(jìn)行有效的工作。

從圖3得知,要對語音信號進(jìn)行識別,首先從信號中提取出表征其特征的參數(shù),特征參數(shù)的好壞直接影響識別的效果。語音信號是一種時(shí)變的非平穩(wěn)信號,它的頻譜特性隨著時(shí)間的改變而改變,但傳統(tǒng)的線性預(yù)測倒譜系數(shù)（LPC）,美爾倒譜系數(shù)（MFCC）都是利用語音信號的短時(shí)非平穩(wěn)特性提取參數(shù),因此,這些方法對于提取有效的語音特征有一定的局限性。

圖3 語音識別系統(tǒng)框圖

近年來,小波理論發(fā)展迅速,被廣泛應(yīng)用于信號的處理與分析中。小波變換能夠很好的表征以低頻信息為主的信號,但是對于高頻信息較多的信號,不能很好地分析其細(xì)節(jié)信息。小波包理論是一種非平穩(wěn)信號的分析方法,是小波分析的推廣,繼承了小波變換多分辨率的思想,非均勻的劃分時(shí)頻空間,對頻帶進(jìn)行多層劃分,將小波變換沒有細(xì)分的高頻部分進(jìn)行更為詳細(xì)的分解,更有利于對包含大量中、高頻信息的信號進(jìn)行時(shí)頻局部化的分析。這些特點(diǎn)使小波包分析方法有別于傳統(tǒng)的語音處理中的短時(shí)傅立葉分析方法。

由于人耳對語音信號的感知是非線性的,比較敏感的區(qū)域集中分布在24個(gè)頻帶,稱為臨界頻帶[9]。MFCC參數(shù)的提取就是根據(jù)這24個(gè)頻帶構(gòu)建了24個(gè)帶通濾波器,將其輸出的對數(shù)能量再進(jìn)行DCT變換得到。小波包提取信號特征參數(shù)也是根據(jù)相同的原理,在小波包分解結(jié)束后,選取處于這24個(gè)頻帶上的小波包頻帶結(jié)點(diǎn),計(jì)算其對數(shù)能量再進(jìn)行DCT變換。

小波包提取特征參數(shù)的過程如下:

（1）對語音信號進(jìn)行預(yù)加重,消噪,分幀,加窗。分幀是為了提高特征參數(shù)的精度。

（2）對每幀信號進(jìn)行小波包分解,并且計(jì)算對應(yīng)臨界頻帶的結(jié)點(diǎn)小波系數(shù)的對數(shù)能量。

其中 WPXk,m為第k個(gè)子帶的第m個(gè)小波系數(shù),Nk為第k個(gè)子帶的小波系數(shù)的個(gè)數(shù),K為所選頻帶的頻帶編號。

（3）對Sk進(jìn)行DCT變換,得到新的特征參數(shù)

p為特征參數(shù)的維數(shù)。

4 仿真結(jié)果

實(shí)驗(yàn)的語音數(shù)據(jù)均由11250Hz采樣,16bit量化,在實(shí)驗(yàn)室環(huán)境下錄取5位男生和5位女生的聲音,分別讀取10個(gè)單詞,每個(gè)單詞閱讀10遍,總共采集1000個(gè)樣本。其中500組作為訓(xùn)練樣本,500組作為驗(yàn)證樣本。數(shù)據(jù)按照幀長256點(diǎn),幀移128點(diǎn)分幀。采用小波包提取出特征系數(shù),小波函數(shù)為‘DB6'。進(jìn)入M-ary支持向量機(jī)進(jìn)行處理,支持向量機(jī)的核函數(shù)分別選取‘linear',‘poly',‘rbf'核函數(shù)進(jìn)行比較。

為了使語音識別系統(tǒng)顯得直觀、實(shí)用,實(shí)驗(yàn)在MATLAB環(huán)境下構(gòu)建了GUI界面,如圖4、5所示,方便查看識別效果。

通過該GUI界面分為訓(xùn)練和識別兩部分,訓(xùn)練部分主要是將訓(xùn)練集的特征參數(shù)輸入至M-ary支持向量機(jī)中,尋找支持向量,求取拉格朗日乘子,將訓(xùn)練結(jié)果保存為.mat文件。識別部分通過load.mat文件的方式獲取訓(xùn)練后的數(shù)據(jù),再將此數(shù)據(jù)應(yīng)用于需要進(jìn)行識別的聲音,判定其所表征的含義。使用者可以自由的選定訓(xùn)練模板的個(gè)數(shù),在識別部分也可以選擇需要比較的模板的范圍。這樣可以提高識別效率,減少識別時(shí)間,提高系統(tǒng)的實(shí)時(shí)性。

為了選取最佳核函數(shù),分別對‘linear',‘poly',‘rbf'的分類結(jié)果進(jìn)行了比較,結(jié)果見表1。

圖4 訓(xùn)練界面

圖5 識別界面

表1 分類結(jié)果比較圖

從表1中得知,‘rbf'核函數(shù)的分類效果最佳,‘linear'函數(shù)分類效果較差。因?yàn)椤畆bf'核函數(shù)具有較強(qiáng)的非線性的特性,將低維空間的數(shù)據(jù)能夠更好地轉(zhuǎn)換到高維空間進(jìn)行線性劃分。在接下來的實(shí)驗(yàn)中,M-ary支持向量機(jī)都選定‘rbf'為其核函數(shù)。

為了比較識別效果,分別運(yùn)用了BP網(wǎng)絡(luò)、SVM、M-ary SVM 進(jìn)行語音實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果見表2。

表2 實(shí)驗(yàn)結(jié)果1

從表2可以看出M-ary支持向量機(jī)的識別效果最好,SVM居中,BP網(wǎng)絡(luò)效果最差,且M-ary SVM所用的訓(xùn)練時(shí)長最短,比SVM快了一半,那是因?yàn)榕cSVM 相比,M-ary的子分類器個(gè)數(shù)大為減少,所以訓(xùn)練時(shí)間最少,而且精度也最高。為了充分驗(yàn)證M-ary支持向量機(jī)的抗噪能力,即強(qiáng)健性。在訓(xùn)練樣本中混入零均值的高斯白噪聲,測試樣本不變,此時(shí)信噪比為30dB。重新訓(xùn)練支持向量機(jī),此時(shí)這3種識別方法的抗噪測試比較結(jié)果見表3。

表3 實(shí)驗(yàn)結(jié)果2

從表3可看出混入高斯白噪聲后,對訓(xùn)練的時(shí)長影響不大,但對識別率都有一定的作用。BP網(wǎng)絡(luò)受噪聲干擾的影響最大,而SVM和M-ary SVM受的影響較小,識別率改變的幅度不大。這是因?yàn)镾VM采用的是將數(shù)據(jù)從低維空間映射到高維空間的思想,由支持向量來決定最優(yōu)分割線,由于噪聲的能量不大,加入的高斯白噪聲在低-高維轉(zhuǎn)換時(shí),能起決定性影響的數(shù)據(jù)大量減少,所以,支持向量機(jī)的抗噪聲能力優(yōu)于BP網(wǎng)絡(luò),并且性能穩(wěn)定。M-ary SVM的識別率和抗噪能力都是最優(yōu)的。

5 結(jié)束語

介紹了M-ary SVM在語音識別系統(tǒng)上的應(yīng)用,并引入BP網(wǎng)絡(luò)和標(biāo)準(zhǔn)SVM對其分類效果進(jìn)行比較。從仿真結(jié)果看,M-ary SVM具有較為理想的分類能力,其抗噪能力也優(yōu)于BP網(wǎng)絡(luò)和標(biāo)準(zhǔn)的SVM。但是M-ary SVM的識別正確率受樣本選取的影響較大,具有一定的局限性,希望在今后的研究中會得到進(jìn)一步的改進(jìn)與優(yōu)化。

[1] 詹新明,黃南山,楊燦.語音識別技術(shù)研究進(jìn)展[J].現(xiàn)代計(jì)算機(jī),2008,（9）:43-45.

[2] 張學(xué)工.關(guān)于統(tǒng)計(jì)學(xué)習(xí)理論與支持向量機(jī)[J].自動(dòng)化學(xué)報(bào),2000,26（1）:32-42.

[3] Vapnik.The nature of statistical learning theory[M].New York:Spinger-verlag,1995.

[4] 張宏烈.支持向量機(jī)在字符識別中的應(yīng)用研究[J].微計(jì)算機(jī)信息,2006,11:245-247.

[5] Daniel J Sebald,James A Bucklew.Support Vector Machines and the Multiple Hypothesis Test Problem[J].IEEE TRANSACTIONS ON SIGNAL PROCESSING,2001,49（11）:2865-2872.

[6] 肖健華.智能模式識別方法[M].廣州:華南理工大學(xué)出版社,2006:148-155.

[7] 余輝,趙輝.支持向量機(jī)多類分類算法新研究[J].計(jì)算機(jī)工程與應(yīng)用,2008,44（7）:185-189.

[8] 肖燕彩,陳秀海.改進(jìn)的M-ary支持向量機(jī)模型及其在變壓器故障診斷中的應(yīng)用[J].上海交通大學(xué)學(xué)報(bào),2008,42（12）:2033-2036.

[9] 韓紀(jì)慶,張磊,鄭鐵然.語音信號處理[M].北京:清華大學(xué)出版社,2004:25-31.

[10] 飛思科技.小波分析理論與MATLAB7實(shí)現(xiàn)[M].北京:電子工業(yè)出版社,2005.