基于ABC優化MVDR的語音情感識別研究

孫志鋒

（陜西師范大學 計算機科學學院，陜西 西安　710062）

基于ABC優化MVDR的語音情感識別研究

孫志鋒

（陜西師范大學 計算機科學學院，陜西 西安710062）

語音情感特征的提取和選擇是語音情感識別的關鍵問題，針對線性預測（LP）模型在語音情感譜包絡方面存在的不足。本論文提出了最小方差無失真響應（MVDR）譜方法來進行語音情感特征的提取；并通過人工蜂群（ABC）算法找到最優語音情感特征子集，消除特征冗余信息；利用徑向基函數（RBF）神經網絡對CASIA漢語情感語料庫中的4種情感語音即生氣、平靜、高興、害怕進行實驗識別。實驗結果表明，該方法比線性預測法有更高的識別率和更好的魯棒性。

最小方差無失真響應；人工蜂群算法；語言情感識別；線性預測

人類說話除了表達基本的文字信息以外，還表達了說話人的情感和情緒等信息。所以，我們可以依據語音來識別人類的情感。語音情感識別主要包括情感特征參數的提取、選擇和識別，其中情感特征的好壞直接影響著情感識別的識別率，所以好的情感特征提取與選擇算法能夠實時地、高效地反映情感狀態特征。

在特征參數提取技術方面，最常用的是用于計算全極點參數的線性預測（LP）譜，該譜能較好地表征頻譜的峰值信息，然而對其它信息忽略過多，導致不能很好地表征語音情感譜包絡，最終使得語音情感識別率較低。最小方差無失真響應（MVDR）譜最早由Capon提出［1］，并被Lacoss證明它提供了對一個信號譜成分的最小方差無失真估計［2］，當前該方法在陣列信號處理方面得到了廣泛的應用。Cox等人針對導向向量失配問題，提出了對角加載穩健性的MVDR方法，但加載量大小的選擇對算法的穩健性影響較重，加載量大小的選擇比較困難［3］。Murthi和Rao等人最早將MVDR方法作為一種譜包絡估計技術引入到語音識別中［4］，Yapanel等人提出MVDR感知倒譜系數（PMCCs）用于語音特征提取，先將語音頻譜通過mel濾波器組，計算得到感知自相關系數，再依據這些參數估計MVDR系數［5］。Md提出了一種正規化最小方差無失真相應（RMVDR）方法代替基于離散傅立葉變換直接譜估計來提取魯棒性語音特征［6］。相比LP方法，MVDR方法可以計算語音情感的全極點譜，解決了LP譜對基音周期較高的濁音信號的頻譜估計不準的問題。

在特征參數選擇技術方面，當前特征選擇算法主要有：窮舉法，主成分分析法（PCA），線性判別法（LDA），啟發式算法包括順序向前選擇（SFS）、順序向后選擇（SBS）、優先選擇（PFS）、順序浮動前進選擇（SFFS）等，隨機算法有蟻群算法（ACO）和神經網絡分析法等，熵值法等，取得了一定的效果，但也存在不足。針對當前選擇算法中存在的部分不足，本文提出了人工蜂群的特征選擇語音情感識別算法。

本文首先采用最小方差無失真響應（MVDR）方法提取語音情感特征，提取出來的特征為語音情感信號功率譜特征，由16維的MVDR譜系數及一階、二階差分組成48維特征參數。然后運用人工蜂群算法對提取出來的情感特征進行分析，算法得到10維的最優特征子集，最后用徑向基函數（RBF）神經網絡進行模式匹配和情感識別。

1　MVDR譜估計算法

MVDR譜估計實際上是設計出滿足下列條件下的濾波器組，M階的FIR濾波器h（n）要求滿足約束條件［7］：

1）無失真條件：

也可以寫成矩陣形式

其中 ET（wt）=［1，ejwt，ej2wt，…，ejMwt］，a=［a0，a1，…，aM］T，H 為矩陣的厄密共軛。也就是說，在感興趣wt的頻率的頻率響應具有單位增益，使wt無失真地通過濾波器。

2）最小化h（n）的輸出能量：

其中RM+1是輸入信號的（M+1）行（M+1）列的自相關矩陣。

這個條件的最優問題的解是：

3）對a輸出信號進行能量估計：

其中PMV（wt）為信號的MVDR功率譜，suu（ejw）表示信號的能量譜，H（ejwt）為濾波器在wt處的沖擊響應。

無失真條件確保由頻率wt組成的輸入信號能夠無失真地通過濾波器，使輸出能量最小化達到抑制除感興趣以外的其它頻率信號和噪聲的目的。所以MVDR方法能夠解決LP方法對諧波頻率處包絡能量估計不足的問題。

按照上面的情況，MVDR方法好像必須為wt單獨設計一個h（n），但在實際中進行信號頻率估計時，可以直接由下式計算［8］：

2　ABC算法

ABC算法是一種模擬蜜蜂覓食行為的群智能優化方法。為解決多變量函數優化問題，Karboga于2005年提出的［9］。

在基本的ABC算法中，蜂群包括引領蜂、跟隨蜂和偵察蜂3種個體。引領蜂對應一個確定的食物源（解向量）并在循環迭代中對該食物源的鄰域進行搜索；跟隨蜂根據食物源的收益度（適應值大小）采用輪盤賭方式搜索新的食物源；偵察蜂隨機搜索新的食物源，使算法跳出局部最優解，即如果食物源多次更新沒有改良，則舍棄該食物源。

3　基于ABC優化MVDR的語音情感識別

文中所設計的識別系統框圖如圖1所示，先對輸入的語音情感信號進行預處理（預加重、端點檢測、分幀、加窗等），再運用MVDR譜估計方法對情感信號進行特征參數提取，并對參數歸一化處理，然后采用ABC方法對語音情感特征向量降維，最后在得到的情感特征子集向量上建立RBF分類識別模型并得到最終的識別結果和識別率。

文中算法的具體步驟如下：

1）逐一對語音情感信號樣本進行預加重、端點檢測、分幀、加窗等預處理，其中窗函數采用漢明窗，幀長為256，幀移為128。

2）按順序根據公式6提取每一幀語音情感信號的MVDR譜系數，其中自相關矩陣的階數M=16（階數越高，譜分辨率越高）。

3）對MVDR譜系數按如下公式進行歸一化處理。

4）運用ABC算法對歸一化后的MVDR譜系數進行特征選擇，選擇出最優語音情感特征子集。

①ABC算法參數初始化。主要參數有人工蜂群大小Nc，引領蜂數量Ne，跟隨蜂數量No，舍棄食物源參數limit，最大循環次數MCN，種群中解的個數Ns，每個解向量Xi=（Xi1，Xi2，…，XiD）（i=1，2，…，SN）都為D維向量（D為優化參數個數，SN為食物源數目）。

其中Nc，Ne，No，Ns滿足Nc=2Ne=2No=2Ns，在初始階段根據以下公式隨機產生初始解Xi（i=1，2，…，SN），

其中j∈｛1，2，…，D｝，Xmin，j與Xmax，j分別表示Xij中的下限與上限。

在本文識別模型中初始值設定分別為：Nc=20，Ne=No=Ns= 10，Limit=100，MCN=30。

②根據下列式子計算每個解Xi的適應度值：，i=0，1，2，

③引領蜂記錄自己目前為止的最優食物源，并根據記憶在當前食物源鄰域內展開搜索產生一個新的食物源，然后采用貪婪準則在記錄中的最優食物源與新的食物源之間進行抉擇，即當新的食物源優于記錄中的食物源時，則用新的食物源替換舊的，否則，保留舊的食物源。

第i只引領蜂搜索鄰域產生新的食物源Vj的公式為：

其中，j∈｛1，2，…，D｝，k為［1，SN］之間產生的隨機整數，并且k≠i；φij∈［-1，1］之間的隨機數，代表鄰域的搜索范圍。

④當所有的引領蜂完成搜索過程后，將食物源的信息通過舞蹈區與跟隨蜂分享。跟隨蜂根據輪盤賭方式以一定概率選擇食物源。跟隨蜂選擇食物源的概率公式為：

其中，fit（Xi）表示第i解的適應值對應食物源的收益度。收益度越高的食物源被跟隨蜂選擇的概率越大。

同樣，跟隨蜂也要根據公式（8）進行一次鄰域搜索，并與引領蜂一樣，選擇較好的食物源。

⑤當某食物源保持迭代limit次沒有改進時，則表示該食物源陷入局部最優，則應當舍棄該食物源，同時將該食物源對應的引領蜂轉變為偵察蜂，并按⑺式隨機產生一個新的食物源代替舊的。

⑥判斷是否達到最大迭代次數（MCN），若達到，則循環結束，輸出最優食物源；否則返回繼續執行C，D，E。

（5）將上述得到的每個語音情感信號樣本的最優特征子集作為RBF分類器的輸入參數，經RBF識別后，得到每類情感的識別結果并統計出每類情感的平均識別率。

圖1　基于ABC優化MVDR的語音情感識別流程圖Fig.1　Process of based on ABC optimization MVDR speech emotion recognition

4　實驗結果與分析

本文所采用的語音庫為CASIA漢語情感語料庫，由中國科學院自動化研究所錄制，共包括4個專業發音人（2男2女），6種情感，我從中選擇angry，fear，happy，neutral 4類基本情感進行研究，并將每人每類情感語句中的前30個作為訓練樣本，后20個作為測試樣本。語音資料以wav格式存儲，采樣率為16 000 Hz，采樣精度為16 bit，信噪比約為35 db。實驗平臺為CPU 2.40 GHz/2 GB，MATLABR2013a。分別用MVDR譜方法與LP譜方法對四種情感語音庫進行特征參數提取，特征維數都為48維，包括16維的一階差分與16的二階差分。識別模型采用RBF。實驗得到結果如表1所示。

表1　MVD與LP參數提取方法的識別率和識別時間Tab.1　Recognition rate and recognition time of MVD and LP parameter extraction method

從表1第3行的實驗結果，我們不難看出，基于MVDR的語音情感新特征對實驗的4種情感具有較高的區分能力，4種基本情感的識別率都達到了 60%以上，其中 fear和neutral的識別率較高，而angry與happy的識別率就相對較低。happy容易被錯誤的歸類fear中去，而angry主要與neutral存在一定的混淆，這主要是因為情感強度類似的語音在發音時的許多生理特性存在一定的類似，容易混淆。從整個表1我們可以知道，用MVDR譜方法比用LP譜方法提取特征參數，4種基本情感的識別率都有所提高，其中angry，fear，happy，neutral的識別分別提高了 6.45%，5.6%，6.4%，11.1%，以至平均識別率提高了7.44%，從而進一步證明了MVDR提取情感特征的有效性，但是MVDR譜方法會使得識別系統的平均識別時間提高，所以文中提出了用ABC算法找到最優特征子集，消除特征冗余。實驗得到的結果如表2所示。

表2　MVDR與MVDR+ABC方法的識別率與識別時間Tab.2　Recognition rate and recognition time of MVDR and MVDR+ABC methods

從表2中的實驗結果，我們可以看出經ABC算法特征選擇的平均識別時間比單獨MVDR方法縮短了很多，并且在識別率方面也有一定的提高，angry，fear，happy，neutral的識別率分別提高了8.5%，2.3%，6%，0.85%，致使平均識別率提高了4.55%，所以相對于單獨的MVDR方法，ABC算法在情感識別率與系統性能上都有較大的提高。

5　結束語

針對傳統的LP方法過于強調諧波頻率上的能量，使得語音情感譜包絡形狀尖銳，本文提出了MVDR譜方法用于提取特征參數，并用RBF進行識別。實驗結果顯示，該方法比傳統LP譜方法明顯提高了識別率，但增加了平均識別時間，所以提出了ABC算法用于特征選擇，消除特征冗余。結果表明，ABC算法不僅減少了平均識別時間，而且提高平均識別率，使得語音情感識別系統魯棒性增強。所以證明了本文算法的有效性。

［1］Capon J.High-resolution frequency-wavenumber spectral analysis［C］//Proceedings of the IEEE.USA：IEEE，1969，57：1408-1418.

［2］Lacoss R T.Data adaptive spectral analysis methods［J］. Geophysics，1971，36：661-675.

［3］Cox H.Robust adaptive beamforming［J］.IEEE Transactions on Acoustic Speech and Signal Processing，1987，35（10）：1365-1375.

［4］Dharanipragada S.Feature extraction for robust speech recognition［C］//IEEE International Sympo-sium on Circuits and Systems.USA：IEEE，2002：855-858.

［5］Yapanel U H，Dharanipragada S.Perceptual MVDR-based cepstral cosfficients（PMCCs）for noise robust recognition［M］. In：IEEE ICASSPO3，2003.

［6］Md.Jahangir Alam，Patrick Kenny，Douglas O'Shaughnessy，RegularizedMVDR Spectrum Estimation-based Robust Feature Extractors for Speech Recognition［J］.Proc.INTERSPEECH，Lyon，France，2013.

［7］Ntalampiras S，Fakotakis N.Modeling the temporal evolution of acoustic parameters for speech emotion recognition［J］. IEEE Transactions on Affective Computing，2012，3（1）：116-125.

［8］Haykin S.Adaptive Filter Theory［M］.Englewood Cliffs，NJ：Prentice Hall，1991.

［9］KARABOGA D.An idea based on honey bee swarm for numerical optimization［R］.Erciyes：Erciyes University，Engi-

Speech emotion recognition based on ABC optimization MVDR

SUN Zhi-feng
（School of Computer Science Shaanxi Normal University，Xi’an 710062，China）

It is a crucial problem to extract and choose the features of speech emotion.To solve the problem of Linear Prediction in speech emotion spectrum envelope，this paper puts forward to extract the features of speech emotion with Minimum Variance Distortionless Response（MVDR）spectrum method.In order to eliminate redundant information，it uses Artificial Bee Colony（ABC）algorithm to obtain the optimal subset of the features.Then the experiment recognise four speech emotions namely：angry，neutral，happy，fear，in the Casia Chinese Emotion Corpus through Radial Basis Function（RBF）Neural Network method.The results show that the approach in this paper has higher rate of recognition and is more robust.

minimum variance distortionless response；artificial bee colony algorithm；speech emotion recognition；linear prediction

TN710.9

A

1674－6236（2016）03-0011-03

2015-03-15稿件編號：201503196

孫志鋒（1989—），男，江西上饒人，碩士研究生。研究方向：信號處理，模式識別。