結(jié)合數(shù)據(jù)平衡和注意力機(jī)制的CNN+LSTM的自然語音情感識別①

陳 港,張石清,趙小明,

1(浙江理工大學(xué) 機(jī)械與自動控制學(xué)院,杭州 310018)

2(臺州學(xué)院 智能信息處理研究所,臺州 318000)

人類的語言不僅包含了豐富的文本信息,同時也攜帶著包含人們情緒表達(dá)的音頻信息,如語音的高低、強(qiáng)弱、抑揚(yáng)頓挫等變化.如何讓計算機(jī)從語音信號中自動識別出說話人的情感狀態(tài),即所謂的“語音情感識別”方面的研究,已成為人工智能、模式識別、情感計算等領(lǐng)域中的一個熱點研究課題.該研究旨在讓計算機(jī)通過分析說話人的語音信號對用戶的情感信息進(jìn)行獲取、識別和響應(yīng),從而實現(xiàn)用戶與計算機(jī)之間的交互更加和諧與自然.該研究在智能人機(jī)交互、電話客服中心、機(jī)器人等方面具有重要的應(yīng)用價值.

目前,在語音情感識別領(lǐng)域中,大量的前期工作[1-4]主要是針對模擬情感而進(jìn)行的,因為這種模擬情感數(shù)據(jù)庫的建立相對自然情感而言,要容易得多.近年來,針對實際環(huán)境下的自然語音情感識別方面的研究備受研究者的關(guān)注,因為它更接近實際,而且比模擬情感的識別要困難得多.

語音情感特征提取,是語音情感識別中的一個關(guān)鍵步驟,其目的是從情感語音信號中提取能夠反映說話人情感表達(dá)信息的特征參數(shù).目前,大量語音情感識別文獻(xiàn)[5-10]采用手工設(shè)計的特征用于情感識別,如韻律特征(基頻、振幅、發(fā)音持續(xù)時間)、音質(zhì)特征(共振峰、頻譜能量分布、諧波噪聲比),譜特征(梅爾頻率倒譜系數(shù)(Mel Frequency Cepstrum Coefficient,MFCC))等.近年來,也出現(xiàn)了一些代表性的包含幾千個手工設(shè)計特征的聲學(xué)特征集,如Interspeech-2010 特征集[11],ComParE 特征集[12],AVEC-2013 特征集[13]以及GeMAPS 特征集[14].盡管這些手工設(shè)計的特征參數(shù)已經(jīng)取得了較好的語音情感識別性能,但它們是低層次的,對于情感的判別力還不夠高,與人類理解的情感標(biāo)簽還存在“語義鴻溝”問題.

為了解決這個問題,近年來新出現(xiàn)的深度學(xué)習(xí)技術(shù)[15]可能提供了線索.近年來,一些代表性的深度學(xué)習(xí)方法,如深度信念網(wǎng)絡(luò)(Deep Belief Network,DBN)[15]、卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)[16]和長短時記憶單元(Long Short-Term Memory,LSTM)[17]都已經(jīng)用于語音情感識別.當(dāng)使用深度學(xué)習(xí)方法時,其輸入一般為手工設(shè)計的聲學(xué)特征參數(shù),或者原始的語音頻譜.例如,文獻(xiàn)[18]采用DBN 直接從提取的MFCC等聲學(xué)特征參數(shù)中提取高層次的屬性特征,然后使用極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)實現(xiàn)情感的分類任務(wù).文獻(xiàn)[19-22]也開始成功使用CNN 從原始的語音頻譜中提取出合適的特征參數(shù)用于語音情感識別.例如,文獻(xiàn)[19]采用稀疏自動編碼器和1 層CNN 結(jié)構(gòu)的方法從原始的語音頻譜中學(xué)習(xí)情感語音特征.

值得指出的是,文獻(xiàn)[19-21]采用樣本數(shù)量非常有限的情感語音數(shù)據(jù)集來訓(xùn)練自己的淺層CNN 模型(1 或2 個卷積層).然而,在計算機(jī)視覺領(lǐng)域,利用已訓(xùn)練好的深度CNN 模型,如AlexNet[16],在目標(biāo)圖像數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí)往往取得比淺層CNN模型更好的性能.主要原因是,深度CNN 模型可以通過采用多層的卷積和池化操作來捕獲圖像的高層屬性特征.為了充分發(fā)揮深度CNN 模型的優(yōu)勢,我們之前的一個工作[22]提出將一維的情感語音信號轉(zhuǎn)換成類似于RGB 圖像的三通道語音頻譜片段作為深度CNN 模型的輸入,然后將在ImageNet 圖像數(shù)據(jù)集已訓(xùn)練好的AlexNet 模型在目標(biāo)語音情感數(shù)據(jù)集進(jìn)行跨模態(tài)的遷移學(xué)習(xí),取得了比淺層CNN 模型更好的語音情感識別性能.此外,文獻(xiàn)[23]提出一種多尺度的CNN+LSTM的混合深度學(xué)習(xí)模型,獲得了較好的語音情感性能.

然而,現(xiàn)有基于深度學(xué)習(xí)方法的語音情感識別研究存在一些問題:

(1)沒有考慮語音數(shù)據(jù)集客觀存在的情感類別不平衡問題,即數(shù)據(jù)集中各種情感類型的樣本數(shù)量極不均衡.在這種數(shù)據(jù)類別不平衡的情況下,深度學(xué)習(xí)方法訓(xùn)練時對樣本少的情感類型容易出現(xiàn)過擬合的現(xiàn)象.

(2)語音信號是一種時間序列信號,但不同時間上的片段區(qū)域?qū)η楦凶R別的作用大小是不一樣的.現(xiàn)有文獻(xiàn)大都忽略了一句語音中不同片段區(qū)域在情感識別方面作用的差異性,從而限制了深度學(xué)習(xí)方法的特征表征能力.因此,有必要將人類視覺注意力機(jī)制(attention mechanism)與深度學(xué)習(xí)方法相結(jié)合[24,25],用于語音情感識別的特征學(xué)習(xí).

針對上述問題,本文提出一種結(jié)合數(shù)據(jù)平衡和注意力機(jī)制的CNN+LSTM的語音情感識別方法,并且用于自然語音情感類型的識別.首先,采用欠采樣和過采樣的方式實現(xiàn)情感語音數(shù)據(jù)集中的樣本片段數(shù)量的類別平衡.所謂欠采樣是在多數(shù)類中的語音樣本進(jìn)行部分采樣,而過采樣是在少數(shù)類中的語音樣本進(jìn)行部分重復(fù)采樣.其次,采用在大規(guī)模音頻數(shù)據(jù)集上已訓(xùn)練好的VGGish[26]模型在目標(biāo)語音情感數(shù)據(jù)集上進(jìn)行遷移學(xué)習(xí).最后,通過對VGGish 學(xué)習(xí)到的一句語音中不同的片段特征區(qū)域,生成時間分布上的權(quán)重,然后和特征圖進(jìn)行加權(quán)求和運(yùn)算,從而監(jiān)督雙向LSTM 網(wǎng)絡(luò)(Bi-LSTM)的學(xué)習(xí),以便給一句語音中不同片段特征區(qū)域分配不同的注意力權(quán)重值.這樣,該方法能夠聚焦于一句語音中對情感識別起作用的目標(biāo)片段區(qū)域的特征學(xué)習(xí),從而改善深度神經(jīng)網(wǎng)絡(luò)的特征表征能力,進(jìn)一步提高語音情感識別性能.

在自然情感語音數(shù)據(jù)庫BAUM-1s[27]和CHEAVD-2.0[28]的試驗結(jié)果表明,本文方法取得的語音情感識別性能優(yōu)于其它方法.

1 提出的方法

圖1給出了結(jié)合數(shù)據(jù)平衡和注意力機(jī)制的CNN+LSTM的語音情感識別方法的系統(tǒng)流程圖.由圖1所示,該方法包括4 個步驟:(1)對數(shù)梅爾頻譜(Log Melspectrogram)的創(chuàng)建和數(shù)據(jù)平衡(data balance);(2)基于CNN的深度片段特征學(xué)習(xí);(3)基于注意力機(jī)制的Bi-LSTM的情感分類.圖1中每個步驟的實現(xiàn),具體如下所述.

圖1 結(jié)合數(shù)據(jù)平衡和注意力機(jī)制的CNN+LSTM的語音情感識別方法

1.1 對數(shù)梅爾頻譜的創(chuàng)建和數(shù)據(jù)平衡

對原始的一維情感語音信號重采樣為16 kHz的單聲道格式,然后采用幀移為10 ms,時長為25 ms的漢寧窗進(jìn)行短時傅里葉變換,計算出整句語音信號的聲譜圖.將聲譜圖映射到64 階Mel 濾波器組(Filter banks)中計算出Mel 聲譜并取對數(shù),得到穩(wěn)定的對數(shù)Mel 頻譜.

考慮到用于后續(xù)特征學(xué)習(xí)的VGGish[26]模型輸入的片段大小是96×64,其時長為0.96 s (含96 幀,每幀0.01 s),因此需要通過控制時長進(jìn)行欠采樣或重采樣,以便實現(xiàn)訓(xùn)練數(shù)據(jù)的平衡.圖2和圖3分別給出了BAUM-1s和CHEAVD2.0 上的數(shù)據(jù)平衡示意圖.

圖2 BAUM-1s 數(shù)據(jù)集上的數(shù)據(jù)平衡

圖3 CHEAVD2.0 數(shù)據(jù)集上的數(shù)據(jù)平衡

如圖2,圖3所示,由于數(shù)據(jù)集中的每個語音樣本的時長是不同的,然而模型的輸入大小是固定的,因此使用數(shù)據(jù)平衡方法對輸入的語音樣本進(jìn)行規(guī)范化處理,數(shù)據(jù)平衡的實現(xiàn)分為3 種情況:(1)對于時長小于0.96 s(時長＜0.96 s)的語音樣本,在其后面進(jìn)行重復(fù)補(bǔ)值為零的幀,從而得到一個時長為0.96 s的片段,即含有96幀的對數(shù)梅爾頻譜圖;(2)對于時長大于0.96 s的語音樣本,會根據(jù)其所屬類別的樣本總數(shù)占數(shù)據(jù)集總樣本數(shù)的比例的多少進(jìn)行欠采樣或重采樣.例如,對于BAUM-1s 上類別樣本數(shù)量較多的高興(Joy)和悲傷(Sadness)的語音樣本采用欠采樣方式減少片段數(shù),即只在它們的首尾段處各取一個0.96 s的片段,而對于樣本數(shù)量不多的語音樣本采用重采樣方式進(jìn)行片段數(shù)的放大.對于樣本數(shù)最少的害怕(Fear)和驚奇(Surprise)語音樣本,片段重疊長度為0.24 s,而樣本數(shù)較少的生氣(Anger)和厭惡(Disgust),其片段重疊長度為0.48 s.數(shù)據(jù)平衡中產(chǎn)生的片段樣本的類別等于其所在整句語音的情感類別.表1和表2分別列出了采用數(shù)據(jù)平衡前后在BAUM-1s和CHEAVD2.0 訓(xùn)練數(shù)據(jù)集上的各種情感類型的樣本片段數(shù)量的對比.由表1和表2可知,在數(shù)據(jù)平衡之前,每個類別的樣本數(shù)量差異較大,如害怕(Fear)和驚奇(Surprise)類別的語音樣本數(shù)量,與其他類別的樣本數(shù)量相差較大,在數(shù)據(jù)平衡之后,數(shù)據(jù)集中的每個類別的樣本數(shù)量達(dá)到一種近似的數(shù)據(jù)平衡狀態(tài),從而能訓(xùn)練出更具魯棒性的網(wǎng)絡(luò)模型.作為舉例,由于BAUM-1s包含30 人,實驗時采用5 次交叉驗證方法,即所有數(shù)據(jù)平均分成5 組,使用其中一組用于測試,剩下的4 組用于訓(xùn)練,共循環(huán)5 次,最后取5 次的平均結(jié)果作為最終的結(jié)果.因此,表1只列出了第一次交叉驗證時的數(shù)據(jù)平衡前后結(jié)果,其中測試數(shù)據(jù)包含隨機(jī)選擇的6 人(S03、S19、S20、S24、S28、S29).

表1 BAUM-1s 數(shù)據(jù)平衡前后的訓(xùn)練數(shù)據(jù)樣本片段數(shù)量比較

表2 CHEAVD2.0 數(shù)據(jù)平衡前后的訓(xùn)練數(shù)據(jù)樣本片段數(shù)量比較

1.2 基于CNN的深度片段特征學(xué)習(xí)

目前,在計算機(jī)視覺領(lǐng)域,文獻(xiàn)[29,30]已經(jīng)證明在目標(biāo)數(shù)據(jù)集上對預(yù)先訓(xùn)練好的CNN 模型進(jìn)行微調(diào)(Fine-tuning),是一種有效的減輕數(shù)據(jù)不足的方法.具體的實現(xiàn)方式為首先通過一個大型的數(shù)據(jù)集來訓(xùn)練網(wǎng)絡(luò)模型,由于網(wǎng)絡(luò)模型的參數(shù)初始化對于模型的訓(xùn)練是至關(guān)重要的,因此由大型數(shù)據(jù)集訓(xùn)練完成保存的模型參數(shù)可用于初始化目標(biāo)任務(wù)的模型參數(shù).如文獻(xiàn)[30]首先使用Imagenet 數(shù)據(jù)集訓(xùn)練網(wǎng)絡(luò)模型,完成訓(xùn)練后,將模型的最后一個全連接層之前的所有參數(shù)遷移到目標(biāo)任務(wù)中的模型,以此進(jìn)行目標(biāo)任務(wù)模型的參數(shù)初始化.為此,采用在大規(guī)模音頻數(shù)據(jù)集上已訓(xùn)練好的VGGish[26]模型在目標(biāo)語音情感數(shù)據(jù)集上進(jìn)行遷移學(xué)習(xí).

VGGish是由Google的語音理解技術(shù)團(tuán)隊于2017年3月發(fā)布的一個在大規(guī)模音頻數(shù)據(jù)集訓(xùn)練得到類似于VGG的模型,旨在為音頻事件檢測提供常見的大規(guī)模評估任務(wù).該模型包括6 個卷積層(Conv1,Conv2,···,Conv6)、4 個最大池化層(Pool1,Pool2,Pool2,Pool3,Pool4)和4 個全連接層(FC1,FC2,FC3,FC4).VGGish的訓(xùn)練數(shù)據(jù)來自于包括600 多個音頻事件類的本體的200 萬個人標(biāo)記的10 s YouTube 視頻音軌組成的數(shù)據(jù)集.VGGish 能夠從原始的語音信號片段96×64 中提取高層次的128-D 大小的特征向量.

給定第i個輸入片段數(shù)據(jù)ai及其對應(yīng)的情感類別yi,對預(yù)訓(xùn)練好的VGGish 網(wǎng)絡(luò)(V)進(jìn)行微調(diào),則相當(dāng)于求解下面的最優(yōu)化問題:

式中,ΥV(ai;θV)表示網(wǎng)絡(luò)V的最后一個全連接層的輸出特征,θV表示網(wǎng)絡(luò)V的網(wǎng)絡(luò)參數(shù),WV表示網(wǎng)絡(luò)V的Softmax 層的權(quán)重參數(shù).損失函數(shù)L則表示為:

式中,yj表示第j個語音片段樣本真實的類別號,yVj表示網(wǎng)絡(luò)V的Softmax 層所預(yù)測的第j個樣本類別號,t表示情感類別數(shù)目.

1.3 基于注意力機(jī)制的Bi-LSTM的情感分類

為了獲取一句語音的長時間動態(tài)信息,采用基于注意力機(jī)制的雙向長短時記憶網(wǎng)絡(luò)(Bi-LSTM)對CNN 在不同語音頻譜片段上學(xué)習(xí)到的128-D 特征序列進(jìn)行時間上的動態(tài)信息建模,并輸出整句語音樣本的情感識別結(jié)果.

給定一個時間長度為T的輸入序列(x1,x2,···xT),Bi-LSTM 旨在通過計算網(wǎng)絡(luò)節(jié)點激活函數(shù)的輸出,將輸入序列(x1,x2,···xT)映射到一個輸出序列(p1,p2,···,pT),如下所示:

式中,it、ft、ct、σt、ht分別是LSTM 模型中的輸入門、忘記門、細(xì)胞存儲單元和輸出門的激活輸出向量.xt和ht分別表示第t個時間步長的輸入向量和隱層向量.Wαβ表示α和β 之間的權(quán)重矩陣.例如,Wxi是從輸入xt到輸入門it的權(quán)重矩陣.bα是的偏置值,σ表示Sigmoid 激活函數(shù)σ(x)=1/(1+e-x).

為了采用視覺注意力機(jī)制獲取需要聚焦的重點語音片段區(qū)域,并抑制其他無用的信息,擬在 Bi-LSTM的基礎(chǔ)上添加一個注意力層(attention layer).該注意力層首先采用式(8),計算出不同時間序列片段特征的權(quán)重參數(shù),然后采用式(9)對不同片段特征進(jìn)行加權(quán)求和,得到整句語音的特征表示μ,緊接著就可以采用Softmax 分類器來預(yù)測整句語音的情感類別.

2 實驗與結(jié)果分析

為了檢驗所提出方法的自然語音情感識別性能,采用自然情感語音數(shù)據(jù)集BAUM-1s[27]和CHEAVD2.0[28]進(jìn)行自然語音情感識別的實驗測試.

2.1 數(shù)據(jù)集

BAUM-1s[27]數(shù)據(jù)集是一個在2016年建立的音視頻情感數(shù)據(jù)集.它包括1222 個視頻樣本,來自于30 個土耳其人.實驗中擬采用6 種基本情感進(jìn)行測試,即生氣(Anger)、厭惡(Disgust)、害怕(Fear)、高興(Joy)、悲傷(Sadness)和驚奇(Surprise).這樣,最終收集到520 個情感語音樣本用于實驗測試.

CHEAVD2.0[28]是中科院自動化所在2017年為多模態(tài)情感識別競賽時提供的音視頻情感數(shù)據(jù)集.它包含8 種情感類型:生氣(Anger)、厭惡(Disgust)、害怕(Fear)、高興(Joy)、悲傷(Sadness)、驚奇(Surprise)、擔(dān)心(Worry)和焦慮(Anxiety).該數(shù)據(jù)集共有7030 個樣本,分為3 部分:訓(xùn)練集(4917 個樣本)、驗證集(707 個樣本)和測試集(1406 個樣本).本文使用訓(xùn)練集和驗證集來檢驗所提出方法的自然語音情感識別性能,因為測試集只對參加競賽者開放和獲取.

2.2 結(jié)果分析

表3和表4分別列出了本文方法采用數(shù)據(jù)平衡前后的試驗結(jié)果的比較.從表3和表4可見:

(1)不管是否采用數(shù)據(jù)平衡策略,本文采用的帶注意力機(jī)制方法(VGGish+LSTM+Attention)取得的語音情感識別性能,都要優(yōu)于未帶注意力機(jī)制方法(VGGish+LSTM).這表明采用注意力機(jī)制能夠改善LSTM的特征表征能力,因為注意力機(jī)制能夠聚焦于一句語音中對情感識別起作用的目標(biāo)片段區(qū)域的特征學(xué)習(xí).

(2)做數(shù)據(jù)平衡之后,所有方法取得的識別性能都要明顯高于數(shù)據(jù)平衡之前的結(jié)果.在數(shù)據(jù)平衡之前,本文方法(VGGish+LSTM+Attention)在BAUM-1s和CHEAVD2.0 數(shù)據(jù)集分別取得了44.09%和41.73%.然而,在數(shù)據(jù)平衡之后,本文方法則分別在BAUM-1s和CHEAVD2.0 數(shù)據(jù)集上提高了3.18%和2.05%.這說明采用數(shù)據(jù)平衡策略能夠進(jìn)一步改善深度學(xué)習(xí)方法的特征學(xué)習(xí)能力.

表3 數(shù)據(jù)平衡之前的語音情感識別性能(%)

表4 數(shù)據(jù)平衡之后的語音情感識別性能(%)

為了進(jìn)一步給出每種情感類型的具體正確識別率,圖4和圖5分別列出了本文方法(VGGish+LSTM+Attention)在數(shù)據(jù)平衡之后的兩個數(shù)據(jù)集上識別結(jié)果的模糊矩陣.由圖4可知,在數(shù)據(jù)平衡之后的BAUM-1s 數(shù)據(jù)集上,高興(Joy)和悲傷(Sadness)的正確識別率分別達(dá)到了64.53%和61.19%,而其它4 種情感類別的識別性能較差,不足40%.由圖5可知,在數(shù)據(jù)平衡之后的CHEAVD2.0 數(shù)據(jù)集上,生氣(Anger)和中性(Neutral)的正確識別率分別達(dá)到了65.62%和64.5%,而其它6 種情感類型的正確識別率都不足45%.主要原因可能是這些情感類型學(xué)習(xí)到的特征表征區(qū)分度不高,導(dǎo)致它們相互之間容易混淆.

圖4 本文方法在數(shù)據(jù)平衡之后的BAUM-1s數(shù)據(jù)集上識別結(jié)果的模糊矩陣

為了進(jìn)一步說明本文方法的優(yōu)越性,表5列出了本文方法取得的識別結(jié)果與其它現(xiàn)有文獻(xiàn)報道結(jié)果之間的比較.從表5可知,本文方法不僅優(yōu)于一些采用手工特征的方法,如MFCC[27],GeMAPS ADDIN EN.CITE.DATA[28-31],也優(yōu)于一些基于深度卷積神經(jīng)網(wǎng)絡(luò)CNN的方法,如采用AlexNet的跨模態(tài)遷移方法[22,32].以及與含有20 層的ResNet 網(wǎng)絡(luò)的自訓(xùn)練網(wǎng)絡(luò)方法[33]獲得的準(zhǔn)確率相近.

圖5 本文方法在數(shù)據(jù)平衡之后的CHEAVD2.0數(shù)據(jù)集上識別結(jié)果的模糊矩陣

表5 與現(xiàn)有文獻(xiàn)報道的結(jié)果比較

3 結(jié)論與展望

本文提出了一種結(jié)合數(shù)據(jù)平衡和注意力機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)(CNN)和長短時記憶單元(LSTM)的語音情感識別方法,采用數(shù)據(jù)平衡方法對語音情感數(shù)據(jù)集中每個類別的樣本進(jìn)行相應(yīng)的預(yù)處理,再采用預(yù)訓(xùn)練好的VGGish 網(wǎng)絡(luò)在目標(biāo)數(shù)據(jù)集上進(jìn)行微調(diào),從而學(xué)習(xí)出分段語音特征,再通過帶有注意力機(jī)制的LSTM從分段語音特征中學(xué)習(xí)對應(yīng)的高階判別性特征,最后通過Softmax 層進(jìn)行情感分類.本文在兩個自然語音情感數(shù)據(jù)集BAUM-1s和CHEAVD2.0 中的實驗證明了提出的語音情感識別方法有較好的識別性能.由于本文提出的網(wǎng)絡(luò)模型的訓(xùn)練方式并不是端到端的訓(xùn)練方式,因此,在未來的工作中,希望能以端到端的方式訓(xùn)練網(wǎng)絡(luò)模型;由于高階注意力生成的全局性特征更具表達(dá)力,并能輔助網(wǎng)絡(luò)模型對語音信息長范圍的相關(guān)性進(jìn)行建模,因此,在未來的工作中,希望能將二階注意力機(jī)制或更高階的注意力機(jī)制與現(xiàn)有的網(wǎng)絡(luò)模型進(jìn)行結(jié)合,以學(xué)習(xí)出更具判別性的語音情感特征.