基于深度遷移學(xué)習(xí)的跨庫(kù)語(yǔ)音情感識(shí)別*

李曉坤，李洪亮

（曲阜師范大學(xué)，山東 曲阜 273165）

0 引言

語(yǔ)音作為一種情感表達(dá)的方式，通過(guò)聲調(diào)的抑揚(yáng)頓挫可以表達(dá)多種不同的情感。人類的情感表達(dá)具有共性。即使所使用的語(yǔ)言不同，情感的本質(zhì)都是相同的，都具有生氣、快樂、憂傷以及厭惡等情緒。基于情感的本質(zhì)屬性，本文想要通過(guò)對(duì)不同語(yǔ)言數(shù)據(jù)庫(kù)之間進(jìn)行跨庫(kù)識(shí)別的探索，找到一種可行的方案，以提高跨庫(kù)語(yǔ)音情感識(shí)別的準(zhǔn)確率。

目前，關(guān)于語(yǔ)音情感識(shí)別[1]的研究主要分為同庫(kù)語(yǔ)音情感識(shí)別和跨庫(kù)語(yǔ)音情感識(shí)別。關(guān)于同庫(kù)語(yǔ)音情感識(shí)別，多采用深度學(xué)習(xí)的方法。Keren等人[2]使用卷積+循環(huán)神經(jīng)網(wǎng)絡(luò)（Convolutional-Recurrent Neural Network，C-RNN）的方式訓(xùn)練語(yǔ)音庫(kù)，對(duì)性別、年齡、情感等進(jìn)行識(shí)別。Ren等人[3]使用語(yǔ)譜圖在生成對(duì)抗網(wǎng)絡(luò)中對(duì)Demos數(shù)據(jù)庫(kù)中的語(yǔ)音情感進(jìn)行識(shí)別。Xie等人[4]使用改進(jìn)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)并加入注意力機(jī)制，在CASIA、eNTERFACE、GEMEP這3個(gè)語(yǔ)音庫(kù)中分別進(jìn)行訓(xùn)練和測(cè)試。陳長(zhǎng)風(fēng)[5]采用卷積+長(zhǎng)短時(shí)記憶（Convolutional Neural Network-Long Short Time Memory，CNN-LSTM）的方法進(jìn)行歌曲語(yǔ)音情感識(shí)別。這些方法都提升了同庫(kù)語(yǔ)音情感識(shí)別的準(zhǔn)確率，平均識(shí)別率達(dá)到92%。

對(duì)于跨庫(kù)語(yǔ)音情感識(shí)別，多將一般遷移學(xué)習(xí)方法[6-10]和傳統(tǒng)的機(jī)器學(xué)習(xí)方法[11-13]進(jìn)行融合。宋鵬等人[14]將TCA和s-LDA方法相結(jié)合進(jìn)行特征遷移和有監(jiān)督線性分布自適應(yīng)的跨庫(kù)語(yǔ)音情感識(shí)別。Song等人[15]采用特征選擇和遷移子空間學(xué)習(xí)相結(jié)合進(jìn)行跨庫(kù)識(shí)別。Song等人[16]使用有監(jiān)督的遷移線性子空間學(xué)習(xí)和特征選擇融合進(jìn)行跨庫(kù)識(shí)別。張昕然等人[17]提出了深度信念網(wǎng)絡(luò)（Deep Belief Nets，DBN），將其應(yīng)用于跨庫(kù)語(yǔ)音情感識(shí)別。以上這些方法逐步提升了跨庫(kù)語(yǔ)音情感識(shí)別的準(zhǔn)確率，但是平均識(shí)別率最高只有54.63%。

綜上所述，當(dāng)前關(guān)于跨庫(kù)語(yǔ)音情感識(shí)別的研究主要集中于一般的遷移學(xué)習(xí)方法和傳統(tǒng)的機(jī)器學(xué)習(xí)方法相結(jié)合，且在識(shí)別率方面沒有較大突破。與此同時(shí)，同庫(kù)語(yǔ)音情感識(shí)別使用深度學(xué)習(xí)的方法大大提升了識(shí)別準(zhǔn)確率。因此，本文提出了一個(gè)深度遷移網(wǎng)絡(luò)模型（Attention-based LSTM Dynamic Adversarial Adaptation Networks，LSTM-TF-at-DAAN），如圖1所示，采用深度遷移網(wǎng)絡(luò)進(jìn)行跨庫(kù)語(yǔ)音情感識(shí)別。

圖1 LSTM-TF-at-DAAN模型

1 LSTM-TF-at-DAAN模型

如圖1所示，深度遷移網(wǎng)絡(luò)模型——基于注意力機(jī)制的長(zhǎng)短時(shí)動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)（LSTM-TF-at-DAAN）由兩部分組成：一部分是遷移在源域上訓(xùn)練好的深度網(wǎng)絡(luò)的部分層，另一部分是動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)部分。關(guān)于此模型的詳細(xì)描述如下。

1.1 基于注意力機(jī)制的長(zhǎng)短時(shí)記憶(LSTM-TF-at)網(wǎng)絡(luò)

Xie等人[4]改進(jìn)了門控循環(huán)神經(jīng)網(wǎng)絡(luò)——長(zhǎng)短期記憶（Long Short Time Memory，LSTM），將LSTM中的遺忘門（forget-gate）改為注意門（attention-gate），改后的LSTM記為L(zhǎng)STM-at。其中，遺忘門的輸出計(jì)算公式為：

式中，ft是遺忘門當(dāng)前時(shí)刻的輸出，Wf是遺忘門的權(quán)重參數(shù)，×表示矩陣乘法，Ct-1是上一時(shí)刻記憶細(xì)胞的輸出，ht-1是上一時(shí)刻隱藏狀態(tài)的輸出，xt是當(dāng)前時(shí)刻的輸入，bf是遺忘門的偏差，σ是sigmoid激活函數(shù)。

門的輸出計(jì)算為：

式中，ft′是注意門當(dāng)前時(shí)刻的輸出，Vf是注意門的權(quán)重，tanh是激活函數(shù)，Wf是傳遞過(guò)來(lái)的上一時(shí)刻記憶細(xì)胞Ct-1的權(quán)重。

LSTM-TF-at網(wǎng)絡(luò)的另一個(gè)創(chuàng)新之處是在全連接層之前加入注意力機(jī)制。在時(shí)間維和特征維進(jìn)行注意，其中注意時(shí)間維（改為中文表述）為：

sT為注意時(shí)間維的輸出權(quán)重，softmax是激活函數(shù)，omax_time是LSTM最后時(shí)刻的輸出，oall_time表示LSTM每一時(shí)刻的輸出，wt表示oall_time權(quán)重參數(shù)，H表示轉(zhuǎn)置，outputT是注意時(shí)間維的輸出。注意特征維為：

式中，sF是注意特征維的輸出權(quán)重，wF是oall_time的權(quán)重，vF是sF的權(quán)重，∑表示求和運(yùn)算，·表示采用hadamard積計(jì)算。

1.2 動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)

動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)（Dynamic Adversarial Adaptation Networks，DAAN）是支撐整個(gè)模型的框架，將前面訓(xùn)練好的LSTM-TF-at網(wǎng)絡(luò)的前3層遷移到LSTMTF-at-DAAN模型中，作為模型的特征提取部分，與后面的動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)（DAAN）相結(jié)合，進(jìn)行LSTM-TF-at-DAAN模型的訓(xùn)練和最終的測(cè)試。

Yu C等人[18]使用DAAN模型進(jìn)行圖像識(shí)別，在特征提取部分使用的ResNET模型，并導(dǎo)入已訓(xùn)練好的ResNET網(wǎng)絡(luò)中的參數(shù)，后接兩個(gè)全連接層，作為分類器的輸出。其中，分類器的損失Ly為：

式中，xi是源域的原始特征，Gf表示特征提取器，Gy表示分類器，log表示使用logsoftmax計(jì)算損失，Pxi→c是源域中的數(shù)據(jù)屬于某類的概率，C是源域的類別標(biāo)簽，Ds表示源域，ns是源域數(shù)據(jù)量。

另外，DAAN模型比起一般的深度學(xué)習(xí)網(wǎng)絡(luò)多了一個(gè)判別器，使用此判別器進(jìn)行源域和目標(biāo)域的適配。判別器的損失分為邊緣分布損失Lg為：

式中，nt是目標(biāo)域數(shù)據(jù)量；Dt表示目標(biāo)域；Ld是源域和目標(biāo)域中對(duì)應(yīng)的域適應(yīng)損失；di是偽標(biāo)簽，假設(shè)源域是0，目標(biāo)域是1。和條件分布損失Ll為：

將分類器和判別器的損失和作為DAAN模型的總損失L(θf(wàn),θy,θd)：

式中，θf(wàn)、θy、θd分別為特征提取器、分類器、判別器中的可訓(xùn)練參數(shù)，λ是平衡參數(shù)。

基于注意力機(jī)制的長(zhǎng)短時(shí)動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)（LSTM-TF-at-DAAN）將前人提出的基于注意力機(jī)制的長(zhǎng)短時(shí)記憶（LSTM-TF-at）網(wǎng)絡(luò)和動(dòng)態(tài)對(duì)抗適配網(wǎng)絡(luò)（DAAN）進(jìn)行結(jié)合，應(yīng)用于跨庫(kù)語(yǔ)音情感識(shí)別。

2 實(shí)驗(yàn)設(shè)計(jì)和結(jié)果分析

2.1 實(shí)驗(yàn)設(shè)計(jì)

實(shí)驗(yàn)所使用的數(shù)據(jù)庫(kù)描述如表1所示。兩數(shù)據(jù)庫(kù)中只有5類情感一致，所以從兩數(shù)據(jù)庫(kù)中選擇相同的5種情感（生氣、厭惡、害怕、快樂、悲傷）進(jìn)行跨庫(kù)識(shí)別。又因?yàn)樯疃葘W(xué)習(xí)時(shí)需要的訓(xùn)練數(shù)據(jù)較多，而EMO-DB的數(shù)據(jù)量較少，所以實(shí)驗(yàn)只進(jìn)行eNTERFACE對(duì)EMO-DB的跨庫(kù)識(shí)別，而未進(jìn)行反向識(shí)別。

實(shí)驗(yàn)使用openSMILE[19]中的特征集The INTER SPEECH 2013 ComParE feature set[20]提取語(yǔ)音特征。提取其中的部分低階語(yǔ)音特征，見表2，共92維，使每一條語(yǔ)音都變成time×92維的，并將其保存為.csv文件。

將源域的數(shù)據(jù)放入LSTM-TF-at網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，為后續(xù)將LSTM-TF-at模型的部分層遷移到DAAN模型中做準(zhǔn)備。

eNTERFACE在LSTM-TF-at網(wǎng)絡(luò)訓(xùn)練中最后的正確率達(dá)到92.8%。保存訓(xùn)練好的模型參數(shù)，用于進(jìn)行下一步DAAN模型的訓(xùn)練。

將訓(xùn)練好的LSTM-TF-at的模型的前3層（LSTM-at（2），注意時(shí)間維（1），注意特征維（1））放入DAAN，將訓(xùn)練好的模型參數(shù)一同導(dǎo)入并固定此3層。然后，隨機(jī)初始化DAAN模型的網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練。LSTM-TF-at-DAAN模型參數(shù)設(shè)置見表3。

表2 低階語(yǔ)音特征

表3 LSTM-TF-at-DAAN模型參數(shù)

最后，分類識(shí)別時(shí)如果目標(biāo)域識(shí)別出的類別標(biāo)簽少一類別，將目標(biāo)域中識(shí)別為最多的一類進(jìn)行二次標(biāo)定，重新給定偽隨機(jī)標(biāo)簽進(jìn)行二分類。將此部分?jǐn)?shù)據(jù)重新劃分為訓(xùn)練集和測(cè)試集，按7:3的比例進(jìn)行劃分，使用SVC[21]進(jìn)行分類，重復(fù)分割數(shù)據(jù)集進(jìn)行多次測(cè)試，并保留最好的結(jié)果。實(shí)驗(yàn)流程如圖2所示。

2.2 實(shí)驗(yàn)結(jié)果及分析

將eNTERFACE作為源域、EMO-DB作為目標(biāo)域，LSTM-TF-at-DAAN模型的測(cè)試結(jié)果和已發(fā)表的一般遷移學(xué)習(xí)[14-16]的測(cè)試結(jié)果進(jìn)行比較，結(jié)果見表4。

圖2 實(shí)驗(yàn)流程

表4 平均識(shí)別率比較

通過(guò)在eNTERFACE和EMO-DB語(yǔ)料庫(kù)上的識(shí)別率對(duì)比發(fā)現(xiàn)，在對(duì)類別不平衡的小樣本語(yǔ)音庫(kù)EMO-DB的識(shí)別中，LSTM-TF-at-DAAN模型較現(xiàn)有的基于一般遷移學(xué)習(xí)方法的跨庫(kù)識(shí)別，平均識(shí)別率提升了5.37%。

3 結(jié)語(yǔ)

為了解決跨庫(kù)語(yǔ)音識(shí)別的識(shí)別率低的問題，本文提出了基于LSTM-TF-at-DAAN模型進(jìn)行跨庫(kù)語(yǔ)音情感識(shí)別的方法，通過(guò)與已有的遷移學(xué)習(xí)方法的識(shí)別率進(jìn)行對(duì)比，證明了此模型的有效性。本文的實(shí)驗(yàn)僅在兩個(gè)語(yǔ)音庫(kù)上進(jìn)行，為近一步驗(yàn)證模型的有效性，下一步將使用更多的數(shù)據(jù)庫(kù)進(jìn)行訓(xùn)練和測(cè)試，以提升模型的性能。