一種基于注意力機制的語音情感識別算法研究

甘 宏

(廣州南方學院，510925，廣州)

1 問題提出

隨著計算機行業(yè)的不斷發(fā)展，人工智能走進人們的生活,通過語音實現(xiàn)人機交互正逐漸成為主流的人機交互方式，語音情感識別能夠讓機器感知人類的情緒,聽懂人的情感，在心理健康狀態(tài)監(jiān)控,教育輔助，個性化內(nèi)容推薦，客服質(zhì)量監(jiān)控方面都具有廣泛應(yīng)用前景，但目前語音情感識別系統(tǒng)的識別率較低不足以大規(guī)模商用，提高情感識別準確度是一個亟待解決的難題。在人工智能研究中，情感的識別和表達是不可或缺的一個環(huán)節(jié)，人工智能想要達到真正的智能，應(yīng)當具有同人類一樣的情感感知和表達能力，因此語音情感識別研究格外重要。語音情感識別目前已經(jīng)應(yīng)用到一些領(lǐng)域，提供服務(wù)。例如，在醫(yī)療領(lǐng)域，進行兒童抑郁癥檢測以及臨終關(guān)懷；在交通安全領(lǐng)域，進行駕駛?cè)饲榫w檢測，提供警告以保證駕駛安全；在客服系統(tǒng)中，通過情感識別模塊識別客服工作中的情緒表達，輔助客服培訓及日常工作監(jiān)測等。

語音情感識別起源于20世紀80年代，Bezooijen和Tolkmitt最早提出采用聲學特征進行語音情感識別研究[1-2]。此后，語音情感數(shù)據(jù)庫逐步被建立，例如EMO-DB[3]和FAU-Aibo。提取出的聲學特征被送入機器學習分類器進行情感分類，如GMM[4]、HMM[5]、SVM[6]、MLP[7]。

但是應(yīng)用特征集進行語音情感識別很難找到表達語音情感的完備特征集和，今年學術(shù)界更傾向于采用深度學習技術(shù)進行語音情感識別。如采用MFCC或者語譜圖作為特征，基于CNN和LSTM的深度學習網(wǎng)絡(luò)進行情感分類[8-9]。深度學習中的神經(jīng)網(wǎng)絡(luò)可以模仿人類感知的過程，識別效果普遍優(yōu)于傳統(tǒng)特征工程，目前已經(jīng)成為語音情感識別領(lǐng)域的主流方法。

除了傳統(tǒng)的深度學習模型，注意力機制近年被廣泛應(yīng)用于人工智能各種細分領(lǐng)域，成為神經(jīng)網(wǎng)絡(luò)模型中不可或缺的一部分。注意力最早在機器翻譯領(lǐng)域提出[10]，其參照人類生物學知識進行算法創(chuàng)新，允許模型動態(tài)地關(guān)注有助于解決指定任務(wù)的輸入的某些部分。

本文將通道注意力引入到語音情感識別網(wǎng)絡(luò)中，實現(xiàn)對情感信息含量高的通道進行關(guān)注，提升網(wǎng)絡(luò)情感識別能力。

2 語音情感識別基礎(chǔ)

2.1 語音情感離散模型

在語音情感離散模型中，情感被劃分為兩兩獨立的類別，如1963年Tomkins將情感劃分為憤怒、害怕、苦惱、開心、厭惡、驚奇、關(guān)愛、羞愧8種；1980年P(guān)lutchik劃分為害怕、憤怒、悲哀、開心、厭惡、驚奇、容忍、期待8種。目前，廣泛采用的有四分類法以及六分類法，詳見表1。本文采用生氣、高興、悲傷、中性情感四分類法。

表1 離散情感劃分方法

2.2 語音情感數(shù)據(jù)庫

本文采用英文情感數(shù)據(jù)庫IEMOCAP，該數(shù)據(jù)庫在語音情感識別領(lǐng)域最為常用。

IEMOCAP數(shù)據(jù)庫中包含5男5女的對話音頻、說話內(nèi)容、對話視頻以及運動捕捉的記錄，本文采用單模態(tài)識別方法，僅使用數(shù)據(jù)庫中的音頻數(shù)據(jù)。數(shù)據(jù)庫一共包含5段對話，每段對話由1男1女完成，分2種表達方式，分別是自發(fā)類和表演類，其中自發(fā)類表達方式更貼近現(xiàn)實中的自然發(fā)話，本文實驗僅采用自發(fā)類情感數(shù)據(jù)。

數(shù)據(jù)庫中每段對話根據(jù)情感異同進一步被分為語句，對每條語句同時進行離散維度和連續(xù)維度的打標。對于離散維度，3個人同時標注為生氣、高興、悲傷、中性、沮喪、興奮、害怕、驚喜、厭惡、其他中的一種，少數(shù)服從多數(shù)；對于連續(xù)維度，2個以上標注者在愉悅度、激活度、優(yōu)勢度3個維度進行打標，最終結(jié)果取平均。本文進行情感分類任務(wù)，采用離散標簽。

該數(shù)據(jù)庫語音總長度為12 h，音頻采樣率為16 kHz，存儲為wav格式。本文采用情感四分類法，即應(yīng)用數(shù)據(jù)庫中生氣、高興、悲傷、中性4種情感，其中高興情感為原數(shù)據(jù)庫中高興和驚喜2種情感合并而成。

3 實驗方法

不同情感通過CNN進行特征提取后，不同通道關(guān)注的不同的語音情感信息，不同通道所關(guān)注的信息對最終的情感識別作用大小不一，本文引入通道注意力對語音情感的通道維度進行關(guān)注，原始語音情感識別模型如圖1，通道注意力模型圖如圖2。

圖1 原始語音情感識別模型

圖2 通道注意力模型

具體實現(xiàn)方式為：將CNN特征提取網(wǎng)絡(luò)輸出的三維數(shù)據(jù)，在頻率和時間2個維度進行全局池化，池化為通道維度的一維數(shù)據(jù)；之后通過2層全連接對通道進行先降維再升維的操作；通過Sigmoid函數(shù)計算通道注意力分數(shù)，與CNN原始輸出特征進行相乘實現(xiàn)特征在通道維度的注意力關(guān)注。

本文對于計算注意力分數(shù)中全局池化階段，分別嘗試平均池化和最大池化2種方式，分析2種池化方式對最終情感識別的影響。此外，為增加整體模型的表現(xiàn)力，本文還在通道注意力的基礎(chǔ)上引入殘差，實現(xiàn)在對通道進行關(guān)注的同時保留原有的特征分布，引入殘差的通道注意力模型如圖3。

圖3 引入殘差的通道注意力模型

4 實驗結(jié)果

4.1 實驗設(shè)置

本文采用語譜圖作為網(wǎng)絡(luò)的輸入，提取語譜圖時幀長設(shè)置15 ms，幀移設(shè)置為7 ms，mel譜維度設(shè)置為128。IEMOCAP數(shù)據(jù)庫中共包含5段音頻，本文以段為單位，進行5折交叉驗證實驗。

此外，因IEMOCAP數(shù)據(jù)庫中音頻不等長，本文在數(shù)據(jù)處理部分將數(shù)據(jù)時長統(tǒng)一為7.5 s，短于7.5 s的音頻進行補零操作，長于7.5 s的音頻截短至7.5 s。

4.2 評價指標

本文采用混淆矩陣來評價分類性能，混淆矩陣示例見表2。

表2 混淆矩陣示例

混淆矩陣包括不加權(quán)召回率(Unweighted Accuraterecall，UA)與加權(quán)精度(Weighted Accuracy，WA)2個具體的評價指標，具體計算方式。

(1)

(2)

4.3 實驗結(jié)果

根據(jù)表2中的方法，首先本文在計算通道注意力時，全局池化分別嘗試采用平均池化和最大池化，并與未添加通道注意力時的模型進行評價指標的對比，結(jié)果如表3。

表3 通道注意力交叉驗證結(jié)果

引入通道注意力之后，不論采用全局平均池化還是全局最大池化，相較未引入通道注意力時的模型都有明顯的性能提升，其中采用全局平均池化的通道注意力效果最為明顯，UA實現(xiàn)了2.58%的提升，WA實現(xiàn)了1.48%的提升。

為增強網(wǎng)絡(luò)的表現(xiàn)能力，保留原始特征分布，本文在通道注意力的基礎(chǔ)上引入殘差結(jié)構(gòu)，并調(diào)整殘差比重，實驗結(jié)果如表4。

引入殘差結(jié)構(gòu)后的通道注意力模型比未引入殘差結(jié)構(gòu)的通道注意力模型情感識別準確率最高，其中采用全局平均池化且殘差比重為1的通道注意力模型，相較未引入殘差結(jié)構(gòu)時，UA實現(xiàn)了0.17%的提高，WA實現(xiàn)了0.30%的提高。

5 結(jié)論

本文將通道注意力引入到語音情感識別深度學習網(wǎng)絡(luò)之中，在網(wǎng)絡(luò)學習的過程中實現(xiàn)對不同通道的關(guān)注。在計算通道注意力分數(shù)時嘗試全局平均池化和全局最大池化2種方式，并引入殘差結(jié)構(gòu)，對不同種通道注意力方式進行探討。最終試驗結(jié)果顯示，引入通道注意力后的語音情感識別準確率得到明顯提升，這表明CNN輸出的不同通道包含的情感信息不同，引入注意力之后可以關(guān)注對最終情感識別作用較大的通道，從而提高整體模型的識別能力。