基于DBM-LSTM的多特征語音情感識別

高 帆，張雪英，黃麗霞，李寶蕓

(太原理工大學 信息與計算機學院，山西 太原 030024)

0 引 言

語音是人與人之間交流的手段，同時也是傳遞情感的媒介，因此語音漸漸成為了人機交互中大多數研究者所期待的最方便、自然的交互方式。語音情感識別(speech emotion recognition，SER)過程如圖1所示，包括預處理、特征提取和情感識別模塊。這3部分的性能對識別系統的性能都有一定影響。本文的研究主要針對后兩項，即特征提取和識別模型構建。目前，傳統的語音情感識別特征有韻律特征、Mel頻率倒譜系數(mel-frequency cepstral coefficients，MFCC)[1]等；識別模型主要有支持向量機(support vector machine，SVM)[2]和深度神經網絡(deep neural network，DNN)[3]等。

圖1 語音情感識別

SER使用傳統特征和識別模型雖然取得了一些進展，但是語音信號本質是非平穩信號，使用傳統方法進行情感認知存在一定的局限性。因此本文提取情感語音信號的韻律、MFCC、非線性屬性

[4]

和非線性幾何特征

[5]

，使用深度信念網絡

[6]

(deep belief network，DBN)的基本單元深度受限玻爾茲曼機(deep-restricted Boltzmann machine，DBM)進行特征融合與降維，通過加入非線性特征和融合網絡有效地改善了傳統的單一特征在表達情感信息方面的不足。最后以長短時記憶單元

[7]

(long-short term memory，LSTM)作為識別模型，彌補了傳統模型非線性變換能力和表征能力弱的缺陷。我們將本文提出的基于深度學習的特征提取和識別網絡稱為基于DBM-LSTM的混合神經網絡，通過實驗驗證了該模型的有效性。

1 特征提取與識別模型

構建多特征融合模型和識別網絡是本文的關鍵。首先，由文獻[8]可知受限玻爾茲曼機(restricted Boltzmann machine，RBM)擅長學習數據的高層特征，RBM堆疊形成DBM，DBM具有多層非線性變換結構，能夠完成復雜非線性函數的模擬。其次，由文獻[7]可知LSTM善于對時間序列分析，而且具有長時記憶功能，能夠有效利用前后幀相關信息進行分析。

1.1 深度受限玻爾茲曼機

RBM結構如圖2所示，其工作原理是基于能量函數使用對比散度快速學習算法[9](contrastive divergence，CD)對特征進行重構，形成新的特征向量，該特征向量充分描述了特征的相關性。可視層與隱藏層分別用v和h表示，偏置分別用a和b表示，W代表權重矩陣，對于狀態 (v,h)，能量公式為

(1)

圖2 RBM結構

LSTM通過特殊的設計克服了RNN的梯度消失問題，它不僅能夠存儲較長一段時間的有用信息，而且能夠優化時間序列的分類任務[10]。語音信號就是由一系列時間幀構成的，因此將LSTM用在語音識別中應該能展現出比傳統模型更優異的性能。LSTM單元展開如圖4所示，其中各個門的輸出按式(6)進行更新

(2)

傳統RBM服從伯努利-伯努利分布(Bernoulli-Bernoulli)，是一種二值分布(0-1分布)。Bernoulli型節點難以模擬情感語音等非二值分布數據，因此本文使用高斯-伯努利分布(Gaussian-Bernoulli)的RBM，自下而上逐層堆疊，下層輸出作為上層輸入形成DBM，結構如圖3所示。該方法通過引入高斯噪聲來模擬真實數據，其能量函數與條件概率為

(3)

(4)

識別網絡結構如圖6所示，這是一個多層LSTM加一層softmax層結構，神經元數目及網絡層數見表4。

圖3 DBM結構

二是加快完善流域水利規劃體系。進一步完善流域綜合規劃體系，海河流域綜合規劃獲得國務院批復，獨流減河口綜合整治規劃治導線調整報告、拒馬河流域綜合規劃通過水規總院審查，流域水中長期供求規劃、滹沱河、薊運河、灤河等工程規劃取得階段性成果。

(5)

步驟1 初始化(Initialization)

LSTM識別網絡能夠綜合考慮時序問題前后幀特征之間的關聯性，網絡當前時刻的輸入是將當前幀與前后相鄰幾幀的特征連接起來；當前時刻的輸出是由當前時刻的輸入和前一時刻的輸出共同決定。最終，LSTM層的輸出通過softmax層，輸出每一類情感的概率。

(2) 指定參數k。

綜上所述，在新課程教學改革的背景下，借助信息技術開展教學，鍛煉學生的綜合能力以及綜合素養已經成為教師新的教學重點。在開展數學教學的過程中，結合微課教學手段能夠有效地激發學生的學習熱情以及學習欲望，促進學生學習質量以及自主學習能力的提升，使其能夠主動自主學習，進而促進學生的全面發展。

(4) 初始化權值W,偏置a、b，高斯標準方差σ。

步驟2 訓練(Training)

(1) 調用CD-k算法訓練每一個RBM。

本文主要采取以下3種優化方式：

(3) 將多個RBM連接構成DBM，上一個RBM的隱藏層即為下一個RBM的可視層，上一個RBM的輸出層即為下一個RBM的輸入層。

(4) 最后一個RBM的隱層輸出向量h即為輸入特征的深層表示。

1.2 長短時記憶單元

當給定可視層(或隱藏層)的所有神經元狀態，則隱藏層(或可視層)的某個神經元被激活(狀態為1)的概率表示為

(6)

圖4 LSTM單元基本結構

2 基于DBM-LSTM的情感語音識別

本文首先將原始特征經過主成分分析(principal component analysis，PCA)后輸入DBM。然后DBM通過多次特征重構將能量、基頻、頻譜等低層次特征的統計特征映射為更適合情感識別的深度特征。最后為充分利用LSTM分析時間序列的優勢，將深度特征輸入到多層的LSTM中進行識別。

2.1 DBM特征提取

DBM輸入特征見表1，網絡每一層的輸出為下一層的輸入，網絡結構如圖5所示，這是一個多層RBM疊加，其中每一個子塊都是四層結構，其神經元數目見表2。

表1 輸入特征

輸入特征變化見表3，特征提取按以下步驟進行：

第一步將經過PCA處理的韻律特征、MFCC特征、非線性幾何特征、非線性屬性特征輸入到DBM-1層中進行第一次深度融合與降維，得到隱層輸出為特征1、特征2、特征3、特征4。

圖5 DBM網絡結構

表2 DBM網絡結構

第二步根據特征的屬性，將特征1與特征2，特征3與特征4分別線性拼接，輸入DBM-2層進行第二次深度融合與降維，得到隱層輸出特征5與特征6。

第三步將特征5與特征6線性拼接，輸入DBM-3層進行第三次深度融合與降維，得到隱層輸出融合特征。

2.2 LSTM識別網絡

vi和hj分別表示可視層與隱藏層第i個神經元和第j個神經元的狀態，ai和bj分別表示其偏置，Wij表示可視層中第i個神經元與隱藏層中第j個神經元之間的連接權重，σ是高斯函數的標準方差，W，a，b，σ所構成的參數集合為θ=(W,a,b,σ)。

表3 特征變化

圖6 LSTM網絡結構

LSTM層特征類型神經元數目融合特征(70,80,60,5)

第三，本文主要使用了dropout[11]技術來防止訓練過程中的過擬合，在DBM和LSTM層均使用了dropout。它主要通過在每個訓練批次中忽略掉一半的特征檢測單元，減少特征檢測單元的相互作用，讓某些神經元的激活值以一定的概率p停止工作，這樣可以使模型的泛化能力更強，不會依賴某些局部特征。

2.3 基于均方誤差和交叉熵的代價函數

目前神經網絡使用最廣泛的代價函數是均方誤差代價函數和交叉熵(crsoss-entropy)代價函數，人們在設計模型的時候希望輸入數據通過識別模型能最大程度地映射為其所屬的標簽，最后一層神經元的輸出與目標值越接近越好，由此人們引入了均方誤差損失函數，表達式如式(7)所示。xi代表第i個語音數據，y代表第i個語音數據對應的標簽，a代表第i個語音數據輸入到網絡中的實際輸出值，n代表數據的總數 (1≤i≤N)

(7)

使用仿真軟件，輸入擴孔鉆頭的結構參數、鉆進參數及巖石參數，將擴孔鉆頭的切削齒和井壁離散化，如圖4所示，再模擬、分析在導向鉆井及復合鉆井等條件下新型擴孔鉆頭的切削力學性能與穩定性能。

(8)

2.4 優化方式

綜上所述，將任務打包[10]發布可以讓會員同時接到多個由公司設計好的最優任務包，能夠讓會員在最短的時間內完成較多的任務．并且將任務打包發布可以將單個任務價格適當調低，既能保證會員的收入又能減少公司的費用．通過對原定價模型的修改使一些“冷門”任務得以完成，將任務的執行情況進行了優化，提高了任務的完成度．

第一，DBM和LSTM層主要使用反向傳播算法 (backward propagation，BP)進行梯度計算。BP算法擁有較強的非線性映射能力，可以不斷地調整神經網絡中的參數，以達到最符合期望的輸出。

乞求皮特發慈悲的想法讓我怒從膽邊生，沖動之下，我抬腳朝皮特的側身踢去。事與愿違，他抓住我的腳，向前一拽，我一下失去了平衡，背部著地，仰面朝天狠狠地摔在地上，只好把腳抽回來，掙扎著站起身。

(1) 給定訓練集x。

3 實 驗

3.1 數據集

本文使用柏林技術學院W.Sendlmeier教授課題組錄制的EMO-DB柏林情感數據庫進行驗證，主要情感包括悲傷、憤怒、高興、害怕、中性等5類情感，數據構成見表5。

表5 數據庫

3.2 特征選取

本文在課題組之前的研究成果背景下，主要使用4類180維特征進行語音情感識別，由于初次提取后的特征存在一定信息冗余，本文對其進行了PCA融合降維。

3.3 網絡參數設置

本文以DBM-LSTM網絡結構為例，通過多次實驗確定網絡參數：minibatch為32，學習率為0.001，dropout為0.09-0.11，當輸入為融合特征時最大迭代次數30-100次，參數取值情況見表6，情感識別結果隨參數變化情況如圖7所示。

表6 訓練參數

圖7 參數對識別結果影響變化曲線

為了驗證本文提出的DBM-LSTM結構的有效性，本文設置了多組對比實驗，其中對比實驗網絡結構包括SVM，DNN。

3.4 實驗分析及結果

表7統計了4類特征在第一次深度提取前后分別通過SVM、DNN、LSTM等分類器的識別結果。

由表7可知，在單一特征的對比中特征2(MFCC特征深度提取后)取得了最優的識別結果，表8將其與兩特征融合(特征5、特征6)和四特征融合(融合特征)進行了對比。

表7 深度提取前后實驗結果對比

對數據進行可視化處理如圖8所示，經分析得出以下結論。

圖8 情感識別結果對比折線

第一，由表7可知，經過DBM第一次深度融合降維后的特征，在各分類器上都表現出了更好的性能，其中通過LSTM分類器時獲得了最優的性能，且高于傳統分類器SVM。

第二，由圖8可知，融合特征在各分類器上的識別結果均高于最優單一特征(特征2)。由此可知，DBM-LSTM有助于多特征融合，且融合后的特征性能更優。

4 結束語

針對傳統單一特征在語音情感識別過程中表征能力不足和傳統識別模型非線性變換能力較差的問題，本文提出了一種基于DBM-LSTM的混合神經網絡，DBM主要用于情感語音的深層特征提取和多特征融合，LSTM主要用于情感語音識別，成功解決了多情感分類的難題。結果顯示，在輸入特征相同的情況下，與傳統識別模型相比，DBM-LSTM模型在處理情感語音信號的分類問題上具有更好的性能。本研究尚未引入腦電信號作為輔助信號進行語音情感識別，同時在今后的研究過程中，擬利用不同情感之間的關聯性改進LSTM網絡的代價函數。