情感維度下的深度情感關聯模型

孫 穎，呂慧芬，張雪英，馬江河

(太原理工大學 信息與計算機學院，山西 太原 030024)

情感是人工智能不可分割的部分，使計算機具備識別、理解和表達情感的能力是一項具有挑戰的課題，是人工智能的研究重點[1]。情感是一個隨機變化的過程，它受很多因素的影響，如外界刺激、心情波動等。因此，建立一個符合人類情感規律的情感模型來描述情感是人工智能領域亟待突破的關鍵技術之一[2]。

情感模型用以模擬人類對情感的處理過程。目前對情感模型的研究有許多代表性的成果，比較常用的淺層情感分類模型有支持向量機[3]、人工神經網絡[4]、隱馬爾可夫模型[5]、高斯混合模型[6]等。隨著數據量的不斷擴大，學術界和工業界對深度神經網絡的研究熱情高漲，并將深度神經網絡應用到了情感模型中，文獻[7]將深度信念網絡和支持向量機結合運用到情感建模中，對5種統計特征(音調、短時能量、短時過零率、共振峰和MFCC)和深度信念網絡特征進行情感識別對比，得到95.8%的準確率。文獻[8]提出將卷積神經網絡與支持向量機相結合構建一種混合深度學習模型并且將之應用于情感分類取得了較好的識別結果。文獻[9]提出了一種將卷積神經網絡、3D-卷積神經網絡和深度信念網絡結合的混合深度模型，在三個公共視聽情感數據庫進行了視聽情感分類，驗證了該模型具有良好的性能。但上述模型所能描述的只是情感狀態出現的概率或自發的轉移過程，忽略了情感本身的特性，例如，輕蔑中往往都包含著憤怒與厭惡，即情感是以系統的方式相互關聯的[10]，因此，以上模型無法描述情感狀態的波動與變遷。而當系統的情感模型與真實的情感數據擬合性較差時，會導致識別正確率的顯著下降[11]。因此，將情感狀態之間的關聯性引入情感模型結構，建立符合人類情感處理機制的深度情感關聯模型，是較佳的選擇。

1 相關理論基礎

1.1 限制玻爾茲曼機

玻爾茲曼機是一種特殊的基于能量的模型，具有較強的無監督學習能力，但考慮到其訓練時間長，計算方法復雜等缺點，研究人員提出了限制玻爾茲曼機[12](Restricted Boltzmann Machine，RBM)，其結構如圖1所示。

圖1 限制玻爾茲曼機網絡結構

在限制玻爾茲曼機中，可見層即輸入層，隱含層即輸出層，層內無連接，層間全連接。其中，v、h表示可見層神經元和隱含層神經元的狀態，a、b表示可見單元和隱單元的偏置，w為可見單元層與隱含層之間的連接權值。

限制玻爾茲曼機是基于能量的模型，其輸入變量v與輸出變量h聯合配置的能量可表示為

(1)

其中，θ={wi,j,ai,bj}，是限制玻爾茲曼機的參數，v和h的聯合概率為

(2)

其中,Z(θ)歸一化因子，由P(v,h)對h的邊緣分布可求得最大化觀測數據的似然函數P(v)，進而求得限制玻爾茲曼機參數，即

(3)

因為限制玻爾茲曼機使用隱藏單元對數據集的相關性進行建模，所獲得的隱藏單元可以看作是對所提特征的表示，即限制玻爾茲曼機可以實現數據降維，研究表明，使用這些降維后的數據可以替代數據本身的效果[13]。

1.2 關聯認知網絡

考慮到人類的情感狀態是以系統的方式相互關聯的，現有的情感模型只是從空間上對情感狀態進行劃分，忽略了情感之間的相互作用，與人類情感處理機制存在較大的差異。基于此建立情感關聯認知網絡(Interactive Cognitive Network, ICN)，該網絡相比傳統的情感判別模型考慮了情感之間的相互作用，有效地解決了模型中情感狀態之間相互關聯的問題，更好地實現了對人類情感處理機制的模擬。其網絡結構如下所述。

圖2 ICN網絡結構

關聯認知網絡的網絡結構(如圖2所示)由兩層組成，輸入層與輸出層。將提取的情感特征數據作為輸入層，它包括可以反映情緒狀態的所有特征(線性或非線性)，輸出層代表情感類別并與輸入層直接連接。根據PAD(Pleasure Arousal Dominance)情感模型可知，人類的情感是連續的，它們之間存在相互聯系[14]，因此提出的關聯認知網絡用輸出節點之間的相互關聯方式表示情感間的聯系。如圖2所示，輸入層和輸出層之間的連接是單向弧，表示語音特征與情感類之間的連接，輸出層與輸出層之間由帶有雙箭頭的定向邊連接，表示情感之間的相互關聯。

圖2中，wi,j為輸入特征與輸出情感之間的連接權值，mi,j表示基本情感類別之間的關聯度。

假設fi(i=1,2,...,n)表示情感語音特征，cj(j=1,2,...,m)表示情感類別。由特征和情感類別之間的關系形成的權重矩陣由wi,j(也稱為輸入權重矩陣)表示，類之間的關系形成的權重矩陣由mi,j(稱為輸出權重矩陣)表示。系統的權重矩陣可以簡化為(n+m)×m矩陣，即

(4)

在ICN網絡的訓練過程中，節點狀態值的變化可用式(5)表示，其中，c0表示目標函數，b表示閾值。

表1 三種基本情感的PAD值

(5)

對于情感之間的關聯性，構建三維情感空間，用P(高興)，A(生氣)和D(中性)作為情感空間的坐標軸。文獻[15]基于PAD三維情感模型和中文版PAD情緒量表評估了14種基本情感的PAD值，表1為“高興”“生氣”“中性”三種情感的PAD值。

圖3 PAD三維空間分布

利用表1，在PAD三維空間中確定“高興”“生氣”“中性”三種情感的位置，并通過空間距離來映射類之間的關系，最終確定情感之間的權重，圖3為三種情感P、A、D的三維分布。

每兩種情感在三維PAD模型中的空間距離可以用下式計算得到：

d12=((x1-x2)2+(y1-y2)2+(z1-z2)2)1/2，

(6)

其中，d12表示點1和點2之間的空間距離，即(x1,y1,z1)和(x2,y2,z2)分別代表點1和點2在三維PAD情感空間中的坐標。通過計算任意兩種情感之間的空間距離的倒數來獲得類之間的關系。

2 深度情感關聯模型

深度學習的本質是通過構建含有多隱層的機器學習架構模型，然后進行大規模數據訓練，得到更具代表性的特征信息。神經網絡具備擬合任意復雜函數的特點，擬合能力強，可以做非常復雜的非線性映射，具有極強的非線性表示能力。因此，深度神經網絡能有效地解決情感特征維數較多、冗余度較大等問題。而關聯認知網絡考慮到情感之間的關聯性，能有效解決情感狀態之間相互關聯的問題，更符合人類情感的處理機制。故將多層限制玻爾茲曼機和關聯認知網絡結合，提出了深度情感關聯模型，具體思想如下：

圖4 深度情感關聯模型結構圖

(1)設定限制玻爾茲曼機的層數以及隱層節點數，通過訓練后得到的隱層節點可以看作是原始數據新的表示，如果設定的隱層節點數小于原始數據的維數，則意味著將原始數據降維。

(2)設置多層限制玻爾茲曼機，將上一層的限制玻爾茲曼機輸出作為下層限制玻爾茲曼機的輸入。

(3)重復步驟(1)和(2)，比較不同隱層節點數降維的效果，得到保留原始數據信息量最大的維數所對應的隱層節點數，獲得最優的深度限制玻爾茲曼機。

(4)將訓練得到的參數wi,j作為關聯認知網絡輸入與輸出之間的權值，b作為關聯認知網絡輸入的閾值，通過情感PAD值計算情感類別間的權值mi,j，代入到關聯認知網絡進行訓練，得出最終的情感分類結果。

建立的深度情感關聯模型如圖4所示。

3 實驗

3.1 實驗數據

實驗環境為Corei5 1.8 GHz，4 GB內存，windows 7 64位系統，采用matlab2014a進行實驗，TYUT1.0[16]和CASIA[17]情感語音數據庫作為數據來源，分別選取TYUT1.0中“高興”(187)、“生氣”(229)、“中性”(344)和CASIA中“高興”(186)、“生氣”(194)、“中性”(185)三種基本情感類型作為實驗樣本，提取其各類情感特征(韻律特征、MFCC特征、非線性屬性特征、非線性幾何特征[18])作為深度情感關聯模型的輸入。提取的情感特征的維數統計如表2所示，用于測試和訓練的語句如表3所示。

表2 語音情感特征參數統計量

表3 情感語音實驗語句

3.2 模型參數設置

3.2.1 神經網絡學習率的選取

神經網絡學習率影響著網絡的收縮速度以及網絡是否收斂。學習率設置偏小能夠保證網絡收斂，但是網絡速度慢，學習率設置偏大有可能會導致網絡發生振蕩甚至發散，影響識別結果[19]。因此，建立一個性能好的網絡模型需要選擇一個合適的學習率。圖5是深度情感關聯模型識別率隨學習率變化的曲線圖。

圖5 不同學習率對應的識別率

由圖5中可以看出，當學習率在0.3和0.5時有較高的識別率，但是網絡的識別率在學習率為0.3處開始下降，到0.4時又突然上升，之后從0.5下降到0.7趨于平緩，說明網絡在0.3之后產生振蕩。所以，將多層限制玻爾茲曼機的學習率參數設置為0.3。

3.2.2 神經網絡訓練次數的選取

神經網絡訓練次數也會影響網絡的性能。當訓練次數過少時，網絡模型學習不夠充分，學習效果不好，不能很好地擬合數據；當訓練次數過多時，網絡模型可能出現過擬合現象，把訓練樣本的個性記住，造成訓練集誤差低，測試集誤差高[20]。圖6為深度情感關聯模型識別率隨訓練次數變化的曲線圖。

圖6 不同訓練次數對應的識別率

由圖6可以看出，當模型的訓練次數為400時，識別率達到最高82.61%，因此，設置多層限制玻爾茲曼機的訓練次數為400。

3.3 實驗方案及結果分析

為了驗證所采用的深度情感關聯模型的有效性及普適性，以深度信念網絡和深度情感關聯模型對比進行實驗設計，改變BP神經網絡和關聯認知網絡的訓練次數，分別在TYUT1.0和CASIA情感語音庫下進行識別，設計兩組實驗方案來對不同訓練次數影響下的實驗結果進行討論。實驗結果如表4、表5所示。

方案1設計神經網絡的參數如3.2節所示，改變BP神經網絡的訓練次數，采用深度信念網絡作識別。

方案2設計實驗參數跟方案1完全一致，改變關聯認知網絡訓練次數，此處訓練次數與方案1訓練次數一樣，用深度情感關聯模型作識別。

表4 兩種模型在TYUT1.0中識別結果 %

表5 兩種模型在CASIA中識別結果 %

由表4和表5可以得出以下結論：

(1)針對TYUT1.0數據庫的語音情感識別，從平均識別結果來看，方案2的平均識別率高于方案1，在訓練次數為200時，方案2識別率達到82.17%，較之方案1高出4.34%；方案2和方案1對“中性”的識別較為理想，都達到90%以上，但是方案2普遍低于方案1，并沒有體現出優越性，且方案2識別率隨著訓練次數增加沒有變化，說明方案2在“中性”的識別上已經達到最大；隨著訓練次數增大，方案2在“高興”的識別上趨于下降，在“生氣”的識別上趨于上升且高于方案1，說明在TYUT1.0中深度情感關聯模型較之深度信念網絡在“生氣”的識別上效果最好；方案1和方案2對“高興”和“生氣”的識別率都較“中性”較低，主要是由于“高興”和“生氣”兩種情感的語料相對“中性”較少，訓練集的參數沒有達到最優。

(2)針對CASIA數據庫的語音情感識別，方案2在平均識別率上繼續高于方案1，且在訓練次數為350和450時高出6.06%；方案2在“生氣”識別上最高，但是低于方案1，說明在“生氣”的識別上沒有體現出其優越性，而在“高興”和“中性”的識別上普遍高于方案1，說明在CASIA情感語音庫中，深度情感關聯模型在“高興”和“中性”的識別上有很大的優越性和普適性；但是方案1和方案2“高興”的識別都低于“生氣”的識別率，由文獻[18]可知，“高興”和“生氣”的相空間重構較為相似，兩種情感的特征參數較為接近，導致“高興”在“生氣”情感上產生了誤判。

(3)圖7是3種情感分別在TYUT1.0情感語音庫和CASIA情感語音庫中的標準差對比。由圖7可以直觀地看出來，在TYUT1.0中，只有當訓練次數在350時，方案2比方案1的標準差低，其余方案2在兩種情感語音庫中的標準差都比方案1的小，說明由深度情感關聯模型識別的3種情感的波動趨勢較深度信念網絡更加平穩。此外，從情感語音庫看，只有在訓練次數為350時，方案1在CASIA中標準差較TYUT1.0中大，但是方案2在CASIA語音庫中的標準差都較TYUT1.0中的小，說明CASIA語音庫中的情感波動較TYUT1.0更穩定一些。

圖7 兩種模型標準差對比

綜上所述，通過在兩種語音庫中的識別結果，可以發現深度情感關聯模型比深度信念網絡有更好的識別效果，普適性更強；而且由深度情感關聯模型識別出來的情感波動更加平穩，進一步證明了構建的深度情感關聯模型的有效性，更符合人類情感的處理機制。

4 結束語

考慮到情感之間具有關聯性和相互作用，提出一種深度情感關聯模型。首先，利用空間距離來映射情感類別之間的關系，通過計算兩種情感在空間上的距離來確定情感之間的權重，以此建立關聯認知網絡；再結合多層限制玻爾茲曼機，以限制玻爾茲曼機底層的輸出權重作為關聯認知網絡的輸入與輸出之間的權重，建立深度情感關聯模型；最后，利用深度信念網絡在TYUT1.0和CASIA語音情感庫中作對比實驗，通過實驗驗證了深度情感關聯模型的有效性。實驗表明，深度情感關聯模型在整體情感的識別上更有優越性，可以很好地反映情感之間的相互作用。但是此模型在關聯認知網絡的建立上采用三維情感空間距離作為權值，算法簡單且權值固定，因此，今后可進一步對權值的優化進行討論研究。此外，人臉圖像信號、腦電信號等均是人類情感代表的有效表現，將此模型引入到多模態情感識別也將是下一步的主要研究方向。