基于多層次注意力網(wǎng)絡(luò)的多模態(tài)情感識別研究

吳秉坤

實現(xiàn)多模態(tài)情感識別體系的融合需對傳統(tǒng)融合模式進(jìn)行有效優(yōu)化，構(gòu)建多層次注意力網(wǎng)絡(luò)模型以對模態(tài)內(nèi)和模態(tài)間的特性信息進(jìn)行學(xué)習(xí)，并且要提高情感識別性能。實現(xiàn)上述內(nèi)容，需要我們分別從特征級、決策級、多層次注意力網(wǎng)絡(luò)模型融合三方面進(jìn)行研究。

融合多模態(tài)信息對于構(gòu)建完整的計算機(jī)網(wǎng)絡(luò)體系，實現(xiàn)多種類型信息的快速精準(zhǔn)識別有重要作用。在具體實踐過程中，多模態(tài)信息的融合有不同的方式。為取得更好的融合效果，需首先對不同融合方式的原理與流程進(jìn)行全面了解，確保多模態(tài)信息能夠在融合完成后取得良好的運(yùn)行應(yīng)用效果，獲得更好的信息識別效率和質(zhì)量。為數(shù)據(jù)計算、信息分析提供重要支持。

（一）特征級融合模式

此融合模式具有簡單易行的特征。在多模態(tài)融合的早期研究中，屬于常用融合方式。在具體實踐中需要把握以下幾方面要點。一是分別針對語音和文本模態(tài)的情感特征信息進(jìn)行有效提取，完成對語音信息的預(yù)處理工作，對語音中的手工特征MFCC進(jìn)行提取。提取完成后進(jìn)一步進(jìn)入深度學(xué)習(xí)環(huán)節(jié)，在這一學(xué)習(xí)過程中，需要借助BiLSTM模型的輔助，對于語音信息中的文字信息依賴時間維度特征進(jìn)行明確。隨后，引入多頭注意力機(jī)制聚合模型中的一部分處在隱藏狀態(tài)下的信息，進(jìn)一步識別語音的情感特征。由此可見，這種識別方式具有逐步深入的特點，需要在識別過程中對上下文時序信息以及聚合特征信息進(jìn)行全面了解，最終形成顯著的文本情感特征信息，并且用語音與文本的情感特征向量進(jìn)行表示。隨后，將其輸入至全連接層，由全連接層實現(xiàn)進(jìn)一步的線性轉(zhuǎn)換。轉(zhuǎn)換完成后，不同特征之間的相關(guān)性能夠明確顯示。

（二）決策級融合模式

決策級融合模式需要考慮模態(tài)信息之間的差異，對獨立的模態(tài)進(jìn)行情感維度的建模分析。通過情感分類器這一設(shè)備的輔助，可獲得單模態(tài)情況下的情感識別結(jié)果。隨后，結(jié)合單模態(tài)識別結(jié)果，運(yùn)用決策方法實現(xiàn)識別結(jié)果的融合，得到情感分類的最終結(jié)果。在具體研究時，還需要引入加權(quán)決策融合方法，搭建多模態(tài)情感識別框架。由于語音和文本特征已經(jīng)實現(xiàn)了初步提取，并且以單模態(tài)形式輸入到了全連接層中完成了映射過程。因此，分類器輔助下能夠得到獨立的情感分類結(jié)果和文本基礎(chǔ)上的情感分類結(jié)果。為取得不同模態(tài)的最優(yōu)值，需要通過加權(quán)分析的方式，利用均方誤差原理最小化原理對加權(quán)決策中的最優(yōu)權(quán)重進(jìn)行分析。分析過程完成后，可基于分析結(jié)果和數(shù)據(jù)信息完成決策過程。

（三）模型級融合模式

此模式是區(qū)別于傳統(tǒng)模式的一種模型構(gòu)建方式。能夠克服獨立的構(gòu)建模式存在的不足，實現(xiàn)跨模態(tài)交互信息建模。在多模態(tài)情感識別框架中，包含了特征提取、跨模態(tài)注意力、情感分類三個基本模塊。其中，在跨模態(tài)注意力模塊應(yīng)用過程中，需要對多模態(tài)特征的交叉信息進(jìn)行建模分析。這種分析模式需要優(yōu)化多頭注意力機(jī)制，在跨模態(tài)背景下形成新的注意力機(jī)制，達(dá)到優(yōu)化語音、文字呈現(xiàn)效果的目標(biāo)。同時，在跨模態(tài)背景下，語音和文字的特征嵌入表示方式也需要得到優(yōu)化。具體來說，在跨模態(tài)機(jī)制下，需要通過學(xué)習(xí)不同的語義交互權(quán)重信息，調(diào)整語音文本特征表示方式，對語音和文本模態(tài)中的交互信息進(jìn)行捕捉分析。通過對交互信息的系統(tǒng)性分析，將其基于轉(zhuǎn)換形成具有一致性的模態(tài)狀態(tài)。

情感分類模塊可用來關(guān)注聯(lián)動后的語音與文字多模態(tài)融合特征，并且將特征信息用系統(tǒng)而明確的方式進(jìn)行表示。當(dāng)這些信息進(jìn)一步輸入到全連接層后，也需要進(jìn)行線性變換，融合特征之間的相關(guān)性可基于深度學(xué)習(xí)，得到預(yù)期結(jié)果，完成學(xué)習(xí)后，進(jìn)一步進(jìn)入到映射輸出環(huán)節(jié)，繼續(xù)應(yīng)用分類器設(shè)備對語音和文本的多模態(tài)情感識別結(jié)果進(jìn)行分類呈現(xiàn)。

不同的多模態(tài)模型在數(shù)據(jù)分析時所得的結(jié)果、分析效率、分析精準(zhǔn)度都會受到多方面因素的影響。多模態(tài)分析結(jié)果的評價需要基于不同的識別模型和網(wǎng)絡(luò)模型進(jìn)行精準(zhǔn)識別分析。通常情況下，為驗證多層次注意力網(wǎng)絡(luò)模型的多模態(tài)融合框架有效性，需引入IEMOCAP數(shù)據(jù)集進(jìn)一步通過實驗的方式進(jìn)行驗證。從具體應(yīng)用效果方面來講，多層次注意力網(wǎng)絡(luò)模型的融合框架可分別基于綜合性指標(biāo)進(jìn)行分析，并且獲得最高的分?jǐn)?shù)水平，較之基準(zhǔn)模型有非常顯著的應(yīng)用優(yōu)勢。

在計算機(jī)網(wǎng)絡(luò)的多模態(tài)模型構(gòu)件中，基于多層次注意力網(wǎng)絡(luò)構(gòu)建多模態(tài)情感識別模型能夠從多角度實現(xiàn)信息的全方位識別。同時，識別效果也更加完善。識別過程完成后，所得信息在完整性和清晰性上能達(dá)到一定水平。因此，可在計算機(jī)系統(tǒng)支持下的多模態(tài)構(gòu)建實踐中，優(yōu)先選擇基于多層次注意力網(wǎng)絡(luò)的情感識別模型進(jìn)行應(yīng)用。

作者單位：福州大學(xué)物理與信息工程學(xué)院