多模態情感分析技術的應用研究

趙之文

（南京信息工程大學 長望學院，江蘇 南京 210044）

0 引 言

情感分析又稱為意向挖掘/情感傾向分析，是指檢測評估人類對于事件、問題的心理狀態，其相關理論和算法設計與人工智能、計算機視覺等多個領域相關，是自然語言處理領域中非常熱門的課題。隨著互聯網的迅速普及以及多媒體的蓬勃發展，人們越來越傾向于在網絡上發表自己的言論與見解，大數據的出現使得計算機能夠利用文本、圖像、音頻和視頻等媒介去識別人們所表達的情感。近年來，深度學習和機器學習的興起也使得計算機識別情感成為可能。

模態是指人接受信息的方式。不同于單模態的情感分析，多模態能夠融合不同模態的信息，例如圖文結合、視聽結合，通常是綜合兩種及以上模態的信息來識別情感。目前的研究中，大多數研究者對于單模態的情感分析已經取得了較為可觀的成果。例如在文本情感挖掘方面，文獻[4]將情緒詞進行分類，通過構建情感詞詞典的方式對微博詞條進行分類統計，并采用C#開發權重計算器進行交叉驗證，達到80.6%的準確率。由于只是對單一模態的數據進行訓練，單模態情感分析在某些情況下的準確性并不理想，最典型的例子就是“反諷”模式識別，同一語句或圖片在不同模態的結合下被識別出的情感表達有可能恰恰相反。因此，雖然多模態情感分析技術正處于起步階段，但其潛在的研究價值和影響力是不容忽視的，可以應用于商品評價、輿情監測、案件偵查、社交互動等眾多領域。本文旨在闡述多模態情感分析技術應用的廣泛性及其發展前景。

1 情感分析

隨著計算機的日益普及和互聯網的快速發展，人們越來越傾向于通過網絡社交軟件及媒體來表達個人情感。情感分析的目的是對接收到的模態信息進行情感分類，以識別發表意見者的主觀意向，確定發表者對某事件的態度，以及各交流對象意欲表達的情感。對數據集進行處理時，通常需要為數據添加情感標簽，例如SEED 數據集將情感標簽分為三級：積極、中性、消極，MOSI 數據集將情感標簽分為-3 至+3七個層級。由于情感分析方面的研究尚處于起步階段，國內外主流的數據庫多是基于單模態，且部分數據因涉及隱私問題而并未完全公開，因此許多研究需要借助各平臺的用戶數據進行。

2 單模態情感分析

國內外的研究者已經在單模態情感分析領域進行了大量實驗，在文本、圖像、音頻單一模態情感識別中取得了可觀的研究成果。主要是基于圖片面部表情、文本、語音三種方式進行情感分析。單模態情感分析不需要考慮與其他情感信息的聯系，因此獲取數據相對容易且有針對性，但單一模態的識別準確性可能會略有遜色，且自身信息的噪聲影響和被攻擊帶來的信息缺失也難以克服。在單模態情感分析方面，大多基于傳統的機器學習和深度學習來實現。

2.1 基于面部表情的情感分析

面部表情作為人們表達情感最直接的方式之一，在計算機情感識別方面有著非常重要的研究意義。幾年來，隨著人工智能的迅速發展，國內外學者逐漸傾向于使用機器學習和深度學習的方法進行人臉面部表情識別分析情感。文獻[7]基于卷積神經網絡（CNN）提出一種改進的方案ROIKNN，通過對表情圖片的切割擴大數據集，解決了神經網絡模型泛化能力較弱的問題，有效提高了對面部表情識別的準確性。文獻[8]通過微調卷積神經網絡，采用漸進式訓練策略有效地克服了訓練樣本的噪聲干擾問題，較傳統卷積神經網絡有顯著的提升。文獻[9]提出一種圖像情感預測框架，將特征臉面部表情作為中級屬性加入該框架，提高了情感識別的精確度。

2.2 基于文本語句的情感分析

文本作為人們表達觀點最普遍的媒介之一，其所蘊含的情感信息量是巨大的。傳統機器學習的流程包括：建立訓練集，利用情感標簽對訓練數據進行標記，然后提取訓練數據中的特征（例如抽取語氣詞匯、特殊語法結構等），再利用訓練模型對特征進行文本的情感傾向分析。常用的機器學習方法有支持向量機（SVM）、樸素貝葉斯（NB）、隨機森林（RF）、最大熵模型等。

文獻[10]檢驗了將機器學習技術應用于情感分類工作的有效性，最終發現支持向量機模型的識別率相對來說比較理想。文獻[11]通過情感詞典擴充并從詞性、句式、語義等方面提取多種單詞的特征，運用支持向量機（SVM）對微博情感進行5 級分類，最終得到的分類準確率高達82.40%。文獻[12]采用支持向量機分類器將情感分析分為情感挖掘和觀點挖掘兩類，以微博短文本作為數據集，識別效果較好。

2.3 基于語音的情感分析

語音情感分析基于語音信號的產生機制來實現分析任務，一般的流程為：提取語音中能夠反映情感傾向的特征參數，然后應用合適的識別方法確定語音中所包含的情感。對于語音信號的識別，目前主流的研究方法有馬氏距離判別法、神經網絡法、主成分分析法（PCA）、隱馬爾可夫模型（HMM）、混合高斯模型法（GMM）等。文獻[14]采用完整語句作為全局特征進行情感識別，并總結了語音信號的不同情感特征分布規律。文獻[15]在4 種情緒語音信號的基礎上增加了特征維數，提出一種改進型馬氏距離判別式，將情感識別率提高到94%。

3 多模態情感分析

傳統的單模態情感分析僅采用文本語句、圖像照片、音頻這三者中的一項作為識別依據，進行情感分析。通常這種單模態所提取的特征，不足以做到精確的情感分析。例如對于同一段文本數據，在說話者語調不同的情況下，所表達的意思可能是完全相反的。而多模態情感分析則是利用不同模態提取的特征，通過模態融合的方式來實現情感分析，從而克服了單模態的一些局限性，很大程度上提高了情感識別的精確性和穩定性。

近年來，深度學習發展迅速，其在自然語言處理、圖像識別和信號處理等領域取得了顯著的成果。因此利用深度學習進行多模態分析成為研究者們的不二之選。深度學習的優點在于，其省略了篩選數據特征的步驟，減少了在特征工程上的計算開銷，我們只需向網絡中輸入一定的數據，通過修正參數即可得到較為滿意的結果，擁有較為廣泛的適用性。其中卷積神經網絡（CNN）在跨模態情感分析中取得了不錯的成效，實現步驟如圖1所示。多模態情感分析中最為重要的是模態融合技術，目前主流的模態融合技術有三種：特征級融合、決策級融合、混合融合。

圖1 利用卷積神經網絡進行多模態情感分析

3.1 特征級融合

特征級融合又稱為早期融合，是指通過提取不同的單模態特征，將它們簡單地連接并融合成一個多模態特征向量作為通用特征分析單元進行情感分析。特征級融合的過程如圖2所示。

圖2 特征級融合

這種方法的優點在于充分利用不同模態特征之間的相關性，由于特征融合在早期已經完成，后續只需要一個分類器即可。然而，這種方法也存在一定的缺陷，因為不同模態特征可能取自不同的媒體文件或語義空間，相互差異較大以至于很難找到恰當的融合方法。

3.2 決策級融合

決策級融合又稱為后期融合，其特點是首先獨立地抽取每個模態的情感進行分類及分析，再將各個模態特征的分析結果融合。決策級融合的過程如圖3所示。

圖3 決策級融合

這種方法具有較高的自由性，使用者可以根據需要自由選擇不同的模態特征進行學習，對每個模態的學習都是有針對性的，因此學習效果顯著，同時還可以自由地選取分類器和提取器。此外，若某一模態缺失，可以利用其他模態的特征來填補空缺。但是，決策級融合并未考慮到各個特征之間的聯系，并且需要提取、學習多個模態的特征，這使得時間成本大大提高。

3.3 混合融合

混合融合則是將特征級融合和決策級融合相結合，旨在形成優勢互補，揚長避短，結合二者的優點提高分析的準確性和效率，同時克服二者的缺陷，彌補短板與不足。混合融合的過程如圖4所示。

圖4 混合融合

4 技術應用

雖然多模態情感分析技術尚處于發展階段，但其所展現出來的應用價值是不容小覷的。目前，在社交平臺和多媒體軟件上的情感分析應用最為廣泛，一方面是因為國內外的數據集尚未完善，而各社交軟件可以利用自己平臺上的用戶數據訓練模型，具有一定的針對性；另一方面用戶經常在社交軟件上發表觀點以及相互交流，這使得情感分析成為一種潛在的需求。此外，多模態情感分析并不僅僅局限于社交軟件的應用，其在電商平臺產品評價、輿論檢測、人機交互等方面都有著很大的應用潛力。

4.1 社交軟件

近年來，社交軟件的用戶數量不斷攀升，每日生成大量的圖文數據，使得研究者們能夠利用這些數據進行情感分析，例如，文獻[16]結合圖文雙模態對Getty Image 的樣本進行訓練，提出一種多模態回歸模型，并對圖像推文進行大量的實驗，得到了較好的結果。文獻[17]采用混合融合的方法，利用Facebook 和YouTube 上大量的文本、圖像、音頻數據進行情感分析，最終在YouTube 的數據集上將識別精確度提高到80%。文獻[18]提出一種多通道卷積神經網絡的微博情感分析模型，該模型能夠很好地挖掘隱藏的語義信息。隨著社交軟件功能的日益豐富，開發者也期望能夠增加人機交互的功能，例如“微信”軟件更新的“狀態”功能，微博的關鍵詞等功能，因此利用多模態情感分析技術精確識別人們在社交軟件上發表的圖文所蘊含的情感，成為眾多社交軟件的重要需求。

4.2 多媒體軟件

隨著多媒體的發展和短視頻的興起（例如抖音、快手、bilibili 彈幕網的出現），彈幕交互功能不斷完善，這使得人們的娛樂方式變得更加豐富，也越來越傾向于就各種多媒體作品發表評論，同樣，這些多媒體軟件也產生海量的用戶數據，因此研究人員開始對多媒體軟件的情感分析進行研究。例如，文獻[19]采用音頻和視頻雙模態分析方法，設計了交叉投票機制以融合模態信息，其在短視頻的情感分析上較其他識別模式有所提升。文獻[20]引入MOSI 數據集，基于視頻中的面部手勢及語音信息進行情感識別，提出一種多模態字典的表示方法。

4.3 電商產品評價

網上購物已經成為人們生活中不可缺少的購物方式，電商的興起也使得一些不良商家趁機售賣虛假偽劣產品，因此平臺向用戶提供了產品評價的功能，以使用戶能夠快速了解產品的優劣。然而，雖然大多數平臺提供了評價功能，但是并不能很好地展現該產品的品質，例如好評中經常存在著恰恰相反的差評語句，這是由于某些商家為了減少差評的數量，有意地對評論分類進行了控制，這樣就違背了產品評價功能設立的初衷，因此“反諷識別”成為評價功能中不可或缺的一部分。目前就電商產品評價開展情感分析方面的研究相對較少，大多是基于單模態的情感分析技術，例如文獻[21]提出了面向產品評價文本的細粒度情感標注體系，以統計大用戶群體對產品評價的情感傾向。文獻[22]根據旅游在線評論數據進行深度學習的模型訓練，通過表情圖片、評價文字等多模態融合，驗證了多模態情感分析技術的優越性。

然而，可以預見的是，隨著產品評價功能的逐漸完善，商家將向用戶提供圖片、文字、視頻等多種評價方式，因此多模態情感分析具有較高的應用性。

4.4 輿情監測

在各類重大事件中，網民的輿論往往對事件的發展起著推波助瀾的作用，如何迅速檢測到輿論的議論中心點、如何發現持積極觀點和消極態度的人群、如何正確疏導輿論方向，都在事件的處理中有著舉足輕重的意義。多模態情感分析技術在輿情監測方面同樣發揮著重要作用，例如，文獻[23]利用多模態融合注意力機制有效減少了模態中的噪聲，在輿情識別方面驗證了多模態情感分析技術相較于單模態情感分析的優越性。

5 結 論

目前，多模態情感分析技術已經成為研究人員的重點研究課題，其潛在的實用價值也越來越被人們所認可。本文介紹了多模態情感分析的研究現狀，闡述了三種多模態融合方法，并分析了其在社交軟件、多媒體軟件、電商平臺等多領域的技術應用。

然而，多模態情感分析仍然面臨著許多挑戰，存在一些亟須解決的問題。由于國內外尚未建立完善、權威的數據集，研究人員大多是采用網絡軟件中的用戶信息數據，存在一定的主觀性，很大程度上影響了情感分析的結果。多模態情感分析并非簡單地將不同模態的信息相疊加，我們針對不同的應用場景需要改變選取特征的方式并調整融合方法，而如何充分有效地利用各個模態之間的聯系與交互，則需要做更深一步的探索。