基于BERT和超圖對偶注意力網絡的文本情感分析

胥桂仙 劉蘭寅 王家誠 陳哲

摘 要：針對網絡短文本存在大量的噪聲和缺乏上下文信息的問題，提出一種基于BERT和超圖對偶注意力機制的文本情感分析模型。首先利用BERT預訓練模型強大的表征學習能力，對情感文本進行動態特征提取；同時挖掘文本的上下文順序信息、主題信息和語義依存信息將其建模成超圖，通過對偶圖注意力機制來對以上關聯信息進行聚合；最終將BERT和超圖對偶注意力網絡兩個模塊提取出的特征進行拼接，經過softmax層得到對文本情感傾向的預測結果。該模型在電商評論二分類數據集和微博文本六分類數據集上的準確率分別達到95.49%和79.83%，相較于基準模型分別提高2.27%～3.45%和6.97%～11.69%；同時還設計了消融實驗驗證模型各部分對分類結果的增益。實驗結果表明，該模型能夠顯著提高針對中文網絡短文本情感分析的準確率。

關鍵詞：文本情感分析； 超圖； 圖分類； 注意力機制

中圖分類號：TP311?? 文獻標志碼：A

文章編號：1001-3695（2024）03-020-0786-08

doi：10.19734/j.issn.1001-3695.2023.07.0311

Text sentiment analysis based on BERT and hypergraph with dual attention network

Xu Guixiana，b， Liu Lanyina，b， Wang Jiachenga，b， Chen Zhea，b

（a.Key Laboratory of Ethnic Language Intelligent Analysis & Security Governance of MOE， b.School of Information Engineering， Minzu University of China， Beijing 100081， China）

Abstract：To address the problems of large amount of noise and lack of contextual information in short texts on the Web， this paper proposed a text sentiment analysis model based on BERT and hypergraph with dual attention mechanism. This method firstly utilized BERT for dynamic feature extraction of sentiment texts. Meanwhile it mined the contextual， topic and semantic dependency information of the text to model it into a hypergraph， and then aggregated the above information through the dual graph attention mechanism. Finally， it spliced the features extracted by BERT and hypergraph with dual attention network， and obtained the prediction result after softmax layer. The accuracy of this model on the e-commerce review dataset and the Microblog text dataset reaches 95.49% and 79.83% respectively， which is 2.27%～3.45% and 6.97%～11.69% higher than the baselines， respectively. The experimental results show that the model can significantly improve the accuracy of sentiment analysis for Chinese Web short texts.

Key words：text sentiment analysis; hypergraph; graph classification; attention mechanism

0 引言

文本情感分析旨在通過對文本內容進行分析和理解，從中提取出表達者的態度或情感傾向，如積極、消極或中性［1］，在眾多領域中具有廣泛的意義和應用價值。

用戶社交媒體分析、產品評論挖掘是情感分析任務中兩個重要的應用場景。微博文本是一種典型的社交媒體文本，承載著用戶的情感、意見和態度。政府可以通過分析用戶言論，了解公眾對熱點話題的情感反應，及時掌握社會輿論動態，為決策和輿情管理提供有力支持。電商平臺上的產品評論包含了消費者的情感傾向和購買體驗。深入挖掘消費者對產品的反饋文本，能夠幫助商家、企業了解顧客對產品和服務的態度和喜好，從而更有針對性地推出高質量的商品和服務。

然而，此類網絡文本大多字數較少，表達方式隨意多樣，通常存在大量的噪聲和缺乏上下文信息，如表情符號、縮寫詞、網絡俚語等，這給情感分析的準確性帶來了困難。并且，在處理過程中需要對文本進行有效的全局建模，捕捉上下文信息和單詞之間的長距離關聯以及相應的語義信息，這對情感分析算法的魯棒性和泛化能力提出了更高的要求。

針對以上問題，本文面向網絡短文本提出了一種基于BERT和超圖對偶注意力網絡的情感分析模型。BERT已學習到了大量通用語義知識，具有較強的遷移能力，能夠在一定程度上克服噪聲問題，更加準確和全面地理解文本內容。在超圖對偶注意力網絡中，挖掘文本的主題、語義依存等多類信息將其建模成超圖，并通過對偶注意力機制來聚合這些關聯信息，使得模型能夠更好地捕捉到全局語義關系。在電商評論和微博文本兩個情感分析數據集上，通過多組對比實驗和消融實驗證明了該模型在情感分析任務上的優越性和各組成模塊的有效性。

1 相關工作

隨著社交媒體和在線評論等大規模文本數據的不斷涌現，準確地分析和理解文本中蘊涵的情感信息變得尤為關鍵。過去幾十年間，文本情感分析的發展經歷了從情感詞典匹配、基于統計機器學習到基于深度學習模型的過程。當下，社交平臺的短文本呈現多樣化的語義結構以及需要在更高維度上對數據進行處理，基于情感詞典和機器學習等早期方法已不能很好地應對目前研究中存在的問題。深度學習模型在自動學習文本特征的同時又能夠實現對高維稀疏的文本表示降維，因此越來越多的研究人員采用深度神經網絡對文本進行端到端的情感分析。

基于CNN和RNN的神經網絡是情感分析任務中最常見的兩類模型，在早期的研究工作中取得了較大的突破［2］。隨著注意力機制在計算機視覺領域中取得了驚人的成果，許多研究者將其引入到文本情感分類任務中，證明了其能夠加強神經網絡對重要特征篩選的能力，降低噪聲干擾［3～5］。

谷歌團隊基于自注意力機制，先后提出了Transformer［6］和BERT預訓練模型［7］，在各類自然語言處理任務中都取得了較大突破。RoBERTa［8］、ALBERT［9］等均是研究者們在BERT的基礎上針對不同方面進行改進的預訓練模型。此類模型的思想是：預先在大規模的語料上采用自監督的方式學習到通用的知識，在完成下游特定任務時，只需要少量相關領域的標注數據進行微調就能夠取得較好的性能表現［10～12］。

近年來，圖神經網絡由于能夠有效地處理非歐氏結構數據，在情感分析領域中取得了顯著的進展。Yao等人［13］提出的TextGCN首次將圖卷積神經網絡應用到文本任務中，通過構造文本圖的方式對整個語料庫中的詞共現和文檔詞關系信息進行建模，在MR電影評論情感數據集中取得了令人滿意的效果。Lin等人［14］將大規模預訓練模型與圖卷積神經網絡結合提出了BertGCN，使用BERT系列模型初始化文本圖中的節點特征，GCN迭代更新文檔表示，實驗結果表明圖神經網絡可以從大規模預訓練中顯著受益。Jin等人［15］考慮詞性和位置關聯信息，提出了一種基于句法依賴圖的多特征分層注意力情感分析模型，有效地提高了社交短文本的情感分類性能。Yang等人［16］針對文本圖中的邊構建方法不能很好適應長而復雜的上下文的問題，從多個角度捕獲情感特征，還利用依賴性解析器分析每個單詞之間的語法關系。Chen等人［17］考慮到現有方法忽略了用戶情感取向互動的問題，使用GCN從社交網絡中學習用戶表示，BERT從用戶意見文本中學習情感表示，通過兩者融合來判斷社交網絡中的用戶情感傾向。

然而對于含有高階語義的文本，這些GNN類模型在構建圖時，對文本信息并不能充分表達，圖中成對的邊關系限制了更高質量的文本學習能力。Ding等人［18］第一次嘗試將超圖運用到情感分類任務中，提出的HyperGAT模型能夠捕獲詞之間的高階交互關系，并通過超圖獲取文本語序和語義信息的特征表示，在MR二分類數據集中準確率達到78.32%。Kao等人［19］將HyperGAT用于多標簽幽默文本分類任務中，性能遠遠優于其他基線模型。李全鑫等人［20］提出的IBHC（integration of BERT and hypergraph convolution）模型將BERT、超圖卷積網絡和注意力機制進行結合，在MR數據集上的實驗證明，該模型結構能夠增強全局結構依賴和局部語義兩種特征的協同表達能力。

以上研究工作表明，將圖結構應用在自然語言處理領域已有了非常大的進展和突破，但如何在將文本建模成圖的同時保留更多內部信息仍是許多研究者正在探索的內容，而將普通文本圖結構擴展為超圖更是處于起步階段，相關研究較少。大規模預訓練模型具有強大的表征學習能力，超圖結構能夠有效地建模文本的語義關聯和情感信息?；诖耍疚脑贖yperGAT的基礎上改進超圖的構建方法，使其包含更多的語義關聯和情感信息，并采用圖注意力機制來聚合，同時與預訓練模型BERT結合，實現針對中文網絡短文本的情感分析任務，并選取較為成熟的相關模型進行對比實驗，評估本文模型的性能表現。

2 基于BERT和超圖對偶注意力網絡的文本情感分析模型

本文提出的基于BERT和超圖對偶注意力網絡的中文短文本情感模型B_HGDAN（BERT and hyper graph with dual attention network）結構如圖1所示。總體分為兩大部分，分別是BERT模塊、基于超圖和對偶注意力機制的HGDAN模塊。

2.1 預訓練模型BERT提取情感文本動態向量特征

BERT［7］中的自注意力機制允許模型在編碼過程中同時考慮輸入序列中的所有位置，并分配不同的注意力權重。這使得其能夠捕捉文本中的全局依賴關系，可以更好地表達單詞、句子和上下文之間的關系。

BERT模型在處理中文時以字為粒度進行，對于給定的由l個字符組成的中文文本序列S={s1，s2，…，sl}，首先處理成BERT的輸入格式，即S={［CLS］，s1，s2，…，sl，［SEP］}。輸入序列在經過N個Transformer層后，可得到每個字符對應的BERT向量表示，如式（1）所示。

R=BERT（S）（1）

其中：R={r［CLS］，r1，r2，…，rl，r［SEP］}，本文將［CLS］字符對應的輸出r［CLS］，作為該輸入情感文本序列的特征向量。

2.2 情感文本超圖構建

超圖與傳統簡單圖的區別在于，超圖的超邊可以連接兩個或者多個節點。超圖被用于描述樣本對象之間更為復雜的高階關系：節點表示對象，超邊用來表示對象組之間的高階交互［21］。

超圖可以定義為圖G=（V，E），其中集合V={v1，v2，…，vn}表示n個超節點，集合E={e1，e2，…，em}表示超圖中的m條超邊，使用關聯矩陣作為超圖的數學表達。超圖的關聯矩陣A∈Euclid ExtraaBpn×m定義如式（2）所示，若超點vi位于超邊ej之上，則Aij為1，否則為0。

Aij=1 vi∈ej0 viej（2）

每條文本都可看作是一個詞序列，可以構建出一張文本超圖。本文將每個詞視作一個超節點，分析文本挖掘超節點之間的關聯，并通過超邊表示。設每個超節點vi都具有d維的屬性向量hi，則所有超節點屬性可以表示為H=［h1，h2，…，hn］T∈Euclid ExtraaBpn×d。

為了對情感文本中的異構高階上下文信息進行建模，本文構建了三種類型的超邊，下文將以情感句“房間及服務員的態度讓人滿意?！睘槔M行詳細說明。

2.2.1 上下文順序超邊

在文本情感分析任務中，準確地捕捉詞語之間的上下文順序關系是至關重要的。情感表達往往受到上下文環境的影響，同樣的詞語組成在不同的詞序下可能表達不同的情感傾向，一些情感詞或修飾詞可能會影響到其前后的詞語情感表達。通過考慮詞語的共現關系，尤其是它們在句子中的相對順序，有助于更準確地理解詞語之間的關系。

在超圖的構建過程中，本文使用固定大小的滑動窗口來捕捉情感句中的局部詞共現信息，一個窗口所覆蓋的詞超點連接起來構成一條超邊。通過這種方式，每個窗口都會生成一條超邊，從而形成多條超邊，反映情感句的上下文語序信息。圖2是滑動窗口尺寸為5時，上下文超邊的構建示例。

2.2.2 主題超邊

文本的主題信息與情感具有緊密關系。例如“小”一詞，當其出現在關于“水果”“酒店”等主題的用戶評論里時，該評論可能表達的是負面情感，表示水果不夠成熟或房間狹窄等意思；而當其出現在“電子產品”的評論里時，可能表示輕便、便于攜帶的意思，傳達出的是積極情感。因此，本文通過挖掘情感文本中的主題信息，構建主題超邊來捕捉單詞與主題之間的高階相關性，提高模型對文本情感傾向判斷的精度。

本文使用Dieng等人［22］提出的嵌入式主題模型（embedded topic model，ETM）挖掘潛在主題信息。與傳統LDA及其變體等基于詞袋建模的主題模型不同，ETM使用word2vec將詞向量信息融入到主題向量的訓練中，在詞向量空間完成主題建模。該模型結合了主題模型能夠挖掘潛在語義結構與單詞嵌入能夠提供低維稠密表示的優勢，考慮詞語間的相互關系并使擬合出的潛在主題更具可解釋性和可區分性。

從所有情感句中挖掘出K個潛在主題構成的集合為T={t1，t2，…，tK}，對于每個主題，取前十個概率最大潛在主題詞，表示為ti={tw1，tw2，…，tw10}。將每篇情感文本中同屬于一個主題的詞連接起來構建主題超邊，如圖3所示。

對于主題數K的最佳取值將通過實驗探究，進而完成主題超邊的構造，豐富每個情感句中單詞的高階語義上下文信息。

2.2.3 語義依存超邊

許多研究將依存句法分析引入到文本情感分析任務中，并取得了令人滿意的效果，證明了解析句子的依賴結構對于判斷其情感傾向有著重要作用［15，23，24］。但句法分析主要是通過句子結構識別其語法成分并分析成分之間的依存關系，而電商評論、微博等口語化嚴重、表達通俗隨意的網絡文本大多不符合現代漢語的語法和語用規定，嚴重影響句法依存分析結果的準確性。而語義依存分析則是對輸入文本中語言單位間的語義關聯進行分析，不直接依賴句式語法結構，能夠在一定程度上打破這一限制。因此，本文將語義依存分析引入超圖構建中，通過語義超邊來描述文本中詞之間的語義依存信息。對文本進行語義依存分析可以得到如圖4所示的依存結構，連接具有依存關系的超點，構建語義超邊，從而捕獲文本中的語義依賴關系信息。

2.3 對偶注意力機制

在圖神經網絡中，信息在節點之間傳遞，生成依賴于圖結構的節點表示。而對于一張超圖而言，一條超邊可能連接了多個超點，一個超點可能存在于多條超邊之上，節點間的信息傳遞問題則更加復雜。

為了支持在超圖上的文本特征學習，本文受HyperGAT［18］中圖注意力模塊的啟發，利用超邊作為媒介，實現超節點間的特征傳遞，通過兩個聚合函數學習節點表示，從而捕獲文本超圖上的異構高階信息。兩個聚合函數的定義如式（3）（4）所示。

其中：flj和hli分別表示超邊ej和超點vi在第l層中的特征表示；Ei表示連接到超點vi的超邊集合；函數AGGRnode 把一條超邊上的所有超點特征聚合到該超邊；函數AGGRedge為每一個超點聚合與其相連的所有超邊特征。由于每個超點對其所在的超邊貢獻度都不同，每條超邊對其連接的各個超點貢獻度也不同，所以兩個聚合函數的功能采用對偶注意力機制來實現。

2.3.1 超點級注意力

對于一條超邊ej，超點級注意力首先計算超邊上所有節點對該超邊的注意力分數，對每個超點的重要性加以區分，以突出對超邊更重要的信息，通過注意力系數加權聚合得到超邊表示flj，如式（5）（6）所示。

3 實驗與分析

3.1 實驗數據集

為驗證本文模型的有效性，在兩個公開中文文本情感分析數據集上進行實驗。online_shopping_10_cats（簡稱OS10）為二分類數據集（https：//github.com/SophonPlus/ChineseN1pCo-rpus），來源于電商平臺，包含書籍、酒店、水果等十個類別的產品評論共計6萬條，分為積極和消極兩種情感。SMP2020-EWECT（https：//smp2020ewect.github.io）微博數據集包括開心、憤怒、悲傷等六種情感類別，來源于第九屆全國社會媒體處理大會所發布的公開評測任務，包含疫情與通用兩大主題，前者中的內容與新冠疫情相關，后者隨機收集了平臺上的微博數據，涉及范圍更廣，更能體現微博平臺的整體生態，因此本文采用其中的通用微博數據集（簡稱SMP2020）。數據樣例如表1所示。

本文后續實驗中以詞為粒度抽象成節點構建文本超圖，因此首先對文本進行分詞處理。分詞后兩個數據集的句子長度（詞數）分布如圖5所示。

由圖5可以看出，OS10和SMP2020兩個數據集的文本長度分別集中分布在［0，125］和［0，100］。經分析發現，OS10數據集中詞數過多的評論大多是酒店類和書籍類評論，用戶常常在評論中提及自己的出行經過或者摘抄一段書中的內容，這些情況可能會對情感傾向的判斷造成干擾。同時，考慮到后續實驗中需要構建文本超圖，當超節點過少時，超圖可能退化為普通圖，無法檢驗該結構的優勢。因此，在數據清洗時將兩個數據集中句子長度（詞數）小于3和大于100的評論舍棄。

經預處理后，OS10數據集中共計5.81萬余條用戶評論，正負評論分別為2.87萬和2.93萬余條，分布較為平均；SMP2020數據集中共計微博文本3.4萬余條，類別分布如圖6所示。

由圖6中的統計數據可知，該數據集存在數據不平衡情況，在六個情感類別中，angry類數量最多，占比達30%，fear和surprise兩類最少，不足10%。

基于上述情況，為了使各子集中的數據盡可能與原數據集的分布保持一致，以保證實驗結果的準確性，本文采用分層重復隨機子抽樣驗證的方法，按8∶1∶1的比例劃分出訓練集、驗證集和測試集，以準確率（accuracy）、精確率（precision）、召回率（recall）以及F1值作為實驗的評價標準，將實驗重復進行五次后取平均值作為最終結果。

3.2 參數設置

在情感句動態向量獲取模塊，本文使用了哈工大訊飛聯合實驗室發布的基于全詞掩碼技術的中文預訓練模型BERT-wwm-ext［25］。該模型在預訓練masking階段采取將一個完整的詞全部覆蓋的策略，與原始BERT模型以字為粒度隨機掩蓋相比，該策略使得模型能夠更好地學習中文構詞規則，對中文文本的上下文理解能力得到了提高。

在HGDAN部分，為每篇情感文本構造出情感超圖，以詞為粒度視作超節點，提取其上下文信息、語義依存信息和主題信息，構建出上下文順序超邊、語義依存超邊和主題超邊。對于超節點的初始嵌入，采用騰訊AILab開源的大規模word2vec中文詞向量數據［26］，該數據包含了超過800萬的中文詞匯，覆蓋了更多的網絡用語，對于本文所使用的兩個內容均為網絡文本的數據集而言，能夠在一定程度上減輕未登錄詞問題。

由于BERT已經在大規模數據上進行了預訓練步驟，其理解能力達到了一定的水平，在后續模型訓練過程中進行微調即可；而HGDAN模塊則是從零開始擬合數據，初始需要較高的學習率來提升收斂速度；所以，為了平衡兩者的訓練進度，本文設置了分層學習率。模型參數詳細設置如表2所示。

在圖神經網絡中，將實驗數據抽象成圖是一切工作的基礎，圖的構建方式極大地影響著后續結果。滑動窗口的大小直接決定順序超邊的數量以及一條超邊所能容納的信息；主題挖掘數目直接決定主題超邊的數量以及挖掘出的主題質量。因此，本文對超圖模塊中構建主題超邊的主題數目以及構建順序超邊的滑動窗口的大小進行了探究。

3.2.1 主題挖掘數目

主題個數是主題挖掘算法中一個重要的超參數，會影響主題發現的質量，當主題數過少時，會增大主題內部的歧義，反之當主題數過多時，會出現主題間語義重疊的情況。因此，為確定抽取的主題數量，對數據集進行不同主題數量的實驗。

為了客觀評價主題挖掘效果，本文采用主題連貫性（topic coherence）對主題模型生成主題的質量進行評估，選擇較為常用的標準化點互信息（normalized pointwise mutual information，NPMI）來度量。計算公式如式（14）（15）所示。

其中：K表示挖掘主題數目；T表示與主題k最相關的單詞數；p（wi）表示單詞wi出現的概率；p（wi，wj）表示詞對wi和wj同時出現在一篇文檔中的聯合概率；本實驗中T設置為10。C_NPMI的值越高，說明同一個主題內的詞相關性越大，挖掘出的主題可解釋性越強。

在實驗中，ETM模型的初始詞匯嵌入同樣采用200維的騰訊詞向量，epoch數默認為100，批處理大小設置為128，學習率為0.001。對于OS10數據集，設定主題數目K的取值為［10，20］，SMP2020數據集的主題數目K的取值為［5，15］，步長均為1進行主題挖掘，計算主題連貫性，確定最優主題數目，實驗結果如圖7所示。

從圖7顯示的信息可以看出，兩個數據集的主題連貫性曲線呈現了相似的走向。開始隨著挖掘主題個數的增多，評分總體呈上升趨勢，在主題數過少的情況下，每個主題內部概率最大幾個單詞之間可能存在較大的歧義。當主題數為K=15和K=11時，分別在OS10和SMP2020數據集上的主題一致性評分達到峰值。隨后，主題連貫性隨著主題數目的增加而減小，這是由于當抽取的主題數過多時，部分主題之間具有較大的相似度，不易區分。所以，OS10和SMP2020兩個數據集的最優主題數目分別設置為15和11。

3.2.2 滑動窗口尺寸

在上下文順序超邊的構建中，本文使用固定大小的滑動窗口來實現。一個窗口構建一條超邊，連接所有在窗口內出現的詞超點。因此，本文通過實驗探究采用不同尺寸滑動窗口時的分類情況。為了避免其他因素的干擾，實驗模型僅使用超圖和對偶注意力模塊，并且超圖中僅包含上下文順序超邊。實驗結果如圖8所示。

從圖8中可以觀察到，當滑動窗口為3時，模型在兩個測試集上的分類準確率達到最高，說明此時構造出的超圖能夠有效捕捉到文本的語序特征，同時也證明了利用多個詞的共現關系構建超邊是有意義的。當滑動窗口尺寸大于3時，模型在兩個測試集上的分類準確率隨著窗口的增大而呈現下降趨勢。經分析，兩個數據集中情感文本的平均長度（詞數）均在30以下，屬于短文本，當窗口尺寸過大時，構建出的超邊數量減少，同時一條超邊內連接了過多的超節點，文本中的上下文語序信息沒能更大程度地表達出來。

基于上述結果，在后續實驗構建上下文順序超邊時，將滑動窗口大小設置為3。

3.3 對比實驗

為驗證本文模型在中文網絡文本情感分類任務中的性能，分別在兩個數據集上對不同神經網絡模型進行對比實驗?；鶞誓Ｐ偷倪x取從四個角度考慮，分別是基于序列的神經網絡、基于注意力機制的神經網絡、基于序列和注意力結合的神經網絡以及基于圖結構的神經網絡。

a）CNN［27］：卷積神經網絡，利用卷積和池化操作獲得情感文本表示。

b）BiLSTM［28］：雙向長短期記憶網絡，把兩個方向的最后一個隱藏狀態進行拼接作為整個文本的全局特征。

c）Transformer［6］：由編碼器和解碼器兩個部分組成，實驗中僅使用編碼器模塊提取文本特征。

d）BERT［7］：基于BERT預訓練模型得到文本的句向量表示，再經過全連接層與softmax進行分類。

e）BERT_CNN：利用BERT模型為情感文本中的每個單元生成動態向量，輸入卷積神經網絡中進行情感分析。

f）BERT_BiLSTM：利用BERT模型為情感文本中的每個單元生成動態向量，輸入雙向長短期記憶網絡中進行情感分析。

g）TextGCN［13］：圖卷積神經網絡，基于整個語料庫的數據構建文檔-單詞異構圖，轉換為節點分類任務。文檔-單詞邊權重為tf-idf值，單詞-單詞邊權重為兩者的點互信息值，初始節點特征采用one-hot編碼。

h）BertGCN［14］：在TextGCN的基礎上，由預訓練BERT模型對圖節點特征進行初始化，兩者聯合訓練。

i）HyperGAT［18］：超圖注意力網絡，為每篇文本構建一張超圖，利用注意力機制完成超邊和超點的信息聚集，轉換成圖分類任務。在超圖的構建中，以句子為單位構建順序超邊，使用LDA主題模型構建主題超邊，初始節點特征采用one-hot編碼。

j）IBHC［20］：分別使用譜域超圖卷積網絡和BERT提取文本特征，并通過注意力機制結合。超圖中僅含順序超邊，節點特征由GloVe靜態詞向量進行初始化。

表3展示了B_HGDAN模型和以上基準模型在兩個中文文本情感分析數據集上的實驗結果?？梢园l現，本文提出的B_HGDAN模型在兩個數據集上都取得了最佳的分類效果，且顯著優于其他基準模型，體現了該模型在中文文本情感分類任務上的有效性。同時也可以注意到，由于OS10為二分類數據集，其任務難度比六分類的SMP2020低，所以所有基準模型都取得了比較好的效果，四個評價指標均在92%以上。圖9更直觀地展示了各模型的性能差異。

根據圖9顯示的數據，基于序列的兩個模型中，BiLSTM都取得了比CNN更好的效果。CNN只能提取到局部關鍵特征，而BiLSTM可以捕捉到較長距離的依賴關系，同時又從正反兩個方向處理輸入序列，提供的信息更豐富。該結果也說明了在情感分析任務中，文本的語序信息對于情感傾向的判斷十分重要。Transformer和BERT均在自注意力機制的基礎上發展而來，后者由多層雙向Transformer編碼器構成，并擁有更多的自注意力頭。同時，BERT在預訓練階段已學習到大量通用知識，具有非常強大的遷移能力。BERT_CNN和BERT_BiSLTM均是基于序列和注意力機制結合的模型。與單獨使用CNN和BiLSTM相比，結合后的模型在兩個數據集上的分類效果均有所提高，說明BERT能夠為單一模型帶來增益。然而與單獨使用BERT相比，結合后的模型綜合效果卻更差，并且標準差也更高，說明分類性能更加不穩定。這可能是由于BERT已經能夠提取到足夠多的文本深層語義信息，而后接一個CNN或是BiLSTM模型無法容納上游傳遞來的大量信息，造成了特征的弱化或丟失。

在基于圖結構的四個模型中，TextGCN和BertGCN均根據單詞共現信息構建數據集級別的普通圖，HyperGAT和IBHC則基于單個文檔挖掘多方面信息構建文檔級超圖。其中，TextGCN在兩個數據集上的實驗效果在所有基準模型中表現并不理想，這可能是因為在圖的構建中只通過一個較大尺寸的滑動窗口統計詞之間的共現情況，忽略了詞序信息，而這類信息在情感分類任務中恰是極其重要的。BERT和GCN的結合在SMP2020數據集上表現出了極大的增益，甚至優于兩個基于超圖結構的基準模型，但對于OS10數據集的分類效果提高有限。從表3展示的數據可知，HyperGAT在兩個數據集上的總體表現次于BERT、BiLSTM以及兩者結合的模型。造成這種結果的原因可能是在構建超圖中雖然考慮到語序信息的重要性，按照句子為單位構建語序超邊，而在本文針對網絡短文本進行情感分析的場景下，大部分的文本數據可能只由1～3句話構成，所以，基于此規則構建的語序超邊沒有真正反映句子內部的語序信息。同時也可以注意到，在基于圖的基準模型中，IBHC的表現最優，HyperGAT次于IBHC和BertGCN，說明將BERT與圖神經網絡結合能夠實現優勢互補，增強模型的情感特征提取能力。

與以上基線模型相比，本文模型在兩個數據集上都取得了最出色的效果。這是由于其結合了BERT，能夠充分提取情感文本全局動態特征的優勢，同時在HyperGAT的基礎上改進了超圖的構建方法，使情感文本建模成超圖后仍保留了豐富的上下文語序、主題和語義依存信息。同時本文對以上兩個模塊采用的是并行結構，能夠更好地結合兩者的優勢，一定程度上避免了串行結構中可能存在的下游模型無法充分使用上游提取到的特征，從而丟失一部分信息的問題。另外也可以注意到，在兩個數據集上，五個基于圖結構的神經網絡模型多次實驗的標準差都更小，說明將文本建模成圖結構能夠刻畫單詞節點之間的高階信息，使得分類性能更加穩定。

以上實驗結果表明，本文提出的B_HGDAN模型在針對電商評論、微博等網絡短文本的情感傾向分析任務中效果顯著。

3.4 消融實驗

為進一步驗證本文模型的有效性，探究模型中各個子模塊對情感分析效果的增益，分別單獨去除各個子模塊進行消融實驗。a）w/o BERT：去除原模型中的BERT模塊，僅使用HGDAN；b） w/o HGDAN：去除原模型中的超圖對偶注意力模塊，僅使用BERT；c）w/o attention：去除原模型中的對偶注意力模塊。消融實驗結果如表4和圖10所示。

BERT和HGDAN為本文模型中的兩大模塊，根據表4展示的數據，分別單獨去除一個模塊進行情感分析的效果相近，僅使用BERT在OS10數據集上的分類效果平均比僅使用HGDAN高出0.16%，而在SMP2020數據集上，后者的總體效果比前者高0.11%。與預先在大規模的語料上進行了通用知識學習的BERT相比，HGDAN模型在訓練過程中僅僅使用了實驗數據集中的信息就達到了與前者相當的效果，說明超圖結構和對偶注意力機制具有非常強大的學習能力。

在OS10數據集上，本文模型與單獨使用BERT和HGDAN相比，平均分類性能分別提高了2.27%和2.24%。在SMP2020數據集上，本文模型與單獨使用BERT和HGDAN相比，總體分類性能分別提高了7.95%和7.85%。說明本文模型結合了兩者優勢，在情感分析任務上的魯棒性和泛化能力得到了提升。

對比最后兩組消融實驗結果，在兩個數據集上，本文的原始模型比去除注意力模塊的變體平均性能分別提高1.16%和4.31%，可看出對偶注意力機制對模型整體情感分析效果具有明顯的增益，證明了使用注意力機制來提取超圖特征的有效性。

3.5 案例分析

為了進一步驗證本文模型在情感分析任務中的有效性，隨機選取若干條微博情感文本作為樣例，并使用3.3節中TextGCN、HyperGAT等四個基于圖結構的神經網絡模型對其進行預測，實驗結果如表5所示，其中“√”和“×”分別表示判斷正確和錯誤。

案例1的文本含有“祝?！薄伴_心”“滿足”等多個傾向明確的情感詞，對于這一實例，所有模型都能夠正確判斷其情感。對于案例2，基于超圖結構的模型均正確預測了其情感類別，而基于普通圖的兩個模型作出了誤判，一方面說明了超圖能夠更加有效地提取情感文本特征，另一方面可能是由于TextGCN和BertGCN兩個模型均是通過統計詞語在整個數據集范圍內的共現信息來構圖，對單個文本的上下文關注有限。案例3的文本中出現了多個“感冒”“發燒”等與生病有關的詞，大部分模型均判斷為“sad”類別，只有IBHC和本文的B_HGDAN模型預測正確。對于案例4和5，除本文模型外，其余模型均作出了錯誤的判斷。案例4中，前半部分更多體現出的是對事實的陳述，還有在通常情況下含積極傾向的語氣詞“哈哈”，而綜合后半部分整體來看，這句話實際帶有諷刺的意味。在案例5中，同樣也是在句子的最后才體現出了發帖者真實的情感。從結果上看，本文提出的B_HGDAN模型能夠抵抗這些因素的干擾，具有較高的準確性和較強的魯棒性。

4 結束語

本文面向中文網絡短文本，提出一種基于預訓練模型BERT和超圖對偶注意力機制的文本情感分析方法，旨在通過有效結合預訓練模型、超圖神經網絡和注意力機制的優勢，提升情感分類任務的性能。該模型首先利用BERT生成具有豐富語義信息的動態文本特征表示，更好地捕捉文本情感表達和上下文信息；其次從多角度挖掘文本信息，將其建模成超圖，利用對偶注意力機制對超邊和超節點進行信息融合，提高模型對文本結構的理解能力；最后將兩個模塊各自提取到的文本特征拼接后判斷其情感傾向。多組實驗結果表明，本文模型在中文網絡短文本的情感分類任務中展現了明顯的優勢。

本文工作的不足之處在于，語義依存分析結果為有向圖，并且有向邊存在多種類型，在超邊構建中本文視為無向圖處理，僅在有依存關系的詞之間添加邊，沒有更好地體現超圖特質。在未來的工作中，筆者將繼續探究如何將語句中的依賴關系更準確地建模成圖；同時，對于網絡文本存在大量噪聲的問題，本文將探究圖神經網絡與對比學習的結合，進一步提升模型挖掘文本中隱含的復雜映射關系的能力，實現更好的情感分析性能。

參考文獻：

［1］Yadav A， Vishwakarma D K. Sentiment analysis using deep learning architectures： a review［J］. Artificial Intelligence Review， 2020，53（6）： 4335-4385.

［2］Minaee S， Kalchbrenner N， Cambria E， et al. Deep learning-based text classification： a comprehensive review［J］. ACM Computing Surveys， 2021，54（3）： 1-40.

［3］Pan Yaxing， Liang Mingfeng. Chinese text sentiment analysis based on BI-GRU and self-attention［C］//Proc of the 4th IEEE Information Technology， Networking， Electronic and Automation Control Confe-rence. Piscataway， NJ： IEEE Press， 2020： 1983-1988.

［4］Basiri M E， Nemati S， Abdar M， et al. ABCDM： an attention-based bidirectional CNN-RNN deep model for sentiment analysis［J］. Future Generation Computer Systems， 2021，115： 279-294.

［5］周寧， 鐘娜， 靳高雅， 等. 基于混合詞嵌入的雙通道注意力網絡中文文本情感分析［J］. 數據分析與知識發現， 2023，7（3）： 58-68. （Zhou Ning， Zhong Na， Jin Gaoya， et al. Chinese text sentiment analysis based on dual channel attention network with hybrid word embedding［J］. Data Analysis and Knowledge Discovery， 2023，7（3）： 58-68.）

［6］Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［EB/OL］. （2017）［2022-07-20］. https：//arxiv.org/pdf/1706.03762.pdf.

［7］Devlin J， Chang M， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg，PA：Association for Computational Linguistics， 2019： 4171-4186.

［8］Liu Yinhan， Ott M， Goyal N， et al. RoBERTa： a robustly optimized BERT pretraining approach［EB/OL］. （2019）［2023-04-16］. https：//arxiv.org/pdf/1907.11692.pdf.

［9］Lan Zhendong， Chen Mingda， Goodman S， et al. ALBERT： a lite BERT for self-supervised learning of language representations［C］//Proc of the 8th International Conference on Learning Representations. 2023.

［10］胡任遠， 劉建華， 卜冠南， 等. 融合BERT的多層次語義協同模型情感分析研究［J］. 計算機工程與應用， 2021，57（13）： 176-184. （Hu Renyuan， Liu Jianhua， Bu Guannan， et al. Research on sentiment analysis of multi-level semantic collaboration model fused with BERT［J］. Computer Engineering and Applications， 2021，57（13）： 176-184.）

［11］Tseng H， Zheng Youzhan， Hsieh C. Sentiment analysis using BERT， LSTM， and cognitive dictionary［C］//Proc of IEEE ICCE-TW. Piscataway， NJ： IEEE Press， 2022： 163-164.

［12］王曙燕， 原柯. 基于RoBERTa-WWM的大學生論壇情感分析模型［J］. 計算機工程， 2022，48（8）： 292-298，305. （Wang Shuyan， Yuan Ke. Sentiment analysis model of college student forum based on RoBERTa-WWM［J］. Computer Engineering， 2022，48（8）： 292-298，305.）

［13］Yao Liang， Mao Chengsheng， Luo Yuan. Graph convolutional networks for text classification［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press， 2019： 7370-7377.

［14］Lin Yuxiao， Meng Yuxian， Sun Xiaofei， et al. BertGCN： transductive text classification by combining GNN and BERT［C］//Proc of Findings of the Association for Computational Linguistics. Stroudsburg，PA：Association for Computational Linguistics， 2021：1456-1462.

［15］Jin Zhigang， Tao Manyue， Zhao Xiaofang， et al. Social media sentiment analysis based on dependency graph and co-occurrence graph［J］. Cognitive Computation， 2022，14（3）： 1039-1054.

［16］Yang Minqiang， Liu Xinqi， Mao Chengsheng， et al. Graph convolutional networks with dependency parser towards multiview representation learning for sentiment analysis［C］//Proc of IEEE ICDMW. Piscataway， NJ： IEEE Press， 2022： 1-8.

［17］Chen Jie， Song Nan， Su Yansen， et al. Learning user sentiment orientation in social networks for sentiment analysis［J］. Information Sciences， 2022，616： 526-538.

［18］Ding Kaize， Wang Jianling， Li Jundong， et al. Be more with less： hypergraph attention networks for inductive text classification［C］//Proc of Conference on Empirical Methods in Natural Language Processing. 2020： 4927-4936.

［19］Kao Haochuan， Hung M， Lee L， et al. Multi-label classification of Chinese humor texts using hypergraph attention networks［C］//Proc of the 33rd Conference on Computational Linguistics and Speech Processing. 2021： 257-264.

［20］李全鑫， 龐俊， 朱峰冉. 結合BERT與超圖卷積網絡的文本分類模型［J］. 計算機工程與應用， 2023，59（17）：107-115. （Li Quanxin， Pang Jun， Zhu Fengran. Text classification method based on the integration of BERT and hypergraph convolutional network［J］. Computer Engineering and Applications， 2023，59（17）：107-115.）

［21］Sun Xiangguo， Yin Hongzhi， Liu Bo， et al. Heterogeneous hyper-graph embedding for graph classification［C］//Proc of the 14th ACM International Conference on Web Search and Data Mining. New York：ACM Press， 2021： 725-733.［22］Dieng A B， Ruiz F J R， Blei D M. Topic modeling in embedding spaces［J］. Trans of the Association for Computational Linguistics， 2020，8： 439-453.

［23］Mu Lingling， Li Yida， Zan Hongying. Sentiment classification with syntactic relationship and attention for teaching evaluation texts［C］//Proc of International Conference on Asian Language Processing. Piscataway， NJ： IEEE Press， 2020： 270-275.

［24］杜啟明， 李男， 劉文甫， 等. 結合上下文和依存句法信息的中文短文本情感分析［J］. 計算機科學， 2023， 50（3）： 307-314. （Du Qiming， Li Nan， Liu Wenfu， et al. Sentiment analysis of Chinese short text combining context and dependent syntactic information［J］. Computer Science， 2023，50（3）： 307-314.）

［25］Cui Yiming， Che Wanxiang， Liu Ting， et al. Pre-training with whole word masking for Chinese BERT［J］. IEEE/ACM Trans on Audio， Speech， and Language Processing， 2021，29： 3504-3514.

［26］Song Yan， Shi Shuming， Li Jing， et al. Directional skip-gram： explicitly distinguishing left and right context for word embeddings［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. 2018： 175-180.

［27］Kim Y. Convolutional neural networks for sentence classification［C］//Proc of Conference on Empirical Methods in Natural Language Proces-sing. Stroudsburg，PA：Association for Computational Linguistics， 2014：1746-1751.

［28］Xiao Zheng， Liang Pijun. Chinese sentiment analysis using bidirectio-nal LSTM with word embedding［C］//Proc of International Conference on Cloud Computing and Security. Cham： Springer， 2016： 601-610.