CINO 雙通道結合多頭注意力機制藏文情感分類方法

白瑪洛賽，群諾，3，尼瑪扎西，3

（1.西藏大學信息科學技術學院，西藏拉薩 850000；2.西藏大學西藏信息化省部共建協同創新中心，西藏拉薩 850000；3.西藏大學藏文信息技術教育部工程研究中心，西藏拉薩 850000）

情感分類是自然語言處理領域中熱點之一，關于中英文的情感分類研究已相對成熟，而在藏文方面仍需深入探討和研究。

而隨著時代的發展，社交媒體上越來越多的以藏文為代表的小語種使用者也在社交平臺表達自己的看法、觀點。通過收集分析這類大多帶有鮮明的情感色彩的信息不僅有利于解決目前藏文的情感數據缺失的問題，而且對于輿情監控、市場營銷等方面有著重要意義[1]。

常用的情感分類方法主要包括傳統情感詞典構建、機器學習、深度學習等三種[2]。該文初步對藏文文本信息進行了粗粒度情感分類問題的研究，構建了包含積極、消極、中性三種維度的數據集，旨在為藏文情感分類問題提供參考。

1 相關研究

1.1 中文情感分類

在中文情感分類方面，Zhan 等人[3]通過詞性和位置信息來建立情感詞典取得了不錯的效果。但上述方法太依賴情感詞典的質量，難以保證情感分類的質量。隨著機器學習的興起，胡夢雅等人[4]使用樸素貝葉斯算法用作分類器對微博評論進行情感分類。

當前，隨著深度學習方法在圖像處理上的使用逐漸廣泛，并取得了較好成果。深度學習模型因其具有學習能力和泛化能力強的特點，能更好地提取文本特征，研究者們開始將深度學習的方法逐步運用到自然語言處理當中。彭祝亮等人[5]針對句子情感極性分類效果差的問題，提出一種結合雙向長短記憶網絡和方面注意力模塊的情感分類方法，與常用情感分類基線模型進行對比發現,該方法可有效提升情感分類效果。Jelodar H 等人[6]提出LSTM 新冠病毒在線討論情感分類模型，與傳統的機器學習模型相比，該文章提出的模型準確率高于機器學習模型，可有效解決RNN 梯度消失和梯度爆炸問題。Xie J等人[7]在BiLSTM 上融入注 意力機制Attention 對情感分類問題進行研究，發現加入注意力機制可以使模型提取更重要的文本信息，過濾掉無用的信息。ZhangY 等人[8]提出CCLA 模型以有效獲取局部和遠距離句子特征，但該模型是在傳統詞向量上進行的，存在不能很好地學到上下文信息的問題。李明超等人[9]提出使用Bert 預訓練模型來得到包含上下文語義信息的動態詞向量，構建BiGRU 結合注意力機制模型來獲取全局信息，研究發現使用Bert詞向量比傳統的詞向量效果得到了明顯的提升。Cui Y 等人[10]基于Bert 模型生成詞向量，結合卷積神經網絡融合提取的文本特征，提高了中文文本分類的準確性。與近年來的文本分類模型相比，Bert+CNN模型提高了中文文本分類的準確性，并有效防止過擬合，且具有良好的泛化性。堯歡歡等人[11]使用ERNIE 雙通道情感分類，通過將單通道和雙通道以及傳統的詞向量和ERNIE 模型進行對比實驗，發現ERNIE 模型的效果優于傳統詞向量，雙通道模型效果優于單通道模型。

1.2 藏文情感分類

在藏文情感分類方面，張瑞等人[12]通過構建藏文情感詞典的方法解決藏文情感分類問題。閆曉東等人[13]使用極性詞典的方式進行了實驗，由于創建情感詞典的方法太過依賴情感詞典的質量，對文本特征提取不充分，導致情感分類存在準確率過低等問題。隨著深度學習在藏語自然語言處理中的運用。卻措卓瑪等人[14]提出了word2vec 結合雙向長短期記憶神經網絡藏文情感分類方法，該方法有效解決了長文本句子信息提取不足問題，與機器學習模型相比，其準確率得到提升。曲塔吉等人[15]利用LSTM神經網絡對藏文語言中的情緒進行了識別，并取得了較好的識別效果。

但是上述藏文情感分類方法都是基于傳統詞向量進行實驗，仍然存在對上下文詞之間語義信息理解能力不足的問題。

2 方法

2.1 CINO雙通道結合多頭注意力機制情感分類模型

該文提出一種基于CINO 雙通道結合注意力機制的模型，首先，通過使用CINO 預訓練詞向量，CINO 預訓練語言模型借鑒了BERT 模型的優勢，基本模塊使用transformer 模型、MLM 方法，不僅更準確地學習到詞語的信息，更能學習到詞語的位置信息等。其次，將詞向量放入下游任務進行fine-tune，其中下游任務采用雙通道，通道一使用TextCNN 模型來獲取文本句子局部特征。通道二使用BiGRU模型對長序列句子全局特征進行提取。然后，將雙通道結果進行融合，使用多頭注意力機制使模型學習到更重要的信息，以提升情感分類準確性，最后，利用該模型進行藏語文本的情感分類。基于CINO雙通道結合注意力機制的模型結構圖模型如圖1所示。

圖1 CINO雙通道結合多頭注意力機制模型結構圖

2.2 CINO預訓練模型

CINO 預訓練模型[16]是基于多語言的XLM-R（XLM-RoBERTa）預訓練模型所構建，在國內的多種少數民族低資源語言語料上進行了二次預訓練，該模型不僅具備XLM-R 中對100 多種語言的特征提取能力，也提供了蒙語、藏語、維吾爾語、哈薩克語、朝鮮語、壯語等少數民族低資源語言的語言理解能力。多個研究發現，其在多個少數民族語言數據集上均取得了較好的效果，為相關NLP 研究人員提供了重要的應用價值。

CINO 模型為了適應少數民族語言，還進行了詞匯拓展和詞匯修剪以減小模型誤差。近期還推出了base 版本和Large 版本，相比較于XLM-R，CINO 更適用于算力不足的情況，且對少數民族語言的預訓練效果優于XLM-R。因此該文使用基于CINO-base來進行詞向量的預訓練。

2.3 TextCNN模型

卷積神經網絡最早用于圖像處理方面，之后逐漸被研究者們運用到自然語言處理研究中，TextCNN網絡于2013 年被Kim 等人提出。TextCNN 是CNN 的一個變體，TextCNN 網絡主要用于文本分類，在短文本提取局部特征方面具有較好的效果。TextCNN 模型通過利用不同的卷積核對輸入文本進行特征學習，以此充分學習整個句子的特征，完成分類。

TextCNN 模型主要由卷積層、池化層、全連接層組成，模型結構如圖2 所示。

圖2 TextCNN模型結構圖

通過CINO 預訓練得到輸出序列[S1,S2,S3,…,Sn]，并輸入至卷積運算層中。卷積層使用滑動窗口進行卷積運算產生新的特征，提取數據的局部特征，保證詞的完整性，不會丟失了單個詞的信息。針對文本數據，二維文本矩陣的水平方向長度表示單個字向量的長度，垂直方向是文本序列的長度，其中卷積核的寬度與單個詞預訓練向量的維度數相同。具體公式如下：

其中，W∈Rhd表示卷積核，h為輸入高度(h＜n,n為文本長度)，d為輸入寬度，b∈R為偏置項，σ為激活函數。

經過卷積運算層的計算，得到隱藏特征圖c=[c1,c2,…,cn-h+1] 之后，采用最大池化法對提取的最大特征值進行降維，具體公式如下：

2.4 BiGRU模型

起初解決序列問題一般使用循環神經網絡RNN，但是由于RNN 在長序列的情況下存在信息丟失，在反向傳播的過程中存在梯度消失和爆炸問題，便出現了RNN 的變體長短時記憶神經網路LSTM 模型。LSTM 能夠通過三個門控機制保留長距離有效信息，有效提取長文本序列語義特征，解決了RNN存在的梯度消失和爆炸問題，但其只能保留單向的信息。

GRU 模型也叫門控循環單元，跟LSTM 模型相比，它將輸入門和遺忘門合成為更新門，因此GRU模型只有重置門和更新門。與LSTM 模型相比，其計算代價以及參數均更少，在模型訓練速度方面更優。GRU 的優點是簡化了LSTM 的門，GRU 采用單向獲取信息，而未考慮后向的下文信息使得獲取信息不全面，這使得GRU 在實際應用效果未能如意。而BiGRU 采用正反兩個GRU 網絡單元，利用雙向GRU 獲取前后的信息，保留雙向的歷史有效信息,以此獲取全面的文本信息，大幅度提高了模型準確率。由此提出雙向門控循環單元BiGRU 模型，其優點是采用正反兩個GRU 網絡單元，BiGRU 模型結構如圖3 所示。GRU 公式如下所示：

圖3 BiGRU模型結構圖

其中，rt為重置門，zt為更新門，σ是Sigmoid 函數，ht-1是t-1 時刻隱藏層狀態信息；Wr、Wz、Wh?為權重矩陣；*為點積運算。

BiGRU 的輸入為[S1,S2,S3,…,Sn]，經過BiGRU，得到隱藏表達序列[h1,h2,h3,…,hn]。經過前向和后向的拼接，每個時刻的隱藏狀態表達為

2.5 Multi-Attention模型

Attention 機制就是從人腦的注意力機制演化來的，其核心內容就是期望從眾多信息中獲取對當前任務目標最關鍵的信息。通過引入Multi-Attention模型對雙通道輸出相關性進行重要程度計算，越影響結果的向量分配越大的權重。

將TextCNN 輸出的隱藏特征進行攤平操作后，得到：=flatten(cmax)，其中cmax是TextCNN模型的輸出，兩個模塊拼接后，得到新的隱藏特征Z=[,h]。Z為載入多頭注意力模塊的輸入，對于某一個時刻，使用注意力層中三個不同的權重向量Wq、Wk、Wv計算得出向量qt、kt、vt：

首先計算每個輸入特征計算得分：score=kt·qt。再對每個得分進行歸一化計算，除以權重矩陣的維度，然后進行softmax 計算，再乘以價值V，公式如下：

該文采用多頭注意力機制，與注意力機制Attention相比，多頭注意力機制在其基礎上采取重復多次對查詢矩陣(Q)、鍵矩陣(K)、值矩陣(V)進行不同的線性映射，并計算出i個注意頭的隱層編碼向量，可以比單頭注意力機制獲取更多的特征信息。每一組注意力將映射到不同空間，設注意力頭數為m，對于某一時刻，則計算公式如下：

對所有編碼向量進行加權求和，得到一個綜合隱藏表達e：

其中，Wo為權重向量，通過學習可得到。

多頭注意力機制模型結構如圖4 所示。

圖4 多頭注意力機制模型結構圖

2.6 全連接層

將多頭注意力模塊輸出的綜合隱藏表達e，輸入到全連接層進行分類。該過程表達式如式（15）所示：

3 實驗

3.1 實驗數據集

該文從大眾點評官方網站爬取美食、影片、酒店等評論數據。將點評在4 到5 之間的歸為積極數據，其標注為1；將點評在3 到3.5 歸為中性數據，其標注為2；點評低于3 以下的歸為消極數據，其標注為0。共爬取22 000 條數據，去除重復數據后共保留19 000 條數據。實驗數據按8∶1∶1 劃分為訓練集、驗證集、測試集。劃分結果如表1 所示。

3.2 實驗配置參數

該文實驗在pytorch1.9.0 框架下完成的。GPU 顯存使用24 GB RTX 3090 顯卡。

3.3 模型參數

模型參數的選擇會直接影響實驗結果。該文采用預訓練詞向量CINO-base 為少數民族預訓練模型。其中最大句子長度參數設置為32，學習率為5×10-3，正則化為0.5；卷積神經網絡中卷積層的卷積核有三種不同尺寸，卷積核的寬度與輸入文本矩陣的寬度一樣都是768，高度分別是2、3、4；使用注意力的頭數為8；激活函數采用ReLU 函數。

3.4 評估指標

該文采用準確率（Accuracy）、精準率（Precision）、召回率（Recall）和F1 值四個評價指標模型的效果，其公式分別為：

其中，TP 表示在正類情感樣本里預測也為正類的樣本數量，FP 表示在負類情感樣本里預測為正類的樣本數量，FN 表示在正類情感樣本里預測為負類的樣本數量，TN 表示在負類情感樣本里預測也為負類的樣本數量。

3.5 實驗分析與結果

為了能夠驗證該文所提出的模型在情感分類上的效果，進行了如下實驗：1）采用情感分類上常用的基線模型與該文所提出的模型進行對比實驗；2）單通道模型與多通道模型對比實驗；3）注意力機制與多頭注意力機制對比實驗。

對比實驗所使用的模型如下：

1）TextCNN 模型：使用傳統的詞向量生成方式，結合卷積神經網絡，采用了2、3、4 三種不同大小卷積核來獲取文本不同的局部特征信息。

2）BiGRU 模型：使用傳統的詞向量生成方式，結合雙向門控循環單元，記憶前后長序列句子，獲取全局特征。

3）DPCNN 模型：使用傳統的詞向量生成方式，結合深度卷積神經網路，可以獲取長序列文本信息，對長文本效果較好。

4）CINO+TextCNN 模型：使用CINO 預訓練模型，結合卷積神經網路來進一步獲取局部文本特征。

5）CINO＋BiGRU 模型：使用CINO 預訓練模型，結合雙向門控單元進一步獲取長序列文本信息全局特征。

6）CTBRU 模型：結合CINO+TextCNN 和CINO+BiGRU 組成的雙通道情感分類模型。

7）CTBRA 模型：結合CINO+TextCNN 和CINO+BiGRU 雙通道融合后加入注意力機制來進行情感分類。

8）CTBRM 模型：該文模型使用CINO+TextCNN和CINO+BiGRU 雙通道，結合多頭注意力機制進行情感分類。

3.5.1 不同預訓練模型下的對比實驗

將該文所提出的方法與TextCNN、BiGRU、DPCNN 進行了對比實驗，其結果如表2 所示。

表2 單一結構模型進行對比實驗

根據表2 可知該文提出的CTBRM 模型與使用傳統的詞向量生成方式結合單一模型相比，在藏文情感分類準確率上提升較大，能夠在藏文情感分類上取得不錯的效果。

3.5.2 不同通道下進行對比實驗

該文研究了單通道和雙通道情感分類模型。對CINO+TextCNN、CINO+BiGRU、CINO 單通道型與雙通道模型進行對比實驗，如表3 所示。

表3 單通道和多通道對比實驗

從表3 可以看出，雙通道CTBRM 模型在四個評價指標上比CINO+TextCNN 單通道模型和CINO+BiGRU 單通道模型效果更優。

3.5.3 注意力機制和多頭注意力機制對比實驗

將雙通道CTBRU 模型上引入注意力機制和多頭注意力機制進行對比，如表4 所示。

表4 單多頭注意力機制對比實驗

通過對比實驗可知，多頭注意力機制與單頭注意力機制相比，在四個評測指標上均有所提升，因此多頭注意力機制能夠獲取更多的特征信息，提高了對藏文情感分類的準確性。

通過上述實驗結果表明，使用CINO 預訓練模型得到動態詞向量后，采用TextCNN 模型獲取文本局部特征和BiGRU 模型獲取長序列文本全局特征后，再加入多頭注意力機制進行情感分類，可以實現藏文情感分類效果的提升。

4 結束語

該文通過將所提出的融入多頭注意力機制的雙通道藏文情感分類CTBRM 與傳統的TextCNN、BiGRU、DPCNN 等模型進行對比實驗，CTBRM 模型顯著提升了藏文情感分類的準確性和有效性，其情感分類效果更具優越性。未來可以通過融合其他特征，以改進和優化雙通道模型，進行實驗以提高模型性能將成為研究的重點。而研究細粒度情感分類機制，收集藏文細粒度情感分類數據集，驗證模型的魯棒性也將成為研究的熱點之一。