基于Bi-LSTM和圖注意力網(wǎng)絡(luò)的多標(biāo)簽文本分類算法

楊 茜

(鄭州大學(xué)體育學(xué)院 河南 鄭州 450000)

0 引 言

文本分類是自然語言處理的一個重要研究方向,其目的是將一段文本序列分為不同的類別[1]。文本分類大致分為單標(biāo)簽分類和多標(biāo)簽分類兩種,其中多標(biāo)簽分類更具挑戰(zhàn)性[2]。多標(biāo)簽文本分類(Multi-Label Text Classification,MLTC)是為語料庫中的每個輸入樣本分配一個或多個標(biāo)簽的任務(wù),在信息檢索、標(biāo)簽推薦和情感分析等領(lǐng)域得到廣泛的應(yīng)用[3-4]。

在以往的研究中,多標(biāo)簽文本分類任務(wù)的解決方法主要包括問題轉(zhuǎn)換方法、算法適應(yīng)方法和神經(jīng)網(wǎng)絡(luò)模型三種[5]。其中,問題轉(zhuǎn)換方法通過對樣本集進行分解,將MLTC問題轉(zhuǎn)換為一個或多個單標(biāo)簽分類或回歸問題,經(jīng)典問題轉(zhuǎn)換方法是二進制相關(guān)性[6](Binary Relevance,BR),BR為每個標(biāo)簽學(xué)習(xí)一個單獨的分類器,并通過忽略標(biāo)簽之間的相關(guān)性將所有分類器的結(jié)果組合為一個多標(biāo)簽預(yù)測。但是,如果數(shù)據(jù)集和標(biāo)簽太大,該類方法需要花費大量的時間和空間。算法適應(yīng)方法在原有單標(biāo)簽分類方法的基礎(chǔ)上進行適當(dāng)改進,使之能夠直接處理MLTC問題,如ML-KNN方法[7],采用傳統(tǒng)的K-最近鄰(KNN)算法通過計算不同標(biāo)簽之間的相關(guān)性來解決MLTC問題。這類方法不需要將數(shù)據(jù)進行轉(zhuǎn)換,而且計算效率有所增加,但是僅限于利用一階或二階標(biāo)簽相關(guān)性。近年來,隨著深度學(xué)習(xí)的發(fā)展,基于神經(jīng)網(wǎng)絡(luò)的MLTC方法也快速地涌現(xiàn)出來。Gargiulo等[8]采用CNN神經(jīng)模型對多標(biāo)簽多類文本進行分類,但是由于CNN自身編碼效率低且不具有旋轉(zhuǎn)不變性,因此在復(fù)雜結(jié)構(gòu)的文本分類中效果不佳。為了克服這一問題,Yang等[9]提出了基于膠囊網(wǎng)絡(luò)的文本分類模型,通過引入動態(tài)路由更新機制和向量神經(jīng)單元來克服CNN的弊端。為了能夠選擇性地關(guān)注文本中重要信息,研究人員還將注意力機制引入到文本分類中。Qu等[10]提出了一種基于分層注意網(wǎng)絡(luò)的文本分類方法,該方法采用多層注意力機制用于改善模型的分類精度。但是,注意力機制不能夠很好地保留單詞的位置信息。因此,Jing[11]通過將注意力機制與LSTM網(wǎng)絡(luò)相結(jié)合,利用LSTM網(wǎng)絡(luò)提取文本序列的全局特征,注意力機制重點關(guān)注局部信息來提高處理長句和整個文檔的分類性能。陳榕等[12]提出了一種基于注意力機制的CRNN算法,利用CNN提取文本向量的特征,然后利用Bi-GRU網(wǎng)絡(luò)捕獲文本的上下文依賴關(guān)系并結(jié)合注意力機制識別不同特征的重要性,該算法通過幾種網(wǎng)絡(luò)的組合有效提高了分類任務(wù)的準(zhǔn)確率。

目前,雖然大多數(shù)MLTC方法能夠在文本分類中具有很好的性能,但是這些往往忽略標(biāo)簽之間的依賴關(guān)系,從而沒有將分類效果達到最優(yōu)。針對這一情況,本文提出一種基于Bi-LSTM和圖注意力網(wǎng)絡(luò)(GAT)的多標(biāo)簽文本分類算法,本文算法首先利用預(yù)訓(xùn)練語言模型提取文本序列的信息特征,然后使用Bi-LSTM網(wǎng)絡(luò)提取文本序列的上下文信息和全局特征,同時使用圖注意力網(wǎng)絡(luò)捕獲標(biāo)簽之間的相關(guān)性,最后結(jié)合特征向量和標(biāo)簽依賴性來對MLTC任務(wù)進行預(yù)測。

1 深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)

1.1 Bi-LSTM網(wǎng)絡(luò)

深度雙向長短時記憶Bi-LSTM是一種雙向的RNN網(wǎng)絡(luò),一個Bi-LSTM單元由兩個上下反向疊加在一起的單向LSTM組成,一個負責(zé)前向信息傳遞和一個負責(zé)后向信息傳遞,如圖1所示,兩個單向LSTM輸出信息的組合作為最終的輸出。

圖1 Bi-LSTM網(wǎng)絡(luò)架構(gòu)

(1)

式中:ω和?為權(quán)重系數(shù);b為偏置值。與單個LSTM 模型相比,Bi-LSTM模型不僅利用時間序列中前后時刻數(shù)據(jù)之間的正向關(guān)聯(lián)信息,還考慮了前后時刻的反向關(guān)聯(lián)信息,因此在序列數(shù)據(jù)的分類問題中展現(xiàn)出了優(yōu)越的性能。

1.2 圖注意力神經(jīng)網(wǎng)絡(luò)

圖注意力神經(jīng)網(wǎng)絡(luò)是將注意力機制引入圖卷積網(wǎng)絡(luò)中的一個新型架構(gòu),用于捕獲網(wǎng)絡(luò)節(jié)點之間更好的相關(guān)性。GAT采用注意力機制為每個相鄰節(jié)點分配不同的權(quán)重系數(shù),權(quán)重大小完全取決于鄰近節(jié)點的特征,然后對鄰近節(jié)點特征加權(quán)求和,其結(jié)果能夠有效關(guān)注特征重要的節(jié)點,忽略不重要的節(jié)點。GAT由多個圖注意力層組成,下面給出單層圖注意力層的更新機制如圖2所示。

圖2 圖注意力神經(jīng)網(wǎng)絡(luò)的架構(gòu)

(2)

(3)

(4)

式中:‖表示拼接,激活函數(shù)的小于零斜率設(shè)置為0.2。為了使互相關(guān)系數(shù)能夠更容易地計算,模型引入了Softmax對節(jié)點i所有的相鄰節(jié)點j進行正則化:

(5)

最后,利用正則化后的不同節(jié)點之間的注意力互相關(guān)系數(shù)來預(yù)測每個節(jié)點的輸出特征:

(6)

式中:σ是一個激活函數(shù)。為了使自注意力機制能夠穩(wěn)定地表示節(jié)點i,模型使用了多頭注意力機制并使用其平均值作為輸出,因此式(6)修改為:

(7)

式中:K表示多頭注意力機制中的頭數(shù)量。

2 基于深度學(xué)習(xí)的多標(biāo)簽文本分類

本文提出一種基于深度雙向長短時記憶Bi-LSTM和圖注意力網(wǎng)絡(luò)GAT的多標(biāo)簽文本分類算法,對于給定的文本序列輸入,該算法首先利用BERT語言模型將文本序列進行詞向量表示,然后將詞向量特征輸入到Bi-LSTM網(wǎng)絡(luò)中,用于學(xué)習(xí)文本序列的上下文信息和全局特征,同時利用GAT網(wǎng)絡(luò)捕獲標(biāo)簽之間的相關(guān)性,最后將基于注意力機制的標(biāo)簽特征應(yīng)用于Bi-LSTM網(wǎng)絡(luò)輸出的特征向量上,增強多標(biāo)簽文本分類的預(yù)測精度。圖3給出了本文模型的具體架構(gòu)。

圖3 本文模型的架構(gòu)示意圖

2.1 問題描述和詞向量表示

多標(biāo)簽分類是指將給定的樣本分配給多個分類類別的過程。該分類模型具有廣泛的應(yīng)用場景,如一篇文章可以同時屬于經(jīng)濟類和文化類,一個蛋白質(zhì)可能具有多個功能等。對于多標(biāo)簽問題,其難點有兩個:一個是類標(biāo)簽的數(shù)量是不確定,如一些樣本只有一個標(biāo)簽,而一些樣本可能具有幾十個標(biāo)簽;另一個是類標(biāo)簽之間可能會存在復(fù)雜的依賴關(guān)系,如包含藍天類標(biāo)的樣本很大概率上包含白云。

多標(biāo)簽分類任務(wù)的目的就是訓(xùn)練一個預(yù)測模型,使得未標(biāo)記的新樣本能夠準(zhǔn)確地分類到已知的語義標(biāo)簽中。給定訓(xùn)練集中存在m個文本序列X={x1,x2,…,xm}和q個標(biāo)簽L={l1,l2,…,lq},假定標(biāo)記空間中存在n個標(biāo)簽Y={y1,y2,…,yn}。對于文本分類任務(wù),標(biāo)簽是指具有語義信息的文本。傳統(tǒng)的分類任務(wù)一般是針對一個樣本給定一個標(biāo)簽,而在MLTC問題中,每個樣本可以有多個標(biāo)簽。從建模的角度來講,MLTC任務(wù)可以通過尋找最優(yōu)標(biāo)記序列Y*使得條件概率p(Y|X)最大:

(8)

文本序列和標(biāo)簽中的詞向量可以通過預(yù)訓(xùn)練模型得到。目前,存在多種詞向量的表示方法,其中最常用的表示方法為詞袋模型,但是這類方法沒有考慮詞的位置信息。Word2vec是另一種獲取文本詞向量表示的方式,該工具是谷歌公司開發(fā)的一款開源工具,經(jīng)過大量的語料庫預(yù)訓(xùn)練的模型,但是Word2vec工具的缺點是對于每一個詞只有一種向量表示,無法解決多義詞的問題。因此,本文采用BERT模型進行詞向量表示。 BERT模型是2018年提出的一種預(yù)訓(xùn)練語言表示方法[13],它使用雙向編碼器網(wǎng)絡(luò)在大型語料庫上對語言模型進行預(yù)訓(xùn)練,并在其他任務(wù)上對預(yù)訓(xùn)練模型進行微調(diào)。任務(wù)特定的BERT設(shè)計能夠?qū)⒁粋€句子或一對句子表示為一個連續(xù)的標(biāo)記數(shù)組。對于給定的標(biāo)記,其輸入表示形式是通過將其相應(yīng)的標(biāo)記、段和位置嵌入相加而構(gòu)造的。BERT模型可以基于文本中各個字詞的原始詞向量輸入,得到文本中各個字詞融合了全文語義信息后的向量表示,圖4給出了BERT模型的嵌入過程。

圖4 BERT模型嵌入示意圖

2.2 多標(biāo)簽文本分類方法

所提MLTC方法的深度學(xué)習(xí)部分主要由Bi-LSTM網(wǎng)絡(luò)和GAT網(wǎng)絡(luò)兩部分組成,其中Bi-LSTM網(wǎng)絡(luò)用于提取文本序列的全局特征,GAT網(wǎng)絡(luò)用于捕獲標(biāo)簽之間的依賴關(guān)系,然后將兩個網(wǎng)絡(luò)輸出的特征向量結(jié)合在一起來對文本序列進行分類。

本文使用BERT嵌入單詞,而后輸入到Bi-LSTM網(wǎng)絡(luò)中進行微調(diào)以完成針對文本分類領(lǐng)域任務(wù)的參數(shù)優(yōu)化。Bi-LSTM從兩個方向讀取文本序列X并計算每個單詞的隱藏狀態(tài),然后將兩個方向的隱藏狀態(tài)串聯(lián)起來,從而獲得第i個單詞的最終隱藏表示:

(9)

因此,Bi-LSTM網(wǎng)絡(luò)通過學(xué)習(xí)BERT輸入數(shù)據(jù)而獲得最終特征向量輸出的過程可以表示為:

F=fBi-LSTM(fBERT(s;θBERT);θBi-LSTM)∈RD

(10)

式中:f表示映射關(guān)系;s表示文本句子;θBERT和θBi-LSTM分別表示BERT和Bi-LSTM網(wǎng)絡(luò)的參數(shù);D表示Bi-LSTM網(wǎng)絡(luò)中隱藏層的維度。

一般來說,GAT網(wǎng)絡(luò)中的圖網(wǎng)絡(luò)塊G由特征向量M∈Rn×d和相應(yīng)的鄰接矩陣A∈Rn×n組成,其中:n表示標(biāo)簽的個數(shù);d表示維度。因此,GAT網(wǎng)絡(luò)往往采用表示圖形數(shù)據(jù)的節(jié)點特征和鄰接矩陣作為輸入。在本文中,沒有相應(yīng)的現(xiàn)有圖數(shù)據(jù)集對GAT進行訓(xùn)練。相反,將標(biāo)簽的嵌入向量充當(dāng)節(jié)點特征,通過構(gòu)建鄰接矩陣來學(xué)習(xí)標(biāo)簽之間的相關(guān)性,進而利用標(biāo)簽之間的相關(guān)性建模為加權(quán)圖,并迫使GAT網(wǎng)絡(luò)學(xué)習(xí),以使鄰接矩陣和注意權(quán)重共同代表相關(guān)性。對于鄰接矩陣的初始化問題,本文使用相關(guān)矩陣來初始化權(quán)重。首先,通過計算標(biāo)簽的成對共現(xiàn)來構(gòu)造相關(guān)矩陣,然后利用頻率向量對共現(xiàn)矩陣進行歸一化:

A=C/F

(11)

式中:C∈Rn×n表示共現(xiàn)矩陣;F∈Rn表示單個標(biāo)簽的頻率向量。因此,GAT網(wǎng)絡(luò)的第一層輸出可以表示為:

(12)

式中:σ是一個激活函數(shù),本文采用tanh激活函數(shù)。第l層的輸出表示為:

(13)

將GAT網(wǎng)絡(luò)最后一層的注意力標(biāo)簽特征輸出定義為Hgat∈Rc×d,其中:c表示標(biāo)簽數(shù)量;d表示標(biāo)簽特征的尺寸,然后與Bi-LSTM網(wǎng)絡(luò)輸出的特征向量進行點乘操作,用于獲得最終的預(yù)測分類結(jié)果:

(14)

本文使用交叉熵作為損失函數(shù):

(15)

式中:y∈Rc表示真實的標(biāo)簽,其中yi∈{0,1}。

3 實驗與結(jié)果分析

為了驗證本文方法的有效性,采用RCV1-V2[14]和AAPD[15]兩個數(shù)據(jù)集進行測試,并將測試結(jié)果與以下幾個MLTC方法進行對比。HAN+LG方法[3]在單詞和句子級別上使用分層注意力網(wǎng)絡(luò)來獲取文檔表示,然后引入標(biāo)簽圖矩陣并通過邏輯回歸預(yù)測每個標(biāo)簽;Seg2Set方法[14]使用簡單而有效的標(biāo)簽序列來建立分類模型;reg-LSTM方法[15]使用帶有正則化的簡單BiLSTM體系結(jié)構(gòu)進行預(yù)測;SGM+GE方法[16]將多標(biāo)簽分類任務(wù)視為一個序列生成問題,基于解碼器結(jié)構(gòu)進行求解;HLW-LSTM[17]方法使用混合注意力機制和LSTM捕捉標(biāo)簽差異和標(biāo)簽相關(guān)性信息;HLW-MDC使用混合注意力機制和基于多層擴展卷積的文本語義單元同時提取單詞級別和語義單元級別的信息[18]。

3.1 實驗數(shù)據(jù)集

RCV1-V2數(shù)據(jù)集是由路透社有限公司提供的分類新聞報道組成,每個新聞熱線故事可以分成多個主題。該數(shù)據(jù)集共包含804 414個文件,包括643 531個訓(xùn)練文件和160 883個測試文件,可劃分為103個主題。

AAPD數(shù)據(jù)集由55 840篇學(xué)術(shù)論文的摘要及其對應(yīng)主題組成,每篇論文可以有多個主題。該數(shù)據(jù)集的研究目的是根據(jù)摘要內(nèi)容預(yù)測學(xué)術(shù)論文的主題。具體而言,AAPD數(shù)據(jù)集分為44 672個訓(xùn)練文檔和11 168個測試文檔,共計54個類別。

對于上述2個數(shù)據(jù)集,篩選出超過500個單詞的樣本,這將能夠刪除每個數(shù)據(jù)集中約0.5%的樣本。將每個數(shù)據(jù)集分為訓(xùn)練集、驗證集和測試集。詞匯表大小設(shè)置為50 000個單詞。數(shù)字和詞匯表外的單詞都選擇特殊的標(biāo)記“#”和“UNK”進行替換。并且,采用頻率降序的方式對標(biāo)簽進行排列。

3.2 模型參數(shù)設(shè)置和評價指標(biāo)

本文模型包括Bi-LSTM網(wǎng)絡(luò)和GAT網(wǎng)絡(luò)兩個部分,其中Bi-LSTM網(wǎng)絡(luò)的正向與反向隱藏層中的節(jié)點個數(shù)均為128,同時在訓(xùn)練過程中所有的Bi-LSTM網(wǎng)絡(luò)共享一套權(quán)重以避免過擬合現(xiàn)象的發(fā)生。GAT網(wǎng)絡(luò)由2個層組成,每個層是一個多頭部注意力機制的架構(gòu),頭部數(shù)量設(shè)置為8個。對于所有數(shù)據(jù)集,使用BERT嵌入對句子和標(biāo)簽表示進行編碼,批處理大小設(shè)置為250。使用Adam優(yōu)化器來最小化最終目標(biāo)函數(shù)。學(xué)習(xí)率初始化為0.001,為了避免過度擬合,將drop-out設(shè)置為0.5。

為了能夠有效評估本文模型的性能,采用漢明損失(Hamming Loss,HL)和微平均F1-分數(shù)(Micro F1-Score,MiF1)等指標(biāo)來衡量模型的測試結(jié)構(gòu)。下面給出2個指標(biāo)的具體內(nèi)容。

漢明損失HL是指錯誤預(yù)測標(biāo)簽所占總數(shù)的百分比,其數(shù)學(xué)公式可以表示為:

(16)

式中:m和M分別表示樣本個數(shù)和標(biāo)簽總個數(shù);Yi表示樣本i實際標(biāo)簽的集合;Zi表示樣本i預(yù)測標(biāo)簽的集合;Δ表示兩個集合的對稱差。漢明損失越小,預(yù)測結(jié)果越好。

微平均F1-分數(shù)MiF1是計算所有樣本標(biāo)簽對的F1分數(shù),其數(shù)學(xué)公式定義為:

(17)

式中:TP、FP和FN分別表示真正例、假正例和假負例。微平均F1-分數(shù)越大,預(yù)測結(jié)果越好。

3.3 對比實驗

為了驗證本文方法的有效性,本文進行了2個實驗,第一個實驗是消融實驗,在2個數(shù)據(jù)集上進行測試模型不同部分的貢獻度,第二個實驗是對比實驗,通過與其他多標(biāo)簽文本分類方法的結(jié)果對比來證明方法的可行性。

對于消融實驗,本文首先研究了4種不同的詞嵌入工具對本文模型的影響,圖5給出了幾種詞嵌入工具在測試數(shù)據(jù)集上的MiF1分數(shù)結(jié)果。可以看出,使用具有雙向語言編碼的BERT模型所取得的F1分數(shù)最好。

圖5 不同預(yù)訓(xùn)練工具的MiF1結(jié)果對比

除此之外,本文還研究了GAT網(wǎng)絡(luò)對模型的貢獻,并對比了GAT和圖卷積網(wǎng)絡(luò)(Graph Convolution Network,GCN)網(wǎng)絡(luò)的性能。圖6給出了所提模型深度框架中包含Bi-LSTM、Bi-LSTM+GCN和Bi-LSTM+GAT3種不同網(wǎng)絡(luò)結(jié)構(gòu)時的MiF1分數(shù)結(jié)果。可以看出,模型僅有Bi-LSTM網(wǎng)絡(luò)構(gòu)成時性能最差,而Bi-LSTM+GAT組合的性能稍優(yōu)于Bi-LSTM+GCN網(wǎng)絡(luò),這是因為GAT網(wǎng)絡(luò)利用自注意力系數(shù)將鄰居頂點的特征聚合到中心頂點上,從而保證了頂點特征之間的相關(guān)性被更好地融入到模型中。

圖6 不同深度網(wǎng)絡(luò)組合的MiF1結(jié)果

本文的第二個實驗是對比實驗,將本文方法與其他分類方法在兩個數(shù)據(jù)集上進行了漢明損失(HL)和微平均F1-分數(shù)指標(biāo)的衡量測試。圖7-圖8分別給出了HL和MiF1的測試結(jié)果,可以清楚地看到,本文方法在RCV1-V2數(shù)據(jù)集和AAPD數(shù)據(jù)集中的HL結(jié)果最小,MiF1結(jié)果最大,說明在所有對比方法中,本文模型的性能最優(yōu)。

圖7 不同分類方法在HL指標(biāo)上的對比

圖8 不同分類方法在MiF1指標(biāo)上的對比

4 結(jié) 語

本文提出一種基于Bi-LSTM網(wǎng)絡(luò)和GAT網(wǎng)絡(luò)的多標(biāo)簽文本分類算法,通過關(guān)注標(biāo)簽之間相關(guān)性來提高文本分類的精度,該算法主要由詞向量表示、深度學(xué)習(xí)和預(yù)測任務(wù)3個步驟組成。首先,本文使用BERT預(yù)訓(xùn)練模型對文本序列和標(biāo)簽進行詞向量表示;然后將文本序列輸入到Bi-LSTM網(wǎng)絡(luò)中來獲得全局特征向量,將標(biāo)簽輸入到GAT網(wǎng)絡(luò)中用于捕獲標(biāo)簽之間的相關(guān)性;最后利用矩陣相乘將兩個網(wǎng)絡(luò)模型的輸出組合在一起,用于完成MLTC任務(wù)。實驗結(jié)果表明,本文模型的性能明顯優(yōu)于其他方法,在多項指標(biāo)上取得了最佳的結(jié)果。