融合LDA的門控圖卷積網(wǎng)絡(luò)文本分類研究

高維奇，黃 浩，2，3，胡 英，2，吾守爾·斯拉木，2，3

(1 新疆大學(xué)信息科學(xué)與工程學(xué)院，新疆 烏魯木齊 830046；2.新疆多語種信息技術(shù)實(shí)驗(yàn)室，新疆 烏魯木齊 830046；3.新疆多語種信息技術(shù)研究中心，新疆 烏魯木齊 830046)

0 引言

隨著互聯(lián)網(wǎng)技術(shù)的日新月異及便攜式智能設(shè)備用戶的激增，人們越來越依賴于交互式智能設(shè)備為人們提供準(zhǔn)確的文本形式的信息.然而現(xiàn)代科學(xué)技術(shù)的發(fā)展卻帶來了一個(gè)新的問題：信息爆炸.這是由于信息的產(chǎn)生、更新和老化的周期不斷縮小，信息呈現(xiàn)出爆發(fā)式增長，這已遠(yuǎn)遠(yuǎn)超出人類對新的信息的接收和理解范圍.如何將這些過剩的信息準(zhǔn)確分類，是現(xiàn)階段人們所要面對的重要問題.

文本分類是根據(jù)文本的內(nèi)容或主題，將現(xiàn)有的文本劃分到已經(jīng)規(guī)定好的類的過程，它的主要步驟是建立一個(gè)合適的文本表示[1].傳統(tǒng)的文本分類方法，如主題模型[2]、基于kernel、n-gram[3]等方法是用稀疏特征來表示文本，這會造成特征維度過高，浪費(fèi)計(jì)算資源.隨著深度學(xué)習(xí)的發(fā)展和成功[4]，眾多的神經(jīng)網(wǎng)絡(luò)模型，如卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks，CNNs)[5]、循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks，RNNs)和長期短期記憶網(wǎng)絡(luò)(LongShort Term Memory，LSTM)[6](RNN的變種)，已廣泛并成功應(yīng)用于文本表示.

近期，一種新型神經(jīng)網(wǎng)絡(luò)——圖神經(jīng)網(wǎng)絡(luò)(Graph Neural Networks，GNNs)在NLP中的應(yīng)用引起眾多研究者的關(guān)注，因?yàn)樗鉀Q了其他深度學(xué)習(xí)無法進(jìn)行關(guān)系推理的問題.圖卷積網(wǎng)絡(luò)(Graph Convolutional Networks，GCN)[7]是一種圖神經(jīng)網(wǎng)絡(luò)，也是一種基于圖數(shù)據(jù)的卷積神經(jīng)網(wǎng)絡(luò)的變體.文獻(xiàn)[7]中，GCN首次引入引文網(wǎng)絡(luò)，并取得了顯著的成果.受此啟發(fā)，Text-GCN[8]隨之被提出，它考慮了詞與詞間的互信息(Point Mutual Information，PMI)和詞與文檔間的TF-IDF信息對某一語料庫進(jìn)行構(gòu)圖，并通過圖卷積網(wǎng)絡(luò)將詞與詞間的信息和詞與文檔間的信息相互傳遞，使文檔與文檔間的信息可以間接傳遞，從而學(xué)習(xí)更優(yōu)的文本表示用于文本分類.

除了使用PMI和TF-IDF信息對語料庫構(gòu)造文本圖之外，還可以將隱狄利克雷分布(LDA)的信息融入到文本圖[9].LDA模型中，包含詞、主題、文檔三層結(jié)構(gòu).該模型認(rèn)為一篇文檔的生成過程：先挑選主題，再為每個(gè)主題挑選若干詞語，最終由這些詞語就組成了一篇文章.所以主題對于文章是服從多項(xiàng)分布，同時(shí)單詞對于主題也服從多項(xiàng)分布.基于這樣的理論，如果一個(gè)單詞w對于主題t非常重要，而主題t對于文章d非常重要，那么單詞w對于文章d就很重要，并在同主題的詞里面，單詞w的權(quán)重也會較大.本文引入LDA來確定文檔-主題和主題-詞的分布信息，進(jìn)而將這些信息融入到文本圖中進(jìn)一步豐富文本圖中節(jié)點(diǎn)間的關(guān)系，使圖卷積網(wǎng)絡(luò)學(xué)習(xí)到的文本表示含有更豐富的鄰接信息.

近年來，門控機(jī)制在基于神經(jīng)網(wǎng)絡(luò)的模型中得到了廣泛的應(yīng)用.LSTM是RNN的一種變體，它通過一個(gè)門控機(jī)制來控制信息流，從而比RNN更好地處理梯度消失問題.在GCNN[10]中，Dauphin等人提出了一種新的基于卷積網(wǎng)絡(luò)的門控機(jī)制，并將其應(yīng)用于語言模型，且在多個(gè)基準(zhǔn)數(shù)據(jù)集上取得了良好的效果.

本文通過在Text-GCN構(gòu)建的文本圖基礎(chǔ)上，引入隱狄利克雷分布構(gòu)建新的文本圖，使文本圖中節(jié)點(diǎn)間含有更豐富的鄰接信息.之后通過一個(gè)基于圖卷積網(wǎng)絡(luò)的門控機(jī)制，使在訓(xùn)練過程中的信息傳遞得更充分.本文所提出的模型在多個(gè)數(shù)據(jù)集上均取得比Text-GCN的分類效果更好.

1 基于GCN的分類模型

1.1 圖的相關(guān)定義

通常，一個(gè)圖可以被定義成G=(N，E)，節(jié)點(diǎn)ni∈N共有n個(gè)，eij=(ni，nj)為節(jié)點(diǎn)間的邊，aij為邊的權(quán)重.GCN的工作機(jī)制像一個(gè)多層感知機(jī)，通過堆疊多層來傳播和表示信息，但它們之間的區(qū)別在于GCN有一個(gè)鄰接矩陣來對節(jié)點(diǎn)間的局部信息進(jìn)行聚合.如圖1所示，定義H(k-1)和H(k)分別為第k層圖卷積層的輸入和輸出矩陣，初始化特征表示矩陣為X∈Rn×l，n是節(jié)點(diǎn)的總數(shù)，l是特征的維度，因此第一層圖卷積層的輸入為

H(0)=X.

(1)

(2)

圖1 GCN原理框圖

1.2 特征平滑

從Simple Graph Convolution[11]可以得到第n層圖卷積的特征平滑矩陣為

(3)

結(jié)合(2)式，對于某一個(gè)節(jié)點(diǎn)ni特征平滑的詳細(xì)過程可以看作是將該節(jié)點(diǎn)的特征與它相關(guān)節(jié)點(diǎn)特征求均值，公式為

(4)

1.3 特征映射和非線性變換

對于一個(gè)完整的圖卷積層，還需要權(quán)重矩陣W(k)對特征進(jìn)行映射和非線性激活函數(shù)ReLU以確保特征信息能夠有效傳播，表示為

(5)

也可以寫作

H(k)=ReLUS(H(k-1)W(k)).

(6)

對于分類任務(wù)，最后一層的激活函數(shù)ReLU需要替換成softmax且W(k)∈Rm×c，c是需要分類的類數(shù)，m是特征矩陣H(k-1)的維度，公式為

Y=softmax(SH(k-1)W(k)).

(7)

2 基于G-GCN-LDA的文本分類模型

2.1 文本圖構(gòu)建

本文的文本圖是在Text-GCN[8]構(gòu)建的文本圖基礎(chǔ)上構(gòu)建的.Text-GCN中考慮了詞共現(xiàn)和TF-IDF信息對某一語料庫進(jìn)行構(gòu)圖.詞-詞間信息通過一個(gè)固定大小的滑窗滑過整個(gè)語料庫中的文檔來得到詞共現(xiàn)的統(tǒng)計(jì)特征.使用點(diǎn)互信息PMI對詞間的關(guān)系進(jìn)行表征：

(8)

(9)

其中：W(i)是語料庫中包含word(i)的滑窗個(gè)數(shù)；W(i，j)是語料庫中同時(shí)包含word(i)和word(j)的滑窗個(gè)數(shù)；W是語料庫中滑窗總數(shù).對于詞-文檔間的信息，使用TF-IDF描述為

(10)

其中：N是語料庫中文檔總數(shù)；df(i)是包含word(i)的文檔的個(gè)數(shù).TF是某一詞出現(xiàn)在某一文檔中的個(gè)數(shù)，TF-IDF為TF×IDF.此外，本文中還融入隱狄利克雷分布，將文檔-主題和主題-詞的信息引入文本圖.在文檔為Di時(shí)，主題Tk出現(xiàn)的概率為

(11)

其中：Di表示文檔集合中的任一文檔；Tk表示主題集合中的任一主題；Cki表示語料庫中文檔Di中單詞被賦予主題Tk的次數(shù)；K表示主題的數(shù)量；α為超參數(shù).在主題為Tk時(shí)，單詞wj出現(xiàn)的概率為

(12)

其中：wj表示單詞集合中的任一單詞；Tk表示主題集合中的任一主題；Cjk表示語料庫中單詞wj被賦予主題Tk的次數(shù)；N表示詞匯表的大小；β為超參數(shù).

綜上，新構(gòu)建的文本圖可以表示為

(13)

2.2 G-GCN-LDA模型介紹

將新構(gòu)建的文本圖通過一個(gè)基于圖卷積網(wǎng)絡(luò)的門控機(jī)制，最終將被控制的信息送入到第二層GCN進(jìn)行分類.

如圖2所示，對于一個(gè)語料庫，其中{D=[d1，…，dm]，V=[w1，…，wq]，T=[t1，…，tp]，其中D為語料庫中文本的集合，共有m個(gè)文本，V為語料庫的詞匯表，共有q個(gè)單詞，T為設(shè)定主題集合，共有p個(gè)主題，并且m+q+p=n.對于融合LDA的文本圖，圖中橢圓代表詞，矩形代表文檔或句子，圓代表主題，相同顏色的矩形屬于同一標(biāo)簽，紅線代表詞與文檔間的關(guān)系，黑線代表詞與詞之間的關(guān)系，淺灰色線代表文檔-主題間的關(guān)系，淺藍(lán)色線代表主題-詞間的關(guān)系.類似于Text-GCN，本文使用one-hot對文本、單詞和主題的特征進(jìn)行初始化，根據(jù)公式(6)有

H(1)=ReLU(SIW(1))=ReLU(SW(1)).

(14)

其中：I∈Rn×n為單位矩陣表示文本和單詞的初始化特征，W(1)∈Rn×d.根據(jù)(14)式，使用同樣的文本圖和輸入特征可以得到特征矩陣F(1)∈Rn×d.從(11)式可以知道鄰接矩陣S的每一行可以表示成文本的特征，這些特征由TF-IDF信息和文檔-主題信息組成，在訓(xùn)練時(shí)，不僅詞與詞間的互信息間接為文檔間提供信息，而且主題與詞的信息也會間接為文檔間提供信息，這在一定程度上優(yōu)于基于Text-GCN構(gòu)造的文本圖.

圖2 G-GCN-LDA原理框圖

受GCNN[10]的啟發(fā)，將特征矩陣H(1)通過基于GCN的門控機(jī)制，得到一個(gè)特征矩陣M∈Rn×d為

M=ρ(F(1))?δ(H(1)).

(15)

式中：ρ和δ為激活函數(shù)，如sigmoid或tanh，?為矩陣逐點(diǎn)相乘，之后將特征矩陣M送入到第二層圖卷積層進(jìn)行分類

Y=softmax(SMW(2)).

(16)

式中：W(2)∈Rd×c，其中c為語料庫中類的個(gè)數(shù)；Y∈Rn×c為預(yù)測矩陣.對于GC-GCN的整個(gè)流程，可以表示為

Y=softmax(Sρ(ReLU(SIW(1)))?δ(ReLU(SIW(1)))W(2)).

(17)

最后，類似于多數(shù)分類任務(wù)，本文使用交叉熵作為損失函數(shù)

(18)

3 實(shí)驗(yàn)分析與比較

3.1 實(shí)驗(yàn)數(shù)據(jù)

為了與Text-GCN進(jìn)行對比，本文采用與Text-GCN同樣的語料庫：20-Newsgroups (20NG)、Ohsumed、R52、R8和情感二分類影評數(shù)據(jù)MR.數(shù)據(jù)的概述如表1所示.

表1 數(shù)據(jù)概述

3.2 基線

本文將基于圖卷積網(wǎng)絡(luò)的門控機(jī)制模型G-GCN與Text-GCN在基于Text-GCN的原始文本圖和融合LDA的文本圖上進(jìn)行對比.

Text-GCN-O：基于圖卷積網(wǎng)絡(luò)的文本分類模型并使用該模型提出的文本圖進(jìn)行訓(xùn)練，本文在它的基礎(chǔ)上進(jìn)行改進(jìn).

Text-GCN-LDA：使用融合LDA信息構(gòu)建的文本圖，并用Text-GCN模型進(jìn)行訓(xùn)練.

G-GCN-O：使用基于Text-GCN的原始文本圖，之后使用基于圖卷積的門控機(jī)制模型進(jìn)行訓(xùn)練.

3.3 參數(shù)設(shè)置

本文中所有模型使用PyTorch-1.3.0實(shí)現(xiàn).對于公式(15)，不設(shè)置激活函數(shù)，將會在3.5節(jié)解釋.本文中的數(shù)據(jù)預(yù)處理根據(jù)Text-GCN[8]進(jìn)行設(shè)置：滑窗大小為20，隨機(jī)選擇10%的訓(xùn)練集作為驗(yàn)證集.在訓(xùn)練過程中梯度下降使用Adam[12]更新規(guī)則，初始學(xué)習(xí)率為0.04，在訓(xùn)練的前25步，每5步，學(xué)習(xí)率下降20%，超過25步學(xué)習(xí)率不再變化，最大訓(xùn)練步長為200步，若驗(yàn)證集的Loss連續(xù)10步?jīng)]有下降，則停止訓(xùn)練.本文使用sklearn工具獲得隱狄利克雷分布，α和β使用默認(rèn)值1/K，K為設(shè)定主題個(gè)數(shù)，learning_method設(shè)為online，learning_offset為50.對于Text-GCN模型，所有的參數(shù)根據(jù)文獻(xiàn)[8]設(shè)定.我們還在所有的模型中使用更多的圖卷積層進(jìn)行實(shí)驗(yàn)，發(fā)現(xiàn)具有兩層圖卷積的模型效果最好，這是因?yàn)閳D卷積的層數(shù)過多，會導(dǎo)致oversmoothing[13].

3.4 實(shí)驗(yàn)結(jié)果與分析

本文將Text-GCN和G-GCN在原始文本圖和融合LDA信息文本圖基礎(chǔ)上進(jìn)行實(shí)驗(yàn)驗(yàn)證.其中本文以模型第一層隱層單元數(shù)：200，400，600和800和主題數(shù)：“類數(shù)”、10、20、30、40、50作為變量在3.1節(jié)提供的5個(gè)數(shù)據(jù)集中進(jìn)行訓(xùn)練，最終確定在某個(gè)數(shù)據(jù)集中各個(gè)模型最適合的維度和主題數(shù).其中主題數(shù)中的“類數(shù)”為不同語料庫標(biāo)簽的種類數(shù)，Text-GCN-O和G-GCN-O沒有使用融合LDA信息的文本圖，故沒有“主題數(shù)”的結(jié)果.本文中所有模型的結(jié)果為連續(xù)測試10次的均值±標(biāo)準(zhǔn)差.

3.4.1 MR數(shù)據(jù)集結(jié)果分析

表2展示了Text-GCN和G-GCN使用原始文本圖和融合LDA信息文本圖在MR數(shù)據(jù)集的結(jié)果.

從表2可以看出，所有模型在隱層單元維度200時(shí)得到的結(jié)果最好，并且隨著隱層單元的數(shù)目增加所有模型的準(zhǔn)確率都會減少，其中在使用融合LDA信息文本圖時(shí)，Text-GCN-LDA在主題數(shù)為語料庫類數(shù)時(shí)取得最好分類結(jié)果，G-GCN-LDA在主題數(shù)分別為10和30取得最好分類結(jié)果，并且具有相同隱層單元數(shù)目前提下，G-GCN-LDA的所有結(jié)果普遍優(yōu)于其他3個(gè)模型的結(jié)果.在使用融合LDA信息文本圖時(shí)Text-GCN-LDA的最好結(jié)果優(yōu)于使用原始文本圖Text-GCN-O的最好結(jié)果.

3.4.2 R8數(shù)據(jù)集結(jié)果分析

表3為Text-GCN和G-GCN使用原始文本圖和融合LDA信息文本圖在R8數(shù)據(jù)集的結(jié)果.從表3可以看出，在使用原始文本圖時(shí)，隨著模型第一層隱層單元數(shù)目的增加，Text-GCN-O的分類準(zhǔn)確率會增加，G-GCN-O的分類結(jié)果會相對比較穩(wěn)定.在使用融合LDA信息的文本圖時(shí)，Text-GCN-LDA和G-GCN-LDA均在主題數(shù)為50時(shí)取得最好結(jié)果，其中Text-GCN-LDA在第一層隱層單元數(shù)為600時(shí)取得最好結(jié)果；G-GCN-LDA在第一層隱層單元數(shù)為800時(shí)取得最好結(jié)果.

表3 不同主題數(shù)和不同第一層隱層單元數(shù)的所有模型在R8數(shù)據(jù)集的分類準(zhǔn)確率 %

3.4.3 R52數(shù)據(jù)集結(jié)果分析

表4為Text-GCN和G-GCN使用原始文本圖和融合LDA信息文本圖在R52數(shù)據(jù)集的結(jié)果.從表4可以看出，在使用原始文本圖時(shí)，隨著模型第一層隱層單元數(shù)目增加，Text-GCN-O和G-GCN-O的結(jié)果會相應(yīng)變好.對于使用融合LDA信息文本圖，Text-GCN在主題數(shù)為30時(shí)，模型第一層隱層單元數(shù)為600時(shí)取得最好結(jié)果；G-GCN-LDA在主題數(shù)為40時(shí)，模型第一層隱層單元數(shù)為800時(shí)取得最好結(jié)果.

表4 不同主題數(shù)和不同第一層隱層單元數(shù)的所有模型在R52數(shù)據(jù)集的分類準(zhǔn)確率 %

3.4.4 Ohsumed數(shù)據(jù)集結(jié)果分析

表5為Text-GCN和G-GCN使用原始文本圖和融合LDA信息文本圖在Ohsumed數(shù)據(jù)集的結(jié)果.從表5中我們可以發(fā)現(xiàn)，對于原始文本圖，隨著模型隱層單元數(shù)目增加，Text-GCN-O和G-GCN-O的分類準(zhǔn)確率會增加.對于使用融合LDA信息文本圖，Text-GCN-LDA在主題數(shù)為語料庫標(biāo)簽類數(shù)即主題數(shù)為23時(shí)，模型第一層隱層單元數(shù)為200時(shí)取得最好效果；G-GCN-LDA在主題數(shù)為40時(shí)，模型第一層隱層單元數(shù)為800時(shí)取得最好分類結(jié)果.并且使用融合LDA信息文本圖的G-GCN-LDA的結(jié)果普遍優(yōu)于使用原始文本圖的G-GCN-O的結(jié)果.

表5 不同主題數(shù)和不同第一層隱層單元數(shù)的所有模型在Ohsumed數(shù)據(jù)集的分類準(zhǔn)確率 %

3.4.5 20NG數(shù)據(jù)集結(jié)果分析

表6為Text-GCN和G-GCN使用原始文本圖和融合LDA信息文本圖在20NG數(shù)據(jù)集的結(jié)果.由于在20GN數(shù)據(jù)中的“類數(shù)”等于20，所以在表6中類數(shù)這一行的結(jié)果等于主題數(shù)為20的結(jié)果，故“類數(shù)”這行結(jié)果不進(jìn)行展示.從表6中可以了解到在兩個(gè)文本圖中，使用Text-GCN的兩個(gè)模型Text-GCN-O和Text-GCN-LDA都是在維度為800時(shí)取得最好結(jié)果，對于使用G-GCN的兩個(gè)模型G-GCN-O和G-GCN-LDA都是在維度為600時(shí)取得最好結(jié)果，并且Text-GCN-LDA在主題數(shù)為30時(shí)結(jié)果最好，G-GCN-LDA在主題數(shù)為20時(shí)結(jié)果最好.并且根據(jù)表6中使用原始文本圖的數(shù)據(jù)可以發(fā)現(xiàn)，G-GCN-O取得的最好結(jié)果并不優(yōu)于Text-GCN-O的最好結(jié)果，但是在使用融合LDA信息文本圖后，G-GCN-LDA在4個(gè)模型中取得最好結(jié)果，這說明將門控機(jī)制和融合LDA信息文本圖結(jié)合，可以提升模型的分類效果.

表6 不同主題數(shù)和不同第一層隱層單元數(shù)的所有模型在20NG數(shù)據(jù)集的分類準(zhǔn)確率 %

3.5 門控機(jī)制分析

選取MR和R8數(shù)據(jù)集對門控機(jī)制進(jìn)行分析.根據(jù)3.4節(jié)，選取主題數(shù)為10模型第一層隱層單元數(shù)為200對MR進(jìn)行驗(yàn)證，選取主題數(shù)為50，模型第一層隱層單元數(shù)為800對R8進(jìn)行驗(yàn)證.

圖3展示了GC-GCN-BERT使用不同門控機(jī)制在MR和R8的結(jié)果.受文獻(xiàn)[10]的啟發(fā)，使用不同的激活函數(shù)來選擇最適合的門控機(jī)制.對于公式(15)，將作用在F(1)上的激活函數(shù)定義為tanh，這種門控機(jī)制叫Gated Tanh Unit (GTU)，它的梯度可以用圖3表示.

圖3 不同門控機(jī)制結(jié)果

(19)

其中δ是激活函數(shù)，如sigmoid，由于downscaling factor[10]tanh′(F(1))和δ′(H(1))的存在，GTU更容易造成梯度消失的問題.因此，Gated Linear Unit(GLU)被提出，在GLU中，F(xiàn)(1)的激活函數(shù)被移除，H(1)的激活函數(shù)保留，如Sigmoid、Tanh和ReLU.它的梯度可以表示為

(20)

(21)

在Bi-GLU中沒有downscalingfactor，因此相比于GTU和GLU，它受梯度消失的影響更小.

4 總結(jié)

本文從圖卷積網(wǎng)絡(luò)結(jié)構(gòu)和構(gòu)建文本圖這兩個(gè)角度出發(fā)，提出了一個(gè)融合LDA信息門控圖卷積網(wǎng)絡(luò)應(yīng)用于文本分類的模型.相比于Text-GCN構(gòu)建的文本圖，本文構(gòu)建的文本圖融合了LDA信息，將文檔-主題和主題-詞信息融入文本圖，使本文構(gòu)建的文本圖中節(jié)點(diǎn)間具有更豐富的鄰接信息，之后將該文本圖通過一個(gè)基于圖卷積網(wǎng)絡(luò)的門控機(jī)制模型并在多個(gè)數(shù)據(jù)集上驗(yàn)證，發(fā)現(xiàn)本文提出的模型相比于Text-GCN可以有效提升分類準(zhǔn)確率.本文不足之處在于主題數(shù)的選擇采用手動選擇，只能大概找到最適合的主題數(shù).在今后的工作中，我們考慮在訓(xùn)練圖卷積網(wǎng)絡(luò)的同時(shí)，自動選擇最適合的主題數(shù).