結合圖卷積的深層神經網絡用于文本分類

鄭 誠，陳 杰，董春陽

1.安徽大學 計算機科學與技術學院，合肥 230601

2.計算智能與信號處理教育部重點實驗室，合肥 230601

文本是傳遞信息的重要途徑和載體，在如今的大數據的時代，海量文本信息的管理成為了一個難點。文本分類作為自然語言處理的基本任務和核心技術，如何快速準確的判別文本所屬類別從而更好地服務自然語言其他任務，一直以來都是研究的重點方向。

最近有研究人員將文本表示成圖結構，通過圖卷積網絡捕獲文本的結構信息還有單詞間非連續和長距離的依賴關系，但是圖卷積網絡應用在文本上存在有兩方面的限制：一是由于將單詞表示為節點，通過鄰接矩陣聚合節點的鄰域信息，忽略了文本的順序結構，導致損失了文本的上下文語義信息；二是對文本局部特征信息（如關鍵短語）的提取不足。從而在一些上下文語義信息和局部特征信息豐富的文本上表現欠佳。

為解決上述提到的問題，本文提出了一種新的模型，該模型主要由3個特征提取層和一個圖池化層組成。第一個特征提取層是由GCN和雙向長短時記憶網絡（Bi_LSTM）組成，利用Bi_LSTM模型在建模上下文語義信息的優勢對文本的上下文語義信息特征進行提取。第二個特征提取層是由GCN和CNN組成，利用CNN模型對局部特征信息提取的優勢對文本的局部特征信息進行提取。然后通過圖池化層篩選出重要節點送入第三個由GCN和CNN組成的特征提取層，目的是幫助CNN捕獲文本更深層次的局部特征信息。其中GCN模型起到的作用有兩方面：一方面是捕獲文本中非連續和長距離的單詞依賴關系；第二方面是通過聚合鄰域信息擴大模型的信息感知能力。模型中文本圖的節點由詞性為名詞、形容詞和動詞3種類型的單詞構成，節點之間的邊由單詞是否在滑動窗口中決定。最后，將提取的特征信息送入全連接層再通過SoftMax函數得到文檔的預測類別。

本文的貢獻如下：提出了一種新型模型，通過Bi_LSTM和CNN混合提取文本的上下文語義信息和局部特征信息去彌補GCN在文本特征信息提取上的不足。并采用了圖池化層幫助CNN提取更深層次的局部特征，以更好地表示文本信息。

在3個英文數據集上的實驗結果表明，本文模型相較于基準模型，取得了一定的效果。

1 相關工作

傳統的文本分類方法主要是基于特征工程，特征工程有詞袋模型[1]和n-grams等，后來也有將文本轉換為圖形并對圖形進行特征工程的研究[2-3]，但這些方法不能自動學習節點的嵌入表示。

基于深度學習的文本分類方法相較于傳統文本分類方法，有自動獲取特征和進行端到端學習的能力，并且深度學習模型能夠學習到文本深層的語義信息。深度學習在詞嵌入研究方面，文獻[4]提出Word2Vec模型，該模型通過使用深度學習的方法將單詞表示為低維度且稠密的向量，使用詞向量距離衡量單詞之間的語義相似度，能更好地表達出單詞本身所具有的語義信息。2016年，文獻[5]提出fastText模型，該模型與Word2Vec模型中的CBOW相似，但是兩者的任務不同。fastText模型在維持較高精確度的情況下加速了模型的訓練過程，詞向量表示效果良好。在深度學習模型方面，文獻[6]提出使用文本卷積神經網絡（textCNN）用于文本分類，利用多個不同尺寸的濾波器來捕獲文本的局部特征信息，在多個數據集上獲得很好的效果。但是僅提取文本的局部特征信息在文本表示上仍有不足，因為文本的上下文是有聯系的，脫離了上下文對于文本的理解是不充分的。為此文獻[7]提出使用循環神經網絡用于文本分類，由于循環神經網絡在處理序列相關任務時有著獨特的優勢，能夠捕獲序列的歷史信息，使得循環神經網絡在文本分類任務中能夠捕獲文本的上下文語義信息，成為了文本分類中重要的深度學習模型之一。此外，大部分基于深度學習的神經網絡模型往往只關注于文本內容本身的信息而忽略了標簽信息在文本分類中的重要性，文獻[8]提出聯合嵌入單詞和標簽信息的模型，通過將標簽和單詞共同嵌入到同一個向量空間中，以獲取標簽信息進行文本分類。

近年來，許多研究嘗試將卷積運算應用到圖形數據上，文獻[9]提出了圖卷積網絡（GCN），該網絡是卷積神經網絡的一種變種，采用半監督的方式學習圖中內在結構的特征，并且模型在節點分類任務上取得了不錯的效果。由于GCN中節點之間邊的權重是固定不變的，在聚合節點的鄰域信息時不能聚合那些具有重要特征的信息。為此文獻[10]提出圖注意網絡（GAT）使用注意力機制文獻[11]對節點的鄰域信息進行權重分配，突出與分類任務相關的重要信息，給鄰居節點中較為重要的節點分配較高的權重，相比于沒有添加權重的圖卷積網絡有較好的提升。后來，文獻[12]提出了textGCN模型，首次將圖卷積網絡引入到文本分類中，通過將文本建模成圖，圖中的節點由單詞和文檔構成，然后在圖上應用圖卷積網絡進行文本分類最終獲得了不錯的效果。

2 結合圖卷積的深層神經網絡

2.1 模型總體框架

為解決上文中的問題，本文提出一種新的模型，其總體框架如圖1所示。

圖1 模型總體框架Fig.1 Overall framework of model

2.2 文本圖構建和單詞表示

首先，利用NLTK工具包篩選出文本中的名詞、形容詞和動詞，其他詞性的詞作為停用詞刪除。圖中節點的邊由滑動窗口決定，規則是如果兩個單詞在同一個滑動窗口出現則在兩個單詞間添加一條無向邊，從而構成本文的文本圖。如圖2所示為將一個文本轉化為圖的例子。

圖2 文本圖示例Fig.2 Text diagram example

因為選取名詞、形容詞和動詞作為圖的節點，所以選取了“Jim”“person”“who”“plays”“football”作為圖中的節點，并且使用了一個大小為4的滑動窗口在文本上滑動。例如，在文本中“Jim”和“person”在同一個滑動窗口中，所以圖中“Jim”和“person”兩個節點間存在一條無向邊。

本文模型的單詞表示由單詞嵌入向量和位置嵌入向量共同組成，使用fastText預訓練詞向量作為單詞嵌入向量。它包含超過200萬個預訓練的單詞向量，與其他預訓練的單詞嵌入向量如Glove[13]相比，使用fastText能幫助人們避免大量的未知單詞。例如在AG News數據集中，使用fastText預訓練詞向量只有幾百個未知單詞，這比使用Glove預訓練詞向量要少得多。除了單詞嵌入向量以外，還使用了文獻[14]提出的位置嵌入方法，將文本中單詞的位置編碼成一個獨熱向量，然后將其與單詞嵌入向量連接。最后將單詞的向量表示相疊加，得到模型所需要的特征矩陣。

2.3 圖卷積網絡

圖卷積網絡是一種處理圖數據的模型，該模型通過卷積運算將節點的鄰域信息聚合到自身節點，經過多次聚合能夠提取到高階的鄰域信息和節點間非連續的依賴關系。

假設一個圖表示為G=(V,E)，V是圖中節點的集合，E是圖中邊的集合。一個一層的圖卷積網絡運算公式如下：

其中H0=X，X∈?N×D是圖卷積網絡的第一層輸入，N為圖中節點的個數，D代表節點的嵌入維度，A∈?N×N為鄰接矩陣表示圖中節點之間的連接關系，W0∈?D×K為權重參數矩陣，σ(·)代表一個非線性激活函數。若要捕獲節點的高階領域信息，則需要進行多層GCN疊加，其運算過程如下：

其中l表示層數。

2.4 GCN+Bi_LSTM層

圖卷積神經網絡在對圖型數據進行處理時，往往是對節點的鄰居節點進行卷積運算，從而通過鄰域信息來更新自身節點。但其中忽略了節點之間的順序信息，尤其是對于文本這種有著豐富的上下文語義信息的數據，讓模型具有提取這種信息的能力尤為重要。雖然本文試圖將文本數據建模為圖形數據，但這些文本數據本質上仍是網格狀的數據，進而保留了節點間的順序信息，所以可以使用循環神經網絡提取文本的上下文語義信息。

循環神經網絡是一種處理時序數據的模型，在處理與序列相關的任務時獲得了優異的表現。但在利用反向算法和梯度更新算法對模型進行權重更新時，循環神經網絡出現了嚴重的梯度消失問題。于是本文采用循環神經網絡的改進模型Bi_LSTM。該模型通過前向LSTM和后向LSTM組合而成，前向LSTM使單詞獲取上文信息，后向LSTM使單詞獲取下文信息。所以在建模上下文語義信息方面有著獨特的優勢。GCN+Bi_LSTM層如圖3所示。

圖3 GCN+Bi_LSTM層Fig.3 GCN+Bi_LSTM layer

本文將文本表示為鄰接矩陣和節點的特征矩陣，文本圖中的每個節點對應著文本中一個單詞，模型保留了文本中節點初始位置的順序信息，即本模型中的特征矩陣是具有順序信息的網格狀數據。通過圖卷積網絡捕獲單詞間長距離依賴關系的同時利用Bi_LSTM去提取文本的上下文語義信息，進而彌補傳統圖卷積網絡在上下文語義信息方面捕獲能力不足的問題。

2.5 GCN+CNN層

由于傳統的圖卷積網絡只在單個節點上進行卷積運算，并沒有使用像卷積神經網絡那樣的可訓練空間濾波器，所以導致圖卷積網絡在提取局部特征方面不如卷積神經網絡。并且因為圖中節點的鄰居數量不統一進而導致圖中禁止使用卷積核大于1的卷積運算。由于本文的文本數據是網格狀的數據，所以可以使用卷積神經網絡提取局部特征信息。

卷積神經網絡最先在計算機視覺領域應用，后來才應用在自然語言領域。相比于循環神經網絡，卷積神經網絡更注重局部特征信息的提取，如在文本中對一些關鍵短語信息進行識別等，而這些關鍵短語對于文本的分類有著關鍵的作用。GCN+CNN層如圖4所示。

圖4 GCN+CNN層Fig.4 GCN+CNN layer

文中卷積神經網絡使用的是一維卷積，即只在文本序列的一個方向做卷積。由于是文本數據，所以網絡中卷積核寬度和單詞向量的嵌入緯度相等，高度分別采用2、3、4，即采用3種不同尺寸的卷積核提取文本不同類型的局部信息。

經過GCN+Bi_LSTM層得到的新特征矩陣X1作為本層的輸入之一，另一個輸入仍為鄰接矩陣A。經過CNN輸出得到HCNN，經過GCN輸出得到HGCN，然后將兩者連接得到新的特征矩陣X2，運算過程如下：

由于本文的圖形數據是具有節點間的順序信息的，即特征矩陣為具有順序信息的網格狀數據。所以可以使用卷積核大于1的卷積運算在特征矩陣上進行文本局部特征信息的提取。通過圖卷積神經網絡和卷積神經網絡的組合，可以充分利用兩個模型的優點并克服兩者各自的局限性。具體來說，一方面，卷積神經網絡利用了可訓練的空間濾波器提取局部信息，在提取過程中為了避免產生大量的可訓練參數，使用了尺寸較小的卷積核。但這會導致卷積運算在特征矩陣上的感受野較小，對于遠距離的文本特征捕獲能力不足。而圖卷積神經網絡通過文本圖中節點之間的連邊可以迅速地增加模型的感受野，從而捕獲文本長遠距離的特征，補充了卷積神經網絡的不足。另一方面，卷積神經網絡通過其在捕獲局部特征信息方面的優勢去彌補圖卷積神經網絡在該方面的不足，二者相輔相成。

本文模型包含兩個GCN+CNN層，第一個GCN+CNN層是為了初步提取文本的局部特征信息，捕獲文本淺層的詞與詞之間的關系。第二個GCN+CNN層在經過池化層篩選后的新的文本子圖上進行更深層次的局部特征信息提取，從而捕獲文本中潛在的、深層次的詞與詞之間的語義相關性，能使模型更好地提取文本特征信息。

Ruff項目[13]，把邊緣計算的概念和區塊鏈結合在一起，提供了統一的IoT應用接口，并提供IoT主控設備和受控設備的全局管理，它屬于IoT數據應用層面的項目。該項目中輕節點代表具體的IoT受控設備，該設備通過存儲主控設備的公鑰來識別主控設備的命令。通過智能合約，主控設備可以把受控設備的部分功能以租賃或轉移的形式提供服務。該項目搭建自己的公鏈，采用了股份授權證明（DPoS）共識算法，每輪選擇105個節點參與區塊生成。該公鏈能否承載其設備租賃的服務模式，還需要在實踐中檢驗。

2.6 池化層

在使用卷積神經網絡在網格狀數據上提取局部特征信息時，池化層非常重要，因為池化層能夠快速擴大卷積神經網絡的感受野捕獲更大范圍的信息。于是本文使用圖池化層選擇出重要的節點構成新的子圖送入下一層卷積神經網絡中，有助于卷積神經網絡進一步捕獲更深層次的局部特征信息。圖池化層結構如圖5所示。

圖5 圖池化層Fig.5 Graph pooling layer

其中，圖池化層的輸入由特征矩陣X l∈?N×D和鄰接矩陣A l∈?N×N構成，D表示節點的嵌入維度，N表示圖中節點的個數。整個圖池化層的傳播規則定義如下：

其中k是從文本圖中被選出來構成新的文本子圖的節點數量。p是一個可訓練的投影向量，通過p與X l相乘的結果z來衡量節點的重要性，其中從中選擇數值最大的k個節點作為新文本圖的節點。rank(·)操作表示選取z中最大的k個數所對應節點的序號，并且這些序號對應于圖中的節點。?是將z(idx)進行sigmoid[16]歸一化后的結果。是根據rank(·)操作所得到的節點序號提取到的節點特征矩陣，同理A l+1是依據rank(·)操作得到的節點序號對鄰接矩陣進行行列提取所獲得的新鄰接矩陣。X l+1表示新特征矩陣，1TC表示一個單位向量的轉置，將其與?相乘會得到?每個元素的和，X l+1中第i行的向量由中第i行向量和?中對應的標量按元素相乘得到。圖池化層的輸出X l+1和A l+1作為下一層特征提取層的輸入。

2.7 分類

初始數據在經過模型3個特征提取層和1個池化層處理后，得到最終的特征矩陣X4。這里，將之前每一層得到的特征矩陣和X4進行拼接操作，然后將X4輸入到全連接層再通過SoftMax函數得到最終的預測值。其運算過程如下：

對于模型中的所有參數采用梯度下降算法進行更新優化，使用交叉熵損失函數作為模型的損失函數。

3 實驗及結果分析

3.1 數據集介紹

本文在3個英文數據集上進行了實驗，下面是對3個英文數據集的介紹。

AG News：數據集來自文獻[17]是一個包含4個主題的新聞數據集：世界、體育、商業和科技。

R8：是路透社新聞數據集的一個子集，來自文獻[12]，包含8個主題。共有5 485個訓練數據和2 189個測試數據，并且每個數據只與一個主題相關。

MR：是一個電影評論數據集，其中每個評論只有一句話[18]。同時每個評論的情感極性只能從積極和消極中選一個，是一個二分類。

表1展示了3個數據集的統計信息。

表1 數據集統計表Table 1 Dataset statistics

3.2 對比實驗

（1）CNN：卷積神經網絡[6]，這里使用隨機初始化的單詞嵌入向量作為輸入。

（2）LSTM：長短時記憶網絡模型[19]，使用模型最后一層隱向量作為文本的表示。

（3）PTE：大規模預測文本嵌入[20]，模型將標簽和共生單詞表示成一個異質信息網絡，然后將該網絡降維到一個低維度向量空間，進而得到文本表示。

（4）fastText：一種文本分類方法[5]，模型由輸入層、隱含層和輸出層組成。輸入層是由多個向量表示的單詞組成，隱含層是對多個詞向量的平均，輸出層輸出類別。

（5）LEAM：一種聯合嵌入單詞和標簽的文本分類方法[8]，通過將標簽信息嵌入到單詞向量中，以更好地獲得文本表示。

（6）textGCN：一種使用圖建模文本的文本分類方法[12]，將文本中單詞和文檔作為節點，其中文檔和單詞的邊基于單詞在文檔中的出現信息，單詞和單詞的邊基于詞的全局詞共現信息。

3.3 實驗參數設置

在生成文本圖的過程中，滑動窗口大小設置為4，滑動窗口的步長設為1。圖中最大節點數設置為100，單詞嵌入維度設為300，使用Adam訓練器[21]進行epoch=30的訓練，學習率初始化為0.001，在15至25 epoch之間衰減0.1；dropout率設為0.55，批處理大小設為256。在模型中使用RELU作為非線性激活函數，基線實驗中的參數均采用原論文或者復現的設置。

3.4 實驗結果

表2為本文在3個數據集上實驗的結果，分類的評價標準是錯誤率。從表中可以看出本文模型相較與各基線模型有著良好的分類效果，證明了本文模型的有效性。其中本文模型相比于textGCN模型有著一定程度上的效果提升，說明本文模型引入了CNN和LSTM兩種模型，確實豐富了GCN的上下文語義信息和局部特征信息，使得本文模型相較于textGCN有著較好的分類性能。

表2 實驗結果（錯誤率）Table 2 Experimental results（Error rate）%

3.5 消融實驗

本文對所構建模型的有效性進行了消融實驗，其結果如表3所示，其中（w/o）表示刪除該模塊的模型。從表中可以看到刪除相應模塊的模型相較于總模型在性能上均存在一定程度的下降，說明模塊之間是相輔相成的。從中可以觀察到不同的模塊在不同的數據集中有著不同的作用。例如，在不使用GCN+Bi_LSTM模塊的情況下，在MR數據集上取得了最壞的分類結果。這是因為MR數據集是情感分類數據集，文本中帶有情感信息，而Bi_LSTM能夠捕獲文本的上下文語義信息進而提取到文本的情感信息。對比消融實驗中第二個實驗和第三個實驗的結果，可以看出第一個GCN+CNN層在初步提取文本局部特征信息和淺層詞與詞之間關系上的有效性。此外，第三個實驗的錯誤率比總模型高，說明了第二個GCN+CNN層在進一步提取文本的局部特征信息，捕獲文本深層次的關鍵短語信息上有著重要的作用，能幫助模型更好地表示文本信息，從而說明了該模塊的有效性。

表3 消融實驗結果（錯誤率）Table 3 Ablation experimental results（error rate）%

3.6 參數分析

本文模型中引入了池化層，為了探究增加池化層帶來的參數變化對分類效果的影響，在AGNews數據集上進行參數分析實驗，得到了表4的實驗結果。從表中看出，使用了池化層的模型相比于未使用池化層的模型，模型參數增加了0.08個百分點，分類效果卻提升了0.6個百分點。這表明雖然引入了池化機制增加了模型的參數數量，但數量很少不會增加模型過度擬合的風險，且在這種情況下模型獲得了一定程度的效果提升。

表4 池化層參數分析Table 4 Parameter analysis of pool layer

圖6～8分別展示了模型在3個數據集上使用不同滑動窗口大小對分類的影響，從圖中可以看出模型在R8和AG News兩個數據集上錯誤率是先減少，當窗口大小大于4時錯誤率反而增加。而在MR數據集上錯誤率的變換是先增加，在窗口大小為4時錯誤率取得最小值，當窗口大小繼續增大時錯誤率也接著增加。從3個數據集上錯誤率的變化可以看出，滑動窗口過大過小都不好，窗口過大導致一個窗口中容納的單詞數量增加，進而使得文本圖中節點之間的邊數增多，在為節點增加更多鄰域信息的同時會引入與分類無關的信息；而窗口過小會導致一個窗口中的單詞數量減少，使得文本圖中的節點之間的邊數減少，這樣會將節點的一些關鍵信息丟失從而降低分類性能。

圖6 窗口大小W對MR分類效果影響Fig.6 Effect of window size W on MR classification

圖9～11分別展示了模型在3個數據集上使用不同的節點數k對分類的影響。從圖中可以看出當節點數k過多或者過少，分類的錯誤率相比于k=50的時候要高。節點數k過多導致池化后留下較多節點，一些與分類無關的信息被保留下來使得池化的作用被削弱。節點數k過少導致重要的節點被丟棄，節點中包含的關鍵信息沒有捕獲到，也違反了池化的目的。所以本文選擇k=50作為模型的重要節點數。

圖9 重要節點數k對MR分類效果影響Fig.9 Effect of number of important nodes k on MR classification

4 總結

圖7 窗口大小W對R8分類效果影響Fig.7 Effect of window size W on R8 classification

圖8 窗口大小W對AG News分類效果影響Fig.8 Effect of window size W on AG News classification

圖10 重要節點數k對R8分類效果影響Fig.10 Effect of number of important nodes k on R8 classification

圖11 重要節點數k對AG News分類效果影響Fig.11 Effect of number of important nodes k on AG News classification

本文構建了一個深層神經網絡和圖卷積網絡相結合的模型，利用卷積神經網絡和雙向長短時記憶網絡能夠捕獲局部特征信息和上下文語義信息的優點去補充圖卷積網絡在文本表示上的不足，同時采用了圖池化層進一步提升了模型對深層局部特征信息的提取能力，豐富了模型對文本信息的表示，提高了文本分類的效果。本文在3個英文數據集上進行了實驗，相較于基線模型均取得了一定程度的提升。在將來的工作中，會考慮在深層學習模型中添加常識信息，以提升模型的泛化能力。