基于文本圖神經網絡的小樣本文本分類技術研究

摘 要：為了解決文本圖神經網絡小樣本文本分類精度較差的問題，設計了基于文本圖神經網絡的原型網絡，采用預訓練語言模型，利用文本級圖神經網絡為每個輸入文本構建圖并共享全局參數，將文本圖神經網絡的結果作為原型網絡的輸入，對未標注文本進行分類，并驗證新模型在多個文本分類數據集上的有效性。實驗結果表明，與需要大量標注文檔的監督學習方法相比，所采用的方法未標注文本的分類精度提高了1%～3%，在多個文本分類數據集上驗證了新模型性能先進，內存占用更少。研究結果可為解決小樣本文本分類問題提供參考。

關鍵詞：自然語言處理；小樣本文本分類；預訓練模型；圖神經網絡；原型網絡

中圖分類號：TP183

文獻標識碼：A

DOI：10.7535/hbkd.2024yx01006

收稿日期：2023-11-23；修回日期：2024-01-08；責任編輯：張士瑩

基金項目：河北省智能化信息感知與處理重點實驗室發展基金（SXX22138X002）；LZH聯合QB數據融合與共享服務項目

第一作者簡介：安相成（1997—），男，河北石家莊人，碩士，主要從事知識圖譜方面的研究。

通信作者：甘精偉，研究員。E-mail：fiberChina@163.com

安相成，劉保柱，甘精偉.基于文本圖神經網絡的小樣本文本分類技術研究[J].河北科技大學學報，2024，45（1）：52-58.

AN Xiangcheng， LIU Baozhu， GAN Jingwei.Research on few-shot text classification techniques based on text-level-graph neural net-works[J].Journal of Hebei University of Science and Technology，2024，45（1）：52-58.

Research on few-shot text classification techniques

based on text-level-graph neural networks

AN Xiangcheng， LIU Baozhu， GAN Jingwei

（The 54th Research Institute of CETC， Shijiazhuang， Hebei 050051， China）

Abstract：In order to solve the problem of poor accuracy of text classification in text graph neural network with small samples， a text level graph neural network-prototypical （LGNN-Proto） was designed. An advanced pre-training language model was adopted， and the text graph neural network was used to construct the graph for each input text， then the global parameters were shared. The result of the text graph neural network was used as the input of the prototype network to classify the unlabeled text， and the validity of the new model on multiple text classification data sets was verified. The results show that the accuracy of unlabeled text classification is improved by 1% ～ 3% compared with that of supervised learning， which requires a large number of labeled documents， and the new model is validated on multiple text classification data sets with advanced performance and lower memory consumption. The research results can provide reference for solving the problem of text classification with small sample size.

Keywords：natural language processing；few-shot text classification; pre-trained model; graph neural network; prototype network

文本分類是自然語言處理（NLP）的一個核心問題，在垃圾郵件檢測^[1]和新聞過濾^[2]等領域應用發揮著重要作用。其中文本表示學習作為文本分類中的關鍵步驟，是目前文本分類研究的重點和難點。深度學習是一種“數據饑餓技術”，需要大量標記數據來訓練模型參數，否則就會出現過擬合、模型魯棒性和泛化性能較差的問題^[3-5]。然而，在現實生活中，分類數據很難得到，文本分類費時費力。

小樣本學習^[6]（few-shot learning， FSL）使深度學習在樣本稀有案例上的部署成為可能，其主要目標是通過極少量訓練樣本來學習新類別的分類器。在這個領域的開創性工作可以追溯到21世紀初^[7]。近期的研究主要分為2類：基于相似度的方法^[6-9]和基于優化的方法^[10-11]。此外，研究人員還在各種自然語言處理任務中探索了FSL的應用^[12-14]。小樣本學習通過從極少的標記樣本中識別新的類別來解決數據不足的問題。只有一個或很少樣本的局限性挑戰了深度學習中的標準微調方法。早期研究采用數據增廣和正則化技術來緩解由數據稀疏性導致的過擬合問題，但效果有限。相反，受人類學習的啟發，有學者探索了元學習^[15]?，F代小樣本學習方法通常按照測試和訓練條件必須匹配的原則，將訓練過程分解為一個輔助元學習階段，包括許多元任務，通過將元任務從一個小批處理切換到另一個小批處理來提取一些可轉移的知識。因此，小樣本模型可以用一個小的標簽支持集來分類新類別。隨著深度學習的快速發展，利用卷積神經網絡（convolutional neural network，CNN） ^[16]和循環神經網絡（recurrent neural network，RNN） ^[17]等進行文本表示的研究方法已趨于成熟，有效提高了文本分類的精度和時效性。近年來，作為一種新型神經網絡，圖神經網絡（graph neural network， GNN）因具有能有效利用文本數據結構信息、非線性映射能力、適用不同類型的文本數據等優勢，引起了學者的廣泛關注^[18-31]，并已成功應用于文本分類。然而，以往的小樣本文本分類方法普遍存在2個缺陷。首先，都采用GloVe詞嵌入結合CNN或RNN結構進行文本嵌入，而沒有采用近年來提出的更高級的預訓練語言模型，如ELMo^[32]，GPT^[33]和BERT^[34]。其次，在解決語料庫不固定的小樣本文本分類問題上無法獲得較高的精度。

針對上述問題，本文提出基于文本圖神經網絡的原型網絡（text level graph neural network-prototypical， LGNN-Proto）進行小樣本文本分類。采用文本圖神經網絡模型，為每個輸入文本構建圖并共享全局參數，而不是為整個語料庫構建單個圖。該方法消除了單個文本與支持在線測試的整個語料庫之間的依賴關系，但仍然保留了全局信息。此外，在文本中使用較小的窗口構建圖，不僅能提取更多的局部特征，而且大大減少了邊緣數和內存消耗。

1 模型介紹

如圖1所示，所建模型由3個主要組件組成，即文本嵌入組件、文本級圖神經網絡組件和原型網絡組件。文本嵌入組件主要用于從文本中提取語義特征，并將原始文本序列轉化為文本嵌入。通過文本級圖神經網絡對文本的類內相似度和類間不相似度進行建模，度量文本樣本與文本樣本之間的潛在關系，最后利用一個原型網絡對查詢集中的樣本進行分類。

在小樣本文本分類任務中，定義標記樣本集為支持集S，未標記樣本集為查詢集Q。采用N-way，k-shot設置，其中支持集S包含每個k標記的N個類的樣本，值得注意的是在小樣本學習任務中，k通常較小。研究目標是進行元學習訓練，提取可轉移的知識，能夠在支持集S上更好地進行小樣本學習，并對來自查詢集Q的樣本進行盡可能準確的分類。首先，使用編碼器（encoder）如 BERT 對輸入序列進行編碼。通過 BERT 等編碼器獲得上下文有關的詞嵌入（embedding）后，將其與靜態的詞嵌入，與字符級別的嵌入拼接起來，送入文本圖神經網絡獲得聚合的詞表示。將文本圖神經網絡中的整個語料庫設置成一個大的矩陣，每2個單詞之間通過共現數據設置一個關系值，作為邊之間的權重。然后，將出現次數lt;

k

的邊統一映射到一個統一的表示，將低頻次的邊刪去，可以使模型更注重高頻的關系，參數得到充分訓練。

圖1呈現了一個針對雙向2-shot小樣本文本分類任務的工作流。不同顏色的文檔圖標代表來自不同類別的文本，深色組成的圖標表示查詢文本，淺色表示文本嵌入。為了更清晰地展示，在圖1中將節點“proud”的參數設置為p=2（節點和邊以紅色表示），而將其他節點的參數設置為p=1（以藍色表示）。實際情況中，會話期間的p值是唯一確定的。圖1中的所有參數都源自全局共享表示矩陣，如底部所示；左下方是特征矩陣；右下方為全局共享表示矩陣，這個矩陣為每個單詞之間都生成一個關系，因此是V×V。

2 模塊設計

2.1 文本嵌入

一項有限的文本分類任務中，只能利用有限的注釋數據來訓練分類器。鑒于此，決定采用預訓練的語言模型，以更好地提取文本特征。具體而言，選擇了BERT變壓器編碼器。該編碼器堆棧由12個編碼器層組成，每個編碼器層包括雙向自注意力層和全連接層。在堆棧輸入中，首先將每個令牌嵌入到一個已學習的d維嵌入中，然后在每次遍歷BERT編碼器層時逐步轉換。從理論上講，每個編碼層的詞嵌入輸出都包含了整個文本的特征。采用標記文本開頭的特殊符號[CLS]，從倒數第2層開始的詞嵌入作為整個文本t的文本嵌入，表示為

其中θ表示文本嵌入分量中的參數，在訓練時進行微調。

2.2 文本級圖神經網絡

為更好地解決小樣本文本分類無法支持在線測試的問題，引用HUANG等^[28]提出的文本級圖神經網絡（Text-Level-GNN）方法，這是一種基于圖神經網絡（GNN）的文本分類方法，在圖結構、在線測試和內存消耗等方面表現出顯著的優越性，并被證實在文本分類領域中能夠有效發揮作用。

考慮到任務中所有樣本的文本嵌入，首先構造一個文本級圖，其中每個節點代表每個樣本，每個邊代表連通節點之間的關系。該方法具體描述為為每個輸入文本生成一個文本級別的圖。在文本級圖中，采用一種較小窗口的方式連接單詞節點，而非直接連接所有單詞節點。將帶有l個單詞的文本標記為T={r，r，…，r }，其中r表示第i個單詞的表示。R是一個由d維詞嵌入初始化的向量，可以通過訓練進行更新。對給定的文本構建圖，將文本中出現的所有單詞視為圖的節點。每條邊都從文本中的一個單詞開始，并以其相鄰的單詞結束。具體來說，文本T的圖形定義為

式中：N和E是圖的節點集和邊集，N中的詞表示和E中的邊權值取自全局共享矩陣；p表示圖中與每個單詞相連的相鄰單詞數。此外，將訓練集中出現次數小于k次的邊均勻映射到“公共”邊上，使參數得到充分訓練。

在此設計中，相同節點的表示和邊的權值是全局共享的，可以通過消息傳遞機制在文本級別的圖中更新。在該機制中，節點通過獲取相鄰節點的信息來更新其表示。本文采用一種名為信息傳遞機制（MPM）的非譜方法進行卷積。MPM使節點的表示方式受鄰域的影響，即表示方式可以從上下文中獲取信息。因此，即使是多義詞，其在上下文中的確切含義也可以通過來自鄰居的加權信息的影響來確定。此外，文本級圖的參數取自全局共享矩陣，這意味著文本級圖的表示也能像其他基于圖的模型一樣帶來全局信息。

通過文本嵌入初始化節點特征，即e，并根據連接節點是否屬于同一類初始化邊緣特征，交替更新直至收斂，得到更新后的節點特征見式（4），之后對e進行進一步處理。

通過如此設計，構建出圖的結構只依賴于每個文本，邊的權重則來自于全局關系，使得圖的大小得到縮減，并且適用于新來的文本。文本級圖消除了單個輸入文本和整個語料庫之間的依賴負擔，支持在線測試。此外，文本級圖的優勢在于在一個較小的上下文窗口內連接單詞，從而減少內存消耗。這是因為它排除了文本中與當前單詞關系不大、距離較遠的許多單詞，大幅減少了邊的數量。消息傳遞機制使得圖中節點能夠感知周圍的信息，從而在特定的上下文中更準確地獲取含義。

2.3 原型網絡

本文與HUANG等^[28]的方法不同，沒有直接通過邊緣特征和節點特征來計算查詢節點的預測概率。相反，引入了原型網絡，可以從更一般的角度對樣本進行分類。原型關系網絡包括2個模塊：Prototype模塊生成每個類樣本的原型，Relation模塊計算查詢集中的每個樣本與每個類每個原型之間的關系。

將樣本集S中的樣本x和基于文本構建的查詢集Q中的樣本x_j送入嵌入網絡，通過嵌入網絡得到它們的特征向量f，計算樣本集中每個類樣本的原型。每個樣本特征e_f通過一個線性層進行變換，得到新的特征表示

式中θ表示原型網絡的參數，可在訓練時微調。

計算從查詢集Q中的每個樣本到每個類原型的歐氏距離。在訓練過程中，通過最小化同類樣本之間的距離和最大化不同類樣本之間的距離來優化模型參數。在測試過程中，將分類問題轉化為最近鄰問題，輸出與測試樣本最接近的原型類別，也就是通過比較所有原型向量與查詢向量之間的距離，對查詢樣本進行分類。

3 實驗部分

采用BERT-base作為文本編碼器，將文本嵌入后的樣本用一個768維的向量表示。

3.1 數據集

HUANG等^[28]采用的R8，R52數據集是路透社數據集Reuters-21578的子集派生的其他數據集。R8有8個類別，分為2 189個測試樣本和5 485個訓練樣本。R52有52個類別，分為6 532個訓練樣本和2 568個測試樣本。因為R8，R52，Ohsumed數據集無法獲得小樣本條件，所以沒有像文獻[28]一樣在這些數據集上進行指標比較。在2個公開的小樣本任務分類數據集上進行評估，分別為亞馬遜評論情感分類數據集（Amazon review sentiment classification， ARSC）^[35]和小樣本關系分類數據集（few-shot relation classification， FewRel）^[36]。ARSC數據集包含了亞馬遜上23種產品的英文評論。

在小樣本分類任務中，一般有3個數據集：訓練集、支持集和測試集。訓練集有自己的標簽空間，與支持集、測試集是不相交的，支持集和測試集具有相同的標簽空間。創建一個包括12個類別和5個樣本的文本分類任務。FewRel是一個大規模的監督數據集，包含來自維基百科的100個關系上的70 000個實例。在5類別和5個樣本以及10類別和5個樣本的設置上對所建方法進行了評估，刪除帶有2個或更多標簽的文本。對于以上所有的數據集，從訓練集中隨機選取10%的文本構建驗證集。

3.2 基線模型

對于在ARSC數據集中的實驗， 本文將所提LGNN-Proto模型與Matching Networks模型、Prototypical Networks模型、Graph Network模型、Relation Networks模型、Text-GCN模型、ROBUSTTC-FSL模型、Induction Networks模型和EGNN-Proto模型進行比較。對于在FewRel數據集中的實驗，本文將所建LGNN-Proto模型與Finetune模型、KNN模型、MetaN模型、GNN模型、Text-GCN模型、Proto模型、PHATT模型、HAPN模型和EGNN-Proto模型進行比較。

3.3 結果和分析

ARSC和FewRel實驗結果如表1和表2所示。表1和表2的結果顯示，所提出的LGNN-Proto模型在ARSC數據集和FewRel數據集上算法精度均有很大提高。

由表1和表2可知：1）基于圖的模型結果優于傳統的基線模型，如匹配網絡、原型網絡和圖網絡。這可能是由于圖結構的特性。圖結構允許存在不同數量的鄰居節點，使得單詞節點可以通過不同搭配學習更準確表示；2）單詞之間的關系可以記錄在邊緣權值中，并在全局共享。這些對于傳統模型來說是不可實現的。此外，所建模型相對于基于圖的模型（如Graph Network）表現更為出色。Graph Network使用單詞袋模型來表示文檔，與本文所提方法相似，但它們在一個沒有加權邊緣的大窗口內連接單詞節點，無法區分不同單詞的重要性。相比之下，本文所建模型采用可訓練的邊緣權值，使得單詞能夠在不同搭配中以不同方式表達自己；3）這些權值是全局共享的，意味著它們可以通過整個語料庫中包含相同搭配的所有文本進行訓練，相對于之前的EGNN-Proto模型表現更佳。這可能歸因于更多的邊的表達以及表征學習的差異。EGNN通過語料庫級共現來學習單詞表示，而本文所建模型則在上下文窗口內進行訓練，類似于傳統的單詞嵌入，能夠從預訓練的單詞嵌入中受益，并取得更好的性能。

EGNN-Proto和本文所建模型在內存消耗方面的比較結果如表3所示。由表3可以看出，所建模型具有顯著優勢，其單詞僅與文本中相鄰的單詞相連，而EGNN-Proto基于語料庫級別圖，在一個較大的窗口內連接節點。由于EGNN-Proto使用共現信息作為固定權值，為了獲取更準確的共現權值，必須增大窗口。因此，本文所建模型產生的邊緣權值矩陣比EGNN-Prot更為稀疏。此外，由于文本表示是由文本中的單詞節點表示的總和計算的，因此模型中不存在文本節點，進一步降低了內存消耗。

為了深入了解不同連接窗口的影響，比較了具有不同p值數據集的性能，如圖2所示。

由圖2可以看出，隨著p的增加，該算法的精度也在增加，并且當連接到大約3個鄰域時，該算法的精度達到最佳。隨著p值的增加，精度的波動率降低。這表明，當節點僅使用最近的鄰域連接時，節點無法理解跨越多個單詞的依賴關系；而當節點使用距離較遠的鄰域（p較大）連接時，圖變得越來越類似于忽略局部特征的全連通圖。此外，邊的減少也導致內存消耗的降低。相較于之前的方法，所提模型具有更少的邊，進一步顯示了模型的優越性。

3.4 消融實驗

LGNN-Proto模型主要有3 個重要組件：原型網絡、文本圖神經網絡模塊和Bert解碼器。本文將Bert解碼器設置為A，文本圖神經網絡模塊設置為B，原型網絡組件設置為C。為了驗證這3個組件對小樣本命名實體識別模型EGNN-Proto的影響程度，分別去掉或替換其中一個組件，在ARSC和FewRel數據集上進行實驗，并與原模型進行比較。消融實驗結果如表4所示。

從表4可以看出，文本圖神經網絡模塊表現并不是很好，在樣本較少的數據集上并不能夠很好地優化模型，可能會造成標簽的隨機預測，這表明傳統的機器學習方法和遷移學習方法不能夠適應樣本較少的環境。BERT依靠不經微調的預訓練語言模型BERT 進行編碼，通過詞嵌入的余弦相似性預測標簽類型，效果得到了一定的提升，表明基于度量的方法在小樣本環境下比傳統的機器學習模型更具優勢。其中，原型網絡影響最大，將原型網絡組件去掉，簡單采用文本圖神經網絡原文中所采用的分類方法后，實驗結果的準確率大幅降低。通過對消融實驗的分析可知，原型網絡組件、Bert解碼器都能夠增強EGNN-Proto模型在小樣本命名實體任務中的識別效果。

4 結 語

1）本文提出的模型解決了小樣本文本分類問題。通過借助預訓練語言模型BERT，成功提取了文本的語義特征。引入文本圖神經網絡，采用整個語料庫范圍的文本級圖，利用一個原型網絡對查詢文本進行分類。文本級圖消除了單個輸入文本和整個語料庫之間的依賴負擔，減小了內存消耗。

2）所提方法在ARSC和FewRel數據集上均表現出先進性能，可以考慮將該方法推廣到其他不完善領域的自然語言處理問題的研究中。例如在信息化作戰條件下，行動與任務是相互關聯、緊密配合的。通常一個使命會具體到多個任務來達成，同時任務又包含不同的行動和目的。而我方在大多數情況下只能搜集到對方有關行動的部分零散情報信息，僅對單個行動或者軍事實體進行情報分析可能難以獲得有效信息，也很難快速分析出對手的行動全貌、關聯行動、軍事實體以及對手正在實施的任務，需要通過對較少樣本數量的情報信息進行分析推理。

未來工作中，將考慮結合元學習的小樣本方法，提升軍事情報小樣本知識圖譜補全領域的識別效果。

參考文獻/References：

[1]JINDAL N，LIU Bing.Review spam detection[C]//Proceedings of the 16th International Conference on World Wide Web.Canada：Association for Computing Machinery，2007：1189-1190.

[2]AGGARWAL C C，ZHAI Chengxiang.A Survey of Text Classification Algorithms[M].Boston：Springer，2012.

[3]RUSSAKOVSKY O，DENG Jia，SU Hao，et al.ImageNet large scale visual recognition challenge[J].International Journal of Computer Vision，2015，115（3）：211-252.

[4]LIN T Y，MAIRE M，BELONGIE S，et al.Microsoft COCO：Common objects in context[C]//Computer Vision-ECCV 2014.Zurich：Springer，2014：740-755.

[5]WANG Yaqing，YAO Quanming，KWOK J T，et al.Generalizing from a few examples：A survey on few-shot learning[J].ACM Computing Surveys，2020，53（3）：1-34.

[6]SNELL J，SWERSKY K，ZEMEL R.Prototypical networks for few-shot learning[C]//Proceedings of the 31st International Conference on Neural Information Processing Systems.Long Beach：Curran Associates Inc，2017：4080-4090.

[7]LI Feifei，FERGUS R，PERONA P.One-shot learning of object categories[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2006，28（4）：594-611.

[8]SUNG F，YANG Y X，ZHANG L，et al.Learning to compare：Relation network for few-shot learning[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：1199-1208.

[9]VINYALS O，BLUNDELL C，LILLICRAP T，et al.Matching networks for one shot learning[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona：Curran Associates Inc，2016：3637-3645.

[10]RAVI S，LAROCHELLE H.Optimization as a model for few-shot learning[C]//5th International Conference on Learning Representations.Toulon：ICLR，2017：1-11.

[11]PRECUP D，THE Y W.Proceedings of the 34th International Conference on Machine Learning-Volume 70[R].Sydney：JMLR，2017.

[12]YU Mo，GUO Xiaoxiao，YI Jinfei，et al.Diverse few-shot text classification with multiple metrics[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics.New Orleans：Association for Computational Linguistics，2018：1206-1215.

[13]GU Jiatao，WANG Yong，CHEN Yun，et al.Meta-learning for low-resource neural machine translation[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing，Brussels：Association for Computational Linguistics，2018：3622-3631.

[14]GAO Tianyu，HAN Xu，LIU Zhiyuan，et al.Hybrid attention-based prototypical networks for noisy few-shot relation classification[C]//The Thirty-third AAAI Conference on Artificial Intelligence.Palo Alto：AAAI Press，2019：6407-6414.

[15]LIU Xiaoqian，ZHOU Fengyu，LIU Jin，et al.Meta-learning based prototype-relation network for few-shot classification[J].Neurocomputing，2020，383：224-234.

[16]KIM Y.Convolutional neural networks for sentence classification[C]//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing（EMNLP）.Doha：Association for Computational Linguistics，2014：1746-1751.

[17]HOCHREITER S，SCHMIDHUBER J.Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[18]DEFFERRARD M，BRESSON X，VANDERGHEYNST P.Convolutional neural networks on graphs with fast localized spectral filtering[C]//Proceedings of the 30th International Conference on Neural Information Processing Systems.Barcelona：Curran Associates Inc，2016：3844-3852.

[19]GORI M，MONFARDINI G，SCARSELLI F.A new model for learning in graph domains[C]//2005 IEEE International Joint Conference on Neural Networks.Montreal：IEEE，2005：729-734.

[20]SCARSELLI F，GORI M，TSOI A C，et al.The graph neural network model[J].IEEE Transactions on Neural Networks，2009，20（1）：61-80.

[21]LI Yujia，TARLOW D，BROCKSCHMIDT M，et al.Gated Graph Sequence Neural Networks[EB/OL].https：//arxiv.org/abs/1511.05493，2015-11-17.

[22]BRUNA J，ZAREMBA W，SZLAM A，et al.Spectral Networks and Locally Connected Networks on Graphs[EB/OL].https：//arxiv.org/abs/1312.6203，2013-12-21.

[23]HENAFF M，BRUNA J，LECUN Y.Deep Convolutional Networks on Graph-Structured Data[EB/OL].https：//arxiv.org/abs/1506.05163，2015-06-16.

[24]GARCIA V，BRUNA J.Few-shot Learning with Graph Neural Networks[EB/OL].https：//arxiv.org/abs/1711.04043，2017-11-10.

[25]KIM J，KIM T，KIM S，et al.Edge-labeling graph neural network for few-shot learning[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Long Beach：IEEE，2019：11-20.

[26]GIDARIS S，KOMODAKIS N.Generating classification weights with GNN denoising autoencoders for few-shot learning[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）.Long Beach：IEEE，2019：21-30.

[27]YAO Liang，MAO Chengsheng，LUO Yuan.Graph convolutional networks for text classification[C]//The Thirty-third AAAI Conference on Artificial Intelligence（AAAI-19）.Palo Alto：AAAI Press，2019：7370-7377.

[28]HUANG Lianzhe，MA Dehong，LI Sujian，et al.Text level graph neural network for text classification[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Hong Kong：Association for Computational Linguistics，2019：3444-3450.

[29]YAN Leiming，ZHENG Yuhui，CAO Jie.Few-shot learning for short text classification[J].Multimedia Tools and Applications，2018，77（22）：29799-29810.

[30]PETERS M E，NEUMANN M，IYYER M，et al.Deep contextualized word representations[C]//Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Volume 1（Long Papers）.Louisiana：Association for Computational Linguistics，2018：2227-2237.

[31]RADFORD A，NARASIMHAN K，SALIMANS T，et al.Improving Language Understanding by Generative Pre-Training[EB/OL].https：//cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper.pdf，2015-06-16.

[32]DEVLIN J，CHANG Mingwei，LEE K，et al.Bert：Pre-training of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies，Volume 1（Long and Short Papers）.Minneapolis：Association for Computational Linguistics，2019：4171-4186.

[33]BLITZER J，DREDZE M，PEREIRA F.Biographies，bollywood，boom-boxes and blenders：Domain adaptation for sentiment classification[C]//Proceedings of the 45th Annual Meeting of the Association of Computational Linguistics.Prague：Association for Computational Linguistics，2007：440-447.

[34]HAN Xu，ZHU Hao，YU Pengfei，et al.Fewrel：A large-scale supervised few-shot relation classification dataset with state-of-the-art evaluation[C]//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing.Brussels：Association for Computational Linguistics，2018：4803-4809.