外部知識與內部上下文語義聚合的短文本新聞虛假檢測模型

中圖分類號：TP391 文獻標志碼：A

Short Text News Fake Detection Model Based on Aggregating External Knowledge and Internal Contextual Semantics

QIU Yanfang ¹ ， ZHAO Zhenyu ² ， SUN Zhijie'， MA Kun’ ， JI Ke¹ ， CHEN Zhenxiang ¹

（1.a.School of Information Science and Engineering，b.Shandong KeyLaboratory of Ubiquitous Inteligent Computing， University of Jinan，Jinan 250O22，Shandong，China; 2. Shandong Talent Development Group Information Technology Co.， Ltd.， Jinan ， Shandong，China）

Abstract：To adressthe problem ofsemantic feature sparsityin shorttext news and the neglectof the homology between external knowledge and thesemanticsof short-text news，ashort text news fake detection model basedonagregating external knowledge and internal contextual semantics （EKCS-ST）was proposed.A news feature information network was constructed，which included three typesof external knowledge，such as news topics，authors，and entities，to enrichthe semantic featuresof short text news.The exteral knowledge graph features of the news were generated through graph convolution.The newstext was fed intoa text encoder to capture internal contextual semantic features.These external knowledgegraph featuresand internal contextual semantic features were thenused in a context-aware computation to strengthen thecorrelation between external knowledgeand contextual semantics.Theatention mechanism wasutilized to selectand enhance the keyfeaturesof the news，whiletheloss errorfor minority-classnews was increased to mitigate the data imbalance issue.The results show that F₁ score of the proposed model，which is the harmonic mean of precision and recall，is O.86，outperforming BERT and TextGCN models by 18% and 17% ，respectively，validating the effectiveness of the model.

Keywords： short text news fake detection；external knowledge；attention mechanism；semantic feature

自媒體發布了大量快訊、頭條等表達簡短扼要的短文本新聞，未經鑒別的新聞真實性無法保證[1]。假新聞是一種虛假的敘述，未能真實反映客觀事物本來面貌，會給新聞相關的人物和社會大眾帶來困擾，降低新聞聚合平臺的社會公信力[2]。短文本新聞（如推文、標題等）缺乏充足的上下文信息，使得人們從中提取有意義的特征變得困難[3]因此，利用智能檢測方法識別假短文本新聞已成為亟需解決的問題[4]

假新聞的檢測方法可以分為傳統機器學習方法[5]和深度學習方法[]。傳統的機器學習方法主要依賴于人工提取新聞內容特征，這些提取到的特征經過支持向量機、決策樹等機器學習分類器的處理得到檢測結果。在這之后有人提出了深度學習方法，通過構造神經網絡來學習時間序列中的文本特征[7]。2016年循環神經網絡（RNN）模型應用于社交網絡假新聞檢測，將事件中的帖子建模為一個連續的時間序列，在這之后文本分類卷積神經網絡（TextCNN）[8]、長短期記憶神經網絡（LSTM）等模型也展現出在自然語言處理（NLP）領域的優越性。此后研究者們將不同神經網絡模型相結合，提出了諸如選區卷積神經網絡（RCNN）[9]、卷積神經網絡（CNN）與LSTM相結合的（C-LSTM）[o]等由不同網絡結合而成的模型。深度學習模型相較于傳統模型具有自動學習內容特征的能力，提高了假新聞檢測任務的效率和準確率，但是在結合外部知識庫來進行學習的方面還有所欠缺。2017年由Google提出的多層變換器（Transformer）的注意力機制被廣泛應用于Seq2Seq模型中[11]。之后的學者相繼提出了雙向LSTM 構建的 ELMo 模型[12]，以及利用 Trans-former網絡捕獲長距離語言結構的中文預訓練（CPT）模型[13]。由谷歌提出的基于 Transformer 的雙向編碼器表示（BERT）[14模型采用掩碼語言模型（MaskedLM）技術實現了雙向語言模型訓練，較單向訓練的語言模型能夠學習到更加深入的語境理解。XLNet模型[15通過最大化所有可能的因式分解順序的對數似然學習雙向語境信息。2019年，Liu 等[16]在BERT模型基礎上，再次對模型參數量、數據量以及訓練方法進行優化，提出了優于BERT模型的改進版RoBERTa[1模型，但是模型提取的文本特征之間缺少相關性。

近幾年，不少學者利用構建圖的方式進行新聞檢測。2019年，Yao等[17]提出基于圖卷積網絡的文本分類（TextGCN）模型，利用文檔和單詞構建網絡，使用圖卷積方式訓練。2020年，Zhang等[18]提出基于圖神經網絡的歸納式文本分類（TextING）模型，利用圖神經網絡進行分類訓練，同年，Ding等[19]提出超圖注意力網絡（HyperGAT）模型，利用圖注意力網絡進行分類訓練。2019年， Hu 等[20]針對于短文本的圖異構注意力網絡（HGAT）方法，在文本處理時加入了實體、主題2個額外特征信息，將不同類型的節點詞嵌入映射到同一個維度空間，展現出該模型在短文本分類方面的優勢。2021年，Ren等[2]針對于假新聞檢測的層次圖注意模型HGAT，使用了一種新的分層注意機制進行假新聞分類。2022年，Mehta等[22]提出根據新聞來源、發布的文章以及在社交媒體上吸引用戶之間的關系進行推理的假新聞檢測方法。這些圖處理方式加入主題、實體等文本的多種附加特征，可以豐富文本特征，也提供了一種利用外部特征異構的檢測假新聞方式，尤其是在短文本分類方面，可以很好地解決短文本分類語義缺失等缺陷。

現有的短文本新聞虛假檢測方法主要是提取新聞的上下文語義特征；但由于短文本新聞特征稀疏、上下文聯系弱、詞表達易產生歧義，使得從文本中提取有意義的特征變得困難[3]，因此檢測準確率低?，F有技術利用外部知識（比如新聞的主題詞）增強短文本新聞的上下文語義理解，然而，這些技術往往忽略了外部知識與新聞內容之間的同源關聯性。盡管外部知識可以提供額外的語境信息；但由于沒有考慮到它們與新聞內容之間的關系，因此可能導致對新聞真實語義的理解不足或誤導。除此之外，數據集不均衡問題也給短文本新聞的檢測帶來挑戰。

為了應對上述挑戰，本文提出一種外部知識與內部上下文語義聚合的短文本新聞虛假檢測（EKCS-ST）模型。該模型可以同時處理短文本新聞的附加外部知識和原文內部上下文語義特征，利用附加外部知識豐富短文本新聞語義并建立與原文上下文語義特征之間密切的聯系。

本文的主要貢獻包括3個方面：

1）構建新聞特征信息網絡，包含新聞主題、作者、實體3種外部知識，通過圖卷積操作提取特征并通過隱藏層生成新聞信息表示，形成新聞的外部知識圖特征；將新聞文本輸人多層Transformer結構的文本編碼器，使用多頭注意力機制捕獲新聞內部上下文語義特征。

2）開展上下文感知計算，聚合圖編碼器中的主題、實體、作者等外部知識圖特征與文本編碼器中的內部上下文語義特征，加強外部知識與上下文語義的關聯。

3）嵌入模式級和點級注意力機制，篩選和強化新聞關鍵特征；通過計算模型預測值的平衡量，調高少數類新聞的損失誤差，緩解數據不均衡問題。

EKCS-ST 模型

針對短文本新聞，EKCS-ST模型使用圖編碼器處理提取的新聞附加外部知識（主題、命名實體、作者信息），將新聞外部知識表示作為圖節點并利用圖卷積操作提取數據特征，在不同新聞特征之間構建聯系，增強短文本新聞語義特征和上下文關系；此外，EKCS-ST模型使用文本編碼器處理新聞內部上下文語義特征，動態處理生成的詞向量，結合上下文進行學習；將圖編碼器中學習的外部知識圖特征與文本編碼器學到的內部上下文語義特征進行上下文感知計算。在EKCS-ST模型中嵌入注意力機制，篩選和強化新聞關鍵特征，并且針對數據集不均衡問題，在任務分類時通過計算模型預測值的平衡量，調高少數類新聞的損失誤差，緩解數據不均衡問題。

1. 1 新聞特征信息網絡

圖1為新聞特征信息網絡示意圖。該圖左側為新聞信息網絡，以新聞文本為根起點聚合了以新聞主題、實體、作者信息為節點的新聞附加知識。該圖右側為通過圖網絡隱藏層處理后形成的新聞信息表示。在形式上，給定一個圖 G=（V，E） ，其中 V （ ∣V∣=n） 和 E 分別是 n 個節點和節點間邊的集合。對于任意節點，假設其與自身相連，即邊 （v，v）∈ E 。令 X∈R^n×m 為 n 個節點的特征矩陣，其中 m 為特征向量的維度，每行的元素 x_v∈R^m 為對應節點的特征向量。引入 G 的鄰接矩陣 A 及其度矩陣 D ，其中 。由于節點的聚合表征不包含它自己的特征，只有自環的節點才在聚合中包含自己的特征，因此須要給每個節點增加自連接，設置 A 的對角線元素為1。圖網絡通過一層卷積僅能捕獲近鄰的信息，多個卷積層堆疊可以聚合更大鄰域的信息。對于1層卷積層，新的 k 維節點特征矩陣 L₁∈ R^n×k 由以下公式計算：

式中： L₁ 為1層卷積層中新的 k 維節點特征矩陣；

為歸一化對稱鄰接矩陣， ; W₀∈

為該層的權重矩陣； ρ 為設置的激活函數。

進一步地，通過堆疊多個卷積層可以合并高階鄰域信息，即

式中： j 為卷積層的層數，當 j=0 時， L₀ 為卷積層的層數為0時的圖節點特征矩陣，此時 L₀=X ： L_j ）L_j+1 分別為 X 通過 j，j+1 層卷積層之后得到的特征矩陣； W_j 為 j 層卷積層的權重矩陣。

1.2 上下文感知計算

EKCS-ST模型使用文本編碼器提取新聞內部上下文語義特征并處理為信息表示，然后與新聞附加外部知識特征聚合。文本編碼器是包含Transformer結構的編碼器，每個編碼器都包含多頭自注意力機制和前饋神經網絡，以捕捉文本中的上下文信息。

EKCS-ST模型結構如圖2所示。在新聞數據中提取附加知識特征與新聞上下文語義特征并輸入模型，分別訓練圖編碼器和文本編碼器，生成待驗證測試文章的內部上下文語義特征表示、外部知識表示以及上下文感知表示。首先，文本編碼器以文本為輸入，訓練模型完成新聞分類任務，經過訓練的文本編碼器生成新聞內部上下文語義特征 ，其中 d_t 是文本編碼器的隱藏維數， R_dt 表示一個 d_t 維的實數向量空間。文本編碼器中的多頭注意力可以捕獲輸入新聞序列中的不同位置信息，通過一個線性層生成最終的輸出表示，并且文本編碼器利用Transformer架構實現雙向上下文表示，同時考慮文本中每個詞左、右兩側的上下文信息，獲得語義表示。然后，圖編碼器將新聞附加知識作為圖網絡節點，利用圖卷積網絡融合多項新聞附加知識特征。經過訓練的圖編碼器能夠生成外部知識聚合的嵌入信息 h_g={n₁，n₂，…，n_m} ，其中 n_i∈R_dg ， d_g 為圖編碼器的隱維數， R_dg 為圖編碼器輸出的維度為 d_g 特征空間。EKCS-ST模型的最終信息上下文感知表示計算為 T=h_g°ledastr_t ，其中 是聚合操作符。這種形式的聚合可以保留不同類別特征的信息，并且將內部上下文語義和外部知識特征相結合。最后，利用聚合完成的信息特征對邏輯回歸分類器（LR）進行訓練。經過訓練的文本編碼器從內容中捕獲對任務至關重要的上下文語義特征，經過訓練的圖形編碼器考慮各種類型信息的差異，融合多種重要附加外部知識特征，經過上下文感知計算后，使用經過訓練的邏輯回歸分類器對新聞分類，最終得到預測新聞類別是否為假的結果。

1.3 嵌入模式級和點級注意力機制

EKCS-ST模型嵌入點級注意力機制，捕獲圖網絡中不同相鄰節點的重要性，并降低有噪聲節點的權重，給定一個特定節點 b 以及它的相鄰節點 b^′∈ N_b，N_b 是一個包含與節點 b 相連的所有鄰居節點的集合，通過節點 b 的嵌入表示 h_b 和節點 b^′ 的嵌入表示 h_b^′ 來計算點級注意力得分 d_bb^′ ，計算公式為

d_bb^′=σ（ν^T?α|h_b||h_b^′|），

式中： ∣ν∣ 為注意力向量； α 是節點 b 和鄰居節點 b^′ 之間的注意力權重。

在訓練和測試模型的過程中，短文本新聞數據集數據不均衡問題顯著，使得模型檢測的評估變得困難，傳統的評估指標（如準確率）可能無法準確反映模型的性能，須要利用 F₁ 值即精確率和召回率的調和平均值、召回率和精確率等來全面評估模型，并且模型的整體泛化能力也會受限。為了解決短文本新聞數據不均衡問題，本文在模型訓練時，根據統計真假新聞的數量，計算得到對應類別模型預測值的平衡量，對于占比較少的類別給予更大的損失誤差調整，加強其對損失函數的干預，減小因數據不均衡給模型訓練造成的影響

2 實驗與結果分析

2.1 數據集介紹

Fakeddit數據集由Nakamura等[23]在2020年提出，包括文本、圖像、用戶評論和其他信息，是一個典型的短文本類型數據集。本文中選用的數據包含24706個新聞實例樣本，平均長度為12.5個單詞，包含774名作者，多數新聞實例詞量在50個以下。數據集包含真假新聞比例為18：7，數據比例相對不均衡。

2.2 基線模型解析

在實驗中分別以文本檢測模型和圖網絡模型為基線模型來驗證EKCS-ST模型的性能。

2.2.1 文本檢測模型

預訓練的語言表征模型BERT，利用Transformer架構實現雙向上下文表示，能夠捕捉文本中的雙向語義信息。同時考慮文本中每個詞的左、右兩側上下文獲得更豐富的語義表示，生成深度的雙向語言表征。

RoBERTa模型包含多層Transformer編碼器，每個編碼器由多頭自注意力機制和前饋神經網絡組成，能夠有效地捕捉文本中的上下文信息。

上述2個模型均有基礎版（base）、大型版（large）。BERT-base、RoBERTa-base模型均包含12個隱藏層，處理維度為768維，包含12個頭注意力；BERT-large[24]、RoBERTa-large 模型均包含 24個隱藏層，處理維度為1024維，包含16個頭注意力。

2.2.2 圖網絡檢測模型

TextGCN模型：將文本語料庫建模為一個包含文檔和單詞節點的圖，利用圖卷積網絡融合節點的特征和鄰居節點的信息，

TextING模型：為每個文檔構建單獨的圖，使用圖神經網絡（GNN）學習基于它們的局部結構的細粒度單詞表示，將單詞節點作為文檔嵌人被合并。

HGAT模型：引入注意力機制捕捉文本數據中的復雜關系和語義信息，將主題、實體特征與原文本構建圖網絡并加入注意力機制，學習不同特征的重要性。

圖注意力網絡（GAT）模型[25：基于注意力機制的圖神經網絡模型，可以學習圖數據中節點之間的復雜關系，每個節點都有一個特征向量表示，通過注意力機制，每個節點可以根據與其相鄰節點的特征動態地分配不同的注意力權重。

圖卷積網絡（GCN）模型[26]：用于處理圖數據的深度學習模型，通過在圖結構上執行卷積操作來學習節點表示，聚合每個節點的鄰居節點特征，并將這些聚合后的特征與節點自身的特征相結合，從而更新節點的表示。

用于短新聞分類的GAT（GAT-SN）模型[27]：從新聞中提取多種外部知識和文本特征信息構建為圖網絡，嵌入雙注意力機制進行訓練，捕獲不同相鄰節點的重要性，降低有噪聲節點的權重。

2.3 對比實驗結果分析

2.3.1不同文本編碼器實驗

EKCS-ST模型使用的文本編碼器包含基礎版本、大型版本，根據版本不同將文本語義特征處理為768、1024維度的張量數據，而圖編碼器生成的外部知識圖特征為512維張量數據。首先，將文本編碼器和圖編碼器這兩部分的特征表示處理為相同維度后聚合，在獲得文本內部上下文語義特征的同時兼顧新聞附加外部知識特征；然后，在EKCS-ST模型中嵌入的注意力機制，可以篩選和加強新聞關鍵特征；最后，計算得到新聞對應類別的平衡量，從而減少對模型檢測結果的影響。在短文本類型的假新聞識別任務中，占比較少的類是假新聞，所以實際實驗中對假新聞數據的損失誤差調整更大，以減少對模型檢測結果的影響。

首先分別使用文本編碼器的基礎、大型版本進行模型的訓練和測試，實驗結果見表1。由表可知：大型版本的EKCS-ST模型編碼器效果優于基礎版本的，因為在大型版本的模型中包含有更多層的處理機制，維度也由768維變為1024維，文本處理性能更好，并且在其內部包含的多頭注意力機制也從原來的12個變為16個，對重要新聞特征信息的識別更準確。從相同文本編碼器的EKCS-ST模型分別使用模式級、點級注意力機制的實驗結果可以看出，點級注意力機制可以更好地篩選新聞重要特征，捕獲圖網絡中不同相鄰節點的重要性，并減小有噪聲節點的權重，因此EKCS-ST模型使用點級注意力機制的性能優于另外2種機制。

在實驗數據集中，EKCS-ST模型測試了真實出現的一些假新聞。例如，在2020年新型冠狀病毒感染防控期間，網絡上曾假借鐘南山院士的名義散布“這場瘟疫比17年前的非典更嚴重，用的藥副作用更大。一旦染上，就算治愈了，后遺癥也會拖累后半生”的謠言。EKCS-ST模型對這條新聞進行了驗證，輸出結果表明這是一條假新聞。通過網絡平臺上相關信息的驗證，這條新聞確實是假新聞，這也證明了模型的有效性。

2.3.2 基線模型對比實驗

EKCS-ST模型與基線模型對比的實驗結果如表2所示，分別嵌人點級注意力機制、模式級注意力機制，選用準確率、 F₁ 值、損失值3個評價指標對比實驗結果。由表可以看出，EKCS-ST模型在3個評價指標上的性能優于其他基線模型的，尤其在點級注意力機制的嵌入時EKCS-ST模型性能最優，其準確率、 F₁ 值均大于其他基線模型的，損失值均小于基線模型的。

注： ① BERT-base為基于多層變換器的雙向編碼器表示模型的基礎版本。 ② BERT-large為BERT的大型版本。 ③ RoBERTa-base為改進版BERT的基礎版本。 ④ RoBERTa-large為改進版BERT的大型版本。 ⑤ TextGCN為基于圖卷積網絡的文本分類模型。 ⑥ TextING為基于圖神經網絡的歸納式文本分類模型。 ⑦ HGAT為圖異構注意力網絡。 ⑧GAT 為圖注意力網絡。 ⑨GCN 為圖卷積網絡。 ⑩ GAT-SN 為用于短新聞分類的GAT。 ?F₁ 值為精確率與召回率的調和平均值。

在同一數據集中，BERT、RoBERTa模型的大型版本的檢測結果整體優于基礎版本的，這2個模型都是通過大規模的無監督語言模型訓練數據來學習文本表示，主要通過上下文語義信息表示來完成新聞檢測；但是2個模型都以提取原文中的文本特征為新聞檢測任務的依據，在檢測短文本新聞時存在短文本語義稀疏、上下文表示難以提取且數據不均衡問題，所以檢測準確率低于檢測長文本數據集時的。EKCS-ST模型則在兼顧新聞內部上下文語義特征的同時，將幾種不同的外部知識特征加入其中，改善短文本語義稀疏、上下文表示難以提取的問題，并且方法中嵌入的注意力機制可以幫助模型篩選和強化關鍵特征，提高模型檢測任務的準確率。除此之外，調整模型的損失誤差，加強對損失函數的干預，減小了數據不均衡帶來的影響，EKCS-ST模型的性能優于用于對比的文本檢測模型。由于短文本數據具有特征少難提取的特點，TextGCN模型和TextING模型這2種圖網絡檢測模型構建的圖特征網絡較為簡單，因此檢測短文本數據集的準確率比檢測長文本數據集的低。HGAT模型和GAN-ST模型都利用新聞文本的附加外部特征構建圖網絡，由于缺少文本內部上下文語義特征的使用，并且沒有調整數據集中的數據不均衡問題，因此這2種模型檢測數據不均衡的短文本新聞數據集的準確率低于檢測長文本數據集的。由于GAT模型和GCN模型中未加入新聞主題、實體等外部知識特征，并且未篩選和強化新聞關鍵特征，因此導致這2個模型在短文本新聞虛假檢測中存在缺陷。

綜上分析，與基于文本語義特征的檢測模型和基于圖特征網絡的檢測模型相比，EKCS-ST模型聚合新聞外部知識與內部上下文語義特征，增強了外部知識特征與內部上下文語義的關聯，并且針對數據的不均衡問題，在模型訓練階段采用了邏輯回歸調整模型Logit以調整模型輸出損失誤差的方法，有效地減少了因數據不均衡給模型分類結果帶來的誤差。除此之外，EKCS-ST模型嵌入注意力機制，對不同類型特征給予對應的權重，篩選和強化關鍵特征，提高有效信息的利用，其中在點級注意力機制的嵌入中表現突出。

3結論

本文中提出一種外部知識與內部上下文語義聚合的短文本新聞虛假檢測模型（EKCS-ST模型），該模型的優勢在于提取多種附加外部知識豐富短文本新聞的語義信息，并同時考慮新聞內部上下文語義特征和附加外部知識在假新聞檢測任務中的同源關聯性，理解新聞數據的整體結構和上下文語義。實驗結果表明，EKCS-ST模型的性能優于其他的基線模型。另外，在模型中嵌人的注意力機制篩選和強化新聞特征信息在檢測任務中的作用，通過計算模型預測值的平衡量，調高少數類新聞的損失誤差，緩解數據不均衡問題

未來工作主要包括兩方面：1）EKCS-ST模型主要針對短文本類型假新聞檢測，后期的研究將長文本與短文本作為共同研究內容，進一步完善模型結構；2）挖掘外部知識的深層應用，通過挖掘不同外部知識庫、多類型信息特征的方式開展假新聞檢測。

參考文獻：

[1] 張明道，周欣，吳曉紅，等．基于語義擴充和HDGCN的虛假 新聞聯合檢測技術[J]．計算機科學，2024，51（4）：299.

[2] 王騰，張大偉，王利琴，等．多模態特征自適應融合的虛假新 聞檢測[J]．計算機工程與應用，2024，60（13）：102.

[3] TOMMASEL A，GODOY D. Short-text feature construction and selection in social media data：a survey[J]. Artificial Intelligence Review，2018，49（3）：301.

[4] ZHOUXY，ZAFARANIR，SHUK，etal.Fake news：fundamental theories，detection strategiesand challenges[C]//Proceedings of theTwelfthACMInternationalConferenceonWebSearchandData Mining，February11-15，2O19，Melbourne，VIC，Australia.New York：ACM，2019：836.

[5] 李海霞，宋丹蕾，孔佳寧，等．傳統機器學習模型的超參數優 化技術評估[J]．計算機科學，2024，51（8）：242. 研究綜述[J]．計算機學報，2024，47（6）：1244.

[7] MINAEE S，KALCHBRENNER N，CAMBRIA E et al. Deep learning-based text classification：a comprehensive review[J]. ACM Computing Surveys， 2021， 54（3） ： 62.

[8]ZHANG T Y，YOU F C.Research on short text clasification based on TextCNN[J]. Journal of Physics：Conference Series， 2021，1757（1） ： 012092.

[9]CHENG BW，WEI Y C，SHI HH，et al. Revisiting RCNN：On awakening the classfication power of faster RCNN[ C]//FERRARI V，HEBERT M， SMINCHISESCU C，et al. Computer Vision ： ECCV 2018. Cham：Springer，2018：473.

[10]SHI MY，WANG KX，LI C F. A C-LSTM with word embedding model for news text classification[C]//2019 IEEE/ACIS 18th International Conference on Computer and Information Science （ICIS），June 17-19，2019，Beijing，China.New York： IEEE， 2019：253.

[11]LIU T Y，WANG K X，SHA L，et al. Table-to-text generation by structure-aware seq2seq learning[ C]//Proceedings of the AAAI Conference on Artificial Intelligence，February 2-7，2O18，New Orleans，Louisiana，USA. Palo Alto，CA： AAAI，2018： 4881.

[12]MASLENNIKOVA E. ELMO word representations for news protection[C]/CEUR Workshop Proceedings，September 9-12，2019， Lugano，Switzerland.Lugano：CEUR-WS. Org，2019：1.

[13]SHAO Y F，GENG Z C， LIU Y T，et al. CPT： a pre-trained unbalanced transformer for both chinese language understanding and generation[J]． Science China： Information Sciences，2024，67 （5）：152102.

[14]DEVLIN J， CHANG MW，LEE K，et al. BERT： pre-training of deep bidirectional transformers for language understanding[ C]/ Proceedings of the2O19 Conferenceof the North American Chapter of the Association for Computational Linguistics： Human Language Technologies，June2-7，2019，Minneapolis，MN，USA.Stroudsburg：ACL，2019： 4171.

[15]YANG Z L，DAI Z H， YANG Y M，et al. XLNet：generalized autoregressve pretraining for language understanding[ C]//WALLACH H M，LAROCHELLE H，BEYGELZIMER A，et al. NIPS’19：Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc，2019：5753.

[16]LIU Y H， OTT M， GOYAL N，et al.RoBERTa： a robustly optimized bert pretraining approach[EB/OL].（2019-07-26）[2024- 05-01]. htps：//doi.org/10.48550/arXiv.1907.11692.

[17]YAO L，MAO C S，LUO Y. Graph convolutional networks for text classification[ C]//Proceedings of the AAAI conference on artificial intelligence，January 27-February1，2019，Honolulu， Hawaii， USA. Menlo Park： AAAI Press，2019：7370.

[18]ZHANG Y F，YU X L，CUI Z Y，et al. Every document owns its structure：inductive text classification via graph neural networks [C]//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics，July 5-10，2020，Online.Stroudsburg：ACL，2020： 334.

[19]DINGK，WANGJL，LIJD，etal.Be more with less：hypergraphattention networks for inductive text classification[C]//2020 Conference on Empirical Methods in Natural Language Processing，November16-20，2020，Online.Stroudsburg：ACL，2020： 4927.

[20] HU L M，YANG TC，SHI C，et al.Heterogeneous graph attentionnetworks for semi-supervised short text classification[C]// Proceedings of the 2O19 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing，November 3-7，2019， HongKong，China.Stroudsburg：ACL，2019：4823.

[21] RENYX，ZHANGJW.Fake newsdetection onnews-oriented heterogeneous information networks through hierarchical graph attention[C]//2O21 International Joint Conference on Neural Networks（IJCNN），July 18-22，2021，Shenzhen，China.New York：IEEE，2021：1.

[22] MEHTAN，PACHECOML，GOLDWASSERD. Tackling fake newsdetectionbycontinually improving social contextrepresentations using graph neural networks[C]//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics， May22-27，2022，Dublin，Ireland.Stroudsburg：ACL，2022： 1363.

[23]NAKAMURA K， LEVY S，WANG WY. Fakeddit： a new multimodal benchmark dataset for fine-grained fake news detection [C]//Proceedings of the Twelfth Language Resources and EvaluationConference，May11-16，2O2O，Marseille，France.Paris： European Language Resources Association，2O2O：6149.

[24] WANG S， GUO Y Z， WANG Y H， et al. SMILES-BERT： large scaleunsupervised pre-training for molecularproperty prediction [C]//Proceedings of the 1Oth ACM International Conference on Bioinformatics，Computational Biology and Health Informatics， September7-1O，2019，NewYork，NY，USA.NewYork：ACM， 2019：429.

[25]VELICKOVIC P，CUCURULL G，CASANOVA A，et al. Graph attention networks[C]//6th International Conference on Learning Representations，April30-May3，2018，Vancouver，BC，Canada. [S.1.]：OpenReview，2018：339.

[26] ZHOU Y C，HUO HT，HOU Z W，et al.A deep graph convolutionalneural network architecture for graph classification[J]. PLoSOne，2023，18（3）：e0279604.

[27]SUN Z J. Graph attention network for short text type news[C]// Proceedings of the 2O23 6th International Conference on Big Data Technologies，September 22-24，2O23，Qingdao，China.NewYork： ACM，2023：66.

（責任編輯：劉飚）