基于事實和語義一致性的生成文本檢測

董騰飛 楊頻 徐宇 代金鞘 賈鵬

摘 要 ???：文本生成技術的惡意濫用問題日益嚴重，因此生成文本檢測技術至關重要. 現有的檢測方法依賴于基于特定數據集的統計異常特征，從而導致方法的泛化能力較差. 本文考慮不同種類生成文本均易出現的事實錯誤、語義沖突問題，提出了一種基于事實和語義一致性的生成文本檢測方法. 該方法通過實體將文本和外部知識庫進行比較，得到文本的事實一致性特征. 另一方面，該方法借助文本蘊含技術對文本上文與下文進行關系推理，得到文本的語義一致性特征. 最后將這兩類特征與RoBERTa的輸出隱藏向量拼接，輸入到線性分類層進行預測. 實驗結果表明，該方法比當前的檢測方法具有更高的準確率和泛化能力.

關鍵詞 ：文本生成； 生成文本檢測； 外部知識庫； 文本蘊含

中圖分類號 ： TP391.1 文獻標識碼 ：A DOI ： ?10.19907/j.0490-6756.2023.042002

Generated text detection based on factual and semantic consistency

DONG Teng-Fei， YANG Pin， XU Yu， DAI Jin-Qiao， JIA Peng

（College of Cyber Science and Engineering， Sichuan University， Chengdu 610065， China）

The malicious abuse of the text generation technology has becoming more and more serious， which makes the detection for generated text considerably important. The existing detection methods mainly rely on statistical anomalous features based on the specific dataset， which leads to the poor generalization ability. Considering the common problems of factual errors and semantic conflicts in the generated text， this paper proposes a generated text detection method based on the factual and semantic consistency. By using the text entity， the proposed method compares the text with the external knowledge base to obtain the factual consistency feature of the text. On the other hand， the text entailment technology is used to infer the semantic relationship between the text above and below to obtain the semantic consistency feature of the text. Finally， the above two types of features are spliced with RoBERTa output hidden vector and input to the linear classification layer for prediction. The experimental results show that the proposed method has higher accuracy and generalization ability than the existing detection methods.

Text generation； Generated text detection； External knowledge base； Textual entailment

1 引 言

文本生成技術是自然語言處理的核心技術之一. 它使用既定信息和文本生成模型（Text Generative Model， TGM），生成滿足特定目標的文本. 文本生成技術有諸多正面應用，比如故事生成 ?［1］、會話響應生成 ?［2］、代碼自動完成 ?［3］和放射學報告生成 ?［4］等. 但不幸的是，該技術被非法者惡意濫用于生成神經假新聞 ?［5-7］、虛假產品評論 ?［8］和垃圾郵件 ?［9］. 這些虛假信息通過互聯網廣泛傳播，會對國家、社會和個人造成不利的影響. 同時文本生成技術仿真化發展，極大降低了人工檢測的可能性. 而生成文本檢測技術能夠有效區分生成文本和人工文本. 因此，生成文本檢測技術具有極高的研究價值.

目前較好的生成文本檢測方法主要是基于機器學習和深度學習模型 ?［10-12］. 這些檢測方法通常使用統計異常證據進行檢測，例如通過神經網絡學習到的密集向量和傳統特征（TF-IDF、單詞計數、段落平均長度）. 但這些證據往往只是基于特定數據集的特征，導致方法的泛化能力較差. 解決該問題的關鍵，在于使用更加通用生成文本的特征. 目前一些研究表明，生成文本易出現事實錯誤 ?［13，14］和語義沖突問題 ?［15］. 事實錯誤為文本中的知識和事實知識不一致. 現有文本生成模型并不能很好地兼顧生成文本的豐富性和事實性，內容豐富的文本往往存在事實錯誤問題. 語義沖突為文本上文和下文的語義不一致. 文本生成模型生成的低頻詞會使文本出現語義偏差，當這種偏差持續累積會讓文本上文和下文出現語義沖突問題. 這兩類問題是由于文本生成技術不足導致的生成文本缺陷，相較于統計異常特征更具有代表性. 在Jawahar等人 ?［16］的實驗中，基線檢測模型RoBERTa超過10%的假陽性樣本存在事實錯誤、語義沖突. 實驗結果反應了RoBERTa無法較好地提取文本中這兩類深層次特征.

基于上述分析，本文在基線檢測模型RoBERTa上進行改進，提出了一種基于事實和語義一致性的生成文本檢測方法ConsistNet. 對于給定的文本，使用RoBERTa對文本進行編碼，得到文本基于內容的單詞表示. 接著對單詞表示算術平均，計算出實體基于內容的實體表示. 使用實體鏈接工具Tagme標注出文本中的實體，并從維基百科知識庫獲取對應的維基百科描述. 使用BiLSTM編碼實體的維基百科描述，得到實體基于維基百科的實體表示. 之后將每個實體的兩類表示輸入到實體比較網絡，得到文本的事實一致性特征. 此外，待檢測文本被分割成上文、下文兩部分. 使用訓練好的文本蘊含模型推理這兩部分文本，將推理結果作為文本的語義一致性特征. 最后將兩類一致性特征與RoBERTa的輸出隱藏向量拼接，輸入到線性分類層進行預測. 本文在多個公開數據集上進行實驗，實驗結果表明提出方法ConsistNet的準確率以及泛化能力要優于目前主流的檢測方法.

本文的主要貢獻如下：（1） 提出了事實一致性和語義一致性的特征提取方式. 事實一致性特征提取需要引入外部知識庫作為真實知識. 以實體為橋梁比較文本知識和外部知識，得到文本的事實一致性特征. 語義一致性特征提取使用了文本蘊含技術. 通過文本蘊含模型推理文本上文與下文的語義邏輯關系，得到文本的語義一致性特征. （2） 提出了一種生成文本檢測方法ConsistNet. 該方法細致地提取出文本的兩類一致性特征，和檢測模型RoBERTa的輸出隱藏向量進行特征拼接，最后輸入到線性分類層進行預測.（3）在News-style和Webtext-style數據集上的實驗結果表明，提出方法ConsistNet較其他檢測方法具有更高的檢測準確率. 在Grover數據集上的實驗結果表明，提出方法ConsistNet較其他檢測方法具有更好的泛化能力.

2 相關工作

現有的自動化生成文本檢測方法可以分為三類：基于概率規則的檢測方法，基于機器學習的檢測方法和基于深度學習的檢測方法.

2.1 基于概率規則的檢測方法

基于概率規則的檢測方法采用TGM輸出文本單詞的分布概率作為檢測依據，不需要樣本進行訓練. Solaiman等人 ?［10］使用TGM計算文本的總對數概率，依此來判斷文本是否為生成文本. 比如，根據GPT-2模型計算出文本的總對數概率，如果該概率更接近于所有生成文本上的平均似然，則判定該文本為生成文本. Gehrmann等人 ?［17］設計了一個統計工具GLTR，可以突出顯示生成文本和人工文本的分布差異. GLTR統計了待檢測文本中高概率、中概率和低概率詞數目，將結果可視化展示以輔助人類進行判斷. 基于概率規則的檢測方法不需要樣本進行訓練，但檢測效果不如其他兩類方法 ?［18］.

2.2 基于機器學習的檢測方法

基于機器學習的檢測方法采用經典的機器學習模型，基于生成文本檢測任務從頭開始訓練模型參數. 此類方法具有較少的參數，并且易于部署. Solaiman等人 ?［10］提出了一種基于TF-IDF特征的邏輯回歸分類器，在較小TGM基于Top-K采樣策略的生成文本上具有較好的識別能力. Badaskar等人 ?［19］訓練了一個SVM分類器，使用高級特征來模擬文本的經驗、句法和語義. 不過他們的實驗僅限于已經過時的三元組語言模型. 之后Fr hling等人 ?［20］就當前的語言模型擴展了該工作. 根據生成文本存在的缺陷，Fr hling等人提出了五類特征，基于簡單的分類模型進行檢測. 該方法的優點在于模型簡單，檢測效果卻可以逼近龐大的基于深度學習的檢測方法.

2.3 基于深度學習的檢測方法

基于深度學習的檢測方法采用深層次神經網絡作為檢測模型. Jawahar等人 ?［21］采用了一個基于三層LSTM的PARSEQ作為檢測模型，利用段落間的一致性進行分類預測. 相較于傳統的神經網絡CNN和RNN，Transformer的特征抽取能力更強，因此基于Transformer架構的檢測模型檢測效果更好. 比如Zellers等人 ?［12］設計了一個基于Transformer架構的GROVER模型，該模型的檢測效果超越了FastText ?［22］等模型. 此外，基于多層Transformer編碼器疊加的RoBERTa模型在該檢測任務中表現更加突出. 一些研究表明 ?［7，8］，RoBERTa檢測器在多個生成文本數據集上表現優異，檢測效果優于其他檢測器.

不過，RoBERTa檢測器無法識別生成文本中存在的很多事實錯誤、語義沖突問題 ?［16］，反應了RoBERTa檢測器不能較好地挖掘出事實和語義一致性特征. 基于這種考慮，本文在RoBERTa模型的基礎上進行改良，設計了一個基于事實和語義一致性的檢測方法ConsistNet. ConsistNet會細致地抽取文本中的事實和語義一致性特征，用于指導生成文本分類判斷.

3 提出方法

本節詳細地介紹了本文提出的檢測方法ConsistNet. 該方法提取文本中存在的事實一致性、語義一致性特征，結合基礎分類模型進行最終的預測.圖1給出了提出方法ConsistNet的整體結構.

圖1中對于給定的文本，使用RoBERTa得到文本基于內容的單詞表示. 根據單詞表示計算出實體基于內容的實體表示. 使用Tagme工具標注出文本存在的實體，從維基百科知識庫得到實體的維基百科描述，然后用BiLSTM計算出實體基于維基百科的實體表示. 得到兩種類型的實體表示后，將它們輸入到實體比較網絡，得到事實一致性特征. 另外將文本分割成兩部分，上文部分和下文部分. 將這兩部分文本輸入到訓練好的文本蘊含模型. 文本蘊含模型輸出這兩部分文本的推理結果，將其作為語義一致性特征. 最后將RoBERTa的輸出隱藏向量、事實一致性特征、語義一致性特征輸入到線性分類層，進行最終的分類預測.

ConsistNet結構由以下三部分組成：基礎分類模型RoBERTa，事實一致性特征提取模塊，語義一致性特征提取模塊. 下文將詳細地介紹這三部分以及模型訓練過程.

3.1 基礎分類模型RoBERTa

RoBERTa是由Facebook提出的基于Transformer的預訓練模型，它在多個自然語言處理任務中達到SOTA的效果 ?［23］. RoBERTa為ConsistNet的基礎分類模型. 它提供整個文本的語義表示，用于分類判斷. 具體而言，模型在文本前插入一個［CLS］符號. 該符號在ROBERTa最后一層的輸出隱藏向量 h ［CLS］包含了文本的語義表示，用于指導最終的分類預測.

此外，RoBERTa同時作為詞嵌入工具，得到每個單詞基于內容的語義表示. 以文本 x 作為輸入，RoBERTa將其映射為長度| x |的隱藏向量序列.

h（x）=［h （x） 1，h （x） 2，…，h （x） ??x ］ ?（1）

其中，每個 h （ x ） ??i 為第 i 個單詞基于內容的單詞表示. 在事實一致性特征提取模塊中，這些單詞表示將用于計算每個實體基于內容的實體表示.

3.2 事實一致性特征提取模塊

本節介紹如何從文本中提取事實一致性特征. 實體為客觀存在并可相互區別的事物，主要包括人名、地名、機構名和專有名稱. 實體作為文本內容的主體，可視為文本知識的載體，因此以實體為橋梁來比較文本知識和事實知識. RoBERTa對文本進行詞嵌入后，可以計算實體基于內容的實體表示，作為實體的文本知識. 而實體在維基百科上的描述，作為該實體的事實知識. 最后將實體這兩部分知識輸入到實體比較網絡，可以獲取文本的事實一致性特征.

3.2.1 基于內容的實體表示 ?實體是由一系列連續的單詞組成，所以通過基于內容的單詞表示 ?h （ x ）計算每個實體基于內容的實體表示. 假設實體 e 由 n 個單詞組成，則實體基于內容的實體表示 E ?c 的計算公式為

E ?c= 1 n ∑ n ?i=1 h （x） ??e ?i ?（2）

其中， e ?i 為實體 e 中第 i 個單詞在文本中的絕對位置.

3.2.2 基于維基百科的實體表示 ?使用實體鏈接工具TAGME識別文本中存在的實體，并獲取實體的維基百科鏈接. 根據該鏈接，從維基百科知識庫得到實體對應的維基百科描述. 然后使用BiLSTM編碼實體的維基百科描述，得到該實體基于維基百科的實體表示. 對于實體 e ，它的維基百科描述為 e ?k b ，則它基于維基百科的實體表示 E ?k ?b 為：

E ?k b=BiLSTM（e ?k b） ?（3）

R ?N ??×2 ??N 是一個變換矩陣；⊙為哈達瑪積. 通過實體比較網絡，可以得到文本所有實體 E ={ e ??1， e ??2，…， e ?n }的事實一致性特征 FC =［ v ??1， v ??2，…， v ?n ］.

3.3 語義一致性特征提取模塊

本節介紹如何從文本中提取語義一致性特征. 文本蘊含技術可以推理兩個文本間的語義邏輯關系，判斷兩文本的語義是否一致. 因此，本文采用文本蘊含技術推理文本上文和下文的語義邏輯關系，提取文本的語義一致性特征.

對于文本 x ，將其分割為文本上文 x ??above和文本下文 x ??below. 采用的分割方式為首句分割. 通過該分割方式， x ??above為文本的第一句， x ??below為文本的剩余部分. 如此分割的原因為：文本的第一句話通常為標題或主旨句，具有文本主旨的簡練信息；而剩余部分為文本的主體，具有文本主旨的具體信息. 對于人工文本，這兩部分文本的語義本質是一樣的；而對于生成文本，這兩部分文本的語義會出現分歧. 通過訓練好的文本蘊含模型，推理兩文本的語義邏輯關系，輸出推理隱藏向量 v ??entail.

v ??entail =TEModel（x ??above ，x ??below ） ?（6）

其中， TEModel 為文本蘊含模型，采用RoBERTa模型. 該文本的語義一致性特征 SC = v ??entail.

3.4 模型訓練

在得到輸出隱藏向量 h ［CLS］、事實一致性向量 FC 和語義一致性向量 SC 后，將它們拼接并送入 Sigmoid 線性分類層進行預測. 形式如下

p=Sigmoid（W o（h［CLS］ FC SC）+b o） ??（7）

其中， W ??o和 b ??o分別為線性變換的參數矩陣和矢量；表示拼接. 模型訓練的目標為優化損失函數. 本文的損失函數采用二分類的交叉熵損失.

L=- 1 k ∑ k ?i=1 y ?i log p ?i+（1-y ?i） log （1-p ?i） ?（8）

其中， k 為訓練集的文本數目； y ?i 為第 i 個文本的真實標簽； p ?i 為第 i 個文本的模型預測概率. 此外，使用Adam算法更加有效地更新模型權重.

4 實 驗

4.1 實驗設置

本文是在以下三個數據集上評估提出的檢測方法.

（1） News-style數據集. 該數據集的文本均為新聞，總計64 000篇，其中人工和生成新聞各占一半. 人工新聞的來源為中國日報、CNN、BBC. 而生成新聞是由文本生成器GPT2-large-762M根據人工新聞的標題生成. 文本生成器的采樣策略為核采樣， p 取值為0.96，這是使生成文本質量更好的 p 取值 ?［25］.

（2） OpenAI提供的Webtext-style數據集. 人工文本的來源為Webtext，而生成文本是由文本生成器GPT2-small-117M生成. 文本生成器的采樣策略為核采樣， p 隨機取值于0.8～1.0. ?p 的不固定取值使得檢測器的檢測難度上升.

（3） Zellers等人 ?［12］提供的Grover數據集. 人工文本的來源為RealNews，而生成文本是由文本生成器Grover-base生成. 文本生成器的采樣策略為核采樣， p 取值為0.96.

上述三個數據集的統計數據如表1所示. News-style和Webtext-style數據集用于測試方法的檢測準確性. Grover數據集采用了與前兩個數據集不同的文本生成器，本文將其用于測試方法的泛化能力.

4.2 檢測方法比較

本節將提出的方法ConsistNet與幾種優異的生成文本檢測方法進行了比較，分別是基于Transformer的預訓練模型BERT ?［26］和RoBERTa、基于卷積神經網絡的分類模型TextCNN ?［27］、基于文本單詞及N-gram特征輸入的分類模型FastText. BERT和RoBERTa的大小為Base級別.

表2展示了各檢測方法在News-style、Webtext-style數據集上的檢測準確率. 對于News-style數據集，ConsistNet取得最好的檢測效果. 最好的基線為RoBERTa模型. 在兩種不同的文本序列長度，ConsistNet的準確率較RoBERTa均有一定的提升，分別為1.28%、1.21%. 對于Webtext-style數據集，ConsistNet同樣取得最好的檢測效果. 最好的基線為RoBERTa模型. 在兩種不同的文本序列長度，ConsistNet的準確率較RoBERTa均有一定的提升，分別為1.83%、0.85%. ConsistNet在兩個數據集兩種文本序列長度均好于基線RoBERTa，反應了一致性特征的有效性. 此外，基于Transfomer架構的檢測方法效果優于基于傳統神經網絡的檢測方法.

表3展示了在News-style數據集（或Webtext-style數據集）上訓練的方法在Grover數據集的準確率，反應了方法的泛化能力. 在訓練于News-style數據集的情況下，ConsistNet取得最好的檢測效果. 文本序列長度為100時，ConsistNet的準確率較最好的基線RoBERTa提高了1.78%. 而文本序列長度為200時，ConsistNet較RoBERTa提高了1.35%. 在訓練于Webtext-style數據集的情況下，ConsistNet同樣取得了最好的檢測效果. 文本序列長度為100時，ConsistNet的準確率較最好的基線RoBERTa提高了3.08%. 而文本序列長度為200時，ConsistNet較RoBERTa提高了2.35%. 各基線檢測方法的泛化能力較為一般，這是基于單個數據集的統計異常特征失效導致的. 而ConsistNet會挖掘更深層更通用的生成文本缺陷特征，所以方法的泛化能力有較大提升.

4.3 消融實驗

本節進行了消融實驗研究. 因為主流檢測模型在Webtext-style數據集檢測效果更好，所以選擇在該數據集上進行實驗. 通過對直接基線RoBERTa和ConsistNet的兩種變體實驗，驗證一致性特征提升方法檢測能力的有效性.

（1） RoBERTa-Base是實驗的直接基線，沒有考慮文本中任何一致性特征；（2） ConsistNet（FC）抽取文本的事實一致性特征，結合ROBERTa進行分類判斷；（3） ConsistNet（FC + SC）抽取文本中的事實和語義一致性特征，是本文提出的完整方法.

如圖2所示，事實一致性、語義一致性特征都可以有效地提升方法的檢測準確率. 在兩種文本序列長度上，事實一致性特征平均提升0.72%的準確率，最高提升1.3%的準確率. 而語義一致性特征平均提升0.62%的準確率，最高提升0.71%的準確率.

如圖3所示，事實一致性、語義一致性特征都可以有效地提升方法的泛化能力. 在兩種文本序列長度上，事實一致性特征平均提升0.69%的準確率，最高提升1.33%的準確率. 而語義一致性特征平均提升2.025%的準確率，最高提升3.03%的準確率.

5 結 論

本文提出了一種基于事實和語義一致性的生成文本檢測方法ConsistNet. 該方法分別計算出實體的兩種表示，即基于內容的實體表示和基于維基百科的實體表示. 每個實體的兩類表示輸入到實體比較網絡，得到文本的事實一致性特征. 該方法使用文本蘊含模型推理文本上文和下文的語義邏輯關系，將模型輸出的推理隱藏向量作為文本的語義一致性特征. 最后將兩類一致性特征和RoBERTa的輸出隱藏向量拼接，輸入到線性分類層進行預測. 本文在多個公開數據集上進行了實驗. 實驗結果表明，該方法的準確率和泛化能力均優于目前的生成文本檢測方法.

不過，該方法存在兩個不足之處：（1） 該方法對短文本的檢測準確率不夠高.短文本提供的有效信息較少，使得該方法很難挖掘出特征線索進行判斷.（2） 該方法不具有魯棒性，無法有效地抵抗目前的攻擊方法.因此，本文下一步的研究為提升檢測方法對短文本的檢測準確率以及魯棒性.

參考文獻：

［1］ ??Fan A， Lewis M， Dauphin Y. Hierarchical neural story generation ［C］//Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2018： 889.

［2］ ?Zhang Y， Sun S， Galley M， et al . DialoGPT： Large-scale generative pre-training for conversational response generation ［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2020： 270.

［3］ ?Cruz-Benito J， Vishwakarma S， Martin-Fernandez F， ?et al . Automated source code generation and auto-completion using deep learning： Comparing and discussing current language model-related approaches ［J］. AI， 2021， 2： 1.

［4］ ?Liu G， Hsu T M H， McDermott M， ?et al . Clinically accurate chest x-ray report generation ［C］//Machine Learning for Healthcare Conference. New York： PMLR， 2019： 249.

［5］ ?Schuster T， Schuster R， Shah D J， ?et al . The limitations of stylometry for detecting machine-generated fake news［J］. Comput Linguist， 2020， 46： ?499.

［6］ ?Brown T， Mann B， Ryder N， ?et al . Language models are few-shot learners［J］. Adv Neural Inf Process Syst， 2020， 33： 1877.

［7］ ?Uchendu A， Le T， Shu K， ?et al . Authorship attribution for neural text generation［C］//Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2020： 8384.

［8］ ?Adelani D I， Mai H， Fang F， ?et al . Generating sentiment-preserving fake online reviews using neural language models and their human-and machine-based detection［C］//International Conference on Advanced Information Networking and Applications. Switzerland： Springer， 2020： 1341.

［9］ ?Weiss M. Deepfake bot submissions to federal public comment websites cannot be distinguished from human submissions［J］. Techn ?Sci， 2019， 12： 1801.

［10］ ?Solaiman I， Brundage M， Clark J， ?et al . Release strategies and the social impacts of language models［EB/OL］. ［2022-06-18］. https：//arxiv.org/ftp/arxiv/papers/1908/1908.09203.pdf.

［11］ Bakhtin A， Gross S， Ott M， ?et al . Real or fake？ learning to discriminate machine from human generated text［EB/OL］. ［2022-06-18］. https：//arxiv.org/pdf/1906.03351.pdf.

［12］ Zellers R， Holtzman A， Rashkin H， ?et al . Defending against neural fake news ［J］. Advances in Neural Information Processing Systems， 2019， 32： 9051.

［13］ Li J， Galley M， Brockett C， ?et al . A diversity-promoting objective function for neural conversation models ［C］//Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2016： 110.

［14］ Wiseman S， Shieber S M， Rush A M. Challenges in data-to-document generation［C］//Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2017： 2253.

［15］ Holtzman A， Buys J， Du L， ?et al . The curious case of neural text degeneration ［C］//Proceedings of the 8th International Conference on Learning Representations. ［S. l.］： OpenReview.net， 2020.

［16］ Jawahar G， Abdul-Mageed M， Lakshmanan L V S. Automatic detection of machine generated text： A critical survey ［C］//Proceedings of the 28th International Conference on Computational Linguistics. ［S. l.］： International Committee on Computational Linguistics， 2020： 2296.

［17］ Gehrmann S， Strobelt H， Rush A M. GLTR： Statistical detection and visualization of generated［C］//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2019： 111.

［18］ Ippolito D， Duckworth D， Callison-Burch C， ?et al . Automatic detection of generated text is easiest when humans are fooled［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2020： 1808.

［19］ Badaskar S， Agarwal S， Arora S. Identifying real or fake articles： Towards better language modeling［C］//Proceedings of the Third International Joint Conference on Natural Language Processing. Stroudsburg， PA： ACL， 2008： 817.

［20］ Fr hling L， Zubiaga A. Feature-based detection of automated language models： tackling GPT-2， GPT-3 and Grover ［J］.Peerj Comput Sci， 2021， 7： e443.

［21］ Jawahar G. Detecting human written text from machine generated text by modeling discourse coherence ［EB/OL］. ［2022-06-18］. https：//www.cs.ubc.ca/～carenini/TEACHING/CPSC503-20/SOME-FINAL-PROJECTS/GANESH-503_Report-GC.pdf.

［22］ Bojanowski P， Grave E， Joulin A， ?et al . Enriching word vectors with subword information ［J］. Tacl， 2017， 5： 135.

［23］ Liu Y， Ott M， Goyal N， ?et al . Roberta： a robustly optimized bert pretraining approach［EB/OL］. ［2022-06-20］. https：//arxiv.org/pdf/1907.11692. pdf.

［24］ Hu L，Yang T， Zhang L， ?et al . Compare to the knowledge： graph neural fake news detection with external knowledge［C］//Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing. Stroudsburg， PA： ACL 2021： 754.

［25］ Zhong W， Tang D， Xu Z， ?et al . Neural deepfake detection with factual structure of text ［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2020： 2461.

［26］ Devlin J， Chang M W， Lee K， et al . Bert： pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg， PA： ACL， 2019： 4171.

［27］ Kim Y. Convolutional neural networks for sentence classification［D］. Waterloo： University of Waterloo， 2015.