基于語義上下文感知的文本數據增強方法研究

摘" 要： 在文本分類任務中，數據的質量和數量對分類模型的性能有著重要影響，而在現實場景中獲取大規模標記數據往往是昂貴和困難的。數據增強作為一種解決數據匱乏問題的低成本方法，已在各種深度學習和機器學習任務中取得了顯著效果。由于文本語言具有離散性，在語義保留的條件下進行數據增強具有一定困難。因此，提出基于語義上下文感知的數據增強方法，采用由WordNet 3.0中的詞義定義（Gloss）和預訓練模型BERT進行整合的Gloss選擇模型，進一步識別上下文中目標詞（尤其是多義詞）的實際詞義；然后根據下一個句子預測策略，將目標詞的實際詞義與被遮蓋目標詞的句子結合為一個句子對，使用掩碼語言模型對句子對進行預測采樣；最后計算語義文本相似度，并在三個基準分類數據集上對文中方法進行驗證。實驗結果表明，提出的方法在語義保留條件下，與選取的基線數據增強方法相比，在三個數據集的平均準確率指標上都有所提升，證明了文中方法的有效性。

關鍵詞： 人工智能； 自然語言處理； 文本分類； 數據增強； Gloss； 低資源

中圖分類號： TN919?34； TP391" " " " " " " " " " "文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）17?0159?07

Text data augmentation method based on semantic context awareness

ZHANG Jun， KUANG Ze， LI Yubin

（School of Information Engineering， East China University of Technology， Nanchang 330013， China）

Abstract： In text classification tasks， the quality and quantity of data have a significant impact on the performance of classification models. Usually， it is costly and difficult to obtain large?scaled labeled data in real scenarios. Data augmentation （DA）， as a low?cost method to cope with the data desert， has achieved significant results in various deep learning and machine learning tasks. Due to the discrete nature of text language， it is difficult to perform DA in case of semantic preservation. Therefore， a DA method based on semantic context awareness is proposed. The Gloss selection model integrated by the word sense definition （Gloss） in WordNet 3.0 and the pre?training model BERT is employed， so as to identify the actual word senses of the target words （especially polysemous words） in the context. According to the next sentence prediction strategy， the actual word senses of the target words and the sentences of the masked target words are combined into a sentence pair， which are subjected to prediction sampling with a masked language model （MLM）. The semantic text similarity is calculated. The proposed method is validated on three benchmark categorization datasets. The experimental results show that the average accuracy of the proposed method on the three datasets is improved to some extent in case of semantic preservation in comparison with the selected baseline data enhancement methods， which proves the effectiveness of the proposed method.

Keywords： artificial intelligence; natural language processing; text classification; data augmentation; Gloss; low resource

0" 引" 言

數據增強（Data Augmentation， DA）是一種廣泛使用的技術。尤其在低資源條件下，數據增強增加了訓練數據的規模，這樣不僅可以防止模型過擬合，還能夠提高深度神經網絡的魯棒性。最初，數據增強應用于計算機視覺領域，并取得顯著成就。隨著該領域的技術進步，數據增強的應用范圍逐漸擴展到其他領域，包括自然語言處理（Natural Language Processing， NLP）、語音識別、自動駕駛等。

在自然語言處理領域，研究人員提出了多種數據增強的方法。如文獻[1]提出的簡單數據增強方法（Easy Data Augmentation， EDA）對原句進行隨機替換、交換、插入和刪除操作實現增強數據的多樣性。為了避免引入過多噪聲，文獻[2]提出了一種更簡單的數據增強方法（An Easier Data Augmentation， AEDA），將隨機插入token改為隨機插入標點符號，在一定程度上緩解了噪聲引起的語義偏差問題。然而，隨機插入標點符號是不確定性的，錯誤的斷句可能會改變原句所表達的意思，語義保留無法得到有效控制。

在處理復雜語義時，保持上下文語義一致是數據增強最基本的要求，數據生成的語義一致性對目標任務至關重要[3]。針對這個問題，文獻[4]提出了上下文增強的方法，通過長短期記憶（Long Short?Term Memory， LSTM）[5]網絡語言模型預測替換單詞的概率分布，并根據概率分布對替換詞進行采樣。由于技術的不斷發展，保持上下文語義一致的數據增強方法大多使用基于Transformer的預訓練模型（Bidirectional Encoder Representations from Transformer， BERT）[6]。然而，在預訓練過程中，某些token在類似上下文中出現的頻率高于其他token，這將導致模型對這些token產生偏好，易背離原始標簽分類。對此，文獻[7]提出了CBERT模型，通過訓練標簽嵌入約束掩碼語言模型（Masked Language Model， MLM），以更有效地預測標簽兼容的token。然而，CBERT的調整策略是專為BERT架構設計的，特別是其對片段嵌入的重復使用，使其不易直接應用于其他預訓練語言模型。

一般來說，語義一致性和標簽一致性的目標是共存的，但是預訓練模型所預測的結果可能導致語義發生變化。因此，生成數據時需同時考慮標簽一致性與語義一致性。本文提出了基于語義上下文感知的數據增強方法（Semantic?Context?Aware， SCA），在文本數據增強領域引入Gloss進行數據增強。Gloss的作用在于提供詞義的直觀理解或描述，能夠準確把握一個詞或短語的含義。在上下文增強時，與傳統的MLM預測不同，SCA利用目標詞在上下文所表示的Gloss和被遮蓋目標詞的句子組成一個句子對，再通過MLM預測與目標詞詞義相近的單詞。這樣可以保證替換單詞在上下文的語義一致性，并且該方法不需要引入標簽嵌入，就能夠很好地控制生成樣本不偏離原本的標簽。

1" 語義上下文感知數據增強方法

為了確保文本增強過程中生成的替代詞在語義上與原詞接近并適應其語境，本文提出了一個基于語義上下文感知的數據增強方法，如圖1所示。

該方法在句子中選擇合適的目標詞，首先針對目標詞采用Gloss選擇模型[8]選擇符合上下文的詞義定義，然后結合MLM預測候選替代詞的概率分布，并通過概率分布對候選替換詞進行采樣，最后利用語義文本相似度過濾不適合的替代詞。

1.1" 目標詞選擇

給定樣本[S={w1，w2，…，wn}]，[S]表示文本序列，[wi]表示文本中第[i{1≤i≤n}]個單詞。由于語言的多樣性和復雜性，許多單詞在不同的情境下有不同的含義。在選擇目標詞之前，配合使用停用詞表，遍歷樣本[S]中的所有單詞，保留詞性為名詞、 動詞、形容詞和副詞的單詞，并去掉其他詞性的單詞。隨后檢查樣本[S]中的[wi]是否含有WordNet 3.0[9]中所提供該單詞的Glosses信息（如表1所示），如果樣本中所有單詞均不含有Glosses信息，則不采取任何操作；相反，如果樣本中存在多個帶有Glosses信息的單詞，將采用隨機選擇的方式來確定目標詞[Wtarget]。

1.2" Gloss選擇

為了精確地揭示[Wtarget]在上下文的含義，本文采用了一種基于Context?Gloss Pair訓練的模型，即文獻[8]提出的一種基于BERT預訓練的Gloss選擇模型，它在WSD（Word Sense Disambiguation）任務上展現出了卓越的表現。該模型將SemCor語料庫中的注釋句子和 WordNet 3.0 中的Gloss結合起來，構建了正向和負向上下文詞匯對。正向詞匯對包含一個代表目標詞正確意義的詞匯，而反向詞匯對則包含一個否定的候選詞匯。通過在[Wtarget]前后標注兩個“[TGT]”特殊符號，將具有相同上下文和目標詞的上下文?詞匯對組合為一個訓練實例，計算對應的相關性得分，并通過Softmax層將同一組的相關性得分歸一化。此處使用交叉熵作為損失函數：

[L=-1Ni=1Nj=1mil（si， j）log（pij）] （1）

式中：[N]是批量大?。籟mi]是第[i]個訓練實例的候選詞匯的數量；[l（si， j）]是索引[j]與正向上下文詞匯對[si]的索引相同時的二進制指示符；[pij]是第[i]個訓練實例的第[j]個候選詞義的概率。[pij]的計算公式如下：

[pij=expScore（contexti， Glossij）k=1niexpScore（contexti， Glossik）] （2）

式中[Score（contexti， Glossij）]表示上下文?詞匯對相關性得分。

針對每個[Wtarget]，Gloss選擇模型以句子的上下文信息為依托，計算出Glosses與上下文的相關概率，如表2所示。在這一過程中，得分最高的Gloss被視為與[Wtarget]在當前上下文中的含義最為吻合的解釋。

1.3" 目標詞的候選替換詞預測

為了預測出最合適的替換詞，傳統語言模型是根據歷史信息預測序列中下一個單詞，但是傳統語言模型難以理解上下文中的復雜關系。BERT是一種用于預訓練深度Transformer編碼器的自監督方法，利用Transformer的雙向注意力機制學習單詞的上下文表示，這使得它可以同時考慮每個單詞左右兩側的上下文信息，從而捕捉更豐富的語言特征。受文獻[10]啟發，本文采用了一種NSP策略（如圖2所示）作為MLM預測輸入。由于得到目標詞的Gloss是文本序列，因此將它作為輸入的第一個句子，被遮蓋目標詞的句子作為輸入的第二個句子，將兩個句子結合成為一個句子對，最終通過MLM預測候選替換詞的概率分布，并對候選替換詞進行采樣。

在數據預處理階段，由于原有基于WordPiece的分詞方式會把一個完整的詞切分成若干個子詞，因此這些被分開的子詞在訓練過程中會被隨機遮蓋，但是這不利于完整單詞的預測。因此，本文使用了BERT的變體模型BERT?Large?Uncased（Whole Word Masking）[6]。該模型中，如果一個完整詞的部分WordPiece子詞被遮蓋，則同屬該詞的其他部分也會被遮蓋，可有效提升BERT遮蓋部分WordPiece分詞的性能。

1.4" 語義文本相似度計算（STS）

采樣后的候選詞[C={c1，c2，…，cn}]，[C]表示候選詞替換詞集合，[n]表示候選替換詞的數量（[n]=10），這里[n]的取值是根據大量實驗決定的。為了衡量候選詞[C]和[Wtarget]在同一上下文中的語義相似度，本文采用文獻[11]提出的Sentence?BERT（簡稱SBERT）框架，結合預訓練模型all?MiniLM?L6?v2生成句子嵌入，然后計算句子嵌入之間的余弦相似度，以此來衡量文本之間的語義相似度。all?MiniLM?L6?v2是一個輕量級的模型，它提供了一個小而快的解決方案，而SBERT則提供了一個針對句子嵌入優化的結構。結合兩者可以在保持快速響應的同時，提升語義理解的精度。

對于每一對句子，都是由原始句子SentenceA與帶有候選詞[C]的句子SentenceB組成。SentenceA和SentenceB的句子嵌入[wA]和[wB]的具體實現如式（3）和式（4）所示：

[wA=mean_pooling（model（SentenceA））] （3）

[wB=mean_pooling（model（SentenceB））] （4）

式中：model表示使用的all?MiniLM?L6?v2模型；mean_pooling表示平均池化操作。

得到句子對的嵌入后，利用式（5）進行余弦相似度計算，余弦相似度是常用的計算語義文本相似度的方法。向量余弦相似度為1，表示兩個句子在語義上相似；為-1則表示兩個句子在語義上不相似。

[cosin_sim（wA，wB）=wA?wBwA×wB=i=1n（wA）i×（wB）ii=1n（wA）2i×i=1n（wB）2i] （5）

通過對比原始句子與候選句子之間的余弦相似度，確定與原始句子最為相似的候選句子，最終將與原始句子最相似的候選句子作為最終的增強樣本。

2" 實驗與分析

為了驗證SCA數據增強方法的有效性，本文設計了多組對比實驗，并對相關實驗結果進行了分析。

2.1" 數據集

本文使用了如下三個文本分類數據集。

1） SST?2（斯坦福情感樹庫）[12]。它是一個用于電影評論情感分類的數據集，包含兩個標簽（正面情感和負面情感）。

2） TREC[13]是一個細粒度問題分類數據集。它包含六種問題類型（Description， Entity， Human， Abbreviation， Location， Numeric）。

3） SNIPS（自然語言理解基準）[14]數據集是一個包含16 000 多個眾包查詢的數據集，分布在7個不同復雜度的用戶意圖中（SearchCreativeWork， GetWeather， BookRestaurant， PlayMusic， AddToPlaylist， RateBook， SearchScreeningEvent），訓練集包含13 084個話語，驗證集和測試集各包含700個話語，每個意圖有100個查詢。

2.2" 實驗設置

本文在訓練集和驗證集的每次實驗，對每類隨機抽取10個示例以模擬低資源條件下的文本分類。為了評估數據增強方法，將生成的示例添加到每個任務在低資源條件下的訓練數據中，并在完整測試集上評估其性能。為了避免隨機性帶來的誤差，本文在不同基線方法下的對比實驗中使用相同的數據集，并且所有實驗均重復15次。通過多次實驗，可以減少這些誤差的影響，并通過統計分析獲得更準確的實驗數據。實驗結果按照完整測試集上的平均（STD）準確率為準。

在微調MLM階段，設置批次大小為16，學習率為4×10-5，迭代次數為10，樣本最大長度為128。

在微調分類器階段，由于BERT已經在大量數據上進行了預訓練，并且在分類任務上取得了先進的性能，因此，本文選擇BERT模型中的“BERT?Base?Uncased”作為分類器，采用自適應矩估計（Adaptive Moment Estimation， Adam）[15]算法進行優化。設置批次大小為16，學習率為4×10-5，樣本最大長度為64，對訓練數據集進行30次迭代訓練，并在驗證集上選擇最好的模型進行評估。

本文實驗環境選用NVIDIA RTX A5000 顯卡（顯存24 GB）作為算力加速部件，操作系統為Ubuntu 18.04.5 LTS，編程語言為Python 3.8.10。

2.3" 對比方法

EDA[1]是一種被廣泛使用的文本數據增強方法，包含四個簡單的操作：同義詞替換、隨機插入、隨機交換和隨機刪除。

AEDA[2]是一種更簡單的數據增強方法，在句子中隨機插入標點符號實現數據增強。

反向翻譯[16]使用了文獻[17]預先訓練好的EN?DE模型將初始樣本翻譯為另一種語言，再使用DE?EN模型將樣本翻譯為原來的語言。

CBERT[7]通過上下文和句子標簽來預測一個標簽兼容的單詞，在不破壞標簽兼容性的情況下實現增強數據。

GPT2context[18]將標簽和句子拼接成一個訓練數據集：[y1]SEP[x1]EOS[y2]…[yn]SEP[xn]EOS。SEP表示類標簽和句子之間的分隔標記，EOS表示句子的結尾。通過添加[yi]SEP[w1…wk]作為生成數據的提示，持續生成數據，直到生成EOS標記。其中[w1，w2，…，wk]是序列[xi]的前[k]個字。

BERTexpand[18]通過在給定類別的所有示例中預置類別標簽來限制BERT。它是將類標簽加入到模型的詞匯表中。

BERTprepend[18]與BERTexpand類似，但是它不將類標簽加入到模型詞匯表中。

2.4" 實驗結果與分析

如表3所示，本文在低資源環境下，對比了不同數據增強方法在不同數據集中的分類準確率。

為了更加直觀地呈現和比較各種方法的性能，本文根據表3的數據繪制了一個點線圖（見圖3），該圖展示了不同數據增強方法在三個數據集上相對于基線BERT模型（未使用數據增強，記為No DA）的準確率差異。這種方式能夠清晰地觀察各方法在不同數據集上的表現差異。

從圖3中可以觀察到，各個方法在不同數據集上表現出了不同程度的效果。在TREC數據集上，本文的方法展現出了最顯著的性能提升。相比于基線BERT模型，準確率提高了1.57%。盡管在SST?2和SNIPS這兩個數據集上，本文方法也實現了準確率的提升，但提升幅度并非最大，這可能是因為數據結構的差異。通過觀察，SNIPS中大部分句子不能作為一個獨立的句子，因為它沒有明確的主謂賓結構，這使得句子的意思不完整，Gloss選擇模型很難判斷目標詞的真實含義。SST?2包含較少的不完整句子，達到最次結果的原因可能和SNIPS類似。 TREC是一個問題類型的數據集，具有完整的句子結構，并且達到了最優結果。以上分析說明，句子完整結構可能會影響模型的性能。然而本文方法的特點就是引入Gloss獲取目標詞在上下文的真實語義，這極大地依賴句子結構的完整性。

本文對比了不同增強方法在三個數據集的整體表現，并根據表3繪制了不同方法在三個數據集上的平均準確率散點圖，如圖4所示。可以發現，在本研究中，所提出的數據增強方法相比于各種現有技術，在平均準確率方面取得了顯著的提升。具體來看，與未使用數據增強的BERT（No DA）模型相比，本文方法將準確率提高了1.704 1%。進一步比較EDA及AEDA這兩種簡單但普遍應用的增強策略，本文方法分別取得了0.514 9%和0.512 1%的準確率提升。當與BackTrans和CBERT增強技術對比時，本文方法同樣表現優異，平均準確率分別提升了1.055 2%和0.790 9%。與GPT2context、BERTexpand和BERTprepend相比，本文方法的平均準確率分別提升3.144 5%、1.434 8%和1.336 2%。上述實驗結果表明，本文方法在提升模型準確率方面表現良好。

2.5" 消融實驗

本文研究了STS對模型性能的影響，分別在3個數據集上進行了消融實驗，實驗結果如表4所示。

由表4可以發現，在刪除STS后，本文模型在三個數據集上的準確率均有下降。這表明STS對候選替換詞進行篩選時，有效選擇了符合語義上下文的替換詞，這對分類模型性能的提升有著至關重要的影響。

3" 結" 語

在低資源條件下，為了提高模型的分類性能，本文提出了基于語義上下文感知的數據增強方法。該方法通過引入目標詞的Gloss信息作為替換詞的基礎詞義，再結合被遮蓋目標詞的句子形成一個能夠被BERT模型識別的句子對。這樣模型能夠根據Gloss信息和原句的上下文來預測單詞，保證了上下文語義一致性和數據的多樣性。結果表明，本文提出的方法在整體上是有效的。

在未來的工作中，將針對特定的任務或者模型進一步優化，提高模型在各個數據集上的分類性能。

注：本文通訊作者為況澤。

參考文獻

[1] WEI J W， ZOU K. EDA： Easy data augmentation techniques for boosting performance on text classification tasks [C]// Procee?dings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. New York： ACM， 2019： 6381?6387.

[2] KARIMI A， ROSSI L， PRATI A. AEDA： An easier data augmentation technique for text classification [C]// Findings of the Association for Computational Linguistics. [S.l.]： ACL， 2021： 2748?2754.

[3] ASH J T， ZHANG C C， KRISHNAMURTHY A， et al. Deep batch active learning by diverse， uncertain gradient lower bounds [EB/OL]. [2020?05?07]. https：//openreview.net/forum？id=ryghZJBKPS.

[4] KOBAYASHI S. Contextual augmentation： Data augmentation by words with paradigmatic relations [C]// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. [S.l.]： ACL， 2018： 452?457.

[5] HOCHREITER S， SCHMIDHUBER J. Long short?term memory [J]. Neural computation， 1997， 9（8）： 1735?1780.

[6] DEVLIN J， CHANG M W， LEE K， et al. BERT： Pre?training of deep bidirectional transformers for language understanding [EB/OL]. [2018?10?30]. http：//arxiv.org/abs/1810.04805.

[7] WU X， Lü S W， ZANG L J， et al. Conditional BERT contextual augmentation [C]// Proceedings of 19th International Conference on Computational Science. Heidelberg： Springer， 2019： 84?95.

[8] YAP B P， KOH A， CHNG E S. Adapting BERT for word sense disambiguation with gloss selection objective and example sentences [C]// Findings of the Association for Computational Linguistics. [S.l.]： ACL， 2020： 41?46.

[9] MILLER G A. WordNet： A lexical database for English [J]. Communications of the ACM， 1995， 38（11）： 39?41.

[10] QIANG J P， LI Y， ZHU Y， et al. LSBert： A simple framework for lexical simplification [EB/OL]. [2021?10?28]. https：//arxiv.org/abs/2006.14939.

[11] REIMERS N， GUREVYCH I. Sentence?BERT： Sentence embeddings using Siamese BERT?networks [C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language. [S.l.]： ACL， 2019： 3980?3990.

[12] PANG B， LEE L. Seeing stars： Exploiting class relationships for sentiment categorization with respect to rating scales [C]// Proceedings of the Conference on 43rd Annual Meeting of the Association for Computational Linguistics. [S.l.]： ACL， 2005： 115?124.

[13] LI X， ROTH D. Learning question classifiers [EB/OL]. [2021?08?06]. https：//aclanthology.org/C02?1150/.

[14] COUCKE A， SAADE A， BALL A， et al. Snips voice platform： An embedded spoken language understanding system for private?by?design voice interfaces [EB/OL]. [2018?08?13]. http：//arxiv.org/abs/1805.10190.

[15] KINGMA D P， BA J. Adam： A method for stochastic optimization [EB/OL]. [2019?07?25]. http：//arxiv.org/abs/1412.6980.

[16] SHLEIFER S. Low resource text classification with ULMFit and backtranslation [EB/OL]. [2019?04?01]. http：//arxiv.org/abs/1903.09244.

[17] NG N， YEE K， BAEVSKI A， et al. Facebook FAIR′s WMT19 news translation task submission [C]// Proceedings of the Fourth Conference on Machine Translation. [S.l.]： ACL， 2019： 314?319.

[18] KUMAR V， CHOUDHARY A， CHO E. Data augmentation using pre?trained transformer models [EB/OL]. [2020?05?10]. https：//arxiv.org/abs/2003.02245.

[19] PELLICER L F A O， FERREIRA T M， COSTA A H R. Data augmentation techniques in natural language processing [J]. Applied soft computing， 2023， 132： 109803.