基于大模型的非均衡樣本文本分類優(yōu)化方法

關(guān)鍵詞：大模型；文本分類；樣本不平衡

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A

0引言（Introduction）

非均衡樣本，亦稱樣本不平衡，是文本分類領(lǐng)域中常見的問(wèn)題，其中某些類別的樣本數(shù)量遠(yuǎn)遠(yuǎn)多于其他類別的樣本數(shù)量。這種不均衡性導(dǎo)致模型偏向于預(yù)測(cè)數(shù)量較多的類別，從而忽視了數(shù)量較少的類別。為了解決樣本不平衡的問(wèn)題，在數(shù)據(jù)層面，傳統(tǒng)的方法是使用過(guò)采樣和欠采樣等技術(shù)來(lái)平衡不同類別的樣本數(shù)量。然而，這些方法也存在一些缺陷，例如過(guò)采樣可能導(dǎo)致過(guò)擬合，欠采樣可能導(dǎo)致重要信息丟失等缺陷。因此，非均衡樣本的文本分類問(wèn)題已經(jīng)成為當(dāng)前文本分類任務(wù)面臨的一個(gè)嚴(yán)峻挑戰(zhàn)，其解決方案對(duì)于提高分類模型的準(zhǔn)確性和泛化能力至關(guān)重要。

近年來(lái)，隨著人工智能技術(shù)的迅速發(fā)展，以ChatGPT（Chat Generative Pre-trained Transformer）為代表的一系列大語(yǔ)言模型，憑借其出色的自然語(yǔ)言處理能力以及在諸多領(lǐng)域的優(yōu)秀表現(xiàn)而受到了廣泛關(guān)注。這些大模型通過(guò)大規(guī)模的預(yù)訓(xùn)練，掌握了豐富的語(yǔ)義表達(dá)知識(shí)，使其能夠生成真實(shí)、有意義且多樣化的文本。在針對(duì)非均衡文本分類問(wèn)題的研究中，研究人員正在積極探索如何利用大型模型生成高質(zhì)量的少數(shù)類樣本，以提高模型的整體性能。然而，僅依靠樣本生成可能無(wú)法滿足某些實(shí)驗(yàn)對(duì)數(shù)據(jù)的特定需求，因此還需要對(duì)多數(shù)類樣本進(jìn)行去噪或刪減操作。

本研究主要聚焦如何運(yùn)用大型模型同步處理多數(shù)類和少數(shù)類樣本，以解決樣本非均衡性問(wèn)題，進(jìn)而在數(shù)據(jù)層面有效解決不平衡文本分類問(wèn)題。

1相關(guān)工作（Related work）

1.1深度學(xué)習(xí)

自2006年以來(lái)，深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域取得了重大突破。隨后，眾多學(xué)者開始將深度學(xué)習(xí)應(yīng)用于自然語(yǔ)言處理的各個(gè)子領(lǐng)域。深度學(xué)習(xí)受到了人腦神經(jīng)元結(jié)構(gòu)的啟發(fā)，通過(guò)模擬人腦處理信息的層次結(jié)構(gòu)，構(gòu)建了深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）和循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）。與傳統(tǒng)的機(jī)器學(xué)習(xí)相比，深度學(xué)習(xí)能夠自動(dòng)挖掘和捕捉文本數(shù)據(jù)的深層語(yǔ)義表示信息，避免了依賴領(lǐng)域內(nèi)專家手工設(shè)計(jì)特征的過(guò)程。因此，自2010年以后，深度學(xué)習(xí)逐漸成為解決文本分類問(wèn)題的主流方法。

TextCNN、TextRNN、TextRCNN是自然語(yǔ)言處理（NLP）領(lǐng)域中常用的文本分類模型，它們基于不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）或它們的組合，以適應(yīng)不同的任務(wù)需求。

TextCNN是一種基于卷積神經(jīng)網(wǎng)絡(luò)的文本分類模型，它通過(guò)卷積層自動(dòng)提取文本特征，并結(jié)合池化層和全連接層完成分類任務(wù)。由于TextCNN的結(jié)構(gòu)簡(jiǎn)單且效率高，因此被廣泛應(yīng)用于多種自然語(yǔ)言處理（Natural Language Processing，NLP）任務(wù)中。與TextCNN不同，TextRNN是基于循環(huán)神經(jīng)網(wǎng)絡(luò)的文本分類模型，它利用循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Networks，RNN）的記憶特性來(lái)捕捉文本中的序列信息，這對(duì)于理解文本的含義和上下文至關(guān)重要。因此，TextRNN在處理文本數(shù)據(jù)時(shí)能夠更好地考慮上下文信息。為了充分利用卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)的優(yōu)勢(shì)，研究人員提出了TextRCNN模型。該模型融合了循環(huán)神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，既能捕捉文本的序列信息，又能提取局部的關(guān)鍵特征。這種融合使得TextRCNN在文本分類任務(wù)中表現(xiàn)出色。

除了上述基于深度學(xué)習(xí)的模型，F(xiàn)acebook AI Research團(tuán)隊(duì)還開發(fā)了一種高效的文本分類和詞向量訓(xùn)練工具——FastText。FastText在WordVec的基礎(chǔ)上進(jìn)行了擴(kuò)展，主要用于解決文本分類問(wèn)題，同時(shí)也支持詞向量的訓(xùn)練。憑借其簡(jiǎn)潔的模型結(jié)構(gòu)、快速的訓(xùn)練速度以及高準(zhǔn)確率，F(xiàn)astText贏得了廣泛的認(rèn)可與青睞。

在深度學(xué)習(xí)文本分類領(lǐng)域，詞的表示方法有多種，其中較為常用的包括以下幾種。

獨(dú)熱編碼（One-Hot Encoding）：這是最基本的詞表示方法之一。獨(dú)熱編碼示意圖如圖1所示，在這種方法中，每個(gè)詞都被表示為一個(gè)長(zhǎng)向量，其長(zhǎng)度與詞表的大小相等；對(duì)于特定的詞，其對(duì)應(yīng)的向量位置標(biāo)記為1，而其他位置則標(biāo)記為0。盡管獨(dú)熱編碼方法簡(jiǎn)單且直觀，但是它無(wú)法捕捉詞與詞之間的相似性。此外，當(dāng)詞表規(guī)模較大時(shí)，生成的向量將會(huì)非常稀疏。

詞嵌入（Word Embeddings）：相較于獨(dú)熱編碼，詞嵌入通過(guò)將詞映射到低維空間中的稠密向量來(lái)解決向量稀疏性問(wèn)題。這些詞向量不僅能夠捕獲詞與詞之間的語(yǔ)義和語(yǔ)法關(guān)系，而且還能夠有效地處理大規(guī)模詞表。常見的詞嵌入模型包括Word2Vec（Word to Vector）、GloVe（Global Vectors for Word Representation）等。

上下文嵌入（Contextual Embeddings）：這類方法考慮了詞在不同上下文中的含義變化，例如ELMo（Embeddings from Language Models）、BERT（Bidirectional Encoder Representations from Transformers）等模型。它們生成的詞向量不僅包含了詞本身的語(yǔ)義信息，而且還包含了該詞在特定上下文中的意義。這使得上下文嵌入方法在處理具有多義性的詞匯時(shí)具有更高的準(zhǔn)確性和靈活性。

1.2大模型

大語(yǔ)言模型（LLMs）簡(jiǎn)稱大模型，是人工智能快速發(fā)展的產(chǎn)物。它們得益于高質(zhì)量的數(shù)據(jù)標(biāo)注、大規(guī)模的計(jì)算能力支持以及基于人類反饋的強(qiáng)化學(xué)習(xí)策略，具備了高度的通用性和較強(qiáng)的邏輯推理能力，對(duì)人工智能的研究范式產(chǎn)生了深遠(yuǎn)的影響。提示詞是與大型模型進(jìn)行有效溝通的關(guān)鍵，它們可以幫助用戶在與AI交流期間減少信息獲取所花費(fèi)的時(shí)間，并獲得更準(zhǔn)確且有效的答案。提示詞可以被視為在與模型進(jìn)行對(duì)話時(shí)提供指導(dǎo)的方式，幫助AI語(yǔ)言模型更準(zhǔn)確地理解用戶的意圖。

在大模型應(yīng)用領(lǐng)域，使用提示詞有兩大顯著的好處。首先，有研究表明，1個(gè)提示詞相當(dāng)于100個(gè)真實(shí)數(shù)據(jù)樣本。這充分顯示了提示詞所包含的海量信息。其次，在自然語(yǔ)言處理或其他領(lǐng)域的下游任務(wù)數(shù)據(jù)稀缺的場(chǎng)景中，提示詞具有無(wú)與倫比的優(yōu)勢(shì)。由于大模型往往無(wú)法在小型數(shù)據(jù)集上進(jìn)行微調(diào)，因此基于提示的微調(diào)技術(shù)是首選方案。

當(dāng)前的主流大型模型均采用轉(zhuǎn)換器Transformer架構(gòu)。Transformer模型結(jié)構(gòu)圖如圖2所示，這是一種基于注意力機(jī)制的深度學(xué)習(xí)模型。Transformer模型的設(shè)計(jì)初衷在于克服傳統(tǒng)的序列到序列模型，如基于循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）和長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)（LSTM）的模型，在處理長(zhǎng)序列時(shí)的性能限制。Transformer模型完全依賴自注意力機(jī)制來(lái)捕捉輸入序列間的依賴關(guān)系，摒棄了遞歸或卷積結(jié)構(gòu)。此外，Transformer模型主要由編碼器（Encoder）和解碼器（Decoder）兩個(gè)部分組成。模型的輸入首先通過(guò)詞嵌入（Word Embedding）轉(zhuǎn)換為向量形式，其次加入位置編碼（Positional Encoding），以保留序列中的位置信息。

大模型擁有龐大的參數(shù)規(guī)模和復(fù)雜的結(jié)構(gòu)，這使得它們擁有強(qiáng)大的語(yǔ)言理解能力，因此在文本分類任務(wù)中表現(xiàn)出色。然而，大模型的文本分類速度嚴(yán)重依賴于硬件資源。相比之下，傳統(tǒng)的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)模型通常具有更快的預(yù)測(cè)速度，因?yàn)樗鼈兙哂邢鄬?duì)簡(jiǎn)單的結(jié)構(gòu)和較低的計(jì)算要求。此外，鑒于大模型具有復(fù)雜的結(jié)構(gòu)和較高的計(jì)算需求，在處理長(zhǎng)文本分類時(shí)，其分類時(shí)間會(huì)隨著文本長(zhǎng)度的增加而相應(yīng)增長(zhǎng)。因此，在快速文本分類任務(wù)中，通常首選傳統(tǒng)的機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型，而大模型則可以作為樣本處理的輔助工具。因此，本研究提出了一種基于大模型的樣本均衡算法（Based on Large Model Sample Balancing Algorithm，LMSBA）。

2 LMSBA算法（LMSBA algorithm）

2.1算法流程

LMSBA算法的原理與混合采樣方法異曲同工，兩者都致力于克服僅依賴樣本生成技術(shù)來(lái)解決非均衡樣本問(wèn)題的局限性。然而，LMSBA算法獨(dú)具優(yōu)勢(shì)，它充分利用了預(yù)訓(xùn)練的大模型中豐富的訓(xùn)練樣本和超大規(guī)模的參數(shù)，能夠更好地理解自然語(yǔ)言處理任務(wù)，并生成及篩選出高質(zhì)量且低噪聲的數(shù)據(jù)。LMSBA算法流程圖如圖3所示。

2.2少數(shù)類樣本生成

少樣本學(xué)習(xí)（Few-shot Learning）是一種機(jī)器學(xué)習(xí)范式，它旨在使模型能夠從非常有限的樣本中學(xué)習(xí)并做出準(zhǔn)確的預(yù)測(cè)。LMSBA算法將少樣本學(xué)習(xí)引入大模型，并設(shè)計(jì)合適的提示詞（Prompt），這些提示詞可以幫助大模型理解任務(wù)的上下文，并激發(fā)其生成與現(xiàn)有樣本相似的新樣本。LMSBA算法基于大模型的少數(shù)類樣本生成的策略如下。

步驟1：采用數(shù)學(xué)排列組合中組合的方式從少數(shù)類樣本集S中隨機(jī)抽取n個(gè)樣本，并將這些樣本提供給大模型。隨后，該模型將模仿這些樣本并生成一個(gè)新的樣本數(shù)據(jù)。

步驟2：增加從少數(shù)類樣本集S中抽取樣本的數(shù)量，樣本抽取數(shù)量從n變成n+1。

步驟3：重復(fù)本小節(jié)的“步驟1”和“步驟2”，直到生成的少數(shù)類樣本滿足LMSBA算法的需求為止。

基于大模型的少數(shù)類樣本生成方法，其優(yōu)勢(shì)在于可以模擬人類的思維方式生成所需的樣本，這與單純依靠數(shù)據(jù)使用SMOTE（Synthetic Minority Over-sampling Technique）等重采樣算法生成少數(shù)類樣本的方法相比，具有更高的靈活性和創(chuàng)造性。大模型可以理解和分析大量的文本數(shù)據(jù)，從中提取有用的信息和模式，然后根據(jù)這些信息生成新的少數(shù)類樣本。這種方法不僅可以生成高質(zhì)量的少數(shù)類樣本，還可以在一定程度上控制生成樣本的特征和分布，使其更符合實(shí)際需求。

2.3多數(shù)類樣本篩選

為了解決文本分類中的多數(shù)類樣本不平衡問(wèn)題，LMSBA算法基于大模型的多數(shù)類樣本篩選采用的策略如下。

步驟1：從多數(shù)類樣本集S中隨機(jī)抽取n個(gè)樣本，并將這些樣本提供給大模型。然后，該模型對(duì)這些樣本進(jìn)行分析，以確定它們的質(zhì)量。

步驟2：根據(jù)大模型的分析結(jié)果，將質(zhì)量較高的樣本保留，而將質(zhì)量較低的m個(gè)樣本剔除。

步驟3：若篩選的高質(zhì)量樣本數(shù)量大于LMSBA算法的需求，則對(duì)篩選出的樣本重復(fù)執(zhí)行本小節(jié)的“步驟1”和“步驟2”；若篩選的高質(zhì)量樣本數(shù)量小于LMSBA算法的需求，則對(duì)剔除的樣本重復(fù)本小節(jié)的“步驟1”和“步驟2”。

此策略相較于傳統(tǒng)的欠采樣技術(shù)，具有更高的智能性和準(zhǔn)確性。大模型能夠從人的思維角度深入理解文本數(shù)據(jù)的內(nèi)在結(jié)構(gòu)和特征，從而更精準(zhǔn)地識(shí)別出那些對(duì)模型訓(xùn)練貢獻(xiàn)較小的多數(shù)類樣本。這樣不僅能夠有效降低數(shù)據(jù)維度、減輕計(jì)算負(fù)擔(dān)，還能避免丟失過(guò)多有價(jià)值的信息，從而提高模型的性能和泛化能力。

2.4提示詞設(shè)計(jì)

LMSBA算法基于大模型對(duì)樣本執(zhí)行生成、篩選及剔除任務(wù)，在此過(guò)程中，避免不了使用提示詞引導(dǎo)大模型完成樣本的處理工作。多數(shù)類樣本篩選不需要精心設(shè)計(jì)提示詞，而在少數(shù)類樣本的生成過(guò)程中，為了確保大模型生成的文本長(zhǎng)度與給定的少數(shù)類樣本長(zhǎng)度相差不大，實(shí)驗(yàn)中特意設(shè)計(jì)了幾個(gè)簡(jiǎn)單的提示詞，提示詞信息如表1所示。

3實(shí)驗(yàn)與分析（Experiment and analysis）

3.1實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)采用Facebook人工智能研究院研發(fā)的PyTorch深度學(xué)習(xí)框架，實(shí)驗(yàn)環(huán)境的配置如表2所示。

3.2大模型配置

實(shí)驗(yàn)使用阿里云計(jì)算有限公司（以下簡(jiǎn)稱阿里云）研發(fā)的超大規(guī)模語(yǔ)言模型——通義千問(wèn)，它是阿里云在人工智能領(lǐng)域的重大成果之一。通義千問(wèn)模型擁有超過(guò)10億級(jí)別的參數(shù)量，這賦予了其強(qiáng)大的自然語(yǔ)言處理能力和廣泛的知識(shí)覆蓋范圍。模型選用通義千問(wèn)72 B（qwenl.5-72 b-chat），通過(guò)API接口調(diào)用大模型，不需要自己搭建和維護(hù)復(fù)雜的模型環(huán)境，可以直接利用云端的服務(wù)，大大節(jié)省了時(shí)間成本。除此之外，通過(guò)擴(kuò)展多種模型的在線API接口數(shù)量，可以并行處理非均衡樣本，從而顯著提升了LMSBA算法處理非均衡樣本的能力。本實(shí)驗(yàn)選擇的模型配置信息如表3所示。

3.3實(shí)驗(yàn)數(shù)據(jù)集

本實(shí)驗(yàn)采用了THUCNews數(shù)據(jù)集的一部分?jǐn)?shù)據(jù)。該數(shù)據(jù)集由清華大學(xué)自然語(yǔ)言處理與社會(huì)人文計(jì)算實(shí)驗(yàn)室根據(jù)新浪新聞RSS（Really Simple Syndication）訂閱頻道20052011年的歷史數(shù)據(jù)篩選過(guò)濾而成，共包含74萬(wàn)篇新聞文檔（約2.19GB），涵蓋了14種不同的新聞?lì)悇e。為了確保通義千問(wèn)大模型生成的文本數(shù)據(jù)長(zhǎng)度不超過(guò)2000個(gè)tokens，從THUCNews數(shù)據(jù)集中選取了科技、體育、游戲、星座4個(gè)類別的新聞數(shù)據(jù)，并從中抽取了一部分文本長(zhǎng)度不超過(guò)2000字的新聞文本。數(shù)據(jù)集信息如表4所示。

3.4實(shí)驗(yàn)結(jié)果

由于THUCNews數(shù)據(jù)集中各類別的不平衡分布的問(wèn)題，為了更全面地衡量模型在處理多類文本分類任務(wù)中的整體性能，本實(shí)驗(yàn)選擇使用宏平均F1分?jǐn)?shù)作為性能評(píng)估指標(biāo)。在本實(shí)驗(yàn)中，將使用LMSBA算法生成的均衡樣本在FastText、TextCNN、TextRNN和TextRCNN 4個(gè)模型上進(jìn)行訓(xùn)練和測(cè)試，以驗(yàn)證LMSBA算法在解決非均衡樣本問(wèn)題上的有效性。實(shí)驗(yàn)數(shù)據(jù)如表5所示。

從表5中可以看出，當(dāng)使用LMSBA算法生成的均衡樣本進(jìn)行模型訓(xùn)練和預(yù)測(cè)時(shí)，文本分類的宏平均F1分?jǐn)?shù)得到了顯著提升。宏平均F1分?jǐn)?shù)作為一種綜合度量標(biāo)準(zhǔn)，能夠幫助科研人員全面了解模型在處理多類分類問(wèn)題時(shí)的整體性能，尤其是在不同類別之間的平衡性方面。通過(guò)對(duì)表5中的數(shù)據(jù)進(jìn)行對(duì)比分析發(fā)現(xiàn)，F(xiàn)astText模型的宏平均F1分?jǐn)?shù)提高了37.09百分點(diǎn)，TextCNN模型的宏平均F1分?jǐn)?shù)提高了38.18百分點(diǎn)，TextRNN模型的宏平均F1分?jǐn)?shù)提高了36.89百分點(diǎn)，而TextRCNN模型的宏平均F1分?jǐn)?shù)提高了37.33百分點(diǎn)。以上實(shí)驗(yàn)結(jié)果充分證明了LMSBA算法可以有效地解決文本分類中的不平衡問(wèn)題，顯著提高了模型的泛化能力以及對(duì)每個(gè)類別的預(yù)測(cè)性能。

4結(jié)論（Conclusion）

本研究受到少樣本學(xué)習(xí)（Few-shot Learning）、欠采樣技術(shù)的啟發(fā)，并結(jié)合在線大語(yǔ)言模型API接口，提出了一種基于大模型的樣本均衡算法——LMSBA。LMSBA算法與機(jī)器學(xué)習(xí)中的混合采樣方法具有相似之處，同時(shí)也具備類似的優(yōu)點(diǎn)。更重要的是，LMSBA算法充分利用了大模型的優(yōu)勢(shì)，進(jìn)一步提升了算法的性能和效果。LMSBA算法針對(duì)多數(shù)類樣本可以進(jìn)行多輪篩選，在此過(guò)程中剔除出低質(zhì)量、高噪聲的多數(shù)類樣本，針對(duì)少數(shù)類樣本進(jìn)行樣本生成，進(jìn)而生成高質(zhì)量、低噪聲的少數(shù)類樣本。

實(shí)驗(yàn)結(jié)果表明，這種方法可以顯著提高多個(gè)文本分類模型的宏平均F1分?jǐn)?shù)指標(biāo)。此外，LMSBA算法仍有需要改進(jìn)的空間，例如添加多個(gè)不同系列的在線大模型API，以及進(jìn)行消融實(shí)驗(yàn)以進(jìn)一步探究和優(yōu)化提示詞工程。