基于多粒度標簽擾動的文本分類研究

姚汝婧　王芳

關鍵詞： 文本分類； 深度學習； 標簽擾動； 元學習； 多粒度

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．０１．００３

〔中圖分類號〕ＴＰ３９１ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） ０１－００２５－１２

文本分類是信息組織和信息分析中的重要內容，其涉及的范圍十分廣泛， 不僅包括學術文獻的分類任務， 如文獻結構分類、引文情感分類、引文意圖分類等， 也包含社交媒體信息分類、突發事件的識別與分類、政策文本分類等。隨著文獻數量的飛速增長， 對于學術文獻相關內容的分類能夠幫助學者在面對浩如煙海的文獻資料時， 快速地識別出所需信息， 了解目標文獻的研究內容與研究價值［１－２］ 。政策文本分類能夠幫助政府、高校、企業等高效地獲取自身所需的科技政策［３］ 。社交媒體信息分類能夠幫助決策者快速了解公眾的情感和觀點， 并利用這些有價值的分類信息優化和改進現有的解決方案［４］ 。突發事件的自動識別與分類能夠從海量信息中快速獲取有效信息， 并為應急管理機構提供幫助［５］ 。

深度學習算法因其良好的特征表示能力， 逐漸成為了解決上述問題的首選方案。然而， 有監督的深度學習算法的訓練依賴于訓練數據， 一個大型高質量的訓練樣本集對能否有效訓練深度學習算法幾乎起著決定性作用。但是， 由于標注經驗、主觀性以及責任心等因素的影響， 人工標注的數據集不可避免地存在著噪聲。如有研究表明圖像分類中最為知名的大型數據集ＩｍａｇｅＮｅｔ 約包含了６％的噪聲標簽［６］ ， 而ＮＥＲ 領域應用最為廣泛的數據集ＣｏＮＬＬ－２００３ 也被發現約５％的標簽錯誤存在于測試句中［７］ 。可想而知， 對于深度學習任務所采用的非基準數據集， 其噪聲標簽比例極可能更高， 而這些噪聲標簽會對深度學習的模型訓練造成負面影響。因此， 在文本分類研究中， 尋求有效的噪聲標簽學習方法也已經成為一個熱點問題。

迄今為止， 研究者們已經提出了各種各樣的噪聲標簽學習算法［８］ ， 通過降低噪聲標簽對模型訓練的負面影響進而提升模型的性能， 基于標簽擾動的算法就是其中一類典型的學習策略。顧名思義，標簽擾動的目標是訓練樣本的標簽， 即通過對一部分訓練樣本的標簽添加擾動來減少噪聲標簽對模型造成的負面影響， 增強模型的魯棒性。按照擾動粒度的不同， 標簽擾動算法可以分為樣本級粒度的擾動、類別級粒度的擾動、數據集級粒度的擾動。目前， 有３ 種具有代表性的單一粒度的標簽擾動算法：Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ（標簽平滑）算法［９］ 、Ｂｏｏｔｓｔｒａｐｐｉｎｇ 算法［１０］ 、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ（在線標簽平滑） 算法［１１］ 。Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 和Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 為類別級粒度的標簽擾動算法， Ｂｏｏｔｓｔｒａｐｐｉｎｇ 為樣本級粒度的標簽擾動算法。

多項研究表明， 不同粒度的標簽擾動算法都能有效地提升模型性能， 然而， 現有的算法大多是從同一粒度下的深入探索， 缺乏對不同粒度信息的有效利用， 而不同級別的粒度信息能夠進行互補從而提高模型的性能。基于此， 本文首先分析了ＬａｂｅｌＳｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ ３種單粒度的標簽擾動算法如何具體地對學習過程起著調節作用。然后， 提出了一種多粒度的標簽擾動算法（Ｍｕｌｔｉ－ｇｒａｎｕｌａｒｉｔｙ Ｌａｂｅｌ Ｐｅｒｔｕｒｂａｔｉｏｎ， ＭＧＬＰ），該算法通過加權的方式將前述的３ 種單粒度的標簽擾動算法融合在一起。隨著融合權重取值的不同，本文提出的ＭＧＬＰ 算法可以簡化為３ 種擾動方式中的任意一種或者兩種的組合。對于融合權重， 本文采用元學習的思想對其進行學習， 使之能夠根據不同的數據特點自適應地進行調整， 減輕了人工調參的負擔， 并減少了主觀性偏差對結果造成的負面影響。最后， 本文將提出的ＭＧＬＰ 算法應用在推文情感分類、電影評論情感分類、引文意圖分類３ 個文本分類數據集上， 通過施加不同類型噪聲的方式驗證算法的性能， 實驗結果表明本文提出的ＭＧＬＰ算法有效地提升了深度學習算法在文本分類任務上的準確性， 對于深度學習算法更準確地在信息組織和信息分析領域的應用具有十分重要的價值和意義。

１ 相關研究

１.１ 文本分類

文本分類在信息組織和信息分析中發揮著日益重要的作用。早期的文本分類利用信息增益［１２］ 、互信息［１３］ 或者主題模型［１４］ 等提取特征， 然后利用淺層分類器進行分類。近年來， 以詞向量為基礎的分布表示和以ＬＳＴＭ［１５］ 、Ｔｒａｎｓｆｏｒｍｅｒ［１６］ 等為代表的深度學習算法逐步取代了早期文本分類的方法。如ＢＥＲＴ、ＥＲＮＩＥ 等模型被用來對文獻的學科進行分類［１７］ 。基于ＳｃｉＢｅｒｔ 的模型被用于學術文獻致謝的識別［１８］ 。融合多種特征的深度學習模型可以較好地實現對評論中的用戶意見的分類［１９］ 。除了在上述文本分類任務上以外， 深度學習算法也廣泛地應用在突發事件的識別與分類任務以及政策文本分類方面。吳雪華等［５］ 提出了一個兩階段的突發事件應急行動支撐信息的識別與分類框架， 且利用ＳＶＭ、ＬＲ、ＴｅｘｔＣＮＮ 以及ＢＥＲＴ 等算法進行實驗來驗證其性能。一種ＢＥＲＴ 與多尺度ＣＮＮ 融合的算法被提出且用來捕獲科技政策文本的特征信息， 對政策文本的主題進行分類［２０］ 。深度學習算法具有較強的特征表示能力， 被廣泛應用于各種文本分類任務，且使得文本分類任務的準確性有了進一步的提高。

除了詞匯的分布表示、更為有效的深度學習網絡架構等研究之外， 針對訓練數據的不完美特點設計有效的學習策略， 如噪聲標簽、類別不平衡等問題， 也是文本分類領域的研究重點。針對類別不平衡問題， 研究者們提出了多種解決方案。Ｚｏｎｇ Ｄ等［２１］ 設計了一個雙通道的學習策略來解決文本分類中的長尾分布問題。盧小賓等［２２］ 提出了綜合數據、算法、評估３ 個層面的優化框架以解決新興技術識別中的數據類別不平衡問題。為了更好地處理虛假評論識別任務， 一種基于類別可分性計算的代價敏感學習方法被提出［２３］ 。基于類別先驗Ｍｉｘｕｐ數據增強策略被用來解決罪名分類任務中的不平衡問題［２４］ 。此外， 元學習和小樣本學習等方法也被引入來處理數據中存在問題。一種在不平衡少樣本情況下基于元學習的文本分類模型被提出［２５］ 。小樣本數據增強技術被用于對科技文檔的不平衡分類問題進行解決［２６］ 。通過對上述研究的總結和分析發現， 文本分類在信息組織和信息分析中發揮著越來越重要的作用。此外， 針對數據的不完美特點探討有效的學習策略逐步成為研究的熱點。

１.２ 噪聲標簽學習

在文本分類任務中， 基于淺層機器學習和深度學習的算法逐漸成為主要方法， 而在算法的訓練過程中， 訓練數據中存在的噪聲標簽會對算法的訓練造成負面影響， 比如容易導致所學習到的模型產生過擬合等問題， 因此， 噪聲標簽學習逐漸成為一個重點的研究方向。在淺層機器學習時代， 噪聲標簽學習就是一個極受關注的研究問題。如經典的支持向量機算法［２７］ ， 所引入的松弛變量的一大動機就是抑制噪聲標簽的不利影響。相對于淺層學習時代相對規模較小的訓練數據， 深度學習的訓練對人工標注的數據集規模有著更高的要求， 不可避免地會進一步帶來噪聲標簽問題。

目前解決噪聲標簽問題的途徑主要有兩種， 一種是對噪聲標簽樣本進行離線檢測， 另一種是基于噪聲標簽樣本進行在線檢測。離線檢測的方法主要利用損失［２８］ 、交叉驗證錯誤率［７］ 、幾何邊界距離［２９］等量化指標來區分正常標簽樣本與噪聲標簽樣本。如置信學習被用來對樣本集進行清洗， 降低噪聲數據對模型的負面影響， 進而有效地提升了模型的性能［３０］ 。為了檢測命名實體識別任務中的噪聲樣本，一種基于交叉驗證的方式被提出來計算每個樣本的預測正確率［７］ 。該正確率越小那么該樣本更可能是噪聲樣本， 然后將正確率作為樣本權重重新進行訓練。此外， 汪敏等［３１］ 提出了一種噪聲識別與糾正算法， 通過篩選可信樣本對樣本標簽的置信度進行預測， 然后識別噪聲標簽， 對噪聲標簽進行糾正。Ｈｕａｎｇ Ｊ 等［３２］ 提出了一個基于過擬合—欠擬合過程的策略來識別噪聲樣本。對噪聲標簽樣本的離線檢測方法的主要缺陷在于通常需要增加大量的訓練時間， 為此， 研究者們開發出了基于噪聲標簽樣本的在線檢測途徑。

基于噪聲標簽樣本的在線檢測方法隱式地降低噪聲標簽的不利影響， 基于標簽擾動的方法就是其中一類典型的學習策略。許多基于噪聲標簽學習的深度學習算法， 甚至其一些研究分支， 本質上都可以歸結為對訓練數據的擾動。如當前深度學習中的熱點研究方向： 對抗攻擊［３３］ 以及基于對抗攻擊的對抗訓練［３４］ 。對抗攻擊的根本性問題就是尋求一個滿足特定目標的樣本擾動并疊加到輸入樣本上。從數據對象上看， 現有的方法可以分為特征擾動、邏輯向量擾動以及標簽擾動等幾大類別。對抗攻擊可以看作是特征擾動。此外， 近期一些代表性的研究從不同角度來提升算法的泛化性能， 如ＩＳ?ＤＡ［３５］ 、Ｌｏｇｉｔ Ａｄｊｕｓｔｍｅｎｔ［３６］ 等在數學上都可以歸結為邏輯向量擾動。Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 可以歸結為標簽擾動。從擾動粒度上， 現有的方法可以分為訓練集級別、類別級別以及樣本級別。Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 和Ｏｎｌｉｎｅ ＬａｂｅｌＳｍｏｏｔｈｉｎｇ 是類別級粒度的擾動， Ｂｏｏｔｓｔｒａｐｐｉｎｇ 是樣本級粒度的擾動。然而， 目前大多數研究通常在同一粒度下進行探索和創新， 極少有研究綜合考慮利用不同粒度的有效信息， 而多種粒度信息的有效利用能夠幫助模型更好地學習特征表示， 有利于提升模型的性能。基于此， 本文針對單一粒度的不足，探討多種粒度級別下的標簽擾動， 以期通過多粒度信息的有效利用提升模型的性能。

２ 研究方法

本節首先對３ 種單粒度的經典標簽擾動算法進行了分析， 然后針對單粒度算法沒有有效地利用不同粒度級別信息的缺陷， 提出了一種多粒度標簽擾動算法。該算法綜合考慮了樣本級粒度和類別級粒度信息， 彌補了單粒度算法的不足。對于不同粒度信息的融合權重， 本文采用了元學習的思想對其進行學習， 使本文提出的方法能夠根據不同的數據特點自適應地調整融合權重， 減少了人工調參的負擔， 降低了主觀因素對結果產生的不利影響。

２.２ 多粒度標簽擾動算法（ Ｍｕｌｔｉ－ｇｒａｎｕｌａｒｉｔｙ ＬａｂｅｌＰｅｒｔｕｒｂａｔｉｏｎ， ＭＧＬＰ）

２.２.１ ＭＧＬＰ算法設計

大量的理論和實驗已經證明， 類別級的標簽擾動和樣本級的標簽擾動對于解決噪聲標簽問題非常有效和高效。然而， 當前大部分研究都是在同一粒度下對算法的深入探索， 鮮有研究綜合考慮利用這些不同粒度的標簽擾動策略提升模型的性能， 而不同粒度的擾動能夠從不同的角度對算法性能進行補充。基于此， 本文提出了一種多粒度標簽擾動算法（Ｍｕｌｔｉ－ｇｒａｎｕｌａｒｉｔｙ Ｌａｂｅｌ Ｐｅｒｔｕｒｂａｔｉｏｎ， ＭＧＬＰ）， 該算法對Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａ?ｂｅｌ Ｓｍｏｏｔｈｉｎｇ ３ 種單粒度的標簽擾動策略進行了集成， 綜合考慮了樣本級粒度和類別級粒度的擾動。同時， 利用元學習的思想對３ 種標簽擾動策略的融合系數進行學習， 技術路線如圖１ 所示。由于在文本分類任務中， ＢＥＲＴ 和ＢｉＬＳＴＭ 具有良好的特征表示能力［３７，１７］ ， 因此， 為了全面地驗證本文所提出的算法的性能， 本研究分別利用ＢＥＲＴ－Ｂａｓｅ 和ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 作為基線模型進行實驗。

３ 實驗

３.１數據

為了充分地驗證本文所提出的ＭＧＬＰ 算法的性能， 選擇３ 個知名的國際公開的英文文本分類數據集進行實驗： ＳｅｍＥｖａｌ－２０１６ Ｔａｓｋ ４ Ｓｕｂｔａｓｋ Ａ［４０］ 、Ｍｏｖｉｅ Ｒｅｖｉｅｗｓ（ＭＲ）［４１］ 和ＳｃｉＣｉｔｅ［４２］ 。第一個數據集來自于ＳｅｍＥｖａｌ－２０１６ 的任務４ 的子任務Ａ， 是推文情感分類數據集， 包含正面情感、中性情感、負面情感３ 種類型， 本文采用官方給定的訓練集、驗證集和測試集的劃分。第二個數據集是ＭＲ 數據集， 其為一個電影評論情感分類數據集， 包含正面情感和負面情感兩種類型的標簽， 由于官方數據未劃分訓練集、驗證集和測試集， 因此， 本文按照７ ∶１∶２ 的比例將ＭＲ 數據集劃分為訓練集、驗證集、測試集。ＳｃｉＣｉｔｅ 是一個引文意圖分類數據集， 包含背景、方法和結果３ 種類型， 本文采用該數據集官方給定的訓練集、驗證集和測試集的劃分。

３.２ 對比算法及參數設置

為了有效地驗證本文提出的ＭＧＬＰ 算法的性能， 采用以下幾種經典的以及最先進的噪聲標簽處理算法進行對比： Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ［９］ 、Ｓｏｆｔ／ ＨａｒｄＢｏｏｔｓｔｒａｐｐｉｎｇ［１０］ 、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ［１１］ 、Ｓｅｌｆ－Ｄｉｓｔｉｌｌａｔｉｏｎ ｆｒｏｍ Ｌａｓｔ Ｍｉｎｉ－Ｂａｔｃｈ（ＤＬＢ）［４３］ 、ＭａｒｇｉｎｂａｓｅｄＬａｂｅｌ Ｓｍｏｏｔｈｉｎｇ（ＭｂＬＳ）［４４］ 。本文在原始數據集的基礎上施加了兩種類型的噪聲， 一種是對稱噪聲， 一種是非對稱噪聲［８］ 。對稱噪聲指的是樣本的真實標簽以相同的概率隨機翻轉成其他類別標簽， 非對稱噪聲指的是樣本的真實標簽被翻轉成某類特定的標簽， 本文設置的樣本的真實標簽翻轉比例（即噪聲比例）為１０％、２０％、３０％。

對于本文采用的ＢＥＲＴ－Ｂａｓｅ， 其有１２ 層Ｔｒａｎｓ?ｆｏｒｍｅｒ 結構， 隱藏層維度為７６８， 學習率設為２ｅ－５， ｅｐｏｃｈ 設為１０。對于ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ， 本文采用３００ 維的Ｇｌｏｖｅ 詞向量， 隱藏層維度設為３００，ｅｐｏｃｈ 設為５０。對于Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐ?ｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、ＤＬＢ、ＭｂＬＳ 等對比算法， 按照其對應的原論文的設置進行實驗。在ＭＧＬＰ 算法中， 本文隨機選取驗證集中的每類樣本１００ 個作為元數據集。

３.３ 實驗結果

表１ 為基線模型為ＢＥＲＴ－Ｂａｓｅ 時不同噪聲標簽處理算法在３ 種不同數據集上的實驗結果， 表２為基線模型為ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 時不同噪聲標簽處理算法在３ 種不同數據集上的實驗結果。采用分類任務中常用的準確率作為評價指標， 每個實驗進行３ 次取其平均值作為最終結果。

通過表１ 的實驗結果， 可以看出本文提出的ＭＧＬＰ 算法以ＢＥＲＴ－Ｂａｓｅ 為基線模型時， 在３ 種數據集上都取得了最佳結果。

具體來說， 在ＳｅｍＥｖａｌ－２０１６ 數據集上， 不添加噪聲的情況下， ＭＧＬＰ 算法相比于基線模型ＢＥＲＴＢａｓｅ提高了２.０２％。相比于單粒度的Ｌａｂｅｌ Ｓｍｏｏｔ?ｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎ?ｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 算法， ＭＧＬＰ 算法分別提升了１.３５％、１.９７％、０.９２％、１.４０％。說明ＭＧＬＰ 算法充分利用了樣本級粒度和類別級粒度的信息， 結合了Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔ?ｈｉｎｇ ３ 種經典的單粒度噪聲標簽算法的優勢。在施加噪聲的情況下， 相比于近年來的ＭｂＬＳ 算法， 本文提出的ＭＧＬＰ 算法平均提升了１.５７％， 并且在施加２０％對稱噪聲的情況下， 準確率高于ＭｂＬＳ 算法２.３５％。在施加３０％對稱噪聲時， 對比算法中準確率最高的為ＭｂＬＳ 算法， 而本文提出的ＭＧＬＰ算法的準確率相比于ＭｂＬＳ 算法提升了２.０８％， 且相比于基線模型ＢＥＲＴ－Ｂａｓｅ 算法提升了６.３７％，具有明顯的性能優勢。在ＭＲ 數據集上， 在不添加噪聲的情況下， ＭＧＬＰ 相對于基線模型ＢＥＲＴ－Ｂａｓｅ提升了１.０５％。在施加噪聲的情況下， 相比于經典的Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔ?ｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 算法， ＭＧＬＰ 算法分別平均提升了１.１１％、１.３９％、１.１６％、１.１２％。施加３０％對稱噪聲和３０％非對稱噪聲時， ＭＧＬＰ 算法相比于對比算法中準確率最高的ＭｂＬＳ 算法分別提升了１.６６％和１.１１％， 取得了最佳結果。在ＳｃｉＣ?ｉｔｅ 數據集上， 不添加噪聲的情況下， ＭＧＬＰ 相對于基線模型ＢＥＲＴ－Ｂａｓｅ 提升了１.０６％， 相比于對比算法中準確率最高的Ｏｎｌｉｎｅ Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 提升了０.７０％。在施加噪聲２０％對稱噪聲的情況下，相比于對比算法中準確率最高的ＭｂＬＳ 算法提升了０.８６％， 實現了最優性能。以上結果表明ＭＧＬＰ 算法能夠充分利用不同粒度的數據信息， 減少噪聲標簽對模型性能產生的負面影響， 使模型的性能具有明顯的提升。

通過表２ 可知， 以ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 為基線模型時， ＭＧＬＰ 算法在３ 個數據集上也都實現了最優的性能。

在ＳｅｍＥｖａｌ－２０１６ 數據集上， ＭＧＬＰ 算法在不施加噪聲的情況下相比于基線模型提升了１.１０％，相比于準確率最高的ＭｂＬＳ 算法提升了０.７３％。在ＳｅｍＥｖａｌ－ ２０１６ 數據集施加對稱噪聲的情況下，ＭＧＬＰ 算法相比于基線模型平均提升了１.７５％； 在施加非對稱噪聲的情況下， ＭＧＬＰ 算法相比于基線模型平均提升了２.０４％， 相比于近年來的ＤＬＢ 算法和ＭｂＬＳ 算法， ＭＧＬＰ 算法分別平均提升了１.１８％、１.０８％。在施加２０％對稱噪聲時， ＭＧＬＰ 算法相比于對比算法中準確率最高的ＭｂＬＳ 算法提升了１.４６％。在ＭＲ 數據集上， 相比于經典的Ｌａｂｅｌ Ｓｍｏｏｔ?ｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、ＯｎｌｉｎｅＬａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 算法， ＭＧＬＰ 算法平均提升了１.４５％、１.０２％、１.１９％、１.３７％。在施加１０％對稱噪聲的情況下， ＭＧＬＰ 算法相比于對比算法中準確率最高的Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ 算法提升了１.０２％， 實現了最佳性能。此外， 在ＭＲ 數據集施加３０％非對稱噪聲的情況下， ＭＧＬＰ 算法相比于基線模型提升了４.４８％。在ＳｃｉＣｉｔｅ 數據集上， ＭＧＬＰ 算法準確率也是最高的， 相比于ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 基線模型平均提升了１.４０％。在ＳｃｉＣｉｔｅ 上施加３０％對稱噪聲的情況下， ＭＧＬＰ 算法相比于Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｓｏｆｔ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｈａｒｄ Ｂｏｏｔｓｔｒａｐｐｉｎｇ、Ｏｎｌｉｎｅ ＬａｂｅｌＳｍｏｏｔｈｉｎｇ、ＤＬＢ、ＭｂＬＳ 算法分別提升了１.４７％、１.５６％、１.３２％、１.２８％、１.３４％、１.２１％。此外，在施加２０％非對稱噪聲時， 對比算法中準確率最高的為ＭｂＬＳ 算法， 本文提出的ＭＧＬＰ 算法相比于ＭｂＬＳ 算法提升了１.０７％， 取得了最優結果。以上實驗結果均表明， ＭＧＬＰ 算法充分利用了３ 種經典的單粒度的噪聲標簽算法的優勢， 融合了樣本級粒度和類別級粒度的數據信息， 提升了深度學習模型的性能。在模型進行學習的過程中， ＭＧＬＰ 算法能夠根據不同數據的特點， 自適應地選取不同的比例對樣本級粒度和類別級粒度的數據信息進行融合，從而減少噪聲樣本對模型訓練產生的負面影響。實驗結果表明， 不管是在原始數據集上還是在施加噪聲的情況下， ＭＧＬＰ 算法均有效且明顯地提升了深度學習模型的性能。

為了探究ＭＧＬＰ 算法的魯棒性， 本文以ＳｃｉＣｉｔｅ數據集為例， 對更高比例噪聲標簽下算法的性能進行了評估， 結果如圖２ ～ 圖５ 所示。在施加４０％、５０％、６０％比例的對稱噪聲情況下， 本文提出的ＭＧＬＰ 算法相比于ＢＥＲＴ－Ｂａｓｅ 和ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ基線模型分別平均提升了５.０９％、２.６８％。在施加４０％、５０％、６０％比例的非對稱噪聲情況下， ＭＧＬＰ算法相比于ＢＥＲＴ－Ｂａｓｅ 和ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 基線模型分別平均提升了２.2４％、２.２２％。實驗結果表明， 即使在施加更高比例噪聲的情況下， 本文提出的ＭＧＬＰ 算法仍保持較高的準確率， 具有良好的魯棒性。

４結語

本文針對現有的標簽擾動算法大都只在單一粒度層級下進行深入探索， 而未有效利用多種粒度信息， 從而限制了算法的性能這一不足之處， 首先分析了Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ、Ｂｏｏｔｓｔｒａｐｐｉｎｇ 和Ｏｎｌｉｎｅ ＬａｂｅｌＳｍｏｏｔｈｉｎｇ ３ 種經典的單一粒度的標簽擾動算法的原理， 然后提出了一種融合了樣本級粒度和類別級粒度的多粒度標簽擾動算法（ＭＧＬＰ）。該算法通過加權的方式將類別級的Ｌａｂｅｌ Ｓｍｏｏｔｈｉｎｇ 和Ｏｎｌｉｎｅ Ｌａ?ｂｅｌ Ｓｍｏｏｔｈｉｎｇ、樣本級的Ｂｏｏｔｓｔｒａｐｐｉｎｇ ３ 種單粒度的標簽擾動算法融合在一起， 集成了類別級粒度和樣本級粒度的標簽擾動算法的特點， 通過融合系數來控制不同粒度擾動的比例， 并利用元學習的思想對融合系數進行學習， 使其能夠根據不同的數據特點自適應地對融合系數進行調整， 避免了人工調參所造成的主觀性誤差， 提高了模型的性能。本文在推文情感分類數據集、電影評論情感分類數據集、引文意圖分類數據集３ 個公開的文本數據集上進行了實驗， 結果表明本文提出的ＭＧＬＰ 算法與其他算法相比性能有明顯的提升， 能夠有效地減輕噪聲標簽對深度學習模型訓練的負面影響， 對于深度學習模型在信息組織和信息分析領域更準確地應用具有十分重要的價值和前景。

本文也存在一些局限性。首先， 只考慮了利用樣本級粒度和類別級粒度的數據信息， 還未研究與數據集級粒度信息的結合； 其次， 本文只在英文文本分類數據集上對算法的性能進行了驗證。在未來研究中， 將探究如何將樣本級、類別級以及數據集級粒度的信息進行融合， 以期進一步提高對多粒度信息的有效利用， 進一步提升深度學習模型的性能， 并將在中文數據集上對多粒度標簽擾動算法的性能進行探究。此外， 還將探究利用更多的信息對融合系數進行求解。在算法未來的應用層面， 除了將本文提出的算法應用于文本分類領域之外， 還將探究其在更多領域中的應用， 如計算機視覺領域，以期在多個領域中發揮該算法的應用價值。