融入頻域增強自注意力機制的BTBFA混合神經(jīng)網(wǎng)絡情感分類模型

關鍵詞： 情感分類； 混合神經(jīng)網(wǎng)絡； Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－ＦＡｔｔｅｎｔｉｏｎ； Ｓｔａｃｋｉｎｇ 算法； 自注意力機制； 離散傅里葉變換

ＤＯＩ：１０．３９６９ ／ ｊ．ｉｓｓｎ．１００８－０８２１．２０２４．１２．００６

〔中圖分類號〕ＴＰ３９１.１ 〔文獻標識碼〕Ａ 〔文章編號〕１００８－０８２１ （２０２４） １２－００５２－１２

智能技術的高速發(fā)展和社交網(wǎng)絡的廣泛普及給人們獲取信息提供了便利， 更為人們實時發(fā)表評論、表達情感提供了廣闊平臺， 促使網(wǎng)絡空間文字信息量呈現(xiàn)爆炸式增長態(tài)勢。尤其時事評論、產(chǎn)品評論、書評影評等在線評論文本信息暗含了豐富的用戶情感傾向， 如何提高信息處理效率， 通過情感分類從雜亂無章的文本信息中精準識別用戶需求具有重要意義， 成為學術界廣泛關注的熱點話題［１］ 。

近年來， 學者通常將情感分類問題視為一個二元分類問題， 通過特定算法對用戶情感進行解析，將情感分為正負兩種傾向［２］ 。比較常見的情感分類方法主要包括情感詞典、機器學習、深度學習３ 類［３］ 。情感詞典分類方法的效果主要依賴于詞典構建的質(zhì)量和先驗知識。然而， 隨著互聯(lián)網(wǎng)時代信息更新速度的日益加快， 網(wǎng)絡熱門詞匯和特殊用語等層出不窮， 致使情感詞典需要不斷刷新擴充才能滿足分類需求， 且由于同一情感詞在不同領域中所表達的含義不同， 使得情感詞典的普適性面臨挑戰(zhàn)。為了優(yōu)化情感分類性能， 一些研究人員利用大量有標簽或無標簽的數(shù)據(jù)集， 采用各種機器學習方法進行情感分類。雖然機器學習方法在情感分類領域的性能一定程度上優(yōu)于情感詞典， 但它們往往忽略了上下文語義信息和深層語義， 因而對情感分類的準確性產(chǎn)生消極影響［４］ 。如今日益興起的深度學習方法因具備卓越的特征學習能力逐漸引起學者的關注， 并在情感分類任務中得到了廣泛運用。相較于其他方法，深度學習通過使用多層神經(jīng)網(wǎng)絡學習和提取數(shù)據(jù)中的特征， 可自動實現(xiàn)情感極性分類， 消除了對人工的依賴， 且極大提高了分類準確性。因此， 基于深度學習方法深入探究文本語義特征提取， 進而提高情感分類準確性具有重要意義。

然而， 現(xiàn)有基于深度學習的情感分類方法仍存在諸多問題， 使得模型的應用效果大打折扣。第一，混合神經(jīng)網(wǎng)絡模型層間依賴性強， 一旦某一層訓練效果不佳， 將對模型整體的情感分類效果產(chǎn)生嚴重的負面影響。第二， 現(xiàn)有深度學習模型對各輸出特征重要性差異體現(xiàn)不足， 導致模型難以有效區(qū)分有效特征與無效特征， 致使情感分類模型性能不佳。第三， 現(xiàn)有深度學習情感分類模型多基于單一維度進行特征提取， 易遺漏關鍵特征， 進而影響情感分類的準確性和可靠性。為了解決這些問題， 基于Ｓｔａｃｋｉｎｇ 集成學習方法， 提出一種融入頻域增強自注意力機制的Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－ＦＡｔｔｅｎｔｉｏｎ（ＢＴＢＦＡ）混合神經(jīng)網(wǎng)絡情感分類模型， 充分發(fā)揮Ｂｅｒｔ、ＴｅｘｔＣＮＮ、ＢｉＬＳＴＭ 三者優(yōu)勢， 采用并行式方法進行特征提取， 并引入頻域增強自注意力機制區(qū)分三者輸出向量信息的重要程度， 以提高情感分類的準確性。

１相關研究

２００６ 年Ｈｉｎｔｏｎ Ｇ Ｅ 等［５］ 提出一種由神經(jīng)網(wǎng)絡構成的非線性降維算法， 有效解決了ＢＰ 算法缺陷，引發(fā)了深度學習的浪潮。神經(jīng)網(wǎng)絡模型能更好地兼顧上下文語義信息， 解決傳統(tǒng)情感分類方法準確性低的問題。經(jīng)典的單一神經(jīng)網(wǎng)絡模型有卷積神經(jīng)網(wǎng)絡（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ， ＣＮＮ）［６－７］ 、循環(huán)神經(jīng)網(wǎng)絡（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ， ＲＮＮ）［８］ 、長短期記憶神經(jīng)網(wǎng)絡（Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ Ｎｅｔｗｏｒｋ，ＬＳＴＭ）［９－１２］ 等。學者以這些經(jīng)典模型為基礎， 結合文本情感分類任務進行拓展改進， 以充分挖掘文本信息， 實現(xiàn)情感的準確分類。例如， Ｋｉｍ Ｙ［１３］ 將ＣＮＮ模型應用于文本分類問題中并提出了ＴｅｘｔＣＮＮ 模型，通過增加網(wǎng)絡結構來挖掘豐富的文本語義信息。然而由于各模型內(nèi)部結構以及應用場景不同， 在應用于文本分析與情感分類時優(yōu)劣并存。例如， ＲＮＮ模型內(nèi)部結構簡單， 對計算資源要求低， 在處理短文本序列信息時表現(xiàn)出色， 但當文本數(shù)據(jù)過長時，模型中會存在過多的單元數(shù)據(jù)， 容易出現(xiàn)梯度消失或梯度爆炸的問題［１４］ 。Ｂｏｗｍａｎ Ｓ Ｒ 等［１５］ 在ＲＮＮ模型基礎上提出了可以處理長期依賴關系的ＬＳＴＭ模型， 但由于內(nèi)部構造相對復雜， 在同等算力下訓練效率比傳統(tǒng)ＲＮＮ 模型低很多。為彌補傳統(tǒng)神經(jīng)網(wǎng)絡模型在情感分類任務中的局限性， 研究人員對上述模型進行了優(yōu)化與拓展。例如， 近幾年出現(xiàn)的由ＣＮＮ 拓展而來的圖神經(jīng)網(wǎng)絡（ＧＮＮ）［１６－１８］ 等新型神經(jīng)網(wǎng)絡模型， 可以很好地挖掘情感特征中的詞間相關性， 使得方面級情感分類性能顯著提升， 且在推理性和解釋性方面呈現(xiàn)顯著優(yōu)勢。

上述單一神經(jīng)網(wǎng)絡模型分別在不同應用情境下呈現(xiàn)出各自特點， 為了統(tǒng)籌各模型優(yōu)勢， 增強模型的適用性， 學者進一步嘗試將具有不同優(yōu)點的神經(jīng)網(wǎng)絡模型進行混合和改進。如今基于混合模型的文本情感分類方法取得了顯著進展， 并且在不斷發(fā)展和完善。很多學者綜合利用循環(huán)結構與卷積結構的優(yōu)勢， 提出了情感分類混合模型以提高模型分類性能。Ｂｅｈｅｒａ Ｒ Ｋ 等［１９］ 提出了一種深度學習架構混合模型Ｃｏ－ＬＳＴＭ， 實證表明與傳統(tǒng)的ＣＮＮ 和ＲＮＮ 模型相比， Ｃｏ－ＬＳＴＭ 具有更優(yōu)秀的性能。羅帆等［２０］ 提出一種多層網(wǎng)絡模型Ｈ－ＲＮＮ－ＣＮＮ， 在引入句子層的同時使用雙層的ＲＮＮ 對文本建模， 并借助ＣＮＮ協(xié)助判斷跨語句的信息， 實現(xiàn)了對長文本的情感分類。杜永萍等［２１］提出一種情感分類模型ＣＮＮ－ＬＳＴＭ，結果表明該方法在文本情感分類任務中能有效挖掘短文本包含的語義信息并有良好表現(xiàn)。此外， 考慮到混合模型往往伴隨較高的計算復雜度， 部分學者還對如何有效縮短訓練時間進行了探索。於方卓［２２］設計了一種ＣＮＮ－ＧＲＵ 混合模型， 以特征融合的方法提高模型對文本情感的捕獲能力， 有效縮短了訓練時間并且對短文本情感分類有不錯的表現(xiàn)。

根據(jù)上述分析可知， 國內(nèi)外學者已基于深度學習方法， 圍繞文本挖掘與情感分類問題進行了一定研究并取得了系列成果。尤其將不同的情感分類方法相融合的混合模型， 通過模型間的優(yōu)勢互補， 在一定程度上提高了情感分類的準確性和可靠性。然而， 當前的混合模型情感分類方法仍然存在一定局限性。一方面， 現(xiàn)有混合模型通常將某一層訓練結果作為下一層的輸入， 使得層間的依賴性較強， 一旦某一層訓練效果不佳， 將對最終分類結果產(chǎn)生重要影響； 另一方面， 現(xiàn)有混合模型較少區(qū)分各模型輸出特征的重要性， 且難以同時兼顧文本整體信息和局部信息， 易造成文本語義信息缺失， 尤其在處理一詞多義、反話正說等問題時效果不佳， 致使情感分類準確度不高。近年來， 引起學者廣泛關注的集成學習算法通過將多個基學習器結合在一起， 形成一個泛化性能更強的學習器可顯著提高分類效果。其中， Ｓｔａｃｋｉｎｇ 集成學習算法采用并行式計算， 可有效改善層間依賴性強的問題［２３－２４］ 。同時， 為提高模型泛化性和魯棒性， 很多學者還通過在大量無標注數(shù)據(jù)集上進行預訓練來獲取語言的通用知識和特征［２５－２８］ ， 比較有代表性的有Ｄｅｖｌｉｎ Ｊ 等［２９］ 提出的一種采用Ｔｒａｎｓｆｏｒｍｅｒ［３０］ 語言結構的Ｂｅｒｔ 模型。該模型引入了遮蔽語言模型任務（ＭＬＭ）， 通過充分提取上下文語義信息， 在很多領域取得了較好的應用效果， 為研究情感分類問題提供了借鑒。ＪｉａｎｇＸ Ｃ 等［３１］ 據(jù)此提出一種ＢＥＲＴ－ＢｉＬＳＴＭ－ＴｅｘｔＣＮＮ情感分類混合模型， 以充分利用上下文特征和詞向量內(nèi)容靈活提取文本重要情感信息， 實現(xiàn)情感精準分類。此外， 研究人員還發(fā)現(xiàn)， 將注意力機制引入深度學習方法， 可以全面考慮文本信息， 更好地挖掘上下文相關語義信息， 并賦予關鍵詞匯更高權重，避免重要信息遺漏［３２］ ， 使文本情感分類的精確性得到顯著提升。例如， Ｓｕｎ Ｆ Ｄ 等［３３］ 提出一種ＣＮＮＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 模型， 利用注意力機制增強模型對有用信息的提取和對無用信息的抑制能力， 提高分類的準確性。Ｌｕ Ｇ Ｙ 等［３４］ 進一步設計了一種ＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 漸進式模型， 利用注意力機制為每個標簽選擇最相關的特征， 進而提高模型的分類性能。同時， 為了降低參數(shù)依賴性以更好地學習文本特征， 谷歌還提出一種自注意力機制［３０］ 。然而需要注意的是， 隨著文本長度的增加， 自注意力機制的復雜度呈二次方增長， 這使得現(xiàn)有模型在識別長輸入時不具有很好的收縮性。近年來， 圖像處理領域學者Ｒａｏ Ｙ 等［３５］ 發(fā)現(xiàn)， 使用離散傅里葉變換可將輸入的空間特征轉換到頻域， 進而減少計算復雜度， 提高分類精度。Ｌｅｅ－Ｔｈｏｒｐ Ｊ 等［３６］ 也發(fā)現(xiàn)， 利用離散傅里葉變換替代自注意力機制可以在解決復雜度問題的同時達到較好的精度， 這為解決自注意力機制難以擴展的情感分類問題提供了思路。

綜上所述， 本文基于Ｓｔａｃｋｉｎｇ 算法提出一種融入頻域增強自注意力機制的Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭＦＡｔｔｅｎｔｉｏｎ（ＢＴＢＦＡ）混合神經(jīng)網(wǎng)絡情感分類模型。通過構建由Ｂｅｒｔ、ＴｅｘｔＣＮＮ、ＢｉＬＳＴＭ 組成的基學習器層與融入頻域增強自注意力機制的元學習器層， 并與詞嵌入層和全連接層相融合， 系統(tǒng)挖掘文本深層語義信息以及局部、全局特征， 進而通過權重分配以及離散傅里葉變換提升情感分類效果。

２基于Ｓｔａｃｋｉｎｇ 算法的ＢＴＢＦＡ 情感分類模型

２.１ＢＴＢＦＡ情感分類模型框架

為解決傳統(tǒng)混合模型中各層之間的強依賴性、輸出特征重要性差異體現(xiàn)不足以及特征提取能力不足等導致的情感分類效果不佳問題， 構建包含詞嵌入層、基學習器層、元學習器層、全連接層的ＢＴ?ＢＦＡ 混合神經(jīng)網(wǎng)絡情感分類模型。模型充分利用Ｂｅｒｔ 模型動態(tài)生成詞向量與深層語義特征提取兩大優(yōu)勢， 基于Ｓｔａｃｋｉｎｇ 算法集成思想， 在基學習器層利用Ｂｅｒｔ、ＴｅｘｔＣＮＮ、ＢｉＬＳＴＭ 模型對文本進行并行式特征提取， 以緩解層間強依賴性并生成兼顧全局與局部語義信息的深層混合特征， 同時在元學習器層引入頻域增強自注意力機制， 以提升情感相關特征關注度。通過四者組合， 更好地發(fā)揮各模型優(yōu)勢，進而提升實際應用中的情感分類效果。

如圖１所示。首先， 在詞嵌入層通過Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 將原始數(shù)據(jù)轉化為文本向量； 其次， 將文本向量輸入至Ｂｅｒｔ、ＴｅｘｔＣＮＮ、ＢｉＬＳＴＭ 組成的基學習器層中， 其中Ｂｅｒｔ 模型用來捕捉更深層次的語義信息， ＴｅｘｔＣＮＮ 模型用于提取文本信息的局部特征， ＢｉＬＳＴＭ 模型用于提取文本信息的全局特征； 第三， 將三者的輸出向量拼接后傳遞到元學習器層，通過自注意力機制對各模型的輸出向量進行權重分配， 同時利用離散傅里葉變換達到頻域特征增強的目的， 進而通過一層ＣＮＮ 將兩向量融合， 同時要考慮到Ｂｅｒｔ 強大的特征提取能力， 將Ｂｅｒｔ 的輸出與ＣＮＮ 的輸出作殘差鏈接， 充分融合不同層次的特征， 得到最終輸出向量； 最后， 將融合后的向量輸入到全連接層， 通過Ｓｏｆｔｍａｘ 激活函數(shù)得到情感分類結果。

２.２詞嵌入層

文本情感分類的首要任務是對文本進行表征，即將文本轉化成計算機能夠識別處理的數(shù)據(jù)信息，文本向量化表示是自然語言處理領域的重要工作，也是情感分類任務中的重要步驟。如何選擇合適的向量表示方法， 且盡可能全面包含原文本信息， 將對后續(xù)模型表現(xiàn)具有直接影響。

預訓練Ｂｅｒｔ 模型具有較強的動態(tài)生成詞向量優(yōu)勢， 其變體Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 通常作為一種中文文本向量化表示方法應用在中文文本分類任務中。作為工作在大規(guī)模語料中的訓練語言模型， Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 通過挖掘詞語蘊含的深層語義和句法信息，可得到具有豐富語義信息的詞向量表示。此外， 研究發(fā)現(xiàn)， 將預訓練后的詞向量用于深度學習模型有利于加快模型的收斂速度， 因而本文基于Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 進行文本詞向量表示。

Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 通常以一個字作為一個詞，開頭是特殊符號［ＣＬＳ］， 兩個句子中間用［ＳＥＰ］分隔， 句子末尾也是［ＳＥＰ］， 最后用［ＰＡＤ］將句子填充到最大長度。例如， 當設置的最大長度為２０ 時，對某酒店評論“推開窗戶就能看到大海的感覺太棒了” 用Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 進行分詞， 輸出為“［ＣＬＳ］推開窗戶就能看到大海的感覺太棒了［ＳＥＰ］［ＰＡＤ］［ＰＡＤ］”， 經(jīng)過編碼得到結果［１０１， ２ ９７２， ２ ４５８，４ ９７０， ２ ７８７， ２ ２１８， ５ ５４３， ４ ６９２， １ １６８， １ ９２０，３ ８６２， ４ ６３８， ２ ６９７， ６ ２３０， １ ９２２， ３ ４７２， ７４９，１０２， ０， ０］， 這里１０１ 和１０２ 是起止符， 中間的每個數(shù)字對應“推開窗戶就能看到大海的感覺太棒了” 的每個字。

２.３基學習器層

該層采取并行式特征提取方法， 利用Ｂｅｒｔ 提取深層特征信息， 利用ＴｅｘｔＣＮＮ 提取局部特征信息，利用ＢｉＬＳＴＭ 提取全局特征信息， 進而將三者提取的特征進行融合， 生成兼顧全局與局部語義信息的深層混合特征， 并傳遞到元學習器層進行下一步處理， 以削弱深度學習混合模型層間的強依賴關系。

２.３.１深層特征信息提取

Ｂｅｒｔ 模型的雙向性、多層自注意力等特點使其具有強大的特征提取能力。因此， 本文利用Ｂｅｒｔ 模型提取文本更深層次的語義特征， 以更好地解決因一詞多義、神經(jīng)網(wǎng)絡模型特征提取能力不足等導致的情感分類效果不理想問題。Ｂｅｒｔ 模型結構如圖２所示。首先， 在輸入部分分別提取各單詞的ＴｏｋｅｎＥｍｂｅｄｄｉｎｇ、Ｐｏｓｉｔｉｏｎａｌ Ｅｍｂｅｄｄｉｎｇ、Ｓｅｇｍｅｎｔ Ｅｍｂｅｄ?ｄｉｎｇ 等屬性特征； 其次， 將處理得到的結果輸入Ｂｅｒｔ 層， 該部分由Ｎ 個Ｅｎｃｏｄｅｒ 結構堆疊組成， 每個Ｅｎｃｏｄｅｒ 結構包含多頭注意力機制（Ｍｕｌｔｉ－ＨｅａｄＡｔｔｅｎｔｉｏｎ）和前向傳播神經(jīng)網(wǎng)絡（Ｆｅｅｄ Ｆｏｒｗａｒｄ）兩部分； 最后， 通過ＭＬＭ 任務和ＮＳＰ 任務對整個模型中的參數(shù)進行迭代更新， 并將最終得到的輸出向量應用于下游任務。

２.３.２局部特征信息提取

ＴｅｘｔＣＮＮ 模型主要由輸入層、卷積層、池化層、全連接層４ 層結構組成， 其中卷積結構可以很好地提取底層文本的局部特征信息。具體結構如圖３ 所示， 以某酒店評論“這家店挺好的” 為例， 首先令輸入層詞向量的維度是５， 將評論文本經(jīng)Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 向量化表示后導入輸入層， 得到６×５ 詞向量矩陣； 其次， 將該詞向量矩陣傳入卷積層， 為充分提取局部特征， 設置卷積窗口分別為２、３、４ 的３ 種不同卷積核， 進而對詞向量矩陣與卷積核進行卷積運算， 并利用激活函數(shù)得到特征圖； 第三， 利用池化層進行最大池化， 取得所有特征圖的最大值， 并通過級聯(lián)運算， 得出最后的輸出向量； 最后， 輸出向量通過Ｌｉｎｅａｒ 層后傳遞到下一層進行下一步處理。

２.３.３全局特征信息提取

在線評論文本具有顯著的序列性特征， 文本的上下文語義特征至關重要， 因此在挖掘局部特征信息的同時需要對句子全局特征信息進行提取。ＢｉＬ?ＳＴＭ 模型與ＲＮＮ 模型相比， 可以更好地捕捉相距較遠的單詞之間依賴關系， 且有助于解決長期依賴關系問題中的梯度消失和梯度爆炸問題， 同時與ＬＳＴＭ 相比還具有捕捉雙向關系的優(yōu)勢。為此， 本文使用ＢｉＬＳＴＭ 提取上下文全局信息。ＢｉＬＳＴＭ 模型結構如圖４所示。

２.４元學習器層

在情感分類中， 由于文本中的詞匯具有不同的重要性， 其所對應的特征權重也各有所異， 因而引入注意力機制以更好地學習詞匯間的依存關系， 提高對重要詞匯的重視程度。自注意力機制作為注意力機制的一種改進， 降低了對外部信息的依賴程度，能夠更有效地捕捉數(shù)據(jù)特征之間的內(nèi)部相關性。因此， 為提升情感分類的準確性和可靠性， ＢＴＢＦＡ模型在元學習器層中， 首先， 引入自注意力機制以提高與文本情感極性相關特征的關注度； 其次， 為進一步優(yōu)化該層對文本向量的學習能力， 借鑒信號處理中的頻域分析方法， 應用離散傅里葉變換達到頻域增強的目的； 最后， 通過一層ＣＮＮ 將二者輸出向量進行融合， 形成頻域增強的自注意力機制。具體流程如下：

１） 利用自注意力機制進行權重調(diào)整， 計算公式如式（４）所示：

３） 通過一層卷積將兩者輸出進行融合， 并將得到的輸出向量輸入到拉直層， 把多維的輸入一維化， 此處卷積核大小設置為３。

４） 通過拉直層后的輸出與Ｂｅｒｔ 部分的輸出作殘差鏈接， 充分利用模型生成的從Ｂｅｒｔ 底層到ＣＮＮ高層的特征信息， 達到底層高層特征融合的效果，在一定程度上防止梯度消失或爆炸。同時， 為減少過擬合風險， 提高模型的泛化能力， 設置０２的隨機丟棄值， 將結果輸入到全連接層實現(xiàn)最后的文本情感分類。

２.５全連接層

全連接層， 又被稱為線性層或密集層， 得名于其每個節(jié)點都與上一層的所有節(jié)點相連接， 形成完全連接的網(wǎng)絡結構。全連接層的主要功能是將輸入數(shù)據(jù)映射到輸出空間， 通常用于執(zhí)行分類和回歸任務。

其中， ｋ 表示類別數(shù)目， 在本研究中ｋ ＝２。

３實驗與結果分析

３.１實驗數(shù)據(jù)采集

為驗證ＢＴＢＦＡ 模型的情感分類效果， 以中國科學院譚松波教授整理的酒店評論數(shù)據(jù)集［３７］ 為基礎進行擴充， 擴充數(shù)據(jù)選擇八爪魚采集器爬取的攜程酒店評論。經(jīng)過多個預處理步驟后， 共選取２２ ５００條酒店評論作為實驗數(shù)據(jù)集， 預處理步驟包括對實驗數(shù)據(jù)進行積極和消極的情感標注、轉移無效字符、刪除表情字符以及詞語規(guī)范化等， 然后通過Ｌａｂｅ?ｌＥｎｃｏｄｅｒ 和Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 分別對標簽和文本進行向量化表示， 再將不同標簽的酒店評論數(shù)據(jù)集按照８ ∶２ 的比率， 分成訓練集和測試集， 通過數(shù)據(jù)加載器定義批大小， 以便進行后續(xù)的模型訓練和評估。數(shù)據(jù)集示例如表１ 所示。

３.２實驗設計

３.２.１評價指標選取

實驗選取準確率（Ａｃｃｕｒａｃｙ）、召回率（Ｒｅｃａｌｌ）、Ｆ１ 值（Ｆ１－ｍｅａｓｕｒｅ）作為評估分類結果的指標。準確率是指樣本被成功預測的數(shù)量占所有樣本數(shù)的比率。召回率是指預測正確的正樣本數(shù)占數(shù)據(jù)集中實際為正樣本數(shù)的比率。Ｆ１ 值是精確率和召回率的調(diào)和平均值， 能夠全面反映分類器的性能， 是評估分類效果的重要指標。實驗中分別以積極類別作為正樣本， 消極類別作為負樣本， 來評估模型對情感分類的準確性。ＴＰ 指正確預測實例為正樣本的數(shù)量， ＴＮ 指正確預測實例為負樣本的數(shù)量， ＦＰ 指錯誤預測實例為負樣本的數(shù)量， ＦＮ 指錯誤預測實例為正樣本的數(shù)量。相關計算如式（７） ～（９） 所示：Ａｃｃｕｒａｃｙ ＝ ＴＰ＋ＴＮＴＰ＋ＦＰ＋ＴＮ＋ＦＮ （７）

３.２.２參數(shù)設置

由于ＢＴＢＦＡ 模型訓練參數(shù)較多， 需使用ＧＰＵ設備進行計算， 本文實驗采用ＰｙＴｏｒｃｈ 深度學習框架， 在谷歌提供的云平臺Ｇｏｏｇｌｅ Ｃｏｌａｂ 上進行模型訓練。ＢＴＢＦＡ 模型具體訓練參數(shù)如表２ 所示。

３.３實驗結果與分析

３.３.１對比實驗分析

為驗證ＢＴＢＦＡ 模型對情感分類的有效性， 設計對比實驗， 選取如下對比模型：

１） 隨機森林［３８］ ： 隨機森林是一種監(jiān)督學習算法， 用于回歸和分類問題。它是一種高度靈活的機器學習算法， 利用Ｂａｇｇｉｎｇ 集成思想將彼此不同的多棵樹進行集成， 構造多個決策樹， 并將它們合并以獲得絕對穩(wěn)定的值。

２） 邏輯回歸［３９］ ： 邏輯回歸是一種廣義線性模型， 主要用于二分類問題。它使用線性回歸方程來進行離散的二進制輸出， 但與線性回歸不同， 其選取Ｓｉｇｍｏｉｄ 函數(shù)作為代價函數(shù)， 以此來實現(xiàn)非線性映射。該算法的假設傾向于將邏輯函數(shù)限制在０～１之間。

３） ＸＧＢｏｏｓｔ［４０－４１］ ： ＸＧＢｏｏｓｔ 是一種基于決策樹的Ｂｏｏｓｔｉｎｇ 集成機器學習算法， 廣泛應用于數(shù)據(jù)挖掘領域， 以優(yōu)化時間和內(nèi)存資源消耗以及處理不平衡數(shù)據(jù)的能力而著稱。它使用幾個弱分類器來獲取預測值， 然后求和以獲得最終結果。

４） ＴｅｘｔＣＮＮ［１３］ ： ＴｅｘｔＣＮＮ 是一種常用的文本分類模型。與傳統(tǒng)ＣＮＮ 模型相比， 其結構更加簡明， 只包括一層卷積層和一層最大池化層。該模型通過多個不同大小的過濾器獲取不同長度文本矩陣的重要信息， 之后通過最大池化處理不同長度的文本向量， 進而實現(xiàn)對文本情感的分類。

５） ＢｉＬＳＴＭ［４２］ ： ＢｉＬＳＴＭ 是ＲＮＮ 的一種延伸，常用在文本分類、機器翻譯等序列建模任務中。該模型由前向ＬＳＴＭ 和后向ＬＳＴＭ 組合形成， 能夠有效捕捉某一時刻的前后文信息， 可以通過前向和后向的隱狀態(tài)拼接來獲取完整的信息。

６） Ｔｒａｎｓｆｏｒｍｅｒ［３０］ ： Ｔｒａｎｓｆｏｒｍｅｒ 是一種采用自注意力機制的深度學習模型， 主要用于自然語言處理與計算機視覺領域， 采取并行訓練以提高訓練速度。該模型由Ｅｎｃｏｄｅｒ 和Ｄｅｃｏｄｅｒ 兩部分組成， 每個Ｅｎｃｏｄｅｒ 由一個自注意力機制和一個前饋神經(jīng)網(wǎng)絡兩個主要部分組成， 每個Ｄｅｃｏｄｅｒ 由一個自注意力機制、一個針對編碼器的注意力機制和一個前饋神經(jīng)網(wǎng)絡共３ 個主要部分組成。

上述模型的對比實驗結果如表３ 所示。觀察表３可以發(fā)現(xiàn)， 與其他模型相比， ＢＴＢＦＡ 模型在情感分類方面表現(xiàn)更為出色， 準確率、召回率和Ｆ１ 值分別達到了９１.７％、９５.３％和９３. ９％， 均為諸模型最高值。具體來說， 首先相比于隨機森林、邏輯回歸、ＸＧＢｏｏｓｔ 各機器學習模型， ＢＴＢＦＡ 模型在測試集上的準確率分別提升了２５.１％、２４.５％、１４.３％，召回率分別提升了１６.１％、１.４％、６.４％， Ｆ１ 值分別提升了１７.９％、１４ ６％、９.９％； 其次， 同ＴｅｘｔＣ?ＮＮ、ＢｉＬＳＴＭ 經(jīng)典深度學習模型相比， ＢＴＢＦＡ 模型在測試集上的準確率分別提升了４.５％、２.８％， 召回率分別提升了５.７％、２.７％， Ｆ１ 值分別提升了１.３％、１.３％； 最后， 同近幾年流行的Ｔｒａｎｓｆｏｒｍｅｒ模型相比， ＢＴＢＦＡ 模型在測試集上的準確率、召回率、Ｆ１ 值分別提升了１.８％、４.７％、１.３％。由此可見， ＢＴＢＦＡ 模型情感分類效果顯著優(yōu)于機器學習方法， 且同單一神經(jīng)網(wǎng)絡模型相比準確率、召回率與Ｆ１ 值也有所提升。

進一步地， 由于深度學習算法可通過Ｅｐｏｃｈ 訓練更新模型參數(shù)來更好地擬合訓練數(shù)據(jù)， 因而對Ｅｐｏｃｈ 訓練后的各模型準確率進行對比分析。由于隨機森林、邏輯回歸、ＸＧｂｏｏｓｔ 模型不采用梯度下降算法更新參數(shù)， 因此沒有Ｅｐｏｃｈ 訓練結果。Ｔｅｘ?ｔＣＮＮ、ＢｉＬＳＴＭ、Ｔｒａｎｓｆｏｒｍｅｒ 與ＢＴＢＦＡ 模型三輪Ｅｐｏｃｈ 訓練得到的準確率如圖５ 所示。從圖５ 可以看出， 除ＴｅｘｔＣＮＮ 模型外， 隨著Ｅｐｏｃｈ 訓練輪數(shù)增加， 各模型情感分類準確性均有所提升。特別地，觀察圖５ 還可發(fā)現(xiàn)， 在第一輪Ｅｐｏｃｈ 訓練后， ＢＴＢ?ＦＡ 模型準確率達到最高， 這表明ＢＴＢＦＡ 模型可以較好地挖掘句子上下文語義特征并迅速調(diào)整參數(shù)，以達到較好的收斂性， 進而提高情感分類任務的效率和準確性。同時， 同其他模型相比， ＢＴＢＦＡ 模型Ｅｐｏｃｈ 各輪訓練后準確率提升幅度更大。此外， ＢＴ?ＢＦＡ 模型在三輪Ｅｐｏｃｈ 后調(diào)整到相對穩(wěn)定的值， 表明其具有較好的收斂效果與分類能力。

對比實驗結果表明， 本文提出的融入頻域增強自注意力機制的ＢＴＢＦＡ 混合神經(jīng)網(wǎng)絡情感分類模型具有良好的優(yōu)越性。原因在于， 第一， ＢＴＢＦＡ模型融合句子的深層、局部以及全局特征， 三者并行進行特征提取， 消除了對外界的依賴性， 解決了語義特征提取不充分的問題。第二， 結合頻域增強自注意力機制能夠解決基學習器層Ｂｅｒｔ、ＴｅｘｔＣＮＮ、ＢｉＬＳＴＭ 三者輸出沒有區(qū)分度的問題， 同時引入離散傅里葉變換使向量通過線性變換后更易識別和處理， 進而提高模型對情感信息的捕捉能力和分類準確性。第三， Ｂｅｒｔ 具有強大的特征提取能力， 在元學習器層將其輸出與ＣＮＮ 輸出作殘差鏈接達到底層高層特征融合的效果， 在一定程度上可以避免梯度消失或爆炸的問題， 進而避免情感分類模型性能因此下降的情況。

３.３.２消融實驗分析

本文設置５ 個消融實驗， 分別對深層特征的提取、局部特征的提取、全局特征的提取、頻域特征的提取以及頻域增強自注意力機制進行消融， 探索這５ 個因素對ＢＴＢＦＡ 模型情感分類效果的影響， 具體如下：

１） ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－ＦＡｔｔｅｎｔｉｏｎ： 為驗證深層特征提取對提出模型性能的影響設計本組消融實驗。該驗證模型與ＢＴＢＦＡ 模型的區(qū)別在于未使用Ｂｅｒｔ模型。

２） Ｂｅｒｔ－ＢｉＬＳＴＭ－ＦＡｔｔｅｎｔｉｏｎ： 為驗證局部特征提取對提出模型性能的影響設計本組消融實驗。該驗證模型與ＢＴＢＦＡ 模型的區(qū)別在于未使用ＴｅｘｔＣ?ＮＮ 模型。

３） Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＦＡｔｔｅｎｔｉｏｎ： 為驗證全局特征提取對提出模型性能的影響設計本組消融實驗。該驗證模型與ＢＴＢＦＡ 模型的區(qū)別在于未使用ＢｉＬ?ＳＴＭ 模型。

４） Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ： 為驗證頻域特征提取對提出模型性能的影響設計本組消融實驗。該驗證模型與ＢＴＢＦＡ 模型的區(qū)別在于未使用離散傅里葉變換。

５） Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ： 為驗證頻域增強自注意力機制對提出模型性能的影響設計本組消融實驗。該驗證模型與ＢＴＢＦＡ 模型的區(qū)別在于未使用自注意力機制與離散傅里葉變換。

消融實驗結果如表４ 所示。觀察表４ 可以發(fā)現(xiàn)，與其他驗證模型相比， ＢＴＢＦＡ 模型在情感分類方面表現(xiàn)更為出色， 其準確率和Ｆ１ 值為諸模型最高值， 其召回率也達到了９５.３％的精度。具體來說，首先相比于未提取深層特征、未提取局部特征、未提取全局特征的３ 個模型， ＢＴＢＦＡ 模型在測試集上的準確率與Ｆ１ 值有大幅度提升； 其次， 同未提取頻域特征的模型相比， ＢＴＢＦＡ 模型在測試集上的準確率、Ｆ１ 值分別提升了１.２％、０.９％； 最后，同未融入頻域增強自注意力機制的Ｂｅｒｔ－ＴｅｘｔＣＮＮＢｉＬＳＴＭ混合神經(jīng)網(wǎng)絡模型相比， ＢＴＢＦＡ 模型在測試集上的準確率與Ｆ１ 值也有大幅度提升。雖然ＢＴ?ＢＦＡ 模型的召回率非諸模型最佳， 但Ｆ１ 值作為精確率與召回率的調(diào)和平均值達到了最佳， 說明ＢＴＢ?ＦＡ 模型提供了精確率與召回率的平衡。同時， 由Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ 和Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－Ａｔ?ｔｅｎｔｉｏｎ兩個模型對比結果可以看出， 融入自注意力機制的模型能夠對重要輸出特征給予更多關注， 因而同簡單混合神經(jīng)網(wǎng)絡模型相比情感分類效果更佳。

進一步地， 驗證模型與ＢＴＢＦＡ 模型三輪Ｅｐ?ｏｃｈ 訓練得到的準確率如圖６ 所示。從圖６ 中可以看出， 隨著Ｅｐｏｃｈ 訓練輪數(shù)增加， ＢＴＢＦＡ 模型的準確率不斷提升， 在三輪Ｅｐｏｃｈ 后調(diào)整到相對穩(wěn)定的值。特別地， 觀察圖６ 還可發(fā)現(xiàn)， 在第一輪Ｅｐ?ｏｃｈ 訓練后， Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 模型訓練準確率最高， ＢＴＢＦＡ 模型準確率次之， 但后兩輪Ｅｐｏｃｈ 訓練后， ＢＴＢＦＡ 模型準確率達到最高，且同Ｂｅｒｔ－ＴｅｘｔＣＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 模型相比，ＢＴＢＦＡ 模型Ｅｐｏｃｈ 各輪訓練后準確率提升幅度更大， 達到了理想的預測精度。這表明Ｂｅｒｔ－ＴｅｘｔＣ?ＮＮ－ＢｉＬＳＴＭ－Ａｔｔｅｎｔｉｏｎ 模型雖然具有較好的收斂性， 但由于未提取頻域特征導致最后的預測精度不如ＢＴＢＦＡ模型。此外， ＢＴＢＦＡ 模型在三輪Ｅｐｏｃｈ后調(diào)整到相對穩(wěn)定的值， 表明其具有較好的收斂效果。消融實驗結果表明， 深層特征的提取、局部特征的提取、全局特征的提取、頻域特征的提取以及頻域增強自注意力機制均對ＢＴＢＦＡ 混合神經(jīng)網(wǎng)絡情感分類模型具有正向作用， 同時也表明ＢＴＢＦＡ模型具有良好的優(yōu)越性。

３.３.３泛化能力分析

泛化能力作為衡量模型分類性能的另一個重要指標， 反映了模型對新樣本的適應能力， 在深度學習中通常通過損失值來評價模型的泛化能力。因此，為了深入分析模型泛化能力， 對ＢＴＢＦＡ模型在訓練集和測試集上的準確率與損失值進行對比， 結果如圖７所示。其中損失值計算公式如式（１０） 所示，以評估模型預測結果與真實值的差異情況。

從圖７（ａ）準確率曲線可以看出， 隨著訓練輪數(shù)的增加，ＢＴＢＦＡ 模型在訓練集和測試集上的準確率均逐步提升， 表明在一定范圍內(nèi)增加Ｅｐｏｃｈ 訓練數(shù)量， 有助于ＢＴＢＦＡ 模型根據(jù)前一輪結果更新調(diào)整各輸出特征權重， 進而不斷提高分類準確率。同時， 圖７（ａ）中各輪Ｅｐｏｃｈ 訓練后， 訓練集與測試集上的準確率差值均小于５％， 屬于合理范圍， 表明ＢＴＢＦＡ 模型具有較強的泛化能力。進一步觀察圖７（ｂ）所示損失值曲線， 可以看出隨著訓練輪數(shù)的增加， ＢＴＢＦＡ 模型在訓練集和測試集上的損失值均逐步下降， 一方面表明ＢＴＢＦＡ 模型在訓練集和測試集上的預測值與真實值的差異越來越小， 模型正不斷有效地學習到越來越多的數(shù)據(jù)規(guī)律； 另一方面表明模型在訓練過程中逐漸收斂到一個較好的狀態(tài)， 在學習過程中逐漸找到了更佳模型參數(shù)， 以最小化損失函數(shù)， 從而更準確地預測目標變量。同時， 訓練集和測試集上的損失值差異始終小于０.１５，這些現(xiàn)象均表明模型具有較強的泛化能力。

４結論與展望

智能時代網(wǎng)絡空間海量文本信息蘊含了用戶豐富的情感傾向， 基于深度學習神經(jīng)網(wǎng)絡算法實現(xiàn)用戶情感精準分類， 進而快速感知并響應用戶需求具有重要意義。針對現(xiàn)有混合神經(jīng)網(wǎng)絡模型層間依賴性強、輸出特征重要性差異體現(xiàn)不足等導致的情感分類效果不佳問題， 利用Ｂｅｒｔ 模型動態(tài)生成詞向量與深層語義特征提取的優(yōu)勢， 借助自注意力機制有效捕捉數(shù)據(jù)特征內(nèi)部相關性的優(yōu)越性， 基于Ｓｔａｃ?ｋｉｎｇ 集成算法， 構建融入頻域增強自注意力機制的ＢＴＢＦＡ 混合神經(jīng)網(wǎng)絡情感分類模型， 以提升情感分類結果的準確性和可靠性。一方面， 構建由Ｂｅｒｔ、ＴｅｘｔＣＮＮ、ＢｉＬＳＴＭ 組成的并行式特征提取基學習器層， 對經(jīng)過詞嵌入層Ｂｅｒｔ－Ｂａｓｅ－Ｃｈｉｎｅｓｅ 表示后的文本向量進行深層語義信息提取以及局部與全局特征挖掘， 以緩解層間強依賴性， 并彌補傳統(tǒng)模型特征提取不足難題； 另一方面， 構建融入頻域增強自注意力機制的元學習器層， 通過深入挖掘上下文語義信息并進行權重分配以及離散傅里葉變換， 增強模型對有用信息的提取和對無用信息的抑制能力，使信息更易識別和處理， 進而提升文本情感分類的精確性。此外， 為了充分融合不同層次的特征， 在元學習器層， 將ＣＮＮ 的輸出與Ｂｅｒｔ 的輸出作殘差鏈接， 從而達到Ｂｅｒｔ 底層與ＣＮＮ 高層特征融合的效果， 進而在一定程度上避免因梯度消失或爆炸導致的情感分類模型性能下降的問題。酒店評論數(shù)據(jù)集的實證結果表明， 同機器學習、單一神經(jīng)網(wǎng)絡與簡單混合神經(jīng)網(wǎng)絡模型相比， ＢＴＢＦＡ 模型在情感分類任務中的準確率、召回率和Ｆ１ 值均顯著提升。同時， 消融實驗結果表明， 深層特征提取、局部特征提取、全局特征提取、頻域特征提取以及頻域增強自注意力機制均對ＢＴＢＦＡ 混合神經(jīng)網(wǎng)絡情感分類模型具有正向作用。此外， 隨Ｅｐｏｃｈ 訓練輪數(shù)增加， ＢＴＢＦＡ 模型情感分類準確性不斷提升， 損失值不斷降低， 呈現(xiàn)出較強的泛化能力。研究結果為精準識別用戶情感和深入挖掘海量文本信息潛在價值提供了重要支撐， 未來將進一步擴展實驗數(shù)據(jù)集驗證模型的泛化能力。