基于BiLSTM-CNN-MultiHeadAttention-Dropout 的物流評論情感分析

靳 寧，蔣洪偉

0 引 言

隨著互聯網的迅猛發展，電商行業也隨之快速成長，網上購物的用戶量逐漸增多，這使得物流行業蓬勃發展起來。而與此同時，物流也在深深地影響著人們的生活。據統計，在淘寶、京東、拼多多以及唯品會等電商平臺進行購物的用戶數達9.82億。在這種如此大的購物規模上，很多用戶會在購物平臺上進行評論，包括但不限于個人喜好，使用感想，價格以及物流服務等各個評論信息。用戶網上的評論是目前消費者對購物體驗感、物品滿意度發表意見的重要渠道，這也是商家根據評價進行采長補短的信息來源。同時隨著政府對于網絡平臺的監管，在線評論的真實性、可靠性也一直在提升；更便利的一點在線評論相比較傳統調研市場而言，不受時間、地域、行業的限制，可以最大程度的展現客觀、真實、全面的市場需求。

而隨著電商行業的發展、市場競爭的加劇及經濟上的迅速成長使得顧客在商品的選擇上愈加多元化，因此如何留住顧客是每個商家都要思考的問題。而方法上除了提供更佳優質的商品，還需提供適時、適量的物流服務來進行購物體驗的滿意度提升。更多的企業開始注重物流體驗，但由于網絡上的信息量大且雜，更新迅速，人工難以實時監控并精準處理如此龐大的信息海洋，因此使用技術進行情感分析成為當前的主流方法。

1 國內外研究現狀

文本情感分析可以按分析粒度分為篇章級情感分析、句子級情感分析和方面級情感分析。為了能夠站在某一具體方面判斷評論文本的情感傾向，方面級（Aspect-level） 文本情感分析被提出。作為細粒度情感分析，它能夠站在某一具體方面判斷評論文本的情感傾向，更深入的挖掘用戶情感信息，比如“物品包裝的不錯，但是物流太慢了。”這條評論，從“包裝”的角度來看，該評論的情感傾向是正面的，而從“時效”的角度來看，該評論的情感傾向是負面的。諸如此類的評論文本，如果只給出一條評論的整體情感傾向，對用戶來說不具有參考價值，甚至還有可能會誤導用戶。

在以往研究中，大多采用機器學習的情感分析方法，主要是基于統計機器學習算法對大量有標注或無標注的語料進行特征抽取，最后進行情感分析輸出結果。馬夢曦等[1]將文本通過TF-IDF 方法進行特征獲取后再以支持向量機進行分類。劉楠[2]以基于樸素貝葉斯分類器方法進行微博發文者的情感分析，并進一步分析大眾情感的分布。梁海天[3]以京東生鮮為例，通過SnowNLP 機器學習的方法對用戶評論的情感進行打分，從而對京東自營物流服務過程中出現的問題進行修正、建議，使得京東物流服務質量得到改善。

近年來，深度學習在傳統特征選擇與提取框架上取得巨大突破，通過對隱藏層的訓練，可以自動學習結構關系，在情感分類中具有極大優勢。

Hinton[4]在數據評論文本中使用卷積和池化操作來提取特征；Huang 等[5]將CNN 與門控結構結合；Fan 等[6]將卷積神經網絡與注意力機制相結合，使得該模型可以同時捕獲句子中的單詞和多單詞表達特征；文獻[7-9]，采集用戶評論信息，通過情感分析將用戶在網絡上的評論處理，用數據方法進行呈現。Wang[10]提出基于目標嵌入的基于注意力的LSTM 模型，使模型注意句子中的重要部分，該方法相較于傳統的機器學習方法和單一的卷積神經網絡方法效果更佳。薛雨[11]使用的CNN-Softmax 模型引入了更深層次的卷積結構，該模型比傳統二叉樹的模型在性能上有所提升，具有較強的實用價值。陳旭、潘峰等[12]使用雙向GRU與Attention 并行的方法對接種新冠疫苗人群在微博上的評論進行情感分析，相較傳統方法的模型效率有了一定提高，對于新冠疫苗的接種工作起到了監督作用。李春雨[13]以Yelpzip 數據集中的評論文本為背景，采用Bi-GRU+Attention 的方法充分考慮了上下文對分類的影響，提高了模型效率以及模型識別的精確度。

在情感分析方面，情感特征是比較難以捕獲的。雖然卷積神經網絡能夠獲取局部特征，Attention 機制能夠對局部特征進行信息進一步抽取，但是情感分析是一個全局語義信息的分析，因此需要考慮全局信息在里邊。針對上述問題，本文提出基于BiLSTM-CNN-MultiHeadAttention-Dropout 的網絡結構進行文本情感分析，并爬取某電商平臺的物流評論數據對本文提出的模型進行驗證與評估。

2 基于BiLSTM-CNN-MultiHeadAttention-Dropout 的情感分析模型

2.1 BiLSTM-CNN-MultiHeadAttention-Dropout 模型框架

模型主要由BiLSTM、CNN、MultiHeadAttention、Dropout 機制構成，模型結構如圖1所示。

圖1 模型結構圖

本文通過Word2vec 模型對爬取的物流評論文本數據進行訓練以實現詞語的語義信息與詞語特征的分布式表示，將物流評論數據輸入BiLSTM 模型并進行降維處理，使得數據中的文本句子形成一個詞向量矩陣S=[W1,W2,…,Wi]，其中句子當中的第i個詞語表示為詞向量Wi，句子長度為l；在BiLSTM 層完成上下文語義特征提取后得到上下文隱藏矩陣，并通過MultiHeadAttention 機制對上下文矩陣進行特定優化處理；由于特定方面缺少對句子信息的關注，為了得到包含句子信息的特定方面表示，采用MultiHeadAttention 機制優化給定方面。優化后的特定方面矩陣A如式（1） 所示，其中，A∈Rn×2dh。

將優化后的特定方面和上下文進行連接，通過CNN 網絡來抽取這些局部情感信息，并加入Dropout 機制進行優化處理，防止過度擬合，獲取最終特征表示并用softmax分類器對注意力得分進行數值轉換，計算出分類結果，即將輸出維度轉換為標簽向量的維度，完成分類任務。

2.2 卷積神經網絡

卷積神經網絡（Convolutional Neural Network, CNN），本質是一個多層感知機，最早應用到圖像識別領域對貓視覺皮層細胞進行研究。CNN 包含卷積層、池化層、全連接層，結構如圖2 所示。

圖2 CNN 結構圖

將句子以向量的形式表示在輸入層，對于數據集中的長度是n的句子，其矩陣表達式可表示為：E∈Rn×4dh，其中d為詞向量維度；卷積層進行局部特征提取，使用卷積核進行卷積操作，得到卷積層特征矩陣，如式（2） 所示。

其中：W為權重矩陣，b為偏置量，f為卷積函數。之后經過池化層提取出重要特征，在全連接層進行組合輸出。

2.3 長短期記憶網絡（LSTM）

長短期記憶網絡（Long-Short Term Memory, LSTM） 是為了解決長依賴問題而衍生出的一種特殊的RNN 網絡，其核心在于細胞狀態及“門”結構。“門”結構分遺忘門、輸入門和輸出門，首先，將前一個隱藏狀態和當前輸入：Xt傳遞到sigmoid函數中，然后將新得到的細胞狀態傳遞給tanh 函數，最后將tanh 的輸出與sigmoid 的輸出相乘，以確定隱藏狀態應攜帶的信息。再將隱藏狀態作為當前細胞的輸出，把新的細胞狀態和新的隱藏狀態傳遞到下一個時間步長中去。具體結構如圖3 所示。

圖3 LSTM 結構圖

2.4 MultiHeadAttention 機制

MultiHeadAttention 機制借鑒了人類注意力的說法，在訓練過程中，輸入的權重是不同的，對比Attention 機制，MultiHeadAttention 擴展了模型專注于不同位置的能力。MultiHeadAttention 機制的計算主要涉及到以下三個階段，如圖4 所示。

圖4 MultiHeadAttention 機制結構圖

第一步：V、K、Q是固定的單個值，計算Query 和Key 的相似度，得到對應權重系數。后對權重系數進行加權計算得到注意力得分si，如式（3） 所示。

第二步：使用softmax函數對注意力得分進行數值轉換，進行歸一化處理，得到權重系數，如式（4） 所示。

第三步：根據權重系數對Value 進行加權求和，如式（5） 所示。

2.5 Dropout 機制

Hinton 等在2012 年提出Dropout 機制，來解決神經網絡過擬合的問題，使用Dropout 機制前后情況如圖5 所示，左圖為標準神經網絡結構圖，右圖為使用Dropout 機制修改后的神經網絡結構圖。

圖5 Dropout 使用前后對比圖

Dropput 機制的工作流程大致如下：

第一步：在保持輸入輸出神經元不變的情況下，將隱藏的神經元隨機刪除一半，之后將輸入神經元通過修改后的網絡進行正向傳播；隨后再將得到的損失結果反向傳播回來；

第二步：通過小批量的樣本訓練后，使用隨機梯度下降法對沒有刪除的神經元更新參數（W, ）b。未刪除的神經元已更新，并將已刪除的無變化神經元恢復；

第三步：不斷重復以上兩步驟。

3 實驗與分析

3.1 實驗環境

本文所需要的實驗環境如表1 所示。

表1 實驗環境

3.2 實驗數據

本文選取的數據集是爬蟲采集的某電商平臺的商品評論數據，該數據集中爬取到有效數據樣本量64 816 條，樣本信息如表2 所示。

表2 物流評論數據集樣本信息

利用結巴分詞完成詞性標注后利用TF-IDF 模型進行關鍵詞抽取工作，在對文本完成文本數據的清洗、分詞、詞頻統計等預處理工作后，然后利用Word2vec 模型構建物流關鍵詞庫，提取出的部分物流詞庫詞頻如表3 所示。然后利用深度學習模型對物流評論進行情感識別。對于情感類別標簽數據：負面消極情緒用-1 表示；客觀中立情緒以0 表示；正面積極情緒則記為1。

表3 物流關鍵詞及詞頻樣本信息

負面消極情緒的評論包括對對物流時效性、包裝完整性、配送服務、第三方快遞選擇等物流相關問題提出的意見或抱怨；客觀中立情緒的評論包括對一些事物的客觀評價，或者對其他方面滿意但對物流方面提出了意見等；正面積極情緒的評論包括對物流相關方面提出的贊揚或滿意的態度、描述自己的喜悅，或者對他人的鼓勵和正面的建議等。

3.3 評價指標

本文通過準確率與其他深度學習的模型進行對比，相同條件下，模型訓練后的準確率越高，模型效果越好。

混淆矩陣是判斷分類好壞程度的方法之一。二分類的混淆矩陣如表4 所示。

表4 評測指標（metric）

如表4 所示，可以將結果分為四類：

真正例（True Positive,TP）：真實類別為正例，預測類別為正例；

假反例（False Negative,FN）：真實類別為正例，預測類別為反例；

假正例（False Positive,FP）：真實類別為反例，預測類別為正例；

真反例（True Negative,TN）：真實類別為反例，預測類別為反例；

準確率（Accuracy）：分類正確的樣本數/所有樣本數量，具體如式（6） 所示。

AUC：可理解為ROC 曲線下的面積，AUC越大代表模型的性能越好；其中，m為總樣本個數，具體詳見式（7） 所示。

3.4 模型參數

由于模型參數不同會使得最后運行結果不同，找到合適的模型參數也是實驗中重要的一個環節。在本文模型中，BiLSTM模型其隱藏層維度為128，參數大小為128，CNN 卷積核窗口大小為[3,4,]5 ，Dropout 為0.75，學習率為0.001，L2 正則化參數為0.000 1；模型輸入批次的大小決定了模型的效果，本文采用了參數的大小分別為64,128,256,512 做了對比，由表5 所示，參數的大小為128 的loss 值最低，且訓練時間更短。

表5 輸入批次對比

模型當中CNN 的卷積核大小對模型準確性影響比較大。本文針對此數據集進行了參數調優，對不同的卷積核大小的設定進行比對，對比結果如表6 所示。

表6 各卷積核取值的實驗結果

3.5 實驗結果與分析

為了驗證模型的有效性，本文另擇CNN，BiLSTM，Attention-CNN，Attention-BiLSTM，Attention-BiLSTM-CNN 模型與本文提出的模型進行對比，具體對比結果如表7 所示。

表7 各分類算法的實驗結果

本文實驗中，AUC曲線圖如圖6 所示。

圖6 AUC 結果圖

由表7 中的結果數據可以看出CNN，BiLSTM，Attention-CNN，Attention-BiLSTM，Attention-BiLSTM-CNN 模型準確率分別為85.14%，86.07%，87.50%，89.08%，90.06%。本文模型在準確率上較其他模型提高到了90.62%，充分證明了本文模型的適用性以及有效性。本文模型使用的BiLSTM 可以對長序列文本信息能夠進行長短記憶，利用的CNN 模塊可以捕捉有效特征，并且本文所加的MultiHeadAttention 機制能夠對有用特征進行加強，并通過Dropout 機制對模型進行隱藏單元的過濾使模型能夠避免過擬合，使模型預測更加準確。

4 結束語

本文爬取商品的物流文本評論于BiLSTM-CNN-MultiHeadAttention-Dropout 模型上進行情感分析。主要貢獻如下：

（1） 在研究方法方面，使用深度學習方法進行語料類別分類，融合構建基于MultiHeadAttention 并結合BiLSTM 和CNN 的網絡模型，并為防止過擬合加入Droupout 機制，提高分析的準確率，使得模型更具有泛化性。

（2） 在物流領域對模型性能進行評估，可用于后續物流領域的情感分析研究。爬取了某電商平臺的物流評論數據來驗證本文模型的有效性，通過對比實驗，較其他模型取得了更好效果。

在未來的改進工作中，需要考慮模型的訓練速度問題以及在數據特征分布方面去選擇合適的模型參數進一步訓練優化，從而提高模型的訓練成本。