BiLSTM_DPCNN模型在電力客服工單數據分類中的應用①

李 燦,田秀霞,趙 波

(上海電力大學 計算機科學與技術學院,上海 200090)

電力客服系統作為供電企業與電力客戶交流的窗口,不僅為電力客戶提供了便捷的服務,還直接客觀地反映客戶用電訴求[1,2],其工單數據記錄著電力客戶對供電企業的訴求信息,根據工單信息描述,準確地定位用戶所屬類別,有利于提升客戶滿意度.目前對工單數據的分析方式,主要是由調查人員通過對用戶訴求數據的分析,來判別用戶需求信息所屬的服務類型[3,4].這種方式缺乏有效的分析方法,嚴重影響信息分析和解決問題的效率,直接影響到電力系統的高效運行和發展[5].因此,找到一種高效的工單分類方法來實現對工單數據進行自動、準確的分類,是電力客服系統亟待解決的主要問題[1].

傳統的工單分類,主要是采用特征工程和機器學習方法相結合的方式[6].林溪橋等[7]分析各種類型工單的出現規律,結合主成分分析方法,實現客服工單分類模型的優化.Sun 等[8]利用中文數據挖掘的方法,對停電工單進行分析,并結合支持向量機(Support Vector Machine,SVM)構建了故障案例句子分類模型.上述分類模型雖然有著結構簡單,訓練速度快的優點,但在分類過程中,依賴于特征工程的選擇,模型分類效果表現不突出.

近年來,神經網絡技術被廣泛應用到文本分類任務中[9].謝季川等[10]使用Word2Vec 語言模型訓練電力工單數據,得到電力文本詞向量,最后構建多分類文本模型,實現95 598 電力工單分類任務.劉梓權等[11]通過分析電力設備缺陷記錄,構建了一種基于CNN的電力缺陷文本分類模型.受以上啟發,我們將CNN 網絡用于工單數據的分類中.然而,分類的效果并不理想,這是因為工單數據存在依賴性強、冗余度高的特征,傳統的CNN 網絡在處理這些數據時遇到以下問題:

(1)文本表示:由于數據的高依賴性,在特征文本表示時,要考慮前后詞語間的語義關系;

(2)特征提取:在句子高級建模階段,使用CNN 網絡只能捕獲局部的語義信息,造成隱層語義信息丟失.

為了解決上述問題,本文將BiLSTM 與CNN 混合的神經網絡應用到工單分類的任務中,該模型充分利用了BiLSTM 遞歸序列模型學習句子中的全局語義信息的特點;CNN 結構可以通過卷積運算,挖掘句子局部語義特征的優勢.本文從以下3 個方向入手,并進行創新:

(1)詞向量標準化:對詞向量作標準化處理,去除噪音,加快網絡訓練收斂速度,提高分類精度;

(2)稀疏特征提取:由于數據稀疏性,包含大量的邊際信息,為了提取邊際有效信息,利用BiLSTM 代替RNN;

(3)特征融合:本文在卷積網絡上進行改進,克服了Max-Pooling 丟失特征信息的問題,保留了強特征詞信息,捕獲全局深層的隱層語義信息.

1 相關工作

文本分類是將待分類文本數據合理地劃分到相應的類別中,是有監督學習的過程.工單文本也是文本分類中的經典問題,通過分析文本特征,本文所采用的文本分類算法是基于BiLSTM 神經網絡和CNN 網絡這兩種模型.以下分別對實驗中所涉及的相關技術進行介紹.

1.1 向量模型

2013年,Hinton 提出了Word Embedding 概念,Word Embedding 方法將單詞映射到向量空間,不僅可以避免“維度災害”問題,還能從更深層學習詞與詞之間的語義信息[12].與此同時,Mikolov 等[13,14]提出了Word2Vec 框架,該神經網絡語言在語言訓練時,考慮上下詞語義間的相關性.基于Word2Vec 模型解決了傳統的文本表示中數據稀疏和語義鴻溝的問題[15,16].本文實驗部分,采用上述神經網絡語言模型得到文本的向量表示.

1.2 BiLSTM 神經網絡

循環神經網絡LSTM 網絡是RNN 網絡的擴展,它解決了傳統RNN 網絡中梯度消失或爆炸問題[17].使用LSTM 網絡可以學習到當前文本過去的信息,但無法編碼從后到前的信息,因此出現了BiLSTM 神經網絡可以更好的捕捉雙向的語義依賴[18,19].網絡的結構通常包括3 部分:輸入層、隱藏層和輸出層.BiLSTM 單元示意圖,如圖1所示.

上述計算公式為經過LSTM 三個門信息保留計算表達式,其中,Wj是權重矩陣,bj是偏差向量,j∈{i,f,q,o}·?表示逐點相乘,σ是激活函數.ft決定哪些信息需要從單元狀態中丟棄,it決定哪些值需要更新,ot決定模型的最終輸出.

圖1 BiLSTM 單元示意圖

本文實驗中使用BiLSTM 網絡是由兩個方向的LSTM 組成,使用前向和后向LSTM 網絡可以學習句子的上下文信息,得到全局的句子語義信息.

1.3 卷積神經網絡

TextCNN是一種前饋神經網絡,最初應用于計算機視覺,在圖像處理中有突出的表現[20].隨著深度學習的發展,CNN 被廣泛應用自然語言處理的任務中,如文本分類、情感分析等[21,22].

TextCNN 網絡結構主要包括卷積和池化層,實現過程如下:首先,將卷積層輸出的特征向量分別輸入最大池化層;其次,將池化的輸出結果拼接表示最終的句子特征向量.為了提取不同位置的局部信息,實驗中同時使用多個通道和不同卷積核大小進行卷積操作.其結構圖2所示.

圖2 TextCNN 網絡結構示意圖

設給定矩陣W∈RM×N,卷積核F∈RM×N,且m?M,n?N,則卷積的表達式如(7)所示:

B表示卷積后的結果,卷積后得到由句子局部信息構成的特征矩陣,輸入到Max-Pooling 層提取整個矩陣中最大值,作為當前通道的特征信息,再與其他通道的特征信息融合,得到多通道組合篩選后的句子特征向量.

2 模型架構與算法設計

考慮到傳統CNN 網絡在工單分類中不足,而BiLSTM 神經網絡在文本分類中可以很好地提取上下文信息,在高級語義建模階段,CNN 網絡可以憑借多通道組合篩選,對句子進行二次特征提取,從而得到句子特征向量.鑒于以上兩種模型的優點,本文在BiLSTM+CNN 組合網絡的基礎上進行優化.即在TextCNN 網絡層中采用雙池化操作,我們稱之為雙池化的卷積神經網絡(Double Pooling Convolution Neural Network,DPCNN),并將優化后的組合模型應用到電力客服工單數據的分類中,其模型結構如圖3所示.整個分類過程從左向右,包括文本向量化表示和訓練BiLSTM_DPCNN分類器兩部分,以下按模型的搭建過程逐一論述.

2.1 向量的優化表示

在以往的模型訓練過程中,都是直接將訓練出的文本詞向量輸入到模型中,這種方法導致模型難收斂,分類準確率低.究其原因,主要是因為短文本數據的高稀疏性,不同詞的出現頻率不同,對于一些高特征詞出現頻率較高,同時也存在邊緣流特征信息.這將使得到詞向量的權值存在較大的偏差,分布不均衡.

為了解決上述問題,本文實驗中采用Word2Vec 模型訓練以字為單位的詞向量的前提下,并對詞向量進行標準化處理,達到降噪效果.首先,遍歷詞匯表,統計每個單詞出現的次數,計算其頻次;其次,計算所有詞的權重誤差;最后,采用標準化處理,得到均值表示的詞向量.再把處理后的詞向量作為訓練模型的輸入,具體計算公式如下:

其中,fj表示單詞出現的次數,k表示詞的個數,vj表示對應詞的權重.經標準化后的詞向量,其范圍固定在一個固定值之間,弱化某些詞向量的權重值過大對模型的影響.加快網絡的收斂速度,提高模型的分類精度.

圖3 基于BiLSTM_DPCNN 混合神經網絡模型

2.2 BiLSTM_DPCNN 分類模型

實驗中所采用的BiLSTM_DPCNN 組合模型的思想,充分利用了各個模塊的優點.首先,待分類文本經過數據預處理后通過Embedding Layer 層把單詞表示成模型可以識別的文本向量.再利用BiLSTM 網絡提取句子特征語義信息,由于文本在處理時,調用Keras庫提供的pad_sequence 方法將文本pad為固定長度,因此在BiLSTM 輸出時乘以MASK 矩陣來減小pad帶來的影響.最后,將BiLSTM的輸出作為改進CNN網絡的輸入,進行二次特征提取,最后實現分類.

BiLSTM_DPCNN 模型由輸入層、BiLSTM 層、卷積層、雙池化層、分類輸出層五部分組成.以下詳細介紹每一層的實現過程.

首先,采用BiLSTM 網絡學習每個字的向量語義,BiLSTM 因其雙向計算的特點,可以獲取目標序列的“左序列”和“右序列”的文本信息.具體計算公式如下.

其中,Cl(xi)表示左邊的文本向量,Wl是一個從當前隱藏層到下一隱藏層轉換的Wsl矩陣表示連接當詞的左文本的語義信息.Cl(xi?1)表示前一個詞的左邊文本信息,E(xi?1)表示前一個詞的字向量.同理,可計算xi的右文本Cr(xi).

根據式(11)、式(12),得到當前字xi的向量表示.計算公式如下:

其次,把BiLSTM 網絡層輸出的句子特征矩陣輸入到卷積層中進行卷積操作,提取深層語義信息.經卷積操作后,使用雙通道池化進行特征篩選,進而提取句子特征矩陣中相鄰文字的關聯特征,其中池化部分的具體計算公式如下:

其中,cmax表示最大池化的輸出,cavg表示平均池化的輸出,⊕表示拼接運算,h表示滑動窗口大小.該方法彌補了由于每次最大池化操作只能取一次最大值,從而丟失強特征詞信息的缺點.將兩個池化操作的結果進行特征融合,保證了文本特征信息的完整性,得到的更全面的、深層次的句子特征.

最后,由雙池化層提取到句子的特征表示作為Softmax 層的輸入,分類過程的具體計算公式所示:

其中,y∈{0,1},Ws∈R|Z|,bs代偏置項,Z表示句子特征矩陣.

2.3 模型算法流程

BiLSTM_DPCNN 組合模型的算法過程如算法1.

算法1.BiLSTM_DPCNN 模型訓練過程1)初始化模型參數配置,設置每批訓練量batch_size和總迭代次數epochs;2)將由標準化后的字向量表示的句子信息輸入到BiLSTM 網絡層中,提取全局句子語義信息;3)將第2)步的輸出句子矩陣輸入到DPCNN 網絡中,通過卷積操作,進一步捕獲局部語義信息;4)將第3)步中卷積后的結果分別輸入到雙通道池化層進行降維操作,并將特征融合;5)將第4)步融合后文本向量經過矩陣的concat和reshape 之后送入Softmax 分類器,輸出類別標簽;6)模型訓練過程中,采用mini-batch的梯度下降法進行訓練,訓練過程中保存最優的模型,減少再訓練過程中的開銷;7)重復2)～6)步,設置epochs=50,若訓練集的精度不在上升,則提前結束訓練.

實驗中batch的大小設置為30,能夠獲得較好的效果,則所有參數θ的計算公式如下所示.

其中,λ表示學習率.

3 實驗設計及分析

3.1 實驗環境

本實驗基于Python 編程語言和Tensorflow 1.8.0深度學習框架展開,主要參數配置CPU:Intel Core i9-9900 K;內存:32 GB;操作系統:Windows 10.

3.2 數據來源和預處理

在本次實驗中采用來自電網公司客服工單記錄的真實數據,數據主要記錄客戶對電力公司的用電反饋信息.其中每條工單數據以短文本的形式記錄著工單類別及相應的信息反饋,共分為停電、安全隱患、停電未送電、電壓不穩、缺相、供電故障、用戶資產故障7 個工單類別,下述分別用C1～C7命名.所有數據都經過數據清洗和停用詞過濾,實驗中將數據集劃分為訓練集、驗證集和測試集,其比例為3:1:1.

3.3 模型超參數設置

模型中主要參數包括字向量的維度d,濾波器的個數m等,另外BiLSTM 層中隱藏層層數為2 層,神經元個數256 個.模型最優參數設置如表1所示.

3.4 評估指標

由于工單數據是多分類問題,工單類別分為7 類,采用查準率(P),召回率(R),F1 值(F1)和宏平均(Macro_F1)等4 個指標,對分類的準確度進行評估,其計算公式如下:

其中,V表示工單類別個數,TP表示正確的標記為正,FP錯誤的標記為正,FN錯誤的標記為負,TN正確的標記為負.

表1 模型參數配置

3.5 對比實驗設置

實驗中設置以下幾個分類模型來評估本文模型,通過對比模型驗證BiLSTM_DPCNN 模型的分類性能:

(1)TextCNN 模型.CNN 模型采用文獻[23]中的網絡結構,以字符粒度建模,使用卷積提取文本特征圖后,輸入到最大池化層,提取矩陣實現對文本的分類.

(2)BiLSTM 模型.BiLSTM 模型是由兩個不同方向的LSTM 組合,它可以同時捕獲上下文語義信息,解決了分類過程中長距離依賴問題.

(3)RCNN 模型.RCNN 模型采用文獻[24]中的結構,使用循環網絡學習單詞的上下文信息,得到當前詞的向量表示,再通過一維卷積,提取句子特征,經池化后輸入到Softmax 分類器中獲得分類結果,可以簡單看成LSTM和CNN的混合網絡.

為了更好地評估模型,以上對比模型輸入的詞向量均是隨機生成,不做標準化處理.

3.6 實驗結果及分析

如表2所示,給出各個模型在電力客服工單數據集上的測試結果,其中Dev-Macro_F和Test-Macro_F分別表示在驗證集和測試集上的宏平均分數.

表2 實驗中各個模型分類精度

通過表2中的實驗結果可看出,BiLSTM 網絡在分類結果上與TextCNN 網絡相比而言,其在測試級上的精度,達到96%,明顯高于TextCNN 分類模型.這是因為BiLSTM 網絡具有記憶單元,選擇性記憶和遺忘信息,具有遞歸學習信息的優勢,此外,又能捕獲前后兩個方向上的時序信息,在電力短文本數據集中表現突出.但是在一般的文本分類任務中,較多采用TextCNN結構,因為訓練速度較快,模型易收斂.RCNN 網絡模型由于其結構較為簡單,其分類指標低于其他模型.而本文提出的將BiLSTM和DPCNN 網絡組合的模型,無論是在測試級和驗證集,模型的分類準確率都表現最優.其在測試集上的Macro_F1 值較TextCNN 模型提高了2.0%.主要原因是因為在文本實驗中,不僅在網絡模型上進行組合優化,還在詞向量上做進一步處理.具體而言,首先以字符級嵌入詞向量,從細粒度層次分析字與字之間的語義關系,并對詞向量進行歸一化處理,減少數據噪音;其次,將 BiLSTM_DPCNN 模型應用到客服工單數據的任務中.該模型首先,利用BiLSTM網絡具有“門控”結構,對句子特征信息選擇性保留,又可以同時捕獲上下文信息,在文本分類任務中具有較高的準確率;其次,考慮到對TextCNN 網絡而言,不僅對相鄰語義信息的捕獲能力較強,又能通過設置不同滑窗大小來提取不同位置的局部信息,最后融合多層卷積特征,得到較好的分類效果.但模型存在一個最大的弊端,即采用最大池化操作,只能取一次最大值,從而丟失強特征詞信息.因此,本文實驗中的在原有網絡的基礎上進行改進,添加平均池化層,把卷積層提取的句子特征,分別輸入到最大池化和平均池化層,最終把池化輸出的特征進行融合,通過全連接的方式和Softmax分類器,實現分類輸出.因此,在分類性能上要高于單一網絡結構.

由于本文以字為單位作為模型的輸入,所以在這里研究了字向量的特征維度對模型分類效果的影響.圖4表示字向量的特征維度從50 維變換到400 維的過程中,宏平均值(Macro_F1)的變化情況.由圖4可知,隨著字向量維度的逐漸增加,整體的分類性能不斷上升,但當維度為超過300 時,分類性能趨于下降狀態,原因是字符級別過大導致計算成本增大.本次實驗選300 作為字向量的表示維度,此時模型的分類效果最佳.

圖4 分類性能與字向量特征維度的關系

表3給出不同模型在各個分類中的P、R、F1 值,通過表3可以看出BiLSTM 模型在C1、C3、C6類別上的F1 值高于TextCNN 模型.RCNN 模型分別在C2、C5、C7類別上的F1 值高于BiLSTM 模型,尤其是在C5類別中F1 值相比BiLSTM 模型,提高了5%.但從整體分類效果看,本文模型表現優于其他模型,其中最好的區分類別是C1和C5,F1 值達到99%和97%,在其他類別中的F1 值也均有提升.

表3 不同神經網絡模型的實驗對比

表4給出不同模型的訓練和測試時間對比,從表中數據可以看出,就訓練時間而言,TextCNN 模型的訓練速度快比BiLSTM 快很多,主要是因為該模型適合并行計算;本文實驗中的BiLSTM_DPCNN 混合模型,時間復雜度要高些.

表4 各模型時間復雜度對比(單位:s)

4 結論與展望

本文通過分析電力客服工單數據特征,基于字符級嵌入的BiLSTM_DPCNN 分類算法對工單文本進行分類.在模型訓練過程中,首先對詞向量進行優化表示;其次,使用BiLSTM 循環結構學習上下文信息,獲取全局語義信息;最后,采用卷積雙池化方法提取全局最優的語義特征值.通過與其他分類算法對比,驗證了該模型分類效果的優越性.但在大量客服工單數據中仍存在可用樣本較少,不足以構成訓練集類別的問題.因此,下一步需對模型進行完善使其同樣適用于樣本不均衡分布的客服工單數據,這對促進電網智能化發展有著重要意義.