基于注意力機制優化組合神經網絡的電力缺陷等級確定方法

程宏偉,高蓮,于虹,李鵬

(1. 云南大學 信息學院,昆明 650500; 2.云南電網有限責任公司電力科學研究院,昆明 650500)

0 引 言

隨著經濟社會的進步,電網的現代化建設得到了有效的發展,但現代化電網運行過程中產生了大量的視頻、圖像和文本等非結構化數據[1],如何對這些非結構化數據進行挖掘,促進電網的自動化和智能化是目前亟待解決的問題。非結構化數據中電力缺陷描述文本蘊含著豐富的電力設備健康狀況信息,基于其根據設備缺陷的嚴重程度進行快速準確地等級劃分有助于缺陷的及時消除和檢修維護工作的開展,保障電網的安全穩定運行[2]。目前,缺陷等級由運維人員根據電力設備主要部件和對應現象標準將缺陷描述劃分為其他、一般、緊急、重大四個類別[3-4],但缺陷情況的復雜多樣使運維人員難以準確判定且受到不同運維人員知識經驗的影響,缺陷等級判定的一致性難以得到保障,進而影響電力缺陷的及時消除和電網的安全穩定運行。因此,如何實現缺陷描述的準確分類,指導設備檢修工作的及時開展,減少因分類不準確造成更大范圍的電力系統故障,是當前急需解決的問題[5]。

傳統的文本分類算法主要有支持向量機、決策樹、樸素貝葉斯和K近鄰等[6]。但傳統文本分類算法存在文本特征表達弱、文本數據高度稀疏和特征項間相互干擾的不足,且缺少對大規模復雜化問題的泛化能力,因此分類效果較差[7]。隨著深度學習算法的發展和應用,文本分類方法得到進一步豐富,Kim在2014年首次將卷積神經網絡(convolutional neural network, CNN)應用于文本分類,通過多個不同尺寸的卷積核對詞向量進行特征提取,實現了文本分類[8];Lai在2015年構建了CNN和循環神經網絡(recurrent neural network, RNN)相結合的文本分類網絡結構,得到了較高準確率的文本分類模型[9]。

近年來,由于自然語言處理領域的快速發展,文本處理逐漸應用于電力系統。如文獻[10-11]建立了基于K近鄰的分類模型,并以斷路器作為測試對象,驗證了自然語言處理技術在電力系統應用的有效性和可行性;文獻[12]提出了基于語義框架的電網文本挖掘模型,實現了缺陷描述句子成分的劃分并應用于電網設備的信息統計中,為電力工程建設提供參考和驗證;文獻[13]采用深度語義學習對變壓器運維文本進行挖掘,實現了對變壓器運行狀態的確定;文獻[14]利用雙向長短時記憶網絡(bidirectional long short-term memory, BILSTM)對典型故障案例進行挖掘并以變壓器為例驗證了模型的準確性;文獻[15]提出了基于CNN的電力缺陷分類模型并以變壓器為例驗證了模型準確率優于傳統的機器學習。

但是,上述文獻在解決電力缺陷描述時均存在一定的不足。首先,對于缺陷描述短文本單一的模型具有一定的局限性很難對文本有效信息進行充分提取,例如,常用的CNN使用卷積核對文本的局部信息進行特征構建,但忽略了文本的序列信息;RNN關注文本的序列信息,但缺乏對文本局部信息的關注[16]。其次,電力缺陷描述詞匯的專業性使現有的分詞方法很難保證分詞結果的準確性,常規人工建立分詞詞典的方法工作量大,人工干預程度高且難以保障分詞詞典的全面性,進而影響缺陷描述的向量表達,降低分類結果的準確性。

故此,文中提出了一種基于注意力機制優化組合神經網絡的電力缺陷等級確定方法。該方法首先將電力缺陷描述以字粒度的形式進行分割量化,然后利用CNN關注文本局部特征,BILSTM關注文本序列特征的特點,完成對電力缺陷描述的充分挖掘,最后引入注意力機制,加強重要文本特征對分類結果的影響,實現對電力缺陷描述的分類,文中的創新點如下：

1)將字粒度分割應用在電力缺陷描述分類中,擺脫了對人工構建分詞詞典的依賴,避免了電力缺陷描述詞匯的專業性對分詞結果的影響;

2)建立了基于CNN和BILSTM的組合神經網絡模型,更加全面、完整地捕捉文本的局部特征和序列特征,實現對缺陷描述文本的充分挖掘;

3)將注意力機制與組合神經網絡模型相結合,得到不同文本特征信息的權重,進一步提高缺陷描述的分類準確率;

4)以云南電網公司2014年-2019年間的11萬條電力缺陷描述作為實驗對象,驗證了文中所提方法的準確性和可行性。

1 基于注意力機制優化的組合神經網絡模型

針對已有模型存在的不足,為進一步提高缺陷描述分類的準確率,文中提出了基于注意力機制優化的組合神經網絡模型,其結構如圖1所示。

圖1 模型結構圖

該模型包括文本量化層、特征提取層、注意力層和分類層四部分,首先,文本量化層利用字嵌入模型對電力缺陷文本進行向量化轉換,得到電力缺陷描述的字向量表達;然后由CNN和BILSTM組成的混合神經網絡對文本量化層得到的缺陷描述字向量表達進行特征提取,得到電力缺陷描述的語義特征,其組合順序有效性驗證如文中2.6節所示;接著注意力層對特征提取層得到的語義特征進行權重分配,提高語義特征中重要信息的權重,得到最終的缺陷描述特征向量;最后使用softmax分類器對注意力層得到的缺陷描述特征向量進行分類,獲得電力缺陷描述分類結果。

1.1 模型表達

缺陷描述數據集由缺陷描述文本T{t1,t2,…,te}及其對應的缺陷等級L{l1,l2,…,le}組成,每條缺陷描述文本ti字粒度分割后由m個字構成,表達形式為{vi1,vi2,…,vim},因此模型的目標函數表達式為：

(1)

1.2 卷積神經網絡

CNN是由輸入層、卷積層、池化層、全連接層和輸出層5部分構成的前饋神經網絡,具有特征提取速度快,網絡結構高效簡單和網絡適應性強的特點[17]。

輸入層：接收文本量化層輸出的向量化缺陷描述矩陣。缺陷描述文本字粒度分割后得到長度為m的電力缺陷描述表達,根據word2vec生成的字向量表進行向量空間匹配,將對應的字映射到指定維度的n維空間,生成一個大小為m*n的缺陷描述文本向量矩陣。

卷積層：對輸入層接收的向量矩陣利用卷積核進行特征提取。卷積核的高度可以視作N-grams窗口值,是一個超參數,其寬度和輸入層寬度一致為詞向量的維度。卷積核的大小可以根據具體情況進行設定,其作用為設定一種篩選方式對缺陷描述文本向量矩陣中滿足要求的特征進行提取,卷積過程如式(2)所示：

ci=f(w×vi：i+s-1+a)

(2)

式中w為卷積核,s為卷積核大小,vi：i+s-1為i～i+s-1個字構成的句向量;a為偏置項,卷積操作后,得到缺陷描述特征矩陣C,C=[c1,c2,…,cm-s+1]。

池化層：池化層將卷積層特征提取后的局部信息進一步篩選,從而實現數據的降維,保留向量矩陣的重要特征,去除不必要信息,達到減小計算量,避免過擬合的目的。這里采用如式(3)所示的MaxPooling池化。

PL=max{C}

(3)

全連接層和輸出層：因為BILSTM需要輸入序列化的數據結構,因此,全連接層將池化層產生的中斷向量pli進行拼接,拼接后的向量用O表示,如式(4)所示,并將序列化數據結構輸出作為BILSTM的輸入。

O={pl1,pl2,…,plm}

(4)

1.3 BILSTM

LSTM是RNN的一個改進模型[18],其結構圖如圖2所示,LSTM根據上一時刻的隱藏狀態ht-1和此刻輸入plt得到遺忘門fdt、記憶門mdt和輸入門odt實現記憶單元的遺忘、記憶和輸出,對重要的信息進行保留,忽略重要程度較低的信息,避免了傳統RNN模型存在的梯度消失和梯度爆炸缺陷[19],計算過程如下：

Step1： 由ht-1與plt得到遺忘門fdt。

fdt=logistic(WMfdplt+Wfdht-1+bfd)

(5)

Step2： 由ht-1與plt得到記憶門mdt。

mdt=logistic(WMmdplt+Wmdht-1+bmd)

(6)

(7)

(8)

Step5：由ht-1與plt得到輸出門odt。

odt=logistic(WMoplt+Woht-1+bo)

(9)

Step6： 由odt與Tt得到當前時刻隱藏狀態ht。

ht=odt×tanh(Tt)

(10)

式(5)～式(10)中,logistic、tanh為激活函數,WMfd、Wfd、WMmd、Wmd、WMT、WT、WMo、Wo為權值矩陣,bfd、bmd、bT、bo為偏置向量。

BILSTM由正反向LSTM構成,其隱藏狀態ht為：

(11)

圖2 LSTM模型結構圖

1.4 注意力機制

注意力機制通過模擬人觀察事物時,對主要信息重點關注,對次要信息較少關注的特點,實現對資源的調度分配。當前注意力機制應用在圖像分類、機器翻譯和情感分析等領域,并通過實驗驗證了有效性[20]。將前饋注意力機制引入CNN-BiLSTM模型,通過對注意力概率分布的計算,得到具有概率分布的缺陷描述語義特征表達,突出缺陷描述中不同特征的重要程度,達到提高分類準確率的目的[21-22],具體過程如下。

根據CNN-BiLSTM模型輸出的隱藏狀態ht,獲得缺陷描述語義特征表達注意力權重awt如式(12)所示：

awt=tanh(ht)

(12)

式中 tanh為激活函數。

利用softmax函數對式(12)得到的注意力權重awt進行概率化計算,得到概率向量pt,表征該時刻隱藏狀態的重要程度,表達式為：

(13)

將BILSTM生成的隱藏狀態ht與對應的注意力概率向量相乘,得到其加權值如式(14)所示：

(14)

2 實驗對比與分析

2.1 實驗環境

文中實驗環境如表1所示。

表1 實驗環境

2.2 實驗數據

為測試文中所提模型在電力缺陷描述分類中的效果,使用云南電網公司2014年—2019年間共計11萬條缺陷數據作為實驗對象,實驗對象電壓等級涵蓋0.22 kV、0.38 kV、0.4 kV、10 kV、35 kV、110 kV、220 kV和500 kV,所有缺陷描述均由運維人員按照缺陷嚴重程度分為其他、一般、緊急和重大四個等級。將11萬條缺陷描述打亂順序并平均分為11份,隨機抽取8份共計800 00條作為訓練集進行梯度計算和模型權重更新;隨機選取剩余3份中的2份共計200 00條作為驗證集用于設定模型超參數,防止模型出現過擬合和欠擬合;剩余的1份共計100 00條作為測試集用于評價模型性能,數據集基本屬性如表2所示。

表2 缺陷描述數據集信息

2.3 數據預處理

2.3.1 缺陷描述預處理

電力缺陷描述無需進行分段和分句操作,但部分電力缺陷描述夾雜著日期、地名和標點符號等影響分類的冗余信息,因此文中在缺陷描述分布式表達前進行去停用詞操作,去停用詞表參考哈工大停用詞表和電力缺陷描述的實際情況建立。將去停用詞后的電力缺陷描述建立基于字粒度和詞粒度的向量表示。

2.3.2 詞粒度向量表示

傳統詞袋模型根據訓練語料庫構建特征詞表,其維度為1*m,其中m為特征詞個數。使用詞袋模型時,模型會將待量化文本與特征詞表進行對照,當待量化文本中的詞與特征詞表中的詞相對應時,則該詞標記為1,反之,標記為0,由此形成一個維度統一但長度很長的文本向量。利用詞袋法進行文本向量化主要有兩方面的不足：一方面,形成的文本向量特征過于稀疏,維度大小可達幾萬維度,但僅有少量維度標記為1,其余均為0;另一方面,詞袋模型構建的文本向量,并未考慮詞與詞之間的聯系,詞語之間相互孤立。

針對詞袋模型存在的不足文中借鑒Mikolov提出的文本向量訓練模型word2vec[23]。word2vec是一種神經網絡概率模型,用于獲得文本字或詞的字詞向量,與傳統的詞袋模型相比其維度可以按需設定,使計算復雜度大大降低并且避免了高維特征稀疏的問題[24]。此外,word2vec獲得的字詞向量包含了字詞之間的語義信息,加強了字詞間的聯系。詞粒度向量表示流程如下：

1)分詞。分詞是缺陷描述處理的基礎和關鍵,分詞結果的好壞直接關系到缺陷描述分類的準確性,由于電力缺陷描述中夾雜著電力設備的專用名詞,因此文中根據文獻[3-4]和搜狗輸入法提供的電力行業常用詞庫建立缺陷描述分詞詞庫并使用基于Python的結巴分詞工具實現對缺陷描述的分詞;

2)詞向量訓練。使用Word2Vec的Skip-gram模型對分詞后的缺陷描述進行訓練,得到指定維度的詞向量。

2.3.3 字粒度向量表示

盡管詞粒度向量表示在文本處理中得到了廣泛的應用,但是在專業詞匯較多的電力缺陷描述中分詞結果的準確性無法完全保障。例如,缺陷描述“變油枕下邊緣有滲油痕跡”可以分詞為“變油/枕/下邊緣/有/滲油/痕跡”、“變油/枕下/邊緣/有/滲油/痕跡”、“變油枕/下/邊緣/有/滲油/痕跡”和“變油枕/下邊緣/有/滲油/痕跡”等多種分詞結果。因此文中建立了基于字粒度的向量表示方法,其步驟與2.3.2節所示的詞粒度向量表示的步驟類似,但無需建立分詞詞庫進行分詞,只需要按字分割即可,因此不存在分詞不準確造成語義理解偏差的問題,字、詞粒度向量表示時參數設定如表3所示。

2.4 參數設置

2.4.1 基于字向量的模型參數設置

基于字向量采用的實驗模型為字粒度卷積神經網絡(character granularity CNN, CNN-C)、字粒度雙向長短時神經網絡(character granularity BILSTM, BILSTM-C)、字粒度卷積循環神經網絡(character granularity CBNN, CBNN-C)、字粒度注意力機制優化的卷積循環神經網絡(character granularity CBNN optimized by attention mechanism, Att-CBNN-C)。為增強實驗的嚴謹性和可對比性,基于字向量的所有模型實驗參數均保持一致,數值如表4所示,其中,模型參數候選值表示實驗中測試的模型參數,最優值表示最終確定的模型參數,選取不同參數值時模型驗證集準確率如圖3所示。

表3 Word2Vec參數設置

表4 基于字向量模型參數設置

圖3 模型超參數對驗證集準確率影響

圖3(a)～圖3(i)表示在字向量中四種模型選取不同模型參數候選值時模型驗證集對應的準確率。由圖3(a)可知,當缺陷描述字長度設定為40時,四種模型的準確率取得最大值,當設定值過大或過小時模型準確率均有所下降,這是因為設定值過小時部分缺陷描述文本被截斷,使部分有用信息丟失,當設定值過大時需要對部分缺陷描述文本進行填充,使干擾信息增加,造成準確率下降。由圖3(b)可知,字嵌入維度為300時,模型準確率最優,嵌入維度過大或者過小均造成模型準確率下降,這是由于字嵌入維度過小會使不同字的映射維度較低學習不夠全面,維度過大又會使不同字獲得的學習特征過于稀疏,使模型準確率下降。由圖3(c)和圖3(d)可知,LSTM隱藏層單元數和卷積核個數分別為128和256時模型準確率最優,過大或過小的取值會造成模型過擬合和欠擬合,使得模型準確率下降。由圖3(e)可知,單一的卷積核維度使模型對缺陷描述特征的提取不夠全面,當卷積核維度為3～5組合時,模型可以從不同角度充分提取缺陷描述文本的語義特征,此時模型的準確率達到最優。由圖3(f)可知,Dropout隨機失活率為0.5時效果最佳,當隨機失活率較低時,模型無法在訓練集充分學習,出現模型欠擬合,當隨機失活率較高時,模型在驗證集的泛化能力不足,因此造成模型準確率下降。由圖3(g)可知,迭代次數較小時模型訓練不足,模型出現欠擬合現象使準確率較低,隨著迭代次數的增加,模型準確率逐漸增加,當達到一定迭代次數后,模型準確率趨于穩定,繼續迭代,導致模型發生過擬合,使模型泛化能力變差準確率降低,因此,文中選取模型迭代次數為30,在保證模型準確率的同時,減少訓練時間。由圖3(h)可知,學習率為0.001時,模型取得較高準確率,當學習率較大時,模型參數值在局部最低點時發散,使得模型無法對其參數進行更新,造成準確率降低。由圖3(i)可知,批處理大小對模型的準確率影響較小,文中選取批處理大小為128。

2.4.2 基于詞向量的模型參數設置

基于詞向量采用的實驗模型為詞粒度卷積神經網絡(word granularity CNN, CNN-W)、詞粒度雙向長短時神經網絡(word granularity BILSTM, BILSTM-W)、詞粒度卷積循環神經網絡(word granularity CBNN, CBNN-W)、詞粒度注意力機制優化的卷積循環神經網絡(word granularity CBNN optimized by attention mechanism, Att-CBNN-W)。基于詞向量的所有模型實驗參數與2.4.1節基于字向量的模型參數選取過程一致,參數設置如表5所示。

表5 基于詞向量的模型參數設置

2.5 評價指標

文中分別采用準確率(Acc)、宏查準率(MP)、宏查全率(MR)、宏F1值(MF1)、加權查準率(WP)、加權查全率(WR)和加權F1值(WF1)對模型評價。評價公式如式(15)～式(23)所示,評價公式中的參數關系如表6所示。

(15)

表6 評價指標關聯關系

(16)

式中n表示分類類別數,文中電力缺陷描述分為4類,因此n=4,P1～P4的表達式為：

(17)

(18)

式中R1=TO/NO,R2=TG/NG,R3=TU/NU,R4=TS/NS。

(19)

(20)

式中W1～W4的表達式為：

(21)

(22)

(23)

2.6 混合神經網絡組合方式有效性分析

使用注意力機制優化CNN與BILSTM構建的混合神經網絡時有Att-CBNN-C和字粒度注意力機制優化的循環卷積神經網絡(character granularity BCNN optimized by attention mechanism, Att-BCNN-C)兩種組合方式,文中以驗證集準確率作為評價指標對兩種組合方式的有效性進行分析,實驗結果如圖4所示。

圖4 神經網絡組合方式對準確率的影響

由圖4可以看出30次迭代后兩種模型的驗證集準確率均超過0.9,可以對缺陷描述較為準確的分類,但Att-CBNN-C模型的驗證集準確率略高于Att-BCNN-C,且不同迭代次數下的變化趨勢更加平穩,模型穩定性更好,因此文中選取Att-CBNN-C模型對電力缺陷描述進行分類。

2.7 不同文本分類模型分類性能對比

對基于詞粒度和字粒度的電力缺陷描述分類模型分別進行測試,得到的詞粒度電力缺陷描述分類模型誤分類矩陣和字粒度電力缺陷描述分類模型誤分類矩陣如表7和表8所示。

表7 詞粒度分類模型誤分類矩陣

因為每條缺陷描述被分為其他、一般、緊急和重大四個等級中的一個,因此表7和表8中每個誤分類矩陣的大小為4*4,其中第x行第y列表示“應屬于等級x但是分類模型將其分類為y”的電力缺陷描述條數。例如,表7中的第1行第2列的數值大小為200,表示有200條電力缺陷描述本應屬于其他等級但是CNN-W模型將其誤分類為一般等級。

表8 字粒度分類模型誤分類矩陣

為了更好地對比分析各種模型的分類性能,將表7和表8所示的模型誤分類矩陣按照評價式(15)～式(23)進行統計,評價結果如表9所示。

表9 不同模型在電力缺陷描述分類中的性能對比

由表9的實驗結果可以看出,基于字向量的電力缺陷描述分類效果明顯優于基于詞向量的電力缺陷描述分類,Acc性能指標提升1.00%～2.90%,MF1性能指標提升1.09%～3.91%,WF1性能指標提升0.97%～2.89%。這是因為電力缺陷描述中專業詞匯較多,盡管使用了人工建立的電力缺陷分詞詞庫,但電力系統設備的多樣性和復雜性無法保障詞庫的全面性,造成現有分詞方法無法對缺陷描述準確分詞,除此之外,部分詞語在全部缺陷描述中出現的次數較少,使得這類詞語無法得到充分學習,造成分類準確率降低。

基于字向量的實驗模型中,CBNN-C模型比CNN-C模型的Acc性能指標提高1.81%,MF1指標提高2.63%,WF1指標提高1.94%;比BILSTM-C的Acc性能指標提高4.03%,MF1指標提高6.68%,WF1指標提高4.34%。由此可以看出融合CNN和BILSTM的CBNN-C模型不但具備CNN模型提取局部特征重要信息的能力還獲得了BILSTM模型捕捉文本長時間間隔的特征,使得文本的語序和語法信息得到更加充分的利用,優于單一的神經網絡模型,提高了電力缺陷描述文本的分類準確率。

基于字向量的實驗模型中,Att-CBNN-C模型使用注意力機制對BILSTM的輸出進行向量編碼,得到數值不同的注意力權重,以辨別不同特征的重要性,對缺陷描述分類結果影響較大的語義特征進行權重加強,弱化對缺陷描述分類結果影響較小的語義特征。相比CBNN-C模型的Acc性能指標提高2.38%,MF1指標提高2.72%,WF1指標提高2.32%,驗證了注意力機制在電力缺陷描述分類中的可行性和有效性。

3 結束語

針對電力缺陷描述專業詞匯較多分詞準確率不佳以及單一神經網絡模型自身存在不足的問題,提出了基于注意力機制優化組合神經網絡的電力缺陷等級確定方法。結論如下：

1)將字粒度應用在電力缺陷描述分類中,擺脫了對人工構建分詞詞典的依賴,避免了電力缺陷描述詞匯的專業性對分詞結果的影響,并通過實驗驗證了相比詞粒度電力缺陷描述分類模型,基于字粒度可以更加準確地實現電力缺陷描述分類。

2)區別單一的神經網絡模型,文中建立的混合神經網絡模型將CNN關注文本局部特征,BILSTM關注文本序列特征的特點相結合,更加全面、完整地捕捉文本的局部特征和序列特征,實現了對缺陷描述文本的充分挖掘。

3)將注意力機制與組合神經網絡模型相結合,對缺陷描述分類結果影響較大的語義特征進行權重加強,弱化對缺陷描述分類結果影響較小的語義特征,相比未使用注意力機制的組合神經網絡分類準確率提升了2.38%,進一步提高了缺陷描述的分類準確率。

文中提出的基于注意力機制優化組合神經網絡的電力缺陷等級確定方法,解決了運維人員人工判定電力缺陷描述時準確性和一致性無法保障的問題,且分類過程中無需人工建立分詞詞庫,避免了分詞不準確對分類結果的影響,在保證準確率的同時減少了人工干預,為電網的智能化運行提供幫助。為進一步提高模型的適應性和準確性,自適應更新分布式向量表達和優化算法優化選擇神經網絡的超參數是下一步工作的目標。