基于GRU和PCNN的電力知識抽取①

宋厚巖,王漢軍

1(中國科學院大學,北京 100049)

2(中國科學院 沈陽計算技術研究所,沈陽 110168)

1 引言

隨著大數據時代的到來,電力系統每天產生大量的數據,但是這些海量的數據卻尚未得到合理的挖掘,導致很多潛在的價值沒有被開發,如何管理和挖掘這些數據的價值成為了電力系統改革和發展的新動力.為了更好地挖掘電力系統的海量數據,電力系統與人工智能的結合呼之欲出.電力知識的提取對于構建電力系統知識圖譜來說十分重要.簡單來說,就是從電力系統產生的海量數據中提取電力知識三元組,并利用圖數據庫技術構建電力系統知識圖譜,以方便海量電力數據的管理和挖掘.

知識圖譜(knowledge graph)是由谷歌在2012年正式提出的概念,重點在于提高搜索引擎的智能化和效率.知識圖譜實際上是一個語義網絡,語義網絡就是用節點表示實體或屬性,邊表示實體之間、實體與屬性之間的各種語義關系[1-3].其中,實體是指客觀存在于現實世界中且可區分的物體或事物;屬性是描述實體特征的信息,如面積和長度等.關系是知識圖譜最重要的特征,據此才能實現萬事萬物的互聯,從而支持各種應用,如語義理解和信息檢索等.

所謂知識抽取,就是提取來自不同來源、不同結構的數據,形成知識最終存到知識圖譜的過程.知識抽取的大致任務如圖1所示.

圖1 知識抽取分類圖

傳統的知識抽取方法包括基于統計機器學習的方法、基于自然語言處理的方法和基于深度學習的方法.對于基于深度學習的知識抽取方法,專家們在2014年逐漸提出將CNN用于知識抽取,提出了CNN、RNN和LSTM 等一系列方法模型[4-6].深度學習網絡模型知識提取方法的一般過程是在分詞后輸入詞向量信息,然后通過卷積神經網絡自動學習,這大大減少了人工標注語料庫的人力物力,同時避免了傳統方法中使用自然語言處理等方法造成的累積誤差的傳播語等問題.

然而目前大多數的知識抽取方法中都使用單一的CNN和RNN 模型,然而CNN 擅長的是對于知識的實體局部最重要特征的抽取,但是卻不是十分適合對于序列輸入的處理;反之,RNN 相比于CNN 而言,在任意長度的序列化處理上有更好的優勢,但是提取實體局部重要特征卻顯得不夠充分,所以針對于以上兩種模型的不足,本文改進一種基于GRU和PCNN 模型的電力知識抽取方法.通過將GRU 模型與PCNN 模型的結合,可以將二者的優點更完美的結合起來,最終通過實驗驗證,該模型對于電力知識抽取相比于單一的CNN模型、RNN 模型等神經網絡模型有更好的效果[7].

2 電力知識抽取模型

本文所采用的基于深度學習的GRU 神經元和PCNN 模型電力知識抽取模型結構圖如圖2所示.

圖2 電力知識抽取模型結構圖

本文所設計的電力知識抽取模型的訓練主要包括以下幾部分:

(1)輸入層:輸入層的主要任務是將電力數據輸入到電力知識抽取模型中;

(2)嵌入層:通過分詞工具和Word2Vec 詞向量工具對輸入層輸入的數據處理最終得到詞向量W,將其作為GRU 模型的輸入層;

(3)GRU 層:利用GRU 層計算輸入層得到的字向量信息,得到包含新信息的新的詞向量.新詞向量通過詞向量與詞向量的位置向量相拼接所得到的.新詞向量不僅包含詞向量本身的語義信息,還包含詞向量的位置信息;

(4)PCNN 層:通過對上層特征向量進行實體劃分,通過分段最大池化分從劃分結果中提取最重要的局部特征信息,最終得到句子特征向量P;

(5)輸出層:將通過PCNN 層得到的特征向量P輸入到Softmax 分類器中得到最終的電力知識抽取結果.

2.1 GRU 神經元

GRU是一種RNN 網絡,該模型的優點在于它適用于處理序列數據,因此被廣泛應用于語音處理、自然語言處理等方向.它的內部結構與LSTM 網絡的內部結構非常相似,但是GRU 模型可以有效解決傳統RNN 網絡存在的問題例如梯度爆炸和梯度消失等.并且與LSTM 網絡相比,GRU的優點是在于去除細胞單元狀態,傳輸信息實在隱藏狀態下進行的.盡管GRU 模型與LSTM 模型相似,但前者結構更加簡單,參數更少.相比之下,GRU 模型就更容易訓練.GRU 模型只包含兩個門結構,結構簡單,GRU 神經元結構如圖3所示.

圖3 GRU 神經元結構

如圖3所示,xt為輸入數據,ht為GRU 模型的輸出,rt、zt分別代表t時刻的重置門與更新門,具體公式如下:

其中,σ為Sigmoid 函數,[]表示兩個向量相連,×表示矩陣的Hadamard 積,Wr,Wz,Wh分別為重置門,更新門,以及候選隱匿狀態的權重矩陣,其中為t時刻的候選狀態.

在解決自然語言處理時,通過引用雙向循環來處理序列化數據[8-10].本文所采用雙向GRU 模型作為電力知識抽取的一部分,其模型結構分為3 層,分別是輸入層(input layer)、隱藏層(hidden layer)、輸出層(output layer)[11],其模型如圖4所示.

圖4 雙向GRU 模型

在模型的訓練過程中,前向傳播過程中公式表示如式(6)～式(8)所示:

在輸出層部分,輸出層的輸入為:

輸出層的輸出為:

在得到最終的輸出后,就可以計算出整個網絡傳遞的損失,單個樣本某時刻的損失為:

從而可得到單個樣本的在所有時刻的損失為:

采用后向誤差傳播算法來學習網絡,先要求出損失函數對各參數的偏導:

其中,各中間參數為:

從訓練結果來看,通過以上公式可知神經網絡的結果最終趨于收斂,因此本文選擇GRU 來用于電力知識的抽取.

2.2 PCNN 模型

PCNN (Piece-wise-CNN)模型是CNN 模型的一種,CNN 模型全稱是卷積神經網絡模型,近年來被應用于自然語言處理例如情感分析,文本分類等任務,而PCNN是近年來被發現用于關系抽取的十分經典的一個模型,也是目前公認的效果較好的抽取模型,因此本文選用PCNN 進行電力知識提取是可行的[12-14].

PCNN 模型主要由以下幾部分組成,其結構如圖5所示.

圖5 PCNN 模型

(1)向量表達:句子的向量表達為兩部分拼接結果:詞嵌入和位置嵌入.使用Skip-gram 方法預訓練詞向量;使用Position embedding 表示句子單詞到兩個實體的相對距離.隨機初始化兩個位置嵌入矩陣,句向量表示為:

其中,s為句子長度(單詞數),d=dw+dp×2.

(2)卷積層:對于長度為s的句子,首尾填充w-1長度,則卷積核w的輸出為:

若使用n個卷積核,則卷積操作的輸出為:

(3)分段最大化池化層:卷積層輸出維度為Rn×(s+w-1),輸出維度依賴于句子的長度,為了便于下游任務,卷積層的輸出必須獨立于序列長度,一般采用池化操作,使用單一最大池化無法捕獲兩個實體的結構信息特征,PCNN 使用分段最大池化代替單一最大池化,分段最大池化輸出長度為3的向量:

拼接所有卷積核分段池化層輸出為p1:n,靜非線性函數輸出為(維度與句子長度無關)

(4)Softmax 層:首先將輸出轉化為類別分數(Softmax轉換為類別概率)

(5)多實例學習:為降低數據標注錯誤的影響,PCNN 使用多實例(半監督)學習.考慮包含T個包的訓練集{M1,M2,…,MT},其中包中qi個不同實體互為獨立.對于實例,神經網絡Θ 輸出向量o,其中第r個關系對應的概率為:

將目標函數定義為極小化每個包的損失,從而降低包中數據標注錯誤的影響.每個包的標簽已知,包中實例標簽未知,訓練過程中將包中實例在包標簽上的最大概率作為預測輸出,則目標函數定義為:

整個過程如算法1所示.

算法1.多實例學習1.初始化θ.將包按照bs的大小劃分成小批量.2.隨機選擇一個小批量,然后將包逐一送進網絡.mji(3.根據式(33)在每個包中尋找第j 個實例.1≤i≤bs)mji(4.通過Adadelta 算法,基于的梯度更新參數θ.5.重復步驟2～步驟4,直至收斂或訓練輪數達到最大輪數.1≤i≤bs)

3 實驗分析

3.1 實驗數據及預處理

本文數據集來源于某電網電力系統的電力調度產生的數據.該數據集包括訓練集和測試集兩個部分.其中訓練集包括32.6 k 個句子,1478.6 k 個字;測試集包括2.6 k 個句子,98.5 k 個字.對于電力關系的分類,通過從電力領域專業詞典中獲取實體以及通過百度百科爬取相關電力詞匯及信息,通過去除重復信息,選取出現頻率最高并且符合實際電力領域的實體關系如表1所示.

表1 關系分類

3.2 評價指標

電力知識抽取的評價指標有準確率(P)、召回率(R)和F1 值.其中計算方式為:

其中,參數分別定義為:Tp為模型識別正確的實體個數,Fp為模型識別出的不相關實體的個數,Fn為相關的實體但是模型沒有識別出個數.

3.3 實驗設置

為了驗證模型的效果,進行如下實驗設置,首先應用Word2Vec 詞向量工具進行訓練,模型選用Skipgram 模型.詞向量訓練參數如表2所示.

表2 Word2Vec 訓練參數

分別在CNN、RNN、GRU、PCNN 以及本文提出的GRU+PCNN 模型進行實驗.為了保證結果的公平性,所有模型均采用同樣的訓練集數據,并且所有模型的參數保持一致.訓練方式為訓練CNN、RNN、GRU、PCNN 及GRU+PCNN 模型的所有參數,參數設置如表3所示,在訓練的過程中記錄下每一輪的訓練后的準確率.

表3 GRU+PCNN 模型訓練參數

3.4 實驗結果分析

通過上述實驗,5 種不同模型在相同的測試集下得到的準確率、召回率、F1 值如表4所示.

表4 各模型對比結果(%)

從本實驗結果中,可以發現,本文所采用的基于GRU和PCNN 模型無論在準確率、召回率及F1 值都比其他單一神經網絡模型結果更優.由于PCNN 模型通過分片最大化池及多實例學習,可以更好的獲取上下文信息,使得PCNN 比GRU 可以發揮出發更好的優勢;另一方面,GRU 模型具有良好的學習依賴關系的能力.綜上,本文所才用的GRU+PCNN 模型比其他模型有明顯的提升的原因就在于GRU+PCNN 模型融合了兩個單一模型的優點,不僅具備了GRU的優點,例如學習長依賴關系的能力,還具有PCNN 模型的優點如提取局部重要特征的能力,因此使得本文所選用的GRU+PCNN 模型比其他單一模型無論是準確率還是召回率都有明顯的提升.

4 總結與展望

本文通過將深度學習模型PCNN和雙向GRU的組合模型對于電力領域進行知識抽取.該模型相比于傳統的基于監督學習、機器學習及單一神經網絡模型等存在的問題加以改善,使得該模型既具有PCNN 模型的優點,例如PCNN 模型通過分段最大池化及多實例學習來提取句子局部最重要特征的優點等,與此同時還具備GRU 模型的優點,例如GRU 可以學習長序列依賴關系的能力.最終訓練得到的實驗結果相比于傳統模型及單一神經網絡模型都有較好的結果,未來的工作將嘗試進一步優化模型來提高電力知識抽取的效果.