基于深度信念網絡的維吾爾語事件伴隨關系識別

胡 偉，禹 龍，田生偉，吐爾根·依布拉音，馮冠軍，艾斯卡爾·艾木都拉

(1. 新疆大學 軟件學院，新疆 烏魯木齊 830008； 2. 新疆大學 網絡中心，新疆 烏魯木齊 830046；3. 新疆大學 信息科學與工程學院，新疆 烏魯木齊 830046； 4. 新疆大學 人文學院,新疆 烏魯木齊 830046)

0 引言

維吾爾語事件伴隨關系有著廣泛的應用前景,事件伴隨關系指的是一個事件的發生伴隨著另一個事件的發生，兩者在時間上具有緊密性，反映的是事件間的一種語義關系。通過對事件伴隨關系的研究有助于了解事件發生的諸多因素，從而獲取事件的演變過程，在某種程度上為決策者對事件后期發展的預判提供重要的信息。如例1(維吾爾語的書寫格式為從右向左，下文同)。

(美國得克薩斯州西南部地區一輛教會巴士與輕型貨車相撞。當地警方表示事故已經造成12人死亡，3人受傷。)

鑒于事件伴隨關系具有的重要意義，本文提出一種基于DBN的維吾爾語事件伴隨關系的識別方法，從而有助于更加全面地理解事件關系。通過這種方法能夠有效識別出維吾爾語文本中的具有伴隨關系的事件對，利用多層受限玻爾茲曼機(restricted Boltzmann machine,RBM)提取事件對中隱含的語義和句法關系，不僅能夠進行句子間的伴隨關系的識別，而且對跨句的伴隨關系的識別仍然有效，克服了由于缺少事件伴隨關系連接詞所帶來的識別難的問題。

1 相關工作

深度學習相對于淺層學習而言，具有更強的表達能力，是機器學習研究中的一個新領域。早在2006年Hinton等人指出，深層神經網絡(deep neural network, DNN)具有更好的特征學習能力，隨著深度學習方法在圖像和語音領域的應用，越來越多的深度學習方法被應用于自然語言處理領域，梁軍等人[1]利用遞歸神經網絡來發現與微博任務相關的特征進行微博情感分析的研究。趙妍妍等人[2]采用基于觸發詞擴展和二元分類相結合的方法進行事件類別識別，以及基于最大熵的多元分類的方法進行事件元素識別的事件抽取任務。Hen-Hsen Huang等人[3]提出一種半監督的DCNN(dependency-based convolutional neural network)模型用于中文時態標注和因果關系分析。Jing Lu等人[4]提出應用MLN(Markov Logic Network)進行事件共指消解的研究，主要是在低維空間的單元子句中，通過擴大MLN的分布來將實驗所需要的特征加入到模型中進行訓練。Abhyuday N Jagannatha等人[5]利用雙向RNN(bidirectional recurrent neural network)進行醫學事件檢測。Hao Li等人[6]利用跨文本類型知識的方法進行事件結構信息的提取。

上述是國內外有關事件的研究，主要集中在漢語和英語等大語種的相關研究領域，研究方向包括事件抽取、事件檢測和事件因果關系分析等。而對于像維吾爾語、蒙古語和藏語等少數民族語言的相關研究主要有： 瑪爾哈巴·艾賽提等人[7]分析了維吾爾語情感詞匯在上下文中表現的特征,并結合維吾爾語本身的語法特征,提出基于語法的維吾爾語情感詞匯自動獲取；孫媛等人[8]在藏漢可比語料的基礎上,利用詞向量對文本詞語進行語義擴展,進而構建LDA話題模型,并利用Gibbs sampling進行模型參數的估計,抽取出藏語和漢語話題；鐘軍等人[9]提出了一種基于雙層模型的抽取方法，用來進行維吾爾語突發事件因果關系的抽取；鄭亞楠等人[10]提出一種基于詞向量模型的詞性標注方法和相應算法,該方法首先利用詞向量的語義近似計算功能,擴展標注詞典;其次結合語義近似計算和標注詞典,完成詞性標注。對于少數民族語言的相關研究，主要集中在詞性標注、情感分析等方面，而對于維吾爾語事件伴隨關系的研究卻很少。

本文在前人相關研究基礎上，通過對維吾爾語語言特點的分析，根據深度信念網絡的無監督學習算法，利用逐層貪婪預訓練的方式解決深度學習模型優化困難的問題，提出基于DBN的深度學習思想進行維吾爾語事件伴隨關系的識別。根據維吾爾語具體的語言特性和事件伴隨關系的特點，本文抽取出基于事件結構信息的12項特征，同時為充分利用事件與對應觸發詞間的語義信息，引入詞向量來計算觸發詞間的語義相似度，融合兩類特征構建訓練和測試數據，接著將訓練數據作為DBN模型的輸入，利用無監督逐層貪婪算法完成訓練過程，最后引入softmax分類器實現維吾爾語事件伴隨關系識別任務。

2 維吾爾語相關事件定義

定義1事件(event)： 指在特定時間和環境下發生的，由若干角色參與的，表現出一些動作特征的一件事情[11]。其中事件發生的時間、地點和參與角色稱為事件要素。

定義2事件觸發詞(eventtriggerword)： 事件觸發詞直接引起事件的發生，是決定事件類別的重要特征，在一些文獻中也稱作事件指示詞。

定義3泛指事件(generalevent): 在文本中包含事件觸發詞，但是通過聯系文本上下文信息，該事件觸發詞并不能表示一個事件的發生，這類事件稱之為泛指事件。

(據新疆地震(E1)局預測……)

定義4語義類別(semanticclass)： 語言學中的語義是語言形式和言語形式所表現出來的全部意義，而語言的意義又包括詞義和句義兩種，同時根據語義的分析，并非所有的語義都具有類別。根據實驗組維吾爾語語言學專家的意見，將維吾爾語中具有語義的語義類別劃分為“rel_關系”、“time_時間”等14個類別(詳見附錄1)。

定義5事件的類別及事件子類別(typeandsubtype)： 根據ACE(automatic content extraction)語料和實驗組維吾爾語語言專家的意見，結合維吾爾語語言的特性，將事件的類別劃分為“突發事件”、“生命”等八個大類,并且每個事件類別又對應若干個事件子類別(詳見附錄2)。

定義6事件極性(polarity)： 根據ACE(Automatic content extraction)語料和實驗組維吾爾語語言專家的意見，將事件的極性分為negative(根據事件的上下文信息，若明確指出該事件沒有發生，則該事件的極性為negative)和positive(根據事件的上下文信息，若明確指出該事件已經發生或正在發生，則該事件的極性為positive)兩類。

3 維吾爾語事件伴隨關系識別模型

本文提出利用DBN模型完成維吾爾語事件伴隨關系的識別，在實驗組維吾爾語語言專家指導下對實驗語料進行標注。標注的內容主要包括： 事件觸發詞、事件指示詞、事件類型、事件的語義類別等。本研究的主要過程是： 對已標注的語料進行候選事件對的提取，而后在此基礎上進行特征抽取，從而生成訓練數據，最后用得到的訓練數據訓練DBN模型并帶到softmax分類器中完成事件伴隨關系的識別。整個識別過程如圖1所示。

圖1 維吾爾語事件伴隨關系識別過程

3.1 候選事件對的抽取

候選事件對的抽取是本研究的基礎，將直接影響后續研究的進行，正確地進行候選事件對的抽取，不僅能夠達到去重、去噪的目的，而且有助于提高實驗的性能。具體抽取過程如下：

Step1取出語料庫中所有事件，存入列表eventList中。

Step2循環遍歷列表eventList，依次取出列表中的事件e，判斷該事件對應的伴隨事件是否為空，如果不為空，將該事件對應的伴隨事件存入集合{followEvent}中，同時將該事件和其所對應的伴隨事件作為候選事件對，將其作為實驗的正例，如果為空并且該事件不是泛指事件，則將該事件存入集合{events}中。

Step3重復Step2，直到列表eventList為空。

Step4完成上述步驟之后，將集合{events}中含有集合{followEvent}的元素移除掉。同時對集合{events}中剩余元素進行兩兩組對作為候選事件對，并將其作為實驗的負例。

Step5最后將Step2和Step4得到的候選事件對融合起來，作為實驗總的候選事件對。

3.2 特征提取

實驗中提取的特征是否有效對深度信念網絡的識別效果有直接的影響，使用準確的特征對文本進行描述，有助于實驗效果的提升。本次實驗結合實驗組維吾爾語語言學專家總結的關于維吾爾語語言特性及維吾爾語事件伴隨關系的特點，選取12個特征進行事件伴隨關系的識別。通過以下實例(例3)對實驗所提取的特征進行介紹。

例3

(也門海岸上一艘搭載索馬里難民的船只遭受武裝直升機的襲擊(E1)，事故現場十分慘烈，造成至少31名難民死亡(E2)。)

(1) 事件類別(type)： 若事件類別相同，特征值取1，否則取0，根據定義5知事件E1的事件類別為突發事件，事件E2的事件類別為生命。故例3中特征值為0。

(2) 事件子類別(subtype)： 若事件子類型相同，特征值取1，否則取0。根據定義5可知，事件E1的子類別為恐怖襲擊，事件E2放入子類別死亡。故例3中特征值取0。

(3) 事件的極性(polarity)： 事件的極性有po-sitive和negative兩種。若事件極性相同，特征值取1，否則取0。根據定義6可知例3中事件E1和事件E2的極性都為positive，故特征值取1。

(4) 事件的時態(tense)： 事件的時態可以分為past_event、now_event、future_event和unspecified_event。若時態相同，特征值取1，否則，同取0。例3中，事件E1和事件E2的時態都為past_event，故特征值取1。

(5) 觸發詞的語義類別(semantic type)： 若觸發詞的語義類別相同，特征值取1，否則取0。根據定義4知，例3中事件E1和事件E2的觸發詞語義類別都為event_事件，故特征值取1。

(6) 事件觸發詞的詞性(triggerPOS)： 若事件觸發詞的詞性相同，特征值取1，否則0。例3中事件E1的觸發詞詞性為普通名詞，事件E2的觸發詞詞性為動詞，故特征值取0。

(7) 兩個事件是否具有依存關系(dependency)： 所謂兩個事件具有依存關系，指的是這兩個事件的觸發詞出現在一個句子中。若具有依存關系，特征值取1，否則取0。例3中事件E1和事件E2對應的觸發詞都出現在一個句子中，故特征值取1。

(8) 兩個事件在文本中出現的先后順序(EventSeq)： 實驗中根據觸發詞在文本中出現的先后順序來代表候選事件對對應的兩個事件在文本中出現的先后順序，若兩者對應，特征值取1，否則取0。經實驗可知例3中特征值取1。

(9) 兩個事件的觸發詞類型是否相同(triggertype)： 在語料設置中，事件的觸發詞類型有泛指事件、本句事件、非本句事件等。觸發詞類型相同，特征值1，否則取0。例3中，事件E1是本句事件，事件E2是本句事件，故特征值取1。

(10) 兩個事件之間的相對距離(reldistance)： 通過計算實驗語料庫中所有抽取的候選事件對對應觸發詞之間的相對距離劃定一個最優的距離范圍，經計算可知相對距離在[0,15]之間的事件對約占10%,[16,55]之間的約占78%，大于55的約占12%，故本次實驗劃定相對距離范圍為[15,55]。若兩個事件之間的相對距離在劃定范圍內，特征值取1，否則取0。在例3中，事件E1和事件E2對應觸發詞的相對距離為16，故特征值取1。

(11) 兩個事件之間間隔事件的事件數(interevent)： 通過計算實驗語料庫中所有候選事件對之間間隔的事件數并且劃定一個最優的范圍，經實驗計算可知，[0,3]之間約占8.5%,[3,5]約占82%，大于5的約占9.5%，故本次實驗劃定的間隔事件數的范圍是[3,5]。若兩個事件之間間隔的事件數在這個范圍內，特征值取1，否則取0。例3中，事件E1和事件E2間隔的事件數為0，故特征值取0。

(12) 兩個事件之間間隔句子數(intersentence)： 在文本中候選事件對之間通常間隔的句子數較少，甚至沒有間隔的句子。在實驗中通過計算所有候選事件對之間間隔的句子數可以看出，間隔句子數范圍在[0,2]之間的事件對約占86.7%，所以本實驗中，事件之間間隔的句子數在[0,2]范圍內對應的特征值取1，否則取0。例3中，事件E1和事件E2之間間隔的句子數為1，故特征值取1。

(13) 候選事件對對應觸發詞的語義相似度： 根據觸發詞間的語義信息，利用詞向量計算候選事件對對應觸發詞之間的語義相似度，將其作為實驗的特征之一。

3.3 深度信念網絡

深度信念網絡(deep belief network，DBN)是深度學習中重要的模型[12]。由Hinton等人[13]于2006年提出，其采用逐層貪婪的學習方法，能夠有效避免傳統的梯度下降算法針對多隱層訓練效果不佳的問題，已被成功應用于圖像、語音和文檔等對象的建模、特征抽取、識別等[14-15]。

由于DBN模型良好的特征學習能力，本文提出一種基于DBN模型的維吾爾語事件伴隨關系的識別方法，利用該模型從原始的特征集中學習到更加抽象且高度區分的特征，最后作為softmax分類器的輸入實現分類。DBN模型由多層無監督的受限玻爾茲曼機(restricted Boltzmann machine,RBM)和一層有監督的反向傳播(back-propagation,BP)網絡組成，如圖2所示。

圖2 DBN模型框架

DBN的訓練包括“預訓練”和“微調”兩個階段，“預訓練”階段采用逐層訓練的方式對各層的RBM進行訓練，低一層RBM的隱含層輸出作為高一層RBM的可見層的輸入。“微調”階段是在經過預訓練之后，為使模型具有更好的表現能力，在DBN模型的最后一層設置BP網絡，用以接收RBM的輸出特征向量作為它的輸入特征向量。采用BP算法，利用梯度下降的方法對整個DBN進行優化、微調，是一個有監督的學習過程。

3.4 受限玻爾茲曼機

受限玻爾茲曼機(restricted Boltzmann machine,RBM)是一類具有兩層結構、對稱連接且無自反饋的神經網絡模型[16],由一個隱含層和一個可見層組成,其層內各神經元無連接，層間神經元全連接，各個隱含層節點的各個激活狀態之間是相互獨立的，如圖3所示。其中，W是兩層之間的連接權重。

圖3 RBM網絡結構

在RBM中，可見單元和隱藏單元都是二元變量，其狀態僅為{0,1}，由于其是一種基于能量的模型，輸入v向量和隱含層輸出向量h之間的能量函數值為：

(1)

式中，θ是RBM的參數，W是可見單元與隱藏單元邊的鏈接權重，ai和bj分別是可見單元和隱藏單元的偏置。基于該能量函數，可得到v和h的聯合概率，如式(2)所示。

(2)

(3)

接下來通過最大化p(v)來得到RBM的參數，在這里最大化等同于最大化log(p(v))=L(θ)，如式(4)所示。

(4)

通過L(θ)利用隨機梯度下降法來最大化L(θ)，首先L(θ)需要對W進行求導，經過簡化如式(5)所示。

(5)

對于式(5)而言，等式右邊的第一項較為容易計算，而等式右邊第二項在通常情況下基本不可解，由分析可知：

(6)

為求解(6)式，采用Hinton[17]提出的對比散度(contrastive divergence,CD)算法進行求解。從而可以得到：

重構的可見向量v1和隱藏向量h1就是對p(v,h)的一次抽樣，多次抽樣得到的樣本集合可以看作是對p(v,h)的一種近似，使得式(5)的計算變得可行。

3.5 詞向量

基于神經網絡訓練得到的詞向量蘊含豐富的上下文語義信息，在實驗中引入詞向量充分表示當前事件所對應的觸發詞在文本中的語義信息，同時避免了維數災難[18]。

本文使用Mikolov[19]提出的Word2Vec工具訓練得到詞向量，選擇Skip-gram+HS模型作為訓練框架。為了更準確地獲取每個觸發詞在低維空間中的語義分布情況，本文在原有語料的基礎之上進行了擴充。選取維吾爾語版網頁作為語料來源，利用網絡爬蟲下載網頁，進行去重、去噪處理，得到不限題材并且未標注的生語料。

下面通過一個具體的例子來闡述本次實驗如何利用詞向量進行觸發詞間語義相似度的計算(詞向量維度以10維為例)

例4

(在某地高速公路上發生一起嚴重的車禍(E1)，現場造成10人死亡(E2))。

表1 例4中兩個觸發詞的詞向量

從表1中得到事件E1和E2對應觸發詞的詞向量，利用二者之間的余弦值來表示兩個觸發詞之間的語義相似度，通過計算得到上述兩個觸發詞之間的語義相似度為0.144 3，而后將其作為一個特征，并將其加入到對應事件對的特征集中。

4 實驗結果與分析

為了便于比較，本文采用準確率P、召回率R和F值三個重要指標來對事件伴隨關系的識別結果進行衡量。其中準確率是指正確識別的對象個數占實際識別的對象個數的百分比。召回率是指正確識別的對象個數占識別系統應該識別對象個數的百分比。F值是正確率和召回率的綜合評價指標，即:F=P×R×2/(P+R)。本文所有實驗均采用五折交叉驗證，為保證結果的穩定性，取平均值作為最終的實驗結果。

4.1 基于DBN模型的有效性驗證

在不引入詞向量的前提下，使用3.2節提取的前12個特征構成的特征向量作為輸入，利用DBNi(表示DBN神經網絡的層數為i)和SVM進行對比實驗。SVM是處理非線性數據較好的淺層機器學習模型，因此本文選用SVM模型作為Baseline進行對比實驗，實驗結果如表2所示。

表2 基于DBN的有效性驗證

從表2可以看出，不同層數的DBN模型，對于實驗性能的影響也有所不同，這是因為不同層數的DBN模型，在通過多層映射之后所提取出的結構信息有所不同，由表2可知，當DBN模型層數為2時相對于DBN模型的其他層數性能更優，其F值達到76.86%，較淺層SVM機器學習模型提高了2.56%，說明在本任務中基于深度學習的模型較基于淺層的機器學習模型具有更好的表達能力。

4.2 特征選取對模型性能的影響

在維吾爾語事件伴隨關系識別過程中，特征的選擇對模型性能的影響較大，為了探討特征的選擇對模型性能的影響，本文基于4.1節中實驗效果最佳的DBN2來詳細說明特征的選擇對模型性能的影響。去掉4.2節中前12項特征中的某一項，將剩余的11項特征構成新的特征集，將該特征集作為模型的輸入進行特征有效性驗證，如表3所示，表中每一行的結果為去掉對應特征后得到的結果。

表3 特征選取對模型性能的影響

續表

由表3可知，在去掉某一項特征之后模型的準確率、召回率以及F值與包含全部特征相比均有所下降，由此證明3.2節提取的規則特征在維吾爾語事件伴隨關系上的有效性。

4.3 詞向量對實驗結果的影響

詞向量富含豐富的上下文語義信息，為探討Word Embedding 對模型的分層結構學習性能的影響，實驗選用50維的詞向量進行實驗，依次訓練DBN1、DBN2、DBN3、DBN4。實驗結果如表4所示，其中DBNi+W_E表示，在原有特征集中加入對應候選事件對的觸發詞的語義相似度的特征。

表4 Word Embedding對實驗結果的影響

從表4可知，詞向量對不同層次的DBN模型都是有效的。這是因為詞向量每一維都包含豐富的上下文信息，能夠很好地表示語義特征，并且使語義類似的觸發詞，其向量表示也比較接近，進一步促進模型對語料深層語義的學習，進而提高了模型對維吾爾語事件伴隨關系的識別性能。在引入詞向量訓練DBN2時，可以從表中很明顯地看出其性能要明顯高于引入詞向量訓練其他各層的性能。

4.4 詞向量維度對實驗的影響

詞向量維度的選擇對DBN模型的性能有一定的影響。為探討詞向量維度設為多大時能更好地表達識別效果，實驗中將詞向量的維度依次設定為10維、50維、100維、150維、200維分別進行實驗。通過表2和表4分析，選定DBN2模型進行對比實驗，結果如表5所示。

從表5可以看出，詞向量維度的不同對DBN模型的性能都有不同的影響。當特征集中詞向量的維度為50維時DBN模型的性能最佳，P值達到81.89%，R值達到84.32%，F值達到82.48%。隨著維度的不斷增加，模型的正確率開始回落，性能下降，其原因是當維度過高時，會產生過擬合現象，模型對數據的泛化能力降低。

5 結語

針對國內外關于事件的相關研究，結合維吾爾語本身的特點，提出一種基于DBN的維吾爾語事件伴隨關系的識別方法。通過對維吾爾語語言結構和伴隨關系的特點的分析，提取了12項基于事件結構信息的特征。為充分利用事件對與其對應的觸發詞之間的語義信息，利用詞向量計算其語義相似度，最后融合這兩類特征作為DBN神經網絡模型的輸入，進而完成事件伴隨關系的識別。實驗結果表明，基于深度學習的模型較淺層的SVM模型更適合事件伴隨關系的識別任務，且引入詞向量能更好地提高模型的性能識別。同時，Word Embedding維度不同，對模型性能的影響也有所不同。

[1] 梁軍, 柴玉梅, 原慧斌,等. 基于深度學習的微博情感分析[J]. 中文信息學報, 2014, 28(5): 155-161.

[2] 趙妍妍, 秦兵, 車萬翔,等. 中文事件抽取技術研究[J]. 中文信息學報, 2008, 22(1): 3-8.

[3] Hen-Hsen Huang,Chang-Rui Yang, Hsin-Hsi Chen.Chinese tense labelling and causal analysis[C]//the 26th International Conference on Computational Linguistics,2016: 2227-2237

[4] Jing Lu, Deepak Venugopal, Vibhav Gogate, et al. Joint Inference for event coreference resolution[C]//the 26th International Conference on Computational Linguistics, 2016: 3264-3275

[5] Jagannatha A N, Yu H. Bidirectional RNN for medical event detection in electronic health records[C]// Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. Proc Conf, 2016: 473.

[6] Li H, Ji H. Cross-genre event extraction with knowledge enrichment[C]// Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies,2016: 1158-1162.

[7] 瑪爾哈巴·艾賽提, 艾孜爾古麗, 玉素甫·艾白都拉. 基于語法的維吾爾語情感詞匯自動獲取[J]. 中文信息學報, 2017(1): 126-132.

[8] 孫媛, 趙倩. 藏漢跨語言話題模型構建及對齊方法研究[J]. 中文信息學報, 2017, 31(1): 102-111.

[9] 鐘軍, 禹龍, 田生偉,等. 基于雙層模型的維吾爾語突發事件因果關系抽取[J]. Acta Automatica Sinica, 2014, 40(4): 771-779.

[10] 鄭亞楠, 珠杰. 基于詞向量的藏文詞性標注方法研究[J]. 中文信息學報, 2017, 31(1): 112-117.

[11] 付劍鋒. 面向事件的知識處理研究[D]. 上海: 上海大學博士學位論文，2010.

[12] 丁美昆, 徐昱琳, 蔣財軍. 深度信念網絡研究綜述[J]. 工業控制計算機, 2016, 29(4): 80-81.

[13] Hinton G E, Salakhutdinov R R. Reducing the dimensionality of data with neural networks. Science, 2006,313(5786): 504-507

[14] 曲利新.基于深度信念網絡的語音情感識別策略[D].大連： 大連理工大學碩士學位論文，2014: 56.

[15] 黃晨晨，鞏微，伏文龍，等.基于深度信念網絡的語音情感識別的研究[J].計算機研究與發展，2014,51(2)： 75-80.

[16] 張春霞, 姬楠楠, 王冠偉. 受限波爾茲曼機[J]. 工程數學學報, 2015(2): 159-173.

[17] Hinton G E. Training productsof experts by minimzing contrastive divergence[J]. Neural Computation, 2002,14(8): 1771-1800.

[18] He Yu, Pan Da, Fu Guo-Hong. Chinese explanatory opinionated sentence recognition based on auto-encoding features[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2015,51(2): 235-240.

[19] Mikolov T, Sutskever I, Chen K, et al. Distributed representations of words and phrases and their compositionality//Proceedings of Advances in Neural Information Processing Systems, Vancouve, Canada: NIPS, 2013: 3111-3119.

附錄1：

(維吾爾語語言的語義類別)

附錄2：

(左側列是事件類別，右側列是對應類別的子類別)