無監督實體關系觸發詞詞典自動構建

劉紹毓　席耀一　李弼程　唐永旺　陳　剛

(解放軍信息工程大學信息系統工程學院　河南 鄭州 450001)

?

無監督實體關系觸發詞詞典自動構建

劉紹毓席耀一李弼程唐永旺陳剛

(解放軍信息工程大學信息系統工程學院河南 鄭州 450001)

摘要傳統的實體關系觸發詞詞典構建主要采用人工方法和有監督的擴展學習方法。但是，上述兩種方法都需要大量的人工參與，并且當關系類型發生變化時需要重新構建觸發詞詞典。提出一種無監督的實體關系觸發詞詞典自動構建方法。首先，對關系實例文檔集進行分層狄利克雷過程建模，通過主題過濾和詞語概率權重過濾構建候選觸發詞集合；然后，利用依存句法分析對候選觸發詞集合進行再次過濾以得到最終的觸發詞詞典。該方法有效避免了傳統實體關系觸發詞詞典構建所需的大量人工參與。實驗表明，基于分層狄利克雷過程和依存句法分析的實體關系觸發詞詞典自動構建方法有效降低了人工標注成本，取得了較高的準確率。

關鍵詞實體關系觸發詞詞典分層狄利克雷過程依存句法分析

0引言

實體關系觸發詞也稱實體關系指示詞、實體關系描述詞、實體關系語義標簽等，是關系句子實例上下文中用來詳細說明實體對構成的實體關系表達意義的詞。例如雇傭關系觸發詞有“司機”、“部長”、“主席”、“經理”、“CEO”等，就學/畢業于關系的觸發詞有“學員”、“學士”、“碩士”、“博士”等，事務關系觸發詞有“合伙人”、“同伴”、“同事”、“上司”、“老板”等。實體關系觸發詞是實體關系的重要組成部分，是對實體間二元關系的擴展和豐富。

自動內容抽取會議ACE(Automatic content Extraction)定義的實體關系抽取任務包括實體關系識別和描述RDC(Relation Detection and Characterization)兩個任務[1]。具體說來，即首先發現兩個實體之間是否存在關系，其關系類別是什么；然后抽取出實體關系觸發詞，從而完整地描述實體與實體間的關系。實體關系觸發詞在實體關系相關研究中具有重要的實際效用和理論價值。一方面，正確抽取實體關系觸發詞能幫助用戶更好地理解實體關系；實體關系觸發詞是結構化關系知識庫中關系實例的重要標志，因此其能幫助用戶快速準確地從關系知識庫中檢索出特定關系類型的實例對。另一方面，實體關系觸發詞能夠有效指導實體關系抽取，提高實體關系抽取的性能，具有非常重要的實際效用和理論價值。

1相關工作

現有的構建實體關系觸發詞詞典的研究較少，主要有兩種方法：一種是人工方法；一種是基于初始觸發詞庫的有監督擴展學習方法，其通過抽取關系句子實例的觸發詞擴展初始觸發詞庫。

基于初始觸發詞庫的有監督擴展學習方法主要有以下研究：Villaverde[2]首先把實體關系觸發詞限定為動詞并構建初始觸發詞庫，然后根據文本語料中實體對間的語法結構和依賴性去確定觸發詞，進而達到擴展觸發詞庫的目的。但是，其研究具有局限性，除動詞之外，實體關系觸發詞還可能是名詞。中文實體關系觸發詞詞典構建研究起步較晚，其性能依賴于分詞工具和句法分析，難度比英文大，效果也不及英文。2007年，劉克彬[3]在利用基于規則的方法進行實體關系識別的同時抽取實體關系觸發詞。該方法首先人工構建初始實體關系觸發詞庫，然后從訓練語料中學習泛化得到候選觸發詞集的抽取規則，通過計算候選觸發詞集中詞與初始觸發詞詞典中詞的相似度來確定關系句子實例的觸發詞，進而達到擴展觸發詞詞庫的目的。2008年，孫曉玲[4]提出了一種基于同義詞詞林的實體關系觸發詞抽取方法。需要結合統計機器學習來快速高效地進行實體關系觸發詞抽取。

人工構建觸發詞詞典工作量大，無法保證其完備性，并且當關系類型改變和語言發展變化時，需要重新構建。基于初始觸發詞庫的有監督擴展學習方法雖然能對實體關系觸發詞庫進行有效擴展，但仍無法擺脫其對人工構建的初始觸發詞庫的依賴。因此，亟需一種無監督學習方法快速高效地完成任意類型的實體關系觸發詞詞典的自動構建。

2實體關系觸發詞詞典自動構建

2.1問題分析

觸發詞詞典構建需要從關系語料集中自動識別觸發詞。無監督實體關系觸發詞自動識別面臨的挑戰主要有：

(1) 關系語料集可能包含噪聲句子實例，需要消除噪聲句子實例中無關詞的干擾。例如，包含實體“馬化騰”和“騰訊”的句子“開會之前，馬化騰在騰訊公司的大會議室等待著董事會成員。”中的“等待”并沒有表達兩實體間的雇傭關系。

(2) 同一關系類型的語料往往涉及多個領域，各領域語言的不同增加了觸發詞識別的難度。例如，雇傭關系在體育領域的實例“孔卡效力于廣州恒大。”和在娛樂領域的實例“張韶涵是福茂唱片公司的簽約藝人。”的觸發詞分別是“效力”和“簽約”。本文特定實體關系在具體領域的子類型稱為關系子類型。

主題模型能夠自動發現數據集中的隱含類別。如果利用主題模型對特定關系類型的關系語料進行建模，可以有效地發現其中隱含的主題，即語料包含的關系子類型。主題模型不僅可以自動發現關系子類型，而且可以得到每一關系子類型的詞語概率分布。在該概率分布中，最能表達該關系子類型的詞語一般具有較大的概率權重。例如，體育領域的雇傭關系對應的關系子類型-詞分布中“前鋒”、“主教練”等詞具有較大的概率權重，娛樂領域的雇傭關系對應的關系子類型-詞分布中“演員”、“藝人”等詞具有較大的概率權重，而這些詞正是雇傭關系的觸發詞。

主題模型僅利用關系語料中詞語的共現信息識別觸發詞，卻沒有考慮關系句子實例中實體對的上下文語境信息。2014年，王健等[5]發現事件觸發詞與事件元素在句法上存在依存關系，并利用依存句法分析實現了生物事件觸發詞的抽取。與事件觸發詞類似，實體關系觸發詞與句子實例的實體對也存在依存關系，因此可以利用關系句子實例中實體對的上下文依存信息來識別觸發詞。

因此，本文用基于分層狄利克雷過程HDP(Hierarchical Dirichlet Process)和依存句法分析相結合的方法自動構建實體關系觸發詞詞典。

2.2HDP原理介紹

LDA是自然語言處理研究中常用的主題模型，其屬于非監督有向圖概率模型[6]。在進行文本處理時LDA假設文檔由服從狄利克雷分布的主題組成，每個主題由服從多項式分布的單詞組成。LDA建模時文檔數據被視為詞袋模型，并且詞語滿足位置可交換性。LDA為實現多文檔之間的主題共享提供了解決途徑。但是，LDA模型需要預先指定文本中的主題個數。

2005年，Teh[7]提出了非參數貝葉斯模型HDP。HDP是LDA模型的非參數模型，其能自動生成主題數目，為模型的自我優化提供了可能。

HDP的超參數有三個[8]：基分布H、聚集度參數γ和α0。基分布H為θji提供先驗分布。全局分布G0服從以H為基分布，γ為聚集度參數的狄利克雷過程，表示為：

G0|γH～DP(γ,H)

隨機分布Gj條件獨立于給定分布G0，并且服從以G0基分布的狄利克雷過程，即：

Gj|α0G0～DP(α0,G0)

如果1個HDP模型可以被用作已分組數據關于θji的先驗分布。對任意組j，令θj1,θj2…為以Gj為分布的獨立同分布隨機變量。每個θji分布可以用來生成相應的觀察xji。即：

θji|Gj～Gjxji|θji～F(θji)

從HDP的有向圖(如圖1所示)可以看到，各個文檔的主題均服從基分布H分布，保證了各個文檔之間的主題共享。首先，以基分布H和聚集度參數γ構成了Dirichlet過程G0～DP(γ,H)；然后以G0為基分布，以α0為聚集度參數，對每一組數據構造Dirichlet過程混合模型Gj～DP(α0,G0)，Dirichlet過程混合模型能夠實現數據的聚類和分布參數估計[9]。

圖1　HDP的有向圖模型

HDP過程有多種構造方法，常用的是CRF(Chinese restaurant franchise)構造方法，CRF由中國餐館過程CRP(Chinese restaurant process)擴展而來[10]。CRP構造的具體過程為：假設有無數家中國餐館，每家中國餐館有無數張餐桌，每張餐桌能容納下無數個顧客。所有餐館共用一份相同的菜單，菜單中有無數個菜。每張餐桌只能點用一個菜，同一餐館的不同餐桌可點用同一道菜，不同餐館的不同餐桌也可點用同一道菜。第一個顧客進入餐館后選定一張餐桌坐下并確定這張餐桌的菜；第二個顧客進入餐館后要么和第一個顧客同坐一張餐桌，要么另選一張餐桌坐下并確定該餐桌的菜……依此類推，第n個顧客會以c/(n-1+α)的概率選擇已有人坐的餐桌子(c表示已選擇該餐桌坐下的人數)，或者以α/(n-1+α)的概率選擇一張新餐桌，其中α是此過程的標量參數。HDP的CRF構造實際上是為顧客分配餐桌和菜的過程，即首先為每一位顧客分配餐桌，然后為每張餐桌分配菜，每道菜都有可能被點到，同時也可能有新的菜被點到。

(1)

從式(1)可以看出，nk越大，第Xn+1個顧客越有可能選擇已有人的桌子坐下，即越大的群越容易變大，表明Dirichlet過程具有集群性質。

2.3實體關系觸發詞詞典構建流程

本文提出了一種基于HDP和依存句法分析的實體關系觸發詞詞典自動構建方法。首先，對關系實例文檔集進行HDP建模，通過主題過濾和詞語概率權重過濾構建候選觸發詞集合；然后，利用依存句法分析對候選觸發詞集合進行再次過濾以得到最終的觸發詞詞典。實體關系觸發詞詞典自動構建的流程如圖2所示。

圖2　基于主題模型和依存句法分析的實體關系觸發詞詞典構建框架

2.4候選觸發詞集合構建

Step1將包含實體對的一個句子視為一篇文檔，得到一個文檔集合D={d1,d2,…,dD}。利用HDP對該文檔集合進行建模，過程如下：選擇整體基分布G0～DP(γ,H)對文檔集D進行建模。對于文檔dj，從G0中選擇局部分布Gj～DP(α0,G0)。對于文檔dj中的每個詞xji，首先根據Gj選擇該詞語的主題θji，然后根據θji對應的分布F(θji)選擇詞語xji。根據CRF構造HDP。模型挖掘文檔集合中的隱含主題T={T1,T2,…,TK}，并得到每一主題Ti的特征分布φTi。

Step2統計每一主題Ti含有的非零特征數目Ni。主題中含有的非零概率詞語越多，其包含觸發詞的概率越大。若主題中含有的非零概率詞語較少，那么該主題有可能為噪聲主題。設θ1為每一主題所含有的非零概率詞語的下限閾值，若主題Ti滿足Ni<θ1，將其從主題集合T中濾除。

然后，根據每一主題Ti的詞語概率分布φTi利用式(2)計算其所包含詞語的權重，并按照大小排序。

(2)

其中，|Ti,w|表示主題Ti中特征w的出現次數，|Ti|表示主題Ti中包含的特征數目。

最后，針對每一主題中不可避免包含的一些噪聲詞語，可以利用其小權重值的特點對其進行過濾。對于每一主題Ti，設θ2為噪聲特征閾值，若特征w的權重WeightTi,w>θ2，則將其添加入候選觸發詞集合CT。

2.5候選觸發詞集合過濾

利用主題模型得到候選觸發詞集合的方法僅僅考慮了詞語的共現信息，卻忽略了關系句子實例中實體對的上下文語境信息。而且單純依據詞語在主題中的權重選擇觸發詞會導致CT內存在較多噪聲詞語。為此，本文擬利用依存句法分析獲取關系句子實例中實體對的上下文語境信息，并利用該信息對候選觸發詞集合CT進行過濾。

依存句法分析由Tesniere最先提出[11]，其將句子解析成一顆依存句法樹，用以描述各個詞語之間的語義依賴關系。在實體關系句子實例的上下文中，觸發詞一般與實體對之間存在依存關系。例如關系實例“雇傭關系<馬化騰，騰訊公司>”對應的句子實例“馬化騰是騰訊的CEO。”的依存句法分析結果如圖3所示。與實體“馬化騰”或“騰訊”有依賴關系的詞集合是{是，的，CEO}，此詞集合包括觸發詞“CEO”。

圖3　雇傭關系句子實例依存句法分析示例

再如包含兩個人名實體“徐志摩”、“徐申如”的關系句子實例“徐志摩的父親徐申如曾經擁有一座發電廠。”的依存句法分析的結果如圖4所示。與實體“徐志摩”或“徐申如”存在依存關系的詞有“父親”和“擁有”，甚至包括人名實體“徐申如”，顯然也包括實體關系觸發詞“父親”。

圖4　父子關系句子實例依存句法分析示例

上述兩個實例依存句法分析結果中與實體對存在依存關系的詞集合都包含觸發詞，但仍存在噪聲詞語，如“是”、“的”、“擁有”。需要對這樣的噪聲詞語進行過濾，步驟如下：

(1) 考慮到命名實體一般不是觸發詞，濾除觸發詞集合中的命名實體(人名、地名、組織機構名)。

(2) 對同類實體關系的所有實體關系句子實例進行依存句法分析，去除停用詞，并統計與實體對存在依存關系的詞語信息W={,,…,}，其中wi表示詞語，dfwi表示該詞語的文檔頻率。由于表示同一實體關系的觸發詞一般會在多篇文檔中出現，可以根據詞語的文檔頻率對W進行過濾，保留文檔頻率dfwi>θ3的詞語(θ3為包含每一詞語的文檔數目的下限閾值)。

對特定實體關系而言，觸發詞應該同時存在于候選觸發詞集合CT和W中。因此，將CT中不存在于W中的詞語過濾掉，得到了觸發詞集合即為構建的觸發詞詞典。

3實驗及結果分析

3.1實驗數據及預處理

本文用中文維基資源，采用一種半自動的方式獲取與人物相關的實體關系語料，用以減少人工標注語料的工作量，具體步驟如下：

(1) 抽取中文維基模板頁面中的所有人物Infobox模板http://zh.wikipedia.org/wiki/Category:人物信息框模板，并對各個模板在所有維基頁面中的出現頻次進行統計，選取頻次最高的50個模板；

(2) 人工標注各個Infobox模板中表達預定義實體關系的屬性名稱，將Infobox模板和屬性名稱加入對應的實體關系中，如將“Infobox Officeholder”中的屬性“畢業院校”添加至“母校”關系；

(3) 在所有維基頁面中提取指定Infobox模板和屬性名稱的屬性值，與當前維基條目名稱形成實體關系對，并加入對應的實體關系中，如將維基條目“阿諾德·施瓦辛格”與正文中屬性“畢業院校”對應的屬性值“威斯康辛大學蘇必略分校”形成實體關系對，加入“母校”關系；

(4) 在維基中抽取包含上述實體對的所有句子，并粗略地認為所有的句子都表達了該實體對對應的實體關系，并將其作為實體關系標注語料。

實驗選取出現頻次高且數據豐富的四類實體關系作為測試對象，分別是：配偶、母校、雇傭、國籍。數據集的相關統計特征如表1所示。

表1　實體關系語料的數據統計

本文實驗采用NLPIR/ICTCLAS漢語分詞系統2014版http://ictclas.nlpir.org/對數據進行中文分詞，并去除停用詞，保留名詞、動詞和形容詞。采用斯坦福大學自然語言處理組提供的開源工具Stanford Parser version .3.1 http://nlp.stanford.edu/software/lex-parser.shtml對數據進行依存句法分析。

3.2實驗結果及其分析

以往的實體關系觸發詞詞典構建需要大量的人工參與，費時費力且局限于特定關系類型。本文的方法是無監督的，對各種關系類型具有通用性。為驗證本文提出的基于HDP和依存句法分析的實體關系觸發詞詞典自動構建方法的性能，本文構建了System-1、System-2和System-3，具體如下：

System-1：僅采用依存句法分析構建觸發詞詞典；

System-2：僅通過主題模型構建觸發詞詞典；

System-3：采用基于主題模型和依存句法分析相結合的方法構建觸發詞詞典。

評價機制：(1) 在相同的關系語料集上人工構建實體關系觸發詞詞典，將本節方法獲得的觸發詞詞典與之比較，通過計算準確率進行評價。(2) 采用信息檢索中的常用評價指標AP值比較觸發詞抽取算法的性能。

從表2實體關系觸發詞抽取的實驗結果可以看出，基于主題模型和依存句法分析相結合的方法性能明顯優于其他兩種方法。基于依存句法分析的方法效果較差，原因在于與實體對存在依存關系的詞語較多，因此噪聲也較多。基于主題模型的方法假設觸發詞在主題中具有較大權重，其利用關系語料中隱含的統計特性，通過挖掘隱含主題識別觸發詞。實驗證明該方法優于基于依存句法分析的方法，證明該假設有一定的合理性。基于主題模型和依存句法分析相結合的方法與前兩者相比具有更好的效果，說明觸發詞一般在主題中具有較大權重，同時與實體對之間也存在依存關系，證明了本文方法的有效性。

表2　不同方法構建的觸發詞詞典準確率比較

另外，不同關系類型的準確率具有一定差異，主要原因有：(1) 數據集中不同關系類型的語料句子數目不同，數據集不平衡；(2) 有些實體關系的觸發詞比較明確，例如“配偶”關系的觸發詞通常是“結婚”、“夫人”、“夫婦”、“娶”等意義明顯的詞，而有些關系的觸發詞比較隱晦，而且在不同領域差異較大，例如娛樂領域的“雇傭”關系觸發詞通常為“藝人”、“歌手”等，在體育領域通常出現的則為“租借”、“主教練”等。

為進一步比較System-3與System-1、System-2的性能，本文采用信息檢索中的AP指標判斷所抽取觸發詞的質量好壞，AP指標用于評價有序檢索結果的好壞。AP值可以較好地體現一個抽發詞抽取算法性能的好壞，如果一個抽發詞抽取算法能夠使正確的觸發詞排名盡量靠前，那么該算法的AP值就比較高。圖5-圖8分別給出了上述三種算法在四種實體關系上的AP值大小比較。實驗給出了上述算法所抽取的觸發詞前10、20、50、100、150、200個觸發詞的性能。

圖5　配偶關系AP值比較

圖6　母校關系AP值比較

圖7　雇傭關系AP值比較

圖8　國籍關系AP值比較

由圖5-圖8可以看出，采用AP值比較觸發詞抽取算法的性能時，基于主題模型和依存句法分析相結合的方法依然具有最佳性能。僅采用依存句法分析與僅利用主題模型的方法或者僅考慮實體對的上下文語境信息，或者僅利用關系語料中詞語的共現信息識別觸發詞，性能均比較差。而將兩者相結合的方法避免了各自的缺陷，在各種實體關系語料中均提升了性能。另外，采用AP值評價觸發詞抽取算法性能時，基于依存句法分析的方法略優于基于主題模型的方法。通過觀察觸發詞排序結果發現這是因為基于依存句法分析的方法相對基于主題模型的方法能將觸發詞排序提前一些，導致其AP值略高一些。隨著觸發詞識別數目的增多，AP值均呈下降趨勢，只有雇傭關系例外。經過分析是因為大量觸發詞的排序介于20至50之間，使得觸發詞數50對應的AP值略有上升。

4結語

實體關系觸發詞詞典對實體關系抽取具有重要意義。目前，實體關系觸發詞詞典的構建大都采用人工構建或有監督的觸發詞擴展學習方法，這兩種方法需要大量的人工參與，并且當關系類型發生變化時需要重新進行構建。本文提出了一種無監督的實體關系觸發詞詞典自動構建方法。該方法在對實體關系句子實例進行HDP建模后，采用主題過濾、詞語概率權重過濾得到候選觸發詞集合，然后采用基于依存句法分析的候選觸發詞集過濾以得到觸發詞詞典。實驗結果表明，該方法能自動構建各種類型的實體關系觸發詞詞典，并且取得了較高的準確率。盡管構建的觸發詞詞典具有一定的準確率，但仍有待提高。一方面，這是因為獲得的關系句子實例集中存在較多噪聲；另一方面，算法在主題過濾和概率權重過濾過程中涉及的閾值因子對過濾操作具有較大影響。下一步工作：采用合適方法對關系句子實例集進行噪聲過濾；尋找過濾閾值因子的快速尋優方法。

參考文獻

[1] Zhou G,Qian L,Fan J.Tree kernel-based semantic relation extraction with rich syntactic and semantic information[J].Information Sciences,2010,180(8):1313-1325.

[2] Villaverde J,Persson A,Godoy D,et al.Supporting the Discovery and Labeling of Non-taxonomic Relationships in Ontology Learning[J].Expert Systems with Applications,2009,36(7):10288-10294.

[3] 劉克彬,李芳,劉磊,等.基于核函數中文關系自動抽取系統的實現[J].計算機研究與發展,2007,44(8):1406-1411.

[4] 孫曉玲,林鴻飛.人際網絡關系抽取和結構挖掘[J].微電子學與計算機,2008,25(9):233-236.

[5] 王健,吳雨,林鴻飛,等.基于深層句法分析的生物事件觸發詞抽取[J].計算機工程,2014,40(1):25-30.

[6] 馮時,景珊,楊卓,等.基于LDA模型的中文微博話題意見領袖挖掘[J].東北大學學報:自然科學版,2013,34(4):490-494.

[7] Teh Y W,Jordan M I,Beal M J,et al.Hierarchical dirichlet processes[J].Journal of the American Statistical Association,2006,101(476):1566-1581.

[8] 段瑞雪,王小捷,孫月萍,等.HDP主題模型的用戶意圖聚類[J].北京郵電大學學報,2011,34(S1):55-58.

[9] 周建英,王飛躍,曾大軍.分層Dirichlet過程及其應用綜述[J].自動化學報,2011,37(4):389-407.

[10] Blei D M,Griffiths T L,Jordan M I,et al.Hierarchical Topic Models and the Nested Chinese Restaurant Process[C]//Proceedings of the Conference on Neural Information Processing Systems,2003:16.

[11] 吳佐衍,王宇.基于HNC理論和依存句法的句子相似度計算[J].計算機工程與應用,2014,50(3):97-102.

AUTOMATIC CONSTRUCTION OF ENTITY-RELATION TRIGGER WORD DICTIONARY BASED ON UNSUPERVISED METHOD

Liu ShaoyuXi YaoyiLi BichengTang YongwangChen Gang

(SchoolofInformationSystemEngineering,PLAInformationEngineeringUniversity,Zhengzhou450001,Henan,China)

AbstractTraditional construction of entity-relation trigger word dictionary mainly uses artificial or supervised extended learning methods. However, both of the methods require a lot of human involvement, and when the relation type changes, there has the need to rebuild trigger word dictionary. This paper proposes an unsupervised automatic construction method for entity-relation trigger word dictionary. First, we use hierarchical Dirichlet process to model the relation instance document set, and build candidate trigger word set by topics filtration and words probability weight filtration; then we make use of the dependency parsing to filter the candidate trigger word set once again for acquiring final trigger word dictionary. This method effectively avoids the extensive human involvement required by traditional construction of entity-relation trigger word dictionary. Experiments show that the automatic entity-relation trigger dictionary construction method based on hierarchical Dirichlet process and dependency parsing effectively reduces the manual annotation costs and achieves a higher accuracy.

KeywordsEntity-relation trigger word dictionaryHierarchical Dirichlet processDependency parsing

收稿日期：2014-09-08。國家高技術研究發展計劃項目(2011AA 7032030D)；全軍軍事研究生課題(軍事學YJS1062)。劉紹毓，碩士生，主研領域：實體關系抽取。席耀一，博士生。李弼程，教授。唐永旺，碩士。陳剛，講師。

中圖分類號TP391

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.05.018