基于特征聯合與多注意力的實體關系鏈接

付 林，劉 釗，邱 晨，4，高 峰，4

（1.武漢科技大學計算機科學與技術學院，武漢 430065；2.湖北省智能信息處理與實時工業系統重點實驗室，武漢 430065；3.武漢科技大學大數據科學與工程研究院，武漢 430065；4.國家新聞出版署富媒體數字出版內容組織與知識服務重點實驗室，北京 100083）

0 概述

近年來，隨著知識圖譜的發展與完善，基于知識圖譜的問答系統成為當前的一個研究熱點［1-3］。基于知識圖譜的問答通常也稱為知識庫問答（Knowledge Base Question Answering，KBQA）［4］，允許用戶從知識庫中直接獲取自然語言問題的答案。KBQA 中的一個重要方向是語義解析（Semantic Parsing，SP），是指將自然語言問題轉換成邏輯形式的查詢?；谡Z義解析的問答系統包括3 個子任務［5］：實體鏈接，是指從自然語言問題中識別出實體提及并將其正確鏈接到知識庫中對應的實體上；關系鏈接，是指從自然語言問題中抽取出關系關鍵字并將其映射到知識庫中對應的關系上；查詢構建，將實體鏈接和關系鏈接的結果相結合構建結構化查詢語句，例如：SPARQL 查詢語句最后執行查詢語句，得到問題的答案。

現有的實體鏈接和關系鏈接工作存在以下問題：傳統的實體鏈接和關系鏈接作為獨立的任務執行，使得實體鏈接不能從關系鏈接中獲得的信息中收益，關系鏈接也無法從實體鏈接中獲得有益信息，忽略了兩者鏈接中產生的信息間的相互影響，為充分利用兩者鏈接過程中的信息，DUBEY 等［6］提出EARL 模型進行聯合實體關系鏈接，該模型雖在鏈接精度上有所提升，但在處理疑問詞上存在限制；目前的實體鏈接和關系鏈接過程忽略了問題本身帶來的信息，通常只關注識別出來的關鍵詞，未能充分考慮問題的整體信息，YU 等［7］利用神經網絡模型學習問題的整體信息，將問題表示信息引入鏈接過程，文中將實體鏈接和關系檢測作為依賴的順序任務執行，并未充分考慮候選實體和候選關系的內在聯系；KBQA 系統中的實體鏈接和關系鏈接方法在簡單問題上表現效果較好，在包含多個關系詞的復雜問題上就顯得難以應對［8］，但由于信息量的劇增，人們對于多關系問題的問答需求量也急劇上升。

針對上述問題，本文提出一個基于神經網絡的利用特征聯合和多注意力的聯合實體關系鏈接方法。首先將實體鏈接和關系鏈接聯合起來在同一階段執行，并加入由實體-關系對信息組成的特征序列來聯合表示實體詞以及關系詞，強化實體和關系之間的內在聯系，提高鏈接精度。然后利用神經網絡模型對問題、實體詞以及關系詞進行編碼表示學習，充分挖掘深層語義信息，并添加多個注意力獲取實體詞和關系詞在問題中的權重信息，加強相關候選詞在問題中的特征表示以促進鏈接過程。

1 相關工作

知識圖譜問答旨在通過外部的知識庫回答自然語言問題。早期的KBQA 工作關注于簡單問題。近年來，研究人員在回答復雜問題上的關注度逐漸提高［9-10］。復雜問題一般涉及多跳推理、約束關系、數值運算等［8］。通常來講，復雜問題中包含不止一個實體詞和關系詞，當問題中存在多個實體詞和關系詞時，將問題中的實體詞和關系詞鏈接到知識庫中對應的實體和關系上會變得困難［11］。基于上述問題，實體鏈接和關系鏈接作為基于語義解析的KBQA 系統的兩大子任務被提出。

實體鏈接包括命名實體識別和消歧，指從自然語言問題中識別出實體提及并將其正確鏈接到知識庫中對應的實體上。DBpedia Spotlight［12］基于實體的矢量空間表示，計算候選實體集與實體提及的余弦相似性。HOFFART 等［13］和HAN 等［14］都是先構建mention-entity圖，前者使用密度子圖算法進行實體鏈接消歧，而后者使用隨機游走算法計算實體鏈接概率。Babelfy［15］使用隨機游走算法和高一致性語義解釋的最密集子圖啟發式算法將實體鏈接和詞義歧義消除聯合執行。FOX［16］基于集成學習的思想進行命名實體識別。然而，將這些算法應用到短文本實體鏈接時，性能會降低。考慮到自然語言問題簡短性的特點，TagMe［17］基于維基百科知識，首先識別非結構化文本中已命名的實體并將其鏈接至Wikipedia中，然后使用頁面數據集消除歧義。隨著詞嵌入在知識圖上的迅速流行，一些研究開始將嵌入算法用于實體鏈接。YAMADA 等［18］使用知識圖譜模型和錨框上下文模型擴展跳躍式模型，構建一個新穎的詞嵌入方式，將單詞和實體嵌入到相同的向量空間中計算相似性。NTEE［19］將文本的分布式表示和知識庫中的實體進行聯合學習，能較為容易地預測出文本中的實體。關系鏈接研究如何將問題中的關系詞與知識圖譜中的關系候選詞進行匹配并消歧。SINGH等［20］提出基于語義類型關系模式的關系鏈接（SIBKB），檢索PATTY［21］庫擴充關系短語，基于動態索引計算關系詞和知識庫中謂詞的語義相似性，排序候選關系。隨著深度學習的發展，MULANG 等［22］將神經網絡模型用于關系鏈接，對知識庫屬性及其底層短語建模，檢索出整個知識圖譜中的所有屬性，形成一個屬性池，計算屬性池中的每一個謂詞和問題中關系候選詞的相似性，從而對候選詞進行排序。YU 等［7］通過殘差學習來提升層次RNN 網絡的性能，進而進行關系檢測排序候選關系。以上方法均將實體鏈接和關系鏈接作為獨立的任務完成，忽略了問題中實體詞和關系詞的內在聯系。

DUBEY 等［6］提出的EARL模型以及SAROR等［23］提出的Falcon 模型將實體鏈接和關系鏈接聯合執行，實現聯合實體關系鏈接。EARL 模型提出了兩種不同的解決方案：1）將聯合鏈接任務看作是廣義旅行商問題（GTSP）的一個實例，且由于GTSP 是一個NP 難問題，文中采用近似算法求解；2）采用機器學習的方法學習知識圖譜中節點的鏈接密度，并依賴3 個特征進行重新排名來預測知識圖譜中的實體和關系。該模型雖在復雜問題上的性能優于現有方法，但在處理疑問詞上存在限制。Falcon 模型使用輕量級語言學方法實現聯合鏈接來擴展知識圖，并利用英語形態學的幾種基本原則來排序候選集。該模型由于引入了拓展知識圖，在召回率上表現出色，但該模型忽略了問題本身帶來的深層語義信息對鏈接 過程的 影響。ZAFAR 等［24］的MDP-Parser 模型通過基于強化學習的遠距離監督學習框架來學習問題中的實體提及以及關系提及，提出一種更加準確的問題淺層解析方法。由于其更關注問題解析過程，在實體鏈接和關系鏈接上采取語義相似性和字符相似性的方法來進行消歧，但同樣忽略了問題本身帶來的深層語義信息對鏈接過程的影響。

本文提出一個基于神經網絡的利用特征聯合和多注意力的聯合實體關系鏈接方法。該方法主要包含以下2 點：1）針對實體鏈接和關系鏈接作為獨立的任務執行存在的問題，將實體鏈接和關系鏈接在同一階段執行聯合實體關系鏈接，強化實體和關系之間的內在聯系，提高鏈接的精度；2）對于多關系復雜問題，運用深度學習的方法，采用神經網絡模型將問題、實體詞以及關系詞轉換成低維語義向量進行表示學習，加強相關候選詞在問題中的特征表示促進鏈接的過程。

2 本文方法

為了提高實體鏈接和關系鏈接的精度，充分利用問題中實體詞和關系詞之間的聯系，本文提出了一個基于實體-關系對信息的聯合實體關系鏈接方法。本文方法框架如圖1 所示，主要包含候選集生成模塊和聯合實體關系鏈接模塊兩個部分。以“where was the producer of Sherlock born”為例，通過候選集生成模塊可得到實體候選詞“Sherlock_（TV_series）”以及關候選詞“producer”和“birthPlace”，將實體候選詞和關系候選詞組合起來得到的實體-關系對信息“Sherlock_（TV_series）#producer#birthPlace”與實體候選詞以及關系候選詞一并加入模型中進行訓練，獲取實體與關系的內在聯系信息，最終鏈接到可信度較高的實體和關系。

圖1 聯合實體關系鏈接框架Fig.1 Framework of joint entity relation linking

2.1 候選集生成模塊

給定一個自然語言問題，候選集生成模塊包括關鍵詞提取、實體/關系預測以及候選元素生成。

關鍵詞提?。褐笍淖匀徽Z言問題中提取出表示實體和關系的詞語。常用的關鍵詞提取工具是SENNA［25］，它利用詞向量來處理自然語言問題。例：where was the producer of Sherlock born，可用工具SENNA 提取到關鍵詞“producer”、“Sherlock”、“born”。

實體/關系預測：指識別關鍵詞中哪些是實體類型，哪些是關系類型。本文運用EARL［6］中的預訓練模型來訓練數據。模型的思路是使用知識圖譜中的實體標簽和關系標簽來訓練關鍵詞，并采用硬參數共享的多任務學習方法處理OOV［26］（Out-of-Vocabulary）單詞以及編碼網絡模型中的知識圖結構，從而提高該模型的泛化能力，減小參數大小。模型中自定義的損失函數如式（1）所示：

其中：εBCE表示某短語作為實體或關系的學習目標的二進制交叉熵損失；εED表示某短語的預測詞嵌入和正確詞嵌入之間的平方歐式距離；α是一個常量，通常設置為0.25。經預測模型可得：“Sherlock”為實體類型，“producer”和“born”為關系類型。

候選元素生成：對每一個識別出來的實體詞和關系詞都生成一個候選列表。本文采用ElasticSearch［27］索引字典來創建<元素，標簽>索引，通過計算實體詞或關系詞和標簽之間的余弦距離來表示兩者之間的相似性。計算方法如式（2）所示：

其中：x表示實體詞或關系詞；y表示元素的標簽。為相似性設置一個閾值M，大于M的所有元素都會被當作實體詞或關系詞的候選元素。

例：where was the producer of Sherlock born，經過上述步驟后可得到3 個候選元素列表，如圖2 所示。

圖2 候選元素列表Fig.2 Lists of candidate elements

2.2 聯合實體關系鏈接模塊

在KBQA 系統中，實體鏈接和關系鏈接作為獨立的任務執行。這樣的執行方式使得實體鏈接不能從關系鏈接中獲得的信息中收益，關系鏈接也無法從實體鏈接中獲得有益信息，這在短文本自然語言問答中是不利于實體關系消歧的?；谏鲜鰡栴}，本文提出了聯合實體關系鏈接的方法。

聯合實體關系鏈接方法將實體鏈接和關系鏈接聯合起來執行，充分考慮實體和關系的內在聯系。通過神經網絡模型以及注意力機制來訓練模型，以此來學習問題與候選集的深層語義信息，從而選擇實體與關系的最佳組合。如圖3 所示，聯合實體關系鏈接模塊包括候選集表示、問題表示以及候選排序。

圖3 基于特征聯合及多注意力的實體關系鏈接框架Fig.3 Framework of entity and relation linking based on feature jointly and multi-attention

2.2.1 候選集表示

候選集表示將候選集中的元素映射到低維語義空間中進行語義表示，包括：關系表示，實體表示以及實體-關系對表示。通過這3 種表示可分別得到關系序列、實體序列以及特征序列。

關系表示是利用神經網絡模型將關系候選詞轉換成低維語義向量，最終得到關系序列。將關系候選詞分別從關系級別和單詞級別輸入詞嵌入矩陣，獲取其詞向量表示，再通過一個雙向LSTM 網絡層，對結果執行最大池化操作，提取關系候選詞的全局特征。

例：where was the producer of Sherlock born，經過候選集生成階段得到關系候選詞“producer”和“birthPlace”。對于關系候選詞“producer”，其單詞級別和關系級別的表示均為“producer”，而對于關系候選詞“birthPlace”，在單詞級別上可以表示為“birth”和“place”，在關系級別仍表示為“birthPlace”。將上述單詞通過一個詞嵌入矩陣輸入雙向LSTM 網絡層，再通過最大池化層得到關系序列ri(i?{1,2})，其中，r1表示候選關系r中的第1 個關系，r2表示候選關系r中的第2 個關系。

實體表示同樣是利用神經網絡模型將實體候選詞轉換成低維語義向量，最終得到實體序列。與關系表示不同的是，實體表示只是在單詞級別上進行低維語義空間的嵌入。

例：where was the producer of Sherlock born，經過候選集生成階段得到實體候選詞“Sherlock_（TV_series）”，將其通過詞嵌入矩陣得到向量表示。再將向量依次通過雙向LSTM 網絡層以及最大池化層得到實體序列e。

實體-關系對表示是將實體候選詞與關系候選詞組成的實體-關系對從單詞級別輸入詞嵌入矩陣，得到向量表示，再通過一個雙向LSTM 網絡層，對輸出結果執行最大池化操作，提取實體與關系聯合表示的特征序列。

對于候選詞“Sherlock_（TV_series）”、“producer”和“birthPlace”，它們在單詞級別上的表示分別為“Sherlock_（TV_series）”、“producer”、“birth”、“place”。將它們通過一個詞嵌入矩陣輸入雙向LSTM 網絡層，再通過最大池化層得到實體與關系聯合表示的特征序列f。

2.2.2 問題表示

問題表示是利用神經網絡模型對問題進行編碼得到深層語義向量，進而獲取問題中的每個單詞在整個句子中所占的比重來表示問題的整體特征。同時，由于問題中每個單詞的關注點不同，單詞在實體候選集或者關系候選集中出現的次數越多，其被關注的程度就越高，故而在問題表示中添加注意力機制來加強問題與實體詞和關系詞的匹配程度。融入不同注意力的問題表示分別如圖4～圖6 所示。圖4～圖6 的處理流程相同，區別在于融入不同的序列來表示問題，便于后文計算各自的相似度。

圖4 融入關系序列的問題表示框架Fig.4 Framework of representation pattern incorporating relation sequence

圖5 融入實體序列的問題表示框架Fig.5 Framework of question representation incorporating entity sequence

圖6 融入特征序列的問題表示框架Fig.6 Framework of question representation incorporating feature sequence

問題q的表示形式為x={x1,x2,…,xL}，其中：L表示問題q中單詞的個數；xi表示問題q中第i個單詞的位置。將q中的每個單詞通過詞嵌入矩陣獲得向量表示w={w1,w2,…,wL}。將w輸入雙向LSTM網絡層，得到其隱 藏層表 示hi=[h1,h2,…,hL],i?[1,L]，其 中hi?，dhe表示隱藏層的維度。

此外，考慮到每個候選詞在問題q中占據不同的權重且決定著問題如何被表示，故而在問題表示中添加注意力機制來加強問題與候選詞的匹配層度。注意力的程度體現在問句中每個單詞的權重上，因此，融入了不同注意力的問題表示。

1）將候選集表示中的關系序列融入問題表示中。對于關系的第i個部分ri，問題表示的計算公式如下：

其中：i?{1,2}；pi指融入關系序列的問題表示；aij指在關系部分ri關注下問題中第j個單詞的注意力權重，假設ri的維數為m；hj的維數為n，則W?Rc×(m+n)和V?R1×c分別是需要學習的參數（c為超參數）；b為恒定參數。

2）將候選集表示中的實體序列融入問題表示中。對于實體部分e，問題表示的計算公式如下：

其中：pe指融入實體序列的問題表示；aj指在實體部分e關注下問題中第j個單詞的注意力權重，假設e的維數為m，hj的維數為n，則W?Rc×(m+n)和V?R1×c分別是需要學習的參數（c為超參數）；b為恒定參數。

3）將候選集表示中的實體-關系對組成的特征序列融入問題表示中。對于實體部分e，關系部分ri,i?{1,2}，問題表示的計算公式如下：

其中：pf指融入實體-關系對組成的特征序列的問題表示；a(f)j指在特征序列f關注問題中第j個單詞的注意力權重，假設f的維數為m，hj的維數為n，則W?Rc×(m+n)和V?R1×c分別是需要學習的參數（c為超參數）；b為恒定參數。

2.2.3 候選排序

將問題通過神經網絡模型得到融入不同注意力的問題表示，然后結合問題表示從這些實體候選集和關系候選集中篩選出最適合的一組候選詞作為結果返回。本文引入兩種特征分數的計算結果來表示候選序列與問題表示之間的相似性：一種是聯合的特征分數；另一種是獨立的特征分數。聯合的特征分數計算實體-關系對組成的特征序列與融入了特征序列的問題表示之間的相似性分數；獨立的特征分數計算實體（或關系）序列與融入了實體（或關系）序列的問題表示之間的相似性分數。

對于融入特征序列的問題表示，問題表示與特征序列的相似性計算公式如下：

其中：?表示問題表示與特征序列之間的點積；S(P,f)表示問題表示與特征序列之間的相似性分數，采用sigmoid 函數將相似性分數映射到[0,1]之間。

在問題表示與特征序列的相似性分數下，關系鏈接計算公式如下：

其中：?表示問題表示與關系序列之間的點積；S(P,r)表示問題表示與候選關系之間的相似性分數；α和β是模型中訓練的超參數。采用argmax 函數對結果求參數，最后得到關系Ssr。

在問題表示與特征序列的相似性分數下，實體鏈接計算公式如下：

其中：?表示問題表示與實體序列之間的點積；S(P,e)表示問題表示與候選實體之間的相似性分數；α′和β′是模型中訓練的超參數。采用argmax 函數對結果求參數，最后得到實體Sse。

上述模型經過排序損失訓練來最大化候選集中正向實例和負向實例的比例。具體損失函數計算公式如下：

其中：Q表示問題集；E表示候選實體集；R表示候選關系集；γ設置為0.1。

3 實驗

3.1 實驗數據

實驗采用兩個標準的數據集LC-QuAD［28］和QALD-7［29］。LC-QuAD數據集中包含4 000個訓練問題和1 000 個測試問題，QALD-7 數據集中包含215 個訓練問題和50 個測試問題。LC-QuAD 數據集中大約有80%的復雜問題（此處復雜問題指問題中包含不止一個關系詞），QALD-7 中復雜問題約占42%。

本文實驗分別從兩個數據集的訓練集中提取問題、實體、關系以及實體-關系對作為訓練數據，測試問題中提取的信息作為測試數據來驗證本文提出的聯合鏈接方法的有效性。

3.2 實驗參數

本文實驗的實驗參數為關系候選詞、實體候選詞以及問題的最大輸入長度在單詞級別均設置為30，其中關系候選詞在關系級別的輸入長度設置為10，單詞的詞嵌入維度w為300，詞向量在經過Bi-LSTM 層的輸出維度d為200，最大池化層的窗口大小設置為400，實體、關系、問題的dropout 均為0.5，epoch 設置為10。嵌入層的詞向量矩陣EW作為網絡模型的參數，隨整個模型一起訓練更新。對于EW的初始化，本文實驗使用預訓練的詞向量GloVe［30］初始化。在訓練過程中，當驗證數據集上的損失值在經過3 個epoch 沒有下降時，說明模型性能沒有提升，學習遇到瓶頸，此時學習率減小的動作會被觸發，模型重新進行訓練。

3.3 實驗對比與結果分析

本文將近年來表現較好的實體鏈接和關系鏈接模型與本文方法進行了對比實驗。其中最近的模型為文獻［24］于2020 年提出的MDP-Parser 模型。本文選取MDP-Parser 模型中的評價標準作為對比參考，即選取實驗中的精度（Accuracy）作為指標。

實體鏈接在兩個標準數據集上的對比結果如表1所示。本文方法在LC-QuAD數據集上的精度值比MDPParser 模型提高了7 個百分點，在QALD-7 數據集上的精度值比MDP-Parser 模型提高了5 個百分點。由此可見，本文實體鏈接方法比MDP-Parser 模型具有更好的表現。

表1 實體鏈接在兩個標準數據集上的精度對比結果Table 1 Comparison result of accuracy of entity linking on two benchmark datasets

關系鏈接在兩個標準數據集上的對比結果如表2所示，其中N/A 表示不適用。本文方法在LC-QuAD 數據集上的精度值比MDP-Parser模型提高了1個百分點，在QALD-7 數據集上的精度值比MDP-Parser模型提高了17 個百分點。實驗結果表明，僅依賴于語義相似性或者圖算法不能獲得更好的表現結果。

表2 關系鏈接在兩個標準數據集上的精度對比結果Table 2 Comparison result of accuracy of relation linking on two benchmark datasets

LC-QuAD 數據集中約有80%的問題包含不止一個關系詞，而QALD-7數據集中這樣的問題大約占42%。對于關系鏈接來講，QALD-7 數據集的問題中包含單個實體-關系對的問題數量較多，則更符合知識圖譜中單個三元組的結構。在加入實體-關系對聯合表示的特征序列進行向量表示學習時，實體與關系之間的聯系更加緊密，且由于QALD-7 數據集中簡單問題較多，更能提取到正確的關系提及，從而使得獲取包含正確關系的關系候選集的概率增大，即本文方法在QALD-7數據集上的精度提升較大。

本文分別在兩個數據集上通過消融實驗來驗證本文所添加的實體-關系對信息組成的特征序列對于實體鏈接和關系鏈接的有效性。如表3 所示，在實體鏈接中，當加入特征序列后，與不加特征序列相比精度明顯提升，且在兩個數據集上的結果優于SOTA 方法。由于在實體鏈接的相似性分數計算上加入了實體-關系對信息組成的特征序列與問題表示的相似性分數，因此可將實體詞與關系詞的內在聯系中所包含的信息加入實體鏈接過程，提升實體鏈接的精度。如表4 所示，在關系鏈接的相似性計算過程中加入特征序列，可將實體-關系對中的內在聯系信息加入關系鏈接過程，提升關系鏈接的精度。消融實驗結果表明，在自然語言問題中，實體詞和關系詞之間存在聯系以及相互促進的作用。

表3 特征序列在實體鏈接上的消融實驗對比結果Table 3 Comparison result of ablation experiments of feature sequence on entity linking

表4 特征序列在關系鏈接上的消融實驗對比結果Table 4 Comparison result of ablation experiments of feature sequence on relation linking

3.4 結果分析

本文通過分析發現，不能正確執行鏈接的原因主要有以下3 點：

1）當問題中的實體提及包含多個單詞時，在提取關鍵詞時不能得到完整的實體提及。例：What woman acted in the mating habits of earthbound humans and is often associated with Mams taylor，通常將“Mams taylor”作為一個實體提及識別出來，mating habits of earthbound humans 應當作為第2 個實體提及被提取出來，但由于單詞數過多，在提取時將其分為“mating habits”和“earthbound humans”兩個實體提及，這會導致實體候選集選取有誤。

2）當問題中的實體提及是以它的縮寫詞形式或全稱的部分形式出現時，生成相關的候選元素會變得困難。例：List the Sci-fi TV shows which theme music given by Ron Grainer，句中的“Sci-fi”會指向“Sci-fi”而不是“science fiction”。

3）復雜問題中關系的多樣性也是造成錯誤的主要原因。例：What was the language of the single which came before To Know Him Is to Love Him，句中的隱式關系“before”無法被正確地識別為“previousWork”，從而導致關系鏈接錯誤。

4 結束語

隨著知識圖譜規模的日益增大，從知識圖譜中充分挖掘出自然語言問題中的實體信息和關系信息有助于提升知識庫問答系統的性能。本文利用深度學習的方法將問題、實體和關系在低維語義空間中進行向量表示學習，挖掘自然語言問題中的深層語義信息。通過在聯合實體關系鏈接過程中添加實體-關系對信息組成的特征序列來聯合表示實體詞和關系詞，強化兩者間的內在聯系，采用添加注意力機制的方法獲取實體詞和關系詞在問題中的權重信息，以加強實體詞和關系詞在問題中的特征表示，從而提高鏈接的精度，改善KBQA 的中間環節。在兩個標準數據集上的實驗結果表明，與當前表現最好的Falcon 模型相比，本文鏈接精度均不低于1%，表明了本文方法的有效性。后續將加入推理規則來減少鏈接過程中由于隱式關系無法識別造成的鏈接錯誤，進一步提升本文方法的鏈接精度。