基于表示學習的開放域中文知識推理

姜天文,秦 兵,劉 挺

(哈爾濱工業大學 計算機科學與技術學院，黑龍江 哈爾濱 150001)

0 引言

在過去的十幾年里，大規模的知識庫構建已經有了很好的進展。現有的知識庫包括普林斯頓大學設計的覆蓋范圍寬廣的語言知識庫WordNet[1]；知識條目由用戶添加并共享的世界知識庫FreeBase[2]以及國內哈爾濱工業大學社會計算與信息檢索研究中心設計構建的開放域中文知識圖譜《大詞林》等。這些知識庫通常以網絡的形式被組織起來，網絡中每個節點代表實體，而每條連邊則代表實體間的關系。因此,大部分知識往往可以用三元組(頭實體，關系，尾實體)來表示，其中最具代表性的就是萬維網聯盟發布的資源描述框架技術標準[3]。

隨著知識庫的知識規模不斷擴大,這種網狀的表示形式目前存在以下兩個問題: 計算效率問題[4]和無法很好應對數據稀疏的問題[4]。以符號為基礎的網狀形式的知識庫無法應對連續空間里的數值計算。單純的符號和邏輯的表示使得知識庫中的知識越來越離散化，知識之間無法很好整合在一起，無法有效應對長尾問題。這也就使得智能系統無法更加靈活地使用知識庫，比如進行知識推理。

表示學習[5]旨在將網狀的語義信息表示為稠密低維的實值向量，在低維空間中兩個對象距離越近語義相似度越高，正是這一點有望解決別名問題。在這種低維空間中有望高效計算實體和關系的語義聯系。另外，由于每個對象的向量均為稠密有值的，因此可以度量任意對象之間的語義相似度，并且將大量對象投影到統一空間的過程,能夠將高頻對象的語義信息用于幫助低頻對象的語義表示，從而提高低頻對象的精確性。由此可知這種知識表示學習可以有效解決數據稀疏問題。基于以上敘述的特點，這種知識的分布式表示最終可以使得知識的獲取、推理的性能顯著提升。

本文使用Bordes等人于2013年提出的TransE模型[6]，同時對模型的代價函數進行改進以用于開放域中文知識庫的表示學習。相比于傳統知識庫，開放域知識庫使用關系指示詞代替關系類型，且實體更為豐富，粒度更加細膩。本文主要研究對開放域中文知識庫基于表示學習的知識推理方法，包括對實體關系三元組中關系指示詞和尾實體的推理。

1 基于翻譯模型的知識庫表示學習方法

目前國內外的知識表示工作主要針對傳統的非開放域的英文知識庫。其主要思路是把知識庫嵌入到一個連續的向量空間中，并保留原始知識庫的某些特性。這些知識表示的方法通過最小化全局損失函數來獲得實體和關系的表示，而且這個全局損失函數涉及到所有知識圖譜中的實體和關系，這也就意味著實體或關系的表示是編碼了全局的信息所得到的。

早期在知識表示方面主要有以下幾個模型: 距離模型[7]、能量模型[8-9]、張量模型[10]。早期的這種知識表示的方法中，大多數關注于提高表現力和模型的普遍性，而越來越高的表現力隨之而來的是模型的復雜度增加、參數增加，以及訓練的花銷巨大。不僅如此，由于高能力的模型正則項較難設計，所以存在潛在的過擬合的情況。另外，由于非凸最優化問題有很多局部的極小值，使得訓練難度增加，導致模型無法擬合數據[6]。

近年來提出的翻譯模型[6]簡單有效，在大規模知識圖譜上效果明顯，自提出以來大量研究工作[11-14]都對其進行擴展和展開，可以說翻譯模型已經成為知識表示的代表模型，其中Bordes等人于2013年提出的TransE模型[6]簡單可行，完全適合大規模知識庫的表示學習。近年來提出的一系列模型都是以TransE模型為藍本，本文的研究主要基于TransE模型，同時對模型的訓練方法進行改進，以用于開放域中文知識庫的表示學習。

1.1 表示學習概念以及理論基礎

表示學習概念表示學習是指，通過使用機器學習的方法將研究對象的語義信息表示為低維稠密的實值向量。在該低維稠密的向量空間中，我們可以通過余弦距離或歐氏距離等方式計算任意兩個對象之間的語義相似度，進而應用于一些傳統的自然語言處理問題[15]。

除了表示學習之外，實際上還有更簡單的數據表示方案，稱其為“one-hot” 表示[16]。這種方案也是將對象表示為實值向量，只不過向量中只有某一維度為非零，其余維度的值均為0，這也正是“one-hot”一詞的由來。 “one-hot”無需學習過程，正是由于其簡單而高效，在信息檢索和自然語言處理中得到廣泛應用。但“one-hot”的缺點在于，它認為所有表示對象是相互獨立的，即在這個表示空間中所有對象的向量都是正交的，從而使得通過余弦距離或是歐式距離計算的語義相似度均為0。這一點是不符合實際情況的，會丟失大量信息。例如，“哈爾濱”和“長春”雖然是兩個不同的詞匯，但由于他們都是省會城市，因此應當具有較高的語義相似度。可是“one-hot”無法有效利用這些對象間的語義相似性來表示對象。與“one-hot”不同，表示學習維度較低，從而有助于提高計算效率，同時也能夠充分利用對象間的語義信息。

表示學習理論基礎我們所處的世界是離散的，每個物體具有明確的界限。當人們觀察這個世界時，大腦中相應的大量神經元會產生抑制或者激活的信號，這些信號的狀態構成大腦中的內部世界。在這個內部世界中，外界事物對于它變成了眾多神經元共同產生的一系列抑制或激活信號。單純看一個神經元的狀態，并沒有明確的含義，無法通過它來區分不同的事物，但是眾多神經元產生的狀態集合在一起卻可以表示世間的萬物。

通過表示學習得到的低維稠密向量表示是一種分布式表示。向量的每一維并沒有明確的含義，但綜合各維度構成的向量卻能夠表示對象的語義信息。分布式表示的向量可看作大腦中眾多的神經元，每一維對應于單獨的一個神經元，而每一維度值代表該神經元抑制或激活狀態。

1.2 TransE模型的改進

TransE模型的表示學習對象是知識庫中的實體關系三元組。TransE模型將實體間的關系看作一種兩個實體間的翻譯操作，關聯著兩個實體。本文中，我們使用h代表頭實體*本文中，我們考慮實體關系三元組的方向性。例如，對于知識“黑龍江的省會城市是哈爾濱”，那么三元組(哈爾濱，省會，黑龍江省)是不正確的表述，而(黑龍江省，省會，哈爾濱)才是正確的，所以對于關系“省會”: “黑龍江省”就是頭實體，“哈爾濱”是尾實體，反過來是不正確的。、h表示頭實體的向量表示、r代表關系、r表示關系的向量表示、t代表尾實體、t表示尾實體的向量表示，TransE模型的核心思想是: 如果(h,r,t)成立，那么，認為尾實體t的向量表示應該和頭實體h的向量表示加上某個由關系r決定的向量表示結果相接近。基于這個核心思想，TransE優化的目標是對于滿足關系的(h,r,t)，有:h+r≈t，如圖1所示。也就是說，當(h,r,t)成立時，在向量空間中t應該是向量h+r最近的鄰居；當(h,r,t)不成立時，在向量空間中t應遠離向量h+r。

圖1 TransE模型的核心思想

使用d(h+r,t)表示向量h+r到t的距離，可以使用L1或L2范式計算距離。模型的代價函數如式(1)所示。

(1)

其中[x]+代表x的正數部分，γ>0是一個邊界值，另外，

∪{(h,r,t′)|t′∈E}

(2)

其中E代表實體集合。模型訓練過程中所需的負例三元組是通過式(2)構造的，即替換正確三元組的頭尾實體。實體和關系的向量表示都是隨機初始化的，訓練的過程就是不斷減小正例三元組的距離d(h+r,t)，并使它盡可能地小于所有它對應的負例三元組的距離d(h′+r,t′)。

通過觀察式(1)，可以發現TransE方法在構建負例三元組的時候只對頭尾實體進行替換。其原因在于傳統的知識庫中的關系是由關系類型代替，而關系類型的數量較少且相互的區分性較大，所以在構造負例三元組時替換關系的意義不大。但對于開放域實體關系三元組，其關系用關系指示詞表示，關系指示詞的數量較大且相比關系類型區分性并不大，例如，關系指示詞“董事長”和“校長”在傳統三元組中都會使用“雇傭關系”代替，但在開放域三元組中使用不同的關系指示詞代替。由此可見，在面向開放域知識庫的研究中，關系指示詞對于訓練過程的影響不容忽視。

基于以上的原因，我們對原始TransE模型的代價函數進行改進以更好地適用于開放域中文知識庫的研究工作。為了進行區別以便后續比較，將改進后的TransE模型命名為TransE_ipv(ipv為improve簡寫)，TransE_ipv的訓練過程中的代價函數如式(3)所示。

(3)

其中[x]+代表x的正數部分，γ>0是一個邊界值，另外，

(4)

其中E代表實體的集合，R代表關系指示詞的集合。主要的改進在于在構造負例三元組的時候不僅替換頭尾實體，而且替換關系指示詞，使得訓練出來的關系指示詞更具有區分性。

2 實驗

由于國內沒有適合本文研究并且公開數據的開放域中文知識庫，我們從結構化的百度百科結構化數據“infobox”中抽取獲得大量開放域實體關系數據進行實驗。本節中，我們提出了應用知識表示學習的關系指示詞推理方法，以及尾實體推理方法。實驗結果顯示，應用知識分布式表示的關系指示詞推理準確率可以達到80%以上。在進行應用知識分布表示的尾實體推理測試中，準確率在20%左右，和關系指示詞推理相比效果較差。我們對其原因進行分析并驗證，使用增加訓練過程中負例三元組方法可以將準確率提升7%。

2.1 實驗數據的獲取

由于國內沒有適合本文研究并且公開數據的開放域中文知識庫，我們決定從互聯網中抽取開放域實體關系三元組作為實驗數據。通過觀察，我們發現百度百科有一部分被稱為“infobox”描述詞條屬性的結構化內容，該部分包含大量潛在的實體關系信息，我們希望從中獲取實體關系三元組作為實驗使用的實體關系三元組數據。

“infobox”*https: //en.wikipedia.org/wiki/Infobox一詞源于維基百科，是一種包含屬性—值對結構化文檔。作為全球最大的中文百科網站，百度百科也借鑒了這一設計，在大部分詞條頁面中都設有“infobox”，用于記錄該詞條的重要屬性—值對信息，如圖2所示。

圖2 百度百科中“哈爾濱工業大學計算機科學與技術學院”一詞的infobox

“infobox”中包含的是與詞條相關的眾多“屬性—值”對。這些“屬性—值”對與詞條可以組成三元組，但這種三元組并不都是我們要找的實體關系三元組，因為“屬性—值”對中的值并不一定是實體，如“規格嚴格,功夫到家”，而“周玉院士”就是一個實體，所構成的即為實體關系三元組。

通過觀察發現，詞條的百科頁面中存在很多的具有鏈接的詞匯，這部分文本一般稱為錨文本。而百科頁面中的這些錨文本是指向另一個百科詞條頁面的。如果我們假設百度百科中收錄的詞匯全部為實體詞(百科中記錄的一般是現實世界中的概念，可以認為其大部分是實體)，那么百科頁面中的錨文本也即是實體詞匯。

我們可以認為在“infobox”中含有錨文本的“屬性—值”對為實體關系。如圖2中屬性“知名校友”以及“專職院士”，這兩個屬性值都是錨文本，由此我們可以獲取三個實體關系三元組:

(哈爾濱工業大學計算機科學與技術學院，知名校友，王天然)、(哈爾濱工業大學計算機科學與技術學院，知名校友，懷進鵬)、(哈爾濱工業大學計算機科學與技術學院，專職院士，方濱興)。

據此方法，我們從百度百科的“infobox”中共獲取2 438 145條開放域實體關系三元組*Code: https: //github.com/twjiang/baike_crawler。雖然可能存在一些噪聲數據，但就像知識庫允許存在少量噪聲數據一樣，這些噪聲數據對實驗結果并無太大影響。

將獲得的三元組數據集作為規模最大的“all數據集”，另從其中抽取50余萬的三元組組成“small數據集”。設置不同規模的數據集原因在于使用小規模數據集進行課題研究前期的快速實驗測試，以快速改進模型，設置合適的測試實驗并記錄結果。

將三元組數據集劃分為兩個集合: 訓練集、測試集，并需要使得兩個集合滿足獨立同分布條件，以用于模型的訓練和測試。除獨立同分布外，兩個集合需滿足以下三個條件。

1) 測試集中的實體集合為訓練集中實體集合的子集，即測試集中所有三元組涉及到的實體在訓練集中都有出現，其目的在于防止測試時實體詞存在未登錄，從而找不到對應的實體向量。

2) 測試集中的關系指示詞集合為訓練集中關系指示詞集合的子集，即測試集中所有三元組涉及到的關系指示詞在訓練集中都有出現，其目的在于防止測試時出現未登錄的關系指示詞，導致找不到對應的關系指示詞向量。

3) 訓練集和測試集的三元組交集為空，即不存在既在訓練集中出現又在測試集中出現的三元組。

獲得的兩個不同規模的實驗數據集如表1所示。

表1 實驗用到的兩個不同規模的數據集

2.2 關系指示詞推理

為何要進行關系指示詞推理？在此之前，我們需要引出一個概念——“知識庫關系補全”。知識庫關系補全是指: 對于現有知識庫中有潛在關系但未在知識庫中標明的兩個實體進行關系推理。如知識庫中有以下兩個實體關系三元組:

(泰坦尼克號，主要角色，杰克)，(萊昂納多，飾演，杰克)

那么，我們希望推理出如下關系以補全到現有知識圖譜中:

(泰坦尼克號，主演，萊昂納多)

總結下來，知識庫關系補全需要兩個階段: 存在潛在關系實體對的發現、對潛在關系進行推理。本實驗假設已經識別出存在潛在關系的實體對，主要任務是測試通過表示學習得到的向量空間中的知識庫，是否可以對這個潛在關系進行推理，并給出較為準確的答案抑或包含答案的候選集合。

我們將測試數據中的三元組的關系指示詞“挖空”，基于已訓練好的實體和關系指示詞的向量表示對關系指示詞進行推理，并和標準答案進行對比，以計算準確率。

具體的測試方法: 對于每一對實體，遍歷所有的關系指示詞組合成一個三元組，對每個這樣的三元組，計算頭實體與關系指示詞相加得到的向量到尾實體向量在空間中的距離d，距離d越小說明三元組成立的可能性越大。設定一個距離閾值，對距離d小于閾值的三元組按照距離d升序排列(過程簡圖見圖3)。對每一對實體記錄排名前十的三元組的關系指示詞，記錄正確關系指示詞的排名在前十名的比例，以及排名為第一的比例分別作為準確率，并分別記錄召回率，計算F值。

圖3 關系指示詞推理方法簡圖

這里我們需要對閾值進行確定。在確定閾值的實驗中，不同閾值的結果如表2、表3所示。其中threhold表示閾值的取值，“--”表示未設定閾值;@hit_10和@hit_1分別表示正確關系指示詞的排名在前十名的比例和排名為第一的實體對數目占所有存在d小于閾值的關系指示詞的實體對數目的比例;recall_hit_10和recall_hit_1表示正確關系指示詞的排名在前十名的比例和排名為第一的實體對數目占所有測試集中實體對數目的比例。

表2 測試不同閾值對關系指示詞推理實驗結果(small數據集)

表3 測試不同閾值對關系指示詞推理實驗結果(all數據集)

表2記錄在small數據集中測試不同閾值對關系指示詞推理實驗結果。通過表2中的數據，首先可以發現TransE_ipv的效果明顯優于原始TransE的訓練方法，無論是準確率還是召回率都有大幅度的提升，究其原因在于TransE_ipv在構造負例三元組的時候考慮到了關系指示詞，不僅僅是替換頭尾實體。這對于開放域知識庫中關系指示詞數量較大的特點極為重要。另外，通過表 2可以發現，在TransE_ipv中隨著閾值的增加召回率隨之增加，但準確率卻在下降。由于在本實驗中我們更關注于準確率，所以最佳閾值鎖定在0.7和1.0，觀察發現在閾值從0.7過渡到1.0時，雖然準確率有所下降，但召回率卻翻倍增長，所以將最佳閾值定為1.0。

表3記錄在all數據集中測試不同閾值對關系指示詞推理實驗結果。同樣，我們將閾值定為1.0，另外，很容易發現在all數據集中的各項數據相比small數據集中有所下降，其原因是由于硬件條件限制導致兩者的訓練方式不同造成的。

綜合上述實驗結果并選取最佳的閾值，得到表4所示的本實驗在small數據集和all數據集的最終結果，其中F1_hit_10和F1_hit_1表示對應的F1值。相比于符號化的網狀知識庫表示，使用表示學習得到的實體分布式表示可以通過計算高效地推理出實體對中潛在的關系，召回率可以達到40%左右，準確率高達80%左右。

表4 關系指示詞推理測試的實驗結果

2.3 尾實體推理

有些情況下，我們希望獲取某個實體具有特定關系的實體，比如給定實體A和關系B，我們希望找到和實體A具有關系B的實體，我們稱這個實體為C。當三元組(A，B，C)不存在于知識庫中時，我們希望通過簡單的計算即可得到較為準確的C，抑或得到一個候選序列且C存在于這個候選序列中。

本實驗的目的就是當(A，B，C)不存在于知識庫中時，測試通過表示學習得到的向量空間中的知識庫是否可以推理出尾實體，給出較為準確的答案抑或包含答案的候選集合。

我們將三元組的尾實體“挖空”，基于已訓練好的實體和關系指示詞的向量表示對測試集三元組中的尾實體進行推理，并和標準答案進行對比，以計算準確率。

具體的測試方法和關系推理相似，對于每一對頭實體、關系指示詞組合，遍歷所有的實體作為尾實體組合成一個三元組，對每個這樣的三元組計算頭實體與關系指示詞相加得到的向量到尾實體向量在空間中的距離d，距離d越小說明三元組成立的可能性越大。之后的步驟設置了兩種方法。

方法一設定一個距離閾值，對距離d小于閾值的三元組按照距離升序排列，對每一對實體記錄排名前十的三元組的尾實體(方法一簡圖見圖4)，記錄正確尾實體的排名在前十名的比例，以及排名為第一的比例作為準確率，并分別記錄召回率。

方法二設定一個距離閾值，對距離d小于閾值的三元組取出其頭實體和尾實體，其中頭實體即為A，尾實體即為要推理的目標實體(記為C’)，然后利用A和C’對關系進行推理，記錄正確關系B的排名，使排名和距離d相乘作為對C’的打分，認為分數越少越有可能是正確實體。方法二是將方法一和關系指示詞推理相結合，利用關系指示詞推理的結果反饋指導實體推理。

圖4 尾實體推理方法一簡圖

對比方法一、方法二的測試結果如表5所示。實驗結果顯示方法二的效果更好。本實驗也存在閾值的選擇問題，由于1.0是關系推理時的最佳閾值，這里只增加了一組閾值為1.3的對比實驗，實驗結果如表6所示。綜合來看閾值為1.0時的F值較高，選擇1.0為最佳閾值取值。綜合上述實驗結果并選取最佳的閾值，得到表7所示的本實驗在small數據集和all數據集的最終結果。

通過觀察發現尾實體推理的準確率遠不如關系推理，分析可能是實體具有長尾分布的特點造成的。這是很多大規模數據具有的。這些長尾部分的實體和其他實體有極少的關系聯系，從而導致這部分實體涉及的三元組較少，進而導致無法充分對其進行訓練。

表5 利用方法一、二做尾實體推理測試的實驗結果(small數據集)

表6 閾值為1.0、1.3的尾實體推理測試的實驗結果(small數據集)

表7 尾實體推理測試的實驗結果(TransE_ipv)

為了驗證可能是實體的數據的長尾無法充分訓練，進而影響準確率，我們設計實驗進行研究。在之前的訓練中每次迭代為每個訓練三元組構造一個負例三元組進行訓練。為了緩解訓練不充分的問題，改進算法在每次迭代中對每個訓練三元組構造50個負例三元組進行訓練(標記為TransE_ipvn)，使用相應的測試集進行尾實體推理測試，最后在small數據集上得到的實驗結果如表8所示。

表8 尾實體推理測試的實驗結果(small數據集)

實驗結果顯示@hit_1和recall_hit_1都有顯著提升，可見嘗試增加負例三元組的數量對尾實體推理有較好的影響。當增加大量負例三元組時，尾實體推理效果可能會得到大幅度提升，但限制于訓練時間原因，本實驗未繼續增加負例三元組數量進行測試。

3 結束語

基于傳統網狀結構的知識庫無法有效地進行知識推理，尤其當知識庫的知識規模不斷擴大，基于網狀結構知識庫的推理很難較好地滿足實時計算的需求。因此，本文使用TransE模型對開放域中文知識庫進行表示學習，并對模型的代價函數進行改進，主要研究基于知識庫表示學習的知識推理，包括對實體關系三元組中關系指示詞和尾實體的推理。實驗結果顯示，基于知識庫表示學習的關系指示詞推理準確率可以達到80%以上，且無需設計復雜的算法。在進行應用知識分布表示的尾實體推理測試中，準確率和關系指示詞推理相比效果較差，我們對其原因進行分析并驗證，使用增加訓練過程中負例三元組的方法可以將準確率提升7個百分點，同樣無需設計復雜算法即可實現對尾實體的推理。

[1] Miller G A. WordNet: a lexical database for English[J]. Communications of the ACM, 1995, 38(11): 39-41.

[2] Bollacker K, Evans C, Paritosh P, et al. Freebase: a collaboratively created graph database for structuring human knowledge[C]//Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data. ACM, 2008: 1247-1250.

[3] Miller E. An introduction to the resource description framework[J]. Bulletin of the American Society for Information Science and Technology, 1998, 25(1): 15-19.

[4] 劉知遠, 孫茂松, 林衍凱, 等. 知識表示學習研究進展[J]. 計算機研究與發展, 2016,53(2): 247-261.

[5] Bengio Y, Courville A, Vincent P. Representation learning: A review and new perspectives[J]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(8): 1798-1828.

[6] Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[C]//Proceedings of International conference on Neural Information Processing Systems. 2013: 2787-2795.

[7] Bordes A, Weston J, Collobert R, et al. Learning structured embeddings of knowledge bases[C]//Proceedings of the Conference on Artificial Intelligence. 2011(EPFL-CONF-192344).

[8] Bordes A, Glorot X, Weston J, et al. A semantic matching energy function for learning with multi-relational data[J]. Machine Learning, 2014, 94(2): 233-259.

[9] Bordes A, Glorot X, Weston J, et al. Joint learning of words and meaning representations for open-text semantic parsing[C]//Proceedings of International Conference on Artificial Intelligence and Statistics. 2012: 127-135.

[10] Socher R, Chen D, Manning C D, et al. Reasoning with neural tensor networks for knowledge base completion[C]//Proceedings of International conference on Neural Information Processing Systems. 2013: 926-934.

[11] Wang Z, Zhang J, Feng J, et al. Knowledge Graph Embedding by Translating on Hyperplanes[C]//Proceedings of AAAI. 2014: 1112-1119.

[12] Lin Y, Liu Z, Sun M, et al. Learning Entity and Relation Embeddings for Knowledge Graph Completion[C]//Proceedings of AAAI. 2015: 2181-2187.

[13] Ji G, He S, Xu L, et al. Knowledge Graph Embedding via Dynamic Mapping Matrix[C]//Proceedings of ACL. 2015: 687-696.

[14] 安波,韓先培,孫樂,等. 基于分布式表示和多特征融合的知識庫三元組分類[J]. 中文信息學報,2016,30(06): 84-89,99.

[15] 來斯惟,徐立恒,陳玉博,等. 基于表示學習的中文分詞算法探索[J]. 中文信息學報,2013,27(05): 8-14.

[16] Turian J, Ratinov L, Bengio Y. Word representations: a simple and general method for semi-supervised learning[C]//Proceedings of the 48th Annual meeting of the Association for Computational linguistics. Association for Computational Linguistics, 2010: 384-394.