膠囊網絡在知識圖譜補全中的應用

陳 恒，李冠宇，祁瑞華，王維美

1.大連外國語大學 語言智能研究中心，遼寧 大連116044

2.大連海事大學 信息科學技術學院，遼寧 大連116026

1 引言

一個典型的知識圖譜KG（Knowledge Graph）是事實三元組的集合，節點代表實體，邊代表實體間關系[1]。現如今，很多知識圖譜，如YAGO[2]、Freebase[3]、DBpedia[4]和NELL[5]已經被創建并成功應用于一些現實應用程序中[6]。知識圖譜提供有效的結構化信息，成為包括推薦系統[7]、問答[8]、信息檢索[9]和自然語言處理[10]在內的智能應用程序的關鍵資源。盡管知識圖譜在各領域有著重要應用，很多大型知識圖譜仍不完整，大量實體之間隱含的關系沒有被充分地挖掘出來[11]。針對知識圖譜補全，進行了大量的研究工作，即預測缺失三元組是否正確[12]，將正確三元組添加到知識圖譜進行補全。目前，許多嵌入模型用來學習實體和關系的矢量表示，如早期的TransE[13]、TransH[14]、TransR[15]等模型，這些模型中正確三元組得分高于錯誤三元組得分，這可以有效預測缺失三元組。例如：在知識圖譜中，三元組（Aliens，_ditrected_by，James Cameron）得分高于（Community，_ditrected_by，James Cameron）。

在這些嵌入模型中，TransE 簡單有效，實現了更高級的預測性能。受文獻[16]的啟發，TransE 學習實體和關系的向量表示，將關系視為頭實體到尾實體之間的一種平移[17]。其他的翻譯模型擴展了TransE，使用投影向量或矩陣將頭尾實體嵌入轉換為關系向量空間，例如：TransH、TransR、TransD[18]、STransE[19]和TranSparse[20]。上述嵌入模型僅使用加法、減法或簡單的乘法運算符，因此只能捕獲實體間的線性關系。最近，很多研究將深度神經網絡應用于三元組預測問題[21]。例如，ConvKB[22]是一種基于卷積神經網絡（CNN）的知識圖譜補全模型，并獲得較好的實驗結果。大多數嵌入模型通過對實體和關系相同維度的特征進行建模，每個維度捕獲某些特定屬性。然而，現有嵌入模型沒有采用“深度”架構來對同一維度三元組的屬性進行建模。膠囊是一組神經元的集合，利用向量來表示。該向量包含任意多個值，并且每個值代表當前物體的一個特征。在傳統卷積神經網絡中，卷積層的輸出為神經元加權求和的結果，因此是標量。在膠囊網絡中，每個值使用向量表示，即膠囊不僅可以表示物體的特征，也可以表示物體的方向、狀態等。因此，使用膠囊代替神經網絡中的神經元可以更好表征實體和關系，使得知識圖譜補全效果更好。CapsNet[23]使用膠囊捕獲圖像中的實體，利用路由操作指定從上一層膠囊到下一層膠囊的連接。為此，引入CapsNet 模型提出的膠囊網絡對三元組進行補全操作。與分割特征映射構造膠囊的傳統CapsNet模型不同，使用膠囊對實體和關系在相同維度上的屬性進行建模，捕獲實體和關系矢量表示。本文提出一種膠囊網絡知識圖譜補全方法，解決卷積神經網絡單層神經元不足以表征實體和關系屬性等問題，利用膠囊代替每層神經元表示實體和關系，輸入一個三元組，輸出連續矢量的值，利用該值判定給定三元組正確性，將正確的三元組添加到知識圖譜，對知識圖譜進行補全。

實驗采用三個數據集FB15K-237、WN18RR、FB15K進行相關的鏈接預測和三元組分類實驗。實驗結果表明，基于膠囊神經網絡的知識圖譜嵌入方法擁有更好的預測準確度，三個數據集的補全效果優于某些傳統基準嵌入模型。

2 相關工作

2.1 基準嵌入模型

基準模型TransE 將知識庫中的關系看作實體間的平移向量，即關系是頭實體到尾實體間的一種平移，例如，三元組（Alaska，cityOf，America），即有：vec(′Alaska′)+成 立，即，認 為無限接近零，這也表明在嵌入空間中t 應該是h+r 最近的鄰居[24]，見圖1。

圖1 實體和關系低維嵌入表示

與以往模型相比，TransE 模型參數較少，計算復雜度低，卻能夠直接建立起實體和關系間的復雜語義聯系[25]。TransE 模型簡單有效，可以處理較為簡單的1-1關系，卻不適用復雜關系類型：一對多，多對一，多對多。給定兩個正確三元組（Shanghai，cityOf，China）和（Beijing，cityOf，China），若要得到Shanghai和Beijing兩個頭實體嵌入，利用TransE打分函數計算出兩個相同的實體嵌入，這顯然是不成立的。由于這些復雜關系的存在，導致TransE學習得到的實體表示區分性較低。為了彌補這個缺陷，TransH模型提出不同的實體在不同關系下應該擁有不同表示，對關系r ，同時使用平移向量r和超平面的法向量wr來表示。由于TransH 假設實體和關系處于同一語義空間，從某種程度上限制了它的表達能力。TransR 通過將實體和關系投影到不同的實體空間和關系空間，解決實體和關系屬于不同的對象，難以用同一個空間表示的問題。另外，針對TransR 參數過多，時間復雜度高等問題，TransD 使用兩個投影向量生成兩個投影矩陣Mh,Mr，讓實體和關系實現交互。DistMult[26]模型和ComplEx[27]模型使用向量點乘計算三元組得分，利用概率判定三元組的正確性。KBGAN[28]模型提出一種生成對抗性學習框架來抽取負樣本，在一些基準數據集上取得了顯著效果，可以應用于大型知識圖譜補全任務。文獻[29]提出一種新的語義圖推理方法，通過將新實體鏈接到知識圖譜中，進而對知識圖譜進行補全，該方法獲得較為先進的實驗結果。

2.2 神經網絡模型

嵌入模型僅僅關注三元組的結構信息，沒有對三元組同維度屬性進行深入研究，不能深層次挖掘實體和關系特征。基于這個原因，很多工作開始使用卷積神經網絡補全知識圖譜，DKRL[30]使用兩種表示學習方法，連續詞袋（CBOW）以及卷積神經網絡（CNN）來建立實體描述文本的語義向量。文獻[31]提出一種基于CNN 的鏈接預測模型，ConvE將實體和關系向量的重組作為模型的輸入，實體和關系間的交互是通過卷積層和完全連接層建模的。此外，該模型利用CNN 可以高效訓練三元組，獲取實體和關系的嵌入表示，同時學習三元組更多的特征。ConvE將頭實體和關系向量作為模型的輸入，沒有考慮三元組全局信息，忽略了三元組的全局特征，為此，文獻[22]提出ConvKB模型，該模型將三元組矩陣[vh,vr,vt]作為輸入，和不同濾波器進行卷積操作，通過打分函數得到每個三元組的得分，作為判斷三元組正確的依據。上述兩個模型均利用卷積神經網絡提取實體和關系的嵌入表示，捕獲實體間的復雜關系，適用于大規模知識圖譜補全。ConvKB 使用卷積層對知識圖譜中三元組信息進行編碼，但輸入層和輸出層神經元過于簡單，不能深層地挖掘實體和關系的嵌入表示。受文獻[23]的啟發，用一組膠囊代替神經網絡每層神經元，膠囊使用矢量作為模型的輸入、輸出，能夠很好表征實體和關系。算法中，輸入一個三元組矩陣[vh,vr,vt]，在CNN 中卷積生成不同特征圖，連接特征圖得到多個膠囊（即一組神經元的集合），通過和權重點乘生成一個連續向量，該向量和權重點積操作的分數用于判定三元組正確性。利用膠囊網絡嵌入方法進行知識圖譜補全任務，可以有效提高知識圖譜補全準確性。以上部分模型的打分函數如表1所示。

表1 模型打分函數

3 算法設計

3.1 相關算法

由于TransE模型具有以下特點：（1）模型參數少，計算復雜度低；（2）簡單有效，適用于大規模知識圖譜補全。將TransE 訓練得到的實體、關系嵌入，作為本文算法的輸入，膠囊網絡算法偽代碼如下。在KG=(E,R,T)中，E 是實體集合，R 是關系集，T 是所有數據集，根據不同比例劃分成訓練集、測試集和驗證集。

Input：Training set S=(h,r,t),entities and relation sets E

and R,margin γ,embeddings dim K.

2. r ←r/||r||for each r ∈R

4. Loop：

5. e ←e/||e||for each e ∈E

6. Sbatch←sample(S,b) //sample a minibatch of b

7. Tbatch←?

8. for(h,r,t)∈Sbatchdo

9. (h′,r′,t′)←sample(S′(h,r,t))

10. Tbatch←Tbatch?{((h,r,t),(h′,r′,t′))}

11. end for

12. update embeddings w.r.t：

14. Input ←[vh,vr,vt]//input matrix

16. update loss function w.r.t：

18. End Loop

3.2 算法架構

本文模型圖如圖2所示。

vh,vr,vt是h,r,t 的K 維嵌入，參照文獻[13]，將嵌入三元組[vh,vr,vt]定義為一個矩陣表示A=[vh,vr,vt]∈RK×3,其中，Ai,:∈R1×3代表A 的每行。在卷積層使用過濾器ω ∈R1×3和Ai,:重復卷積操作，令 ||ω =N ，產生N 個特征圖q=[q1,q2,…,qN]∈RK,其中，qi=g(ω ?Ai,:+b),?代表點乘操作，b ∈R 是偏置項，g 是非線性激活函數。

上述介紹了卷積層操作，下面將使用膠囊層構建基于膠囊網絡的知識圖譜補全算法，以簡化模型架構。在第一層，使用卷積得到的N 個特征圖重構成K 個膠囊(V1,V2,V3,V4,V5,V6)，所有特征圖同維度特征被封裝進相應膠囊，如圖2 所示。因此，每個膠囊可以捕獲嵌入三元組相應維度不同特征，這些膠囊和不同的權重點積生成較小維度的膠囊，得到一個個連續矢量；然后該矢量和權重向量再次進行點積運算獲得對應得分，所有分數求和的結果用來判斷給定三元組的正確性。得分越低，三元組越正確。圖2中，嵌入大小定義為：K=6，濾波器的數量為：N=5，第一層膠囊內神經元數量等于N ，第二層膠囊內神經元數量：d=2。

第一層包含K 個膠囊，每個膠囊i ∈{1,2,…,K}產生一個矢量輸出Vi∈RN×1，矢量輸出Vi和權重矩陣Wi∈Rd×N相乘產生矢量vi∈Rd×1，將矢量vi和不同權重點乘生成膠囊s,s 作為第二層輸入，繼續和權重作點乘，得到一個個分數，最終求和判斷三元組正確性，如式（1）所示：

圖2 算法架構

形式上，定義三元組打分函數，如式（2）所示：

其中，濾波器集Ω 是卷積層的共享超參數，*表示卷積運算符，caps′表示膠囊網絡操作，g 代表激活函數，本文使用ReLU。本文將最小化以下的損失函數作為模型最終的訓練目標，損失函數如式（3）所示：

負例三元組構造方法如式（5）所示，即將正確三元組頭實體和尾實體分別用數據集所有實體代替。

本文使用Adam[32]最小化如式（3）所示的損失函數，使用ReLU 作為算法激活函數。

4 實驗

4.1 數據集

在三個廣泛使用的數據集WN18RR[31]、FB15k[13]、FB15K-237[33]上評估實驗。數據集FB15k包含很多反轉關系，例如：朋友關系、夫妻關系。參照文獻[33]，將數據集FB15k中所有具有反轉關系的三元組過濾掉，得到數據集FB15K-237。同理，去掉數據集WN18所有反轉關系，得到WN18RR。

WN18RR大約包含40 943個具有11種不同關系的實體，93 003個三元組，參照文獻[33]，分為訓練集、驗證集、測試集3種。

FB15k 大約包含14 951 個實體，具有1 345 種不同的關系，592 213個三元組。知識圖譜中描述了電影、演員、獎項和體育等三元組類型。

FB15k-237大約包含14 541個具有237種不同關系的實體，310 116 個三元組，參照文獻[33]，劃分成訓練集、驗證集、測試集3種。

數據集統計情況如表2所示。

表2 數據集統計

4.2 參數設置

參照文獻[13]和文獻[22]提出的TransE模型和ConvKB模型實現本文算法。本文首先使用TransE 模型訓練三元組，得到實體嵌入表示和關系嵌入表示，將三元組矩陣[vh,vr,vt]作為本文算法的輸入。對于ConvKB模型，設定過濾器數量的范圍是： ||ω =N ∈{50,100,200,400}，Adam 初始化學習率是：γ ∈{0.000 01,0.000 05,0.000 1,0.000 5}，利用超參數網格搜索訓練模型500 次。其中，每訓練100次，監測一次Hits@10得分，以選擇Hits@10最優超參數。最優超參數設置如下：在FB15K-237上，Hits@10最優設置：N=100，K=100，γ=0.000 01。在WN18RR 上，Hits@10 最優設置：N=400，K=100，γ=0.000 05。

與文獻[22]類似，使用TransE訓練生成的實體和關系嵌入初始化本文算法實體和關系嵌入，用于三個基準數據集WN18RR、FB15k-237 和FB15k，嵌入維度K=100。設置批處理大小batchsize為128，即每次訓練128個三元組；第二個膠囊層中的膠囊內神經元數量設置為10(d=10)；權重w 最初由截斷函數初始化，最終由模型訓練后確定。訓練算法多達500 次，平均每100次監測Hits@10，以選擇最優Hits@10超參數：驗證集上最優Hits@10 如下：在FB15K-237 上，最優Hits@10：N=100，K=100，γ=0.000 1，d=5。在WN18RR上，最優Hits@10：N=400，K=100，γ=0.000 05，d=10。

4.3 鏈接預測

4.3.1 實驗設計

鏈接預測是指預測知識圖譜缺失的三元組，即三元組中缺失的實體或關系。例如：給定三元組（Michelle Obama，residence，?），其中，頭實體為Michelle Obama，關系為residence，尾實體缺失，為補全三元組，將知識圖譜中正確尾實體添加到該元組中，對其進行補全操作。實驗中，對于缺失的實體或關系，從知識圖譜實體集中選擇一組候選實體進行排名，而不是僅給出一個最佳結果。參照文獻[13]和文獻[15]，對測試集中每個三元組，用所有實體替換頭實體或尾實體來創建一組負例三元組。對這組負例三元組使用打分函數計算它們的相似性得分，以此對它們進行排名，相似度越高排名越靠前，由此可以得到正確實體的真實排名[15]。

4.3.2 評估指標

參照文獻[13]，使用以下三個指標作為評估標準：（1）正確實體的平均排名MR（MeanRank），越小越好；（2）正確實體的平均倒數排名MRR（Mean Reciprocal Rank），越大越好；（3）正確實體進入前10 的百分比Hits@10，越大越好。實際上，知識圖譜中也可能存在錯誤三元組，認為是正確的。因此，本文采用文獻[13]的標準，從數據集中過濾掉錯誤的三元組。過濾后的設置稱為Filter，原來的稱為Raw。另外，在數據集FB15K-237和WN18RR上，僅使用Filter設置，即不考慮錯誤的三元組。

4.3.3 實驗結果和分析

本文實驗環境為：實驗環境為Window 7 64位系統，物理內存為8 GB，使用獨立顯卡芯片：NVIDIA GeForce GT 720M，顯存容量為2 GB。實驗工具為Pycharm，使用Python 3.6作為編程語言編寫程序，深度學習框架采用TensorFlow。在實驗中，MRR和Hits@10最優參數設置為：N=400，K=100，γ=0.000 05，d=10。數據集WN18RR鏈接預測結果如表3所示。

從表3可以看出，基于膠囊網絡的知識圖譜嵌入方法在WN18RR 上獲得最好MR、MRR 和最高Hit@10。具體分析如下：（1）和CapsE模型相比，數據集WN18RR在MR 上有1.8%的提高，在Hit@10 上有3.5%的提高；和ComplEx模型相比，數據集WN18RR在MRR上提高5.4%。（2）TransE 模型的MR 指標優于ConvE、ComplEx等模型；TransE模型的Hit@10指標優于ConvE、DistMult等模型。從中可以看出，基準嵌入模型TransE在數據集WN18RR上具有很好的表示效果。（3）和其他模型相比，本文方法在數據集WN18RR 上具有更好的補全能力，也說明了膠囊網絡用于知識圖譜補全性能更好。

表3 數據集WN18RR實驗結果比較

MRR和Hit@10最優參數設置為：N=100，K=100，γ=0.000 01，d=5。數據集FB15K-237 鏈接預測結果如表4所示。

表4 數據集FB15K-237實驗結果比較

從表4可以看出，基于膠囊網絡的知識圖譜嵌入方法在數據集FB15K-237 上獲得最好的MR 和最高的Hit@10。具體分析如下：（1）和ConvE 模型相比，數據集FB15K-237 在MR 上提高2.5%，ConvE 模型在MR 指標上優于所有模型。（2）和CapsE 模型相比，數據集FB15K-237 在Hit@10 上提高2.5%，MRR、Hit@10 指標優于TransE、ComplEx 等模型，可以看出，CapsE 模型在數據集FB15K-237 上具有很好的表示效果。（3）和其他模型相比，本文方法在數據集FB15K-237上具有更好的補全效果，這也說明膠囊網絡可以用于大規模知識圖譜補全。

4.4 三元組分類

4.4.1 實驗設計

三元組分類即判斷一個給定三元組的正確與否，這是一個二分類任務。引用文獻[13，15]提出的三元組分類任務，設置一個閾值，對于任意一個三元組，使用式（3）所示的打分函數計算三元組得分，如果這個得分低于閾值，則三元組是正確的，否則為錯誤三元組。

4.4.2 實驗結果和分析

參照文獻[15]，使用基準數據集FB15K進行三元組分類實驗。實驗環境與4.3.3節相同。FB15K最優參數為：N=400，K=100，γ=0.000 1，d=8。實驗結果如表5所示。

表5 三元組分類實驗結果比較

從表5中可以看出：本文方法在數據集FB15K上實現了92.5%的準確率，這表明膠囊網絡在三元組分類任務中效果顯著，相比其他模型，準確率較高。另外，實驗結果可以看出，膠囊網絡用于知識圖譜補全性能更好，并可以應用于大規模知識圖譜補全。

5 結束語

本文針對知識圖譜補全提出一種基于膠囊網絡的方法，即利用膠囊代替神經元建模實體和關系的嵌入表示，輸入三元組矩陣，輸出三元組真實得分，利用該分數判定三元組正確性，將正確的三元組添加到知識圖譜，對KG進行補全。在三元組分類實驗中，本文方法取得92.5%的準確率，優于一些傳統嵌入模型；在鏈接預測實驗中，本文方法在MR、MRR、Hit@10 指標上均有明顯提高，這表明本文方法可以有效解決知識圖譜數據稀疏問題，提高知識圖譜完備性。為提高鏈接預測和三元組分類準確率，在今后的研究中，將從兩方面進行探索：

（1）本文模型較為簡單，提取三元組有一定誤差。下步工作將重新設計模型并引入更有意義的算法來補全知識圖譜。

（2）外部數據源含有大量實體描述文本，考慮將實體和關系的描述文本合并到膠囊網絡中作為模型的輸入。