結合關系路徑與有向子圖推理的鏈接預測方法

馬 力，姚偉凡

西安郵電大學 計算機學院，西安710061

知識圖譜（knowledge graph，KG）是用來存儲由實體及其關系組成的事實三元組的知識庫，如FreeBase、DBpedia、Wikidata 等都屬于大規模的知識圖譜。知識圖譜在智能問答[1]、推薦系統[2]、搜索引擎[3]等各行各業都有廣泛的應用。如小米知識圖譜[4]，已支持其每天億級的訪問，用于其智能問答、用戶畫像、虛擬助手、智能客服等互聯網產品。大型的KG含有數十億個三元組，但由于人類知識、網絡語料庫不斷更新和提取算法的限制，即使是最大的知識庫也仍然不完整。如在FreeBase 中300 萬個人實體中有75%沒有國籍。為了解決這一問題，Bordes 等人提出了經典的Trans E 模型[5]，一種基于KG 嵌入的表征學習，而后研究者們相繼提出Trans D[6]和Trans R[7]等模型。該方法旨在將KG 的實體和關系嵌入到連續的向量空間中，同時保留KG 的固有結構和潛在語義信息。如圖1 所示，哈利·波特的嵌入包含他是格蘭芬多學院的學生以及格蘭芬多學院的一部分信息，基于詞嵌入的方法可以檢索這些信息來預測羅恩和哈利·波特是同學，任何一個和格蘭芬多學院關系密切的人都會大概率屬于霍格沃茲學校，這些都可以在嵌入空間中進行編碼。這種方法的優勢在于，它們考慮了KG 中給定實體的結構上下文，但它們無法捕捉頭實體和尾實體之間的多種關系（路徑），而這對于KG 的完成非常重要，并且該方法不能有效地捕捉知識圖的關系語義，即知識圖底層關系中的邏輯規則。

圖1 基于嵌入式的關系預測推理方法Fig.1 Relationship prediction reasoning method based on embedded system

第二類方法是基于規則的[8]方法，考慮到邏輯規則的準確性和可解釋性，在KG 嵌入中應用額外語義信息的一個有效方法是使用邏輯規則。其目的是通過對頭部和尾部實體之間的路徑進行建模，從KG 中學習一般的邏輯規則。還有一種方法利用知識圖譜中頻繁共現模式確定邏輯規則[9]，基于邏輯規則學習的鏈接預測方法的一個主要優點是它們可以應用于直推和歸納問題。然而，這些方法也存在一定的缺陷，有意義的規則通常非常少，影響了該方法預測已知規則未涵蓋的缺失關系的能力。而關系預測任務也可以被視為一個邏輯歸納問題，在這個問題中，研究者們試圖推導出一個給定KG 的概率邏輯規則（horn 子句）。如從圖1 所示的知識圖譜中，可以推導出簡單的規則，如式（1）所示。

其規則可以預測這種關系，如圖2 所示的例子。雖然基于嵌入的方法將實體特定的鄰域信息編碼到嵌入中，但這些邏輯規則捕捉獨立于實體的關系語義，學習獨立于實體的關系語義具有歸納出看不見的實體的能力。式（1）中的規則可以推廣到圖2 中看不見的KG，并預測這種關系。本文學習根據候選關系周圍的有向子圖結構來預測關系,而不是學習特定于實體的嵌入。并且在這種方法基礎上捕獲兩個實體之間所有路徑的關系路徑以提高模型預測已知規則未涵蓋的缺失關系的能力。

圖2 基于規則歸納式推理方法Fig.2 Inductive inference method based on rules

1 相關工作

1.1 基于圖神經網絡的方法

大多數現有的知識圖譜補全方法都是基于嵌入的方法，RotatE[10]、ComplEx[11]、ConvE[12]和TransE[5]等都是經典的基于嵌入的方法，但這些方法獨立地處理每個三元組，而不考慮嵌入在豐富鄰域中的語義和結構信息。近年來，圖神經網絡（graph neural networks，GNN）模型在知識圖譜推理任務中都獲得了經驗性的成功。文獻[13]通過引入算法對齊策略，將圖神經網絡與其他推理任務的解決算法進行對齊分析，證明了圖神經網絡模型的推理能力。現在圖神經網絡已被用于捕獲固有地存儲在KG 中的全局結構信息，并在各種數據集上得到了最佳結果[14-16]。文獻[17]用圖卷積網絡（graph convolutional networks，GCN）引入一個局部敏感的嵌入，然后傳入其解碼器中預測圖譜中丟失的連接。目前提出的這種方法本質上是直推式的，但如果給定一些節點特征，利用特征信息訓練可以對未出現的頂點生成嵌入[18]，這種基于GCN 的知識圖譜補全方法需要學習節點特定的嵌入。本文方法將關系預測視為一個子圖推理問題，經過訓練后可以推廣到看不見的實體。

1.2 規則歸納方法

由于存在實體不可見的問題，基于規則歸納的知識圖譜補全方法一直被限制，目前針對這個問題，文獻[19-20]提出的方法可利用許多知識圖譜中不存在的節點特征進行鏈接預測，文獻[21]通過使用GNN聚合鄰居節點嵌入，學習為看不見的節點生成嵌入，然而這兩種方法都需要新節點被已知節點包圍，并且不能處理全新的圖。這些方法本質上是歸納性的，因為規則獨立于節點身份，但是這些方法由于其基于規則的性質而受到靈活性問題的困擾，并且缺乏表達能力。與基于嵌入的方法不同，統計規則挖掘方法通過列舉知識圖譜中存在的規律和模式來歸納概率邏輯規則。在這些統計規則歸納方法的基礎上，NeuralLP[22]、RuleN[23]和DRUM[24]提出以端到端的方式學習KG 中的邏輯規則和置信度得分，但它們沒有考慮到預測關系周圍的鄰居結構，因此當頭實體和尾實體之間的路徑稀疏時不夠表達。文獻[25]提出一種基于圖神經網絡的關系預測框架GraIL（graph inductive learning），它對局部子圖結構進行推理，并對學習獨立于實體的關系語義有很強的歸納性。與基于嵌入的模型不同，GraIL 是自然歸納的，經過訓練后可以推廣到看不見的實體和圖形，解決在知識圖譜上進行歸納式關系預測的問題。

1.3 基于關系路徑的方法

近年來研究者們通過探索知識圖譜中實體間的連接，將實體間的連接發現為路徑，關系路徑揭示了實體和關系的語義。KPRN（knowledge-aware path recurrent network）[26]模型通過組合實體和關系的語義來生成路徑表示，并在路徑上進行有效推理。文獻[27]通過可學習的注意力機制自適應地整合關系上下文和關系路徑，與傳統的基于節點的表示不同，該模型僅使用關系類型來表示上下文和路徑，這使得它適用于歸納設置。本文方法利用一個歸納關系推理的消息傳遞神經網絡，結合實體間的語義關系對局部有向子圖結構進行推理，完成知識圖譜補全任務。

2 算法設計

2.1 問題描述

一個新的實體加入到知識圖譜中，規則在不再訓練的情況下依然保持準確性。但基于規則歸納的鏈接預測方法由于其基于規則的性質導致其方法可擴展性差，缺乏表達能力，不能預測看不見的節點。GraIL 基于圖形神經網絡利用提取封閉子圖的方法對在訓練集中沒有見過的實體進行關系預測，主要分為三個步驟，分別是：（1）子圖采樣；（2）節點初始化；（3）利用圖神經網絡進行消息傳遞和關系預測。但其也存在一定的缺點，如在提取目標三元組的封閉子圖時，忽略了知識圖譜的方向性，使得它不能有效地處理知識圖譜中的二元關系，尤其是對于非對稱的關系。對于這一問題，本文提出提取有向子圖的方法使模型能夠關注到知識圖譜中關系的方向性，如圖3 所示。其采用的消息傳遞機制削弱了關系嵌入的作用，沒有注意到頭部和尾部實體間的關系路徑，而實體之間不同的連接路徑揭示了它們關系的本質。這違反了歸納關系推理的本質，因為歸納設置是獨立于實體的，并且依賴于關系信息進行推理。

圖3 提取無向子圖和提取有向子圖區別Fig.3 Difference between extracting undirected subgraph and extracting directed subgraph

2.2 處理思想

基于以上觀察，本文提出了一種新的用于歸納關系推理的方法。在本文方法中，首先為每個三元組提取有向封閉子圖，使其能有效地處理KG 中的非對稱關系。利用邊緣感知的注意力機制聚集局部鄰域特征，并收集全局實體信息以豐富實體/關系表示，擴展其信息傳遞機制，以加強實體和關系之間的信息傳遞。同時更新邊緣和實體嵌入，識別從頭部實體到尾部實體的所有路徑，每個路徑都由其關系類型表示。如圖4 所示。

圖4 節點-邊雙向信息傳遞模型框架圖Fig.4 Framework diagram of node-edge bidirectional information transmission model

知識圖譜中的目標三元組表示為(s,r,t)，其中s、r、t分別指頭實體、關系和尾實體。歸納關系推理旨在對目標三元組(hT,rT,tT)的合理性進行評分，其中hT和tT的表示在預測期間不可用。在這項工作中，本文使用一個封閉的有向子圖來表示目標三元組(hT,rT,tT)。目標頭部和尾部之間的封閉子圖表示為G=(V,E)，其中V和E∈V×V分別表示子圖G中的節點集和觀察邊集。Ne表示子圖中的邊數，表示節點的嵌入，其中Nn是子圖中的節點數。表示關系嵌入，其中Nr是通過梯度下降更新的一個可學習矩陣，在訓練集和測試集中共享。將頭節點到邊、關系到邊和尾節點到邊的鄰接矩陣定義為，目的是將頭節點、關系和尾節點分別映射到相應的邊，鄰接矩陣中的值是0 或1，其中0 表示沒有連接。

2.3 關鍵步驟

2.3.1 子圖提取

在知識圖譜中，假設預測目標節點之間的關系信息所需的邏輯規則存在于特定三元組的局部圖鄰域中，并假設兩個目標節點之間的路徑還包含其相關的關系信息。首先提取目標節點周圍的封閉子圖，同時考慮到三元組中存在的邏輯規則，提取帶有方向性的圖神經網絡子圖。在一個知識圖譜中，存在三元組(hT,rT,tT)和(tT,rT,hT)，如果提取無向子圖，對這兩個三元組提取出的子圖可能是相同的，但如果關系rt是非對稱的，則這兩個三元組中只有一個是真的。因此使用有向封閉子圖處理這類關系。

假設存在一個三元組(s,r,t)，為使模型可以識別三元組中的方向性，將s定義為t的上一跳鄰居，t定義為s的下一跳鄰居，k定義為目標節點的前/后k跳鄰居節點。假設用+表示方向向后，-表示方向向前。則第一步：提取滿足s+k的節點和t-k的節點，提取滿足t-1 的節點。如果s+k和t-1 之間存在共同的實體，則目標節點s和目標節點t之間存在有向子圖。如果s或t不在公共實體中，則需要將它們添加到公共實體中。子圖構造方式如圖所示，通過這種方式，從目標頭部到尾部的最大距離將變成k+1。

2.3.2 關系路徑消息傳遞機制

在GraIL 模型中，消息傳遞模型是一個簡單的帶邊注意力的R-GCN（relation-graph convolution networks），忽略了邊與節點之間的雙向信息傳遞。該模型使用節點到節點的消息傳遞機制，其中關系信息僅用于計算相鄰節點的權重。但在歸納關系推理中關系起主導作用，而實體在推理期間不能提供確定性信息，節點到節點的消息傳遞機制削弱了關系的作用，違背了歸納知識圖的本質。

在文獻[28]的消息傳遞框架中，通過迭代和增強邊與節點嵌入來建模歸納封閉子圖。其關鍵思想是加強節點之間相互作用的信息，使圖結構得到了更好的表示方式。其采用通信消息傳遞算法，該算法交互式地更新有向圖結構中的節點和邊消息，每個邊的表示通過頭節點嵌入和它的逆邊來更新，其采用的CMPNN（communicative message passing neural network）信息傳遞機制如圖5 所示。但這種節點更新方式不適用于子圖提取的方法，并且它忽略了尾節點嵌入和關系嵌入的信息。本文采用一種新的節點-邊緣通信機制，同時考慮了頭部、關系和尾部來更新邊緣嵌入。在本文的信息傳遞機制中，假設節點嵌入總共更新了l 次迭代。在每次迭代中更新節點嵌入信息時都會關注到邊嵌入信息，如圖6 所示。

圖5 CMPNN 信息傳遞機制圖Fig.5 Mechanism diagram of CMPNN information transmission

圖6 節點邊雙向信息傳遞機制圖Fig.6 Node side bidirectional information transmission mechanism diagram

在現在的消息傳遞機制中，沒有考慮到節點標識，這導致了一個潛在的問題，即模型無法識別頭s和尾t在KG 中的相對位置。如圖7 所示，哈利·波特和海格之間的關系路徑是（和，買，住在一起）。在圖8 中，哈利·波特和赫敏·格蘭杰之間的關系路徑是（房子，房子）和（職業，職業）。其路徑基于它們所包含的關系類型的順序/結構來捕獲（而不是基于實體的身份），訓練期間不存在的新實體可以進入KG，對它們進行建模。基于s和t之間的連接模式，假設在KG 中從s到t的原始路徑是實體和邊的序列，其中兩個實體vi和vi+1通過邊ei連接，路徑中的每個實體都是唯一的。對應的關系路徑P是給定原始路徑中所有邊的關系類型的序列，即，其中，ri是邊ei的關系類型。

圖7 相同關系路徑實體關系背景不同Fig.7 Same relationship path and different entity relationship background

圖8 相同關系語境的頭部實體尾部實體路徑不同Fig.8 Different head entity and tail entity paths with same relational context

首先將節點和邊信息表示映射到相同的維度d，如式（2）所示。

2.3.3 節點嵌入更新

假設模型迭代k次，在每次迭代中，更新節點嵌入需要邊緣嵌入。為了突出與目標三元組相關性高的邊信息，本文使用一個邊緣注意力機制。在GraIL的邊緣注意力機制中，僅利用目標關系來預測邊的重要性。本文利用所有的目標頭、目標關系和目標尾來突出與目標三元組有密切聯系的邊緣。更全面地用整個三元組來引導注意力機制，因為節點可以在節點-邊緣交互期間聚集關系信息，從而更新的節點嵌入也是有信息的。將Ps→t表示為KG 中從s到t的所有關系路徑的集合。為每個關系路徑P∈Ps→t分配一個獨立的嵌入向量sP。不同路徑的數量隨著路徑長度呈指數增長（存在|r|k-hop 路徑），而在現實世界的KG 中，大多數路徑實際上并不存在，例如長度為2 的所有可能路徑中只有3.2%出現在FB15K 數據集中，因此在實驗中對于相對較小的k值(k≤4)，不同路徑的數量實際上是沒有影響的。對于邊i(1≤i≤Ne)，增強的邊緣注意如式（3）～（5）：

在節點嵌入更新的最后一次迭代中，受文獻[13]啟發，使用多層感知網絡，然后使用LSTM[29]代替式（7）以增加網絡的表現力，如式（8）、式（9）所示：

其中，CommunicationMLP 是傳達節點聚合信息、節點嵌入和原始變換節點嵌入的多層感知網絡，添加以執行殘差學習[30]。邊緣嵌入被更新為總共l-1 次迭代。為了更新邊嵌入，在節點-邊交互機制中需要節點嵌入，從節點到邊的逆映射以及與邊的關系如式（10）所示：

其中，T 表示矩陣轉置，(Ahe)TNk將頭部信息聚合到邊緣，(Are)T將關系信息聚合到邊緣，(Ate)TNk將尾部信息聚合到邊緣，聚集邊緣信息，并且在整個模型中保持一致。然后使用聚集信息來更新邊緣如式（11）、式（12）所示：

其中，f1和f2表示非線性激活函數。加入E0以更新等式中的邊的嵌入。

2.4 評分函數定義

受GraIL 模型啟發，本文使用非對稱評分函數，該評價函數通過連接四個相關向量得到：

其中，表示子圖表示，和表示頭部和尾部實體的隱藏向量，erT是目標關系的學習嵌入。這個評分函數是對稱的，因為關系嵌入和子圖嵌入都是無方向的。為了緩解這個問題，采用了Trans E 的思想設計評分函數以保持模型的定向性，并與邊信息的定義一致。評分函數定義如式（14）所示：

2.5 算法流程

假設對于兩個需要被預測關系的目標節點（目標實體），它們之間的路徑包含了被預測關系的信息。由于實體是不可見的，為子圖中的每個實體（節點）定義一個獨立于實體的嵌入。節點s和t周圍的子圖中的每個節點i用(d(i,s),d(i,t)) 標記，其中d(i,s)表示節點i和s之間的最短距離（同樣對于d(i,t)），節點s到t的路徑表示為Ps→t。整個方法流程如下：

3 實驗

3.1 數據集

本文使用在鏈接預測任務中常用的三個大型數據集WN18RR、FB15K-237 和NELL-995 進行實驗，為了便于歸納測試，通過從KG 中采樣不相交的子圖創建新的歸納基準數據集。每個數據集都由訓練圖和測試圖組成，這兩個圖具有不相交的實體集合，訓練圖包含圖中存在的所有關系。為生成訓練圖，用統一采樣的幾個實體作為目標節點，然后將目標節點周圍的k跳鄰域合并。并在每一跳上設置新鄰居的數量，以防止指數增長。從整個圖中刪除樣本訓練圖，并使用相同的過程對測試圖進行采樣。調整上述過程的參數得到一系列尺寸增加的圖形，如表1所示。歸納設置中的模型在訓練圖上訓練，在測試圖上測試，隨機選擇測試圖中10%的邊/元組作為測試邊。

表1 數據集統計表Table 1 Statistical table of datasets

3.2 實驗設計

本文使用AUC-PR 和Hits@10 評價指標，對測試集中的每個三元組都用無效實體替換三元組中的頭實體或尾實體，產生一個無效三元組，并給每個三元組分配一個分數，用TransE 模型的實體和關系嵌入來初始化模型的嵌入。按照升序對這些分數進行排序，并得到正確的三元組的等級。在排序期間，移除已經存在于訓練、驗證或測試集中的無效三元組，通過替換尾部實體來重復整個過程，并評估哪個三元組得分更高以計算AUC-PR。將正三元組與采樣的負三元組的得分進行比較，查看真實的三元組是否可以排在前10 位以計算Hits@10。對于原始歸納數據集，負三元組是隨機抽樣的，并且不考慮其是否具有封閉的子圖。對提取的歸納數據集，使其確保負三元組也可以包含一個封閉的子圖。

本文主要對比的三種基準模型分別是GraIL 與另外兩種端到端可微方法Neural-LP 和DRUM 以及一種統計規則挖掘方法RuleN。就目前來說，Neural-LP 和DRUM 是能夠進行歸納關系預測的可微方法，本文使用其提供的相同配置進行實驗比較。RuleN代表了目前在知識圖譜歸納關系預測方面的最新水平，RuleN 在歸納式場景下的推理方法在知識圖譜補全任務中得到了很好的結果。RuleN 模型可以基于路徑提取出知識圖譜中的規則，本文使用RuleN 的原始術語，訓練的學習長度設置為4，跳數設置為3。為保持公平的比較，在本文提供的模型中的目標鏈接的周圍，抽取其3 跳封閉子圖，使用一個3 層GNN，所有潛在嵌入的維數等于32。基準尺寸設置為4，邊緣的dropout 設置為0.5。在本文實驗中，Adam[31]優化器的學習速率設置為0.001，其他參數為默認值。margin 設置為10，Gradient 限制標準為1 000。模型在驗證時進行評估，每3 個epoch 保存一次，使用性能最佳的點進行測試。模型的目標函數為S=。且模型根據需要自動調整每個節點的有效鄰域大小。總共對模型進行4 次訓練，并對測試結果求平均，以獲得最終性能。

3.3 結果與分析

所有數據集測試集的預測結果如表2、表3 所示。本文使用公開可用的源代碼，在數據集上復現了Neural-LP、DRUM、RuleN 和GraIL 模型的實驗結果。最優的結果用粗體標出。

表2 AUC-PR 評價指標的實驗結果Table 2 Experimental results of AUC-PR 單位：%

表3 Hits@10 評價指標的實驗結果Table 3 Experimental results of Hits@10 單位：%

如表2 和表3 所示，在AUC-PR 評價指標上，相比基線模型，本文方法在WN18RR 數據集上的AUCPR 評價指標上有3 個數據集的結果都是最優結果，在FB15K-237 和NELL-995 數據集有兩個結果都是最優。在Hits@10 評價指標上，相比基線模型，本文方法在WN18RR 數據集上的結果有3 個數據集的結果都是最優結果，在FB15K-237 有兩個結果是最優結果，在NELL-995 中有3 個數據集的結果是最優結果。這表明了節點與邊緣嵌入之間雙向信息傳遞的必要性以及增強關系信息在網絡中的作用的有效性。WN18RR 和NELL-995 是兩個最稀疏的KG，在其數據集上的結果表明結合實體間的路徑對于稀疏的KG 有著積極的作用。

3.4 有向路徑子圖與無向子圖實驗結果與分析

本文基于圖神經網絡提取有向路徑子圖進行鏈接預測，如果提取無向子圖，對反對稱關系的兩個三元組提取出的子圖可能是相同的，但這兩個三元組中只有一個是真的。假設對于給定的實體對(h,t),h被名字、出生地、性別等包圍，t周圍是機構、地點、大學、創始人、大學校長等。則得出h很可能是個人，t很可能是大學，兩者之間應該有一種畢業的關系，因為這樣的模式在訓練數據中經常出現。然而事實是，這個人與大學無關，出現這種錯誤的原因是忽略節點間的路徑。因此本文使用有向路徑子圖處理這類關系。在實驗中，對使用有向路徑子圖和無向子圖的方法進行實驗對比，結果如表4、表5 所示。

表4 FB15K-237 數據集無向和有向路徑子圖對比實驗結果Table 4 Comparative experimental results of undirected and directed path subgraphs on FB15K-237 單位：%

如表4、表5 所示，當無向子圖被有向路徑子圖代替時，就AUC-PR 和Hits@10 指標而言，有向子路徑子圖的方法結果明顯優于無向子圖的結果。這表明必須有效處理知識圖中的方向問題，因為FB15K-237和NELL-995 都包含大量不對稱和反對稱關系。WN18RR 的改進相當顯著，而WN18RR 是一個比較稀疏的數據集。這表明有向路徑子圖可以更好地推斷兩個看不見的實體之間的關系。

表5 NELL-995 數據集無向和有向路徑子圖對比實驗結果Table 5 Comparative experimental results of undirected and directed path subgraphs on NELL-995 單位：%

3.5 消融實驗

為證明本文方法每一步改進是否有效，對本文方法進行消融實驗。針對本文中增強邊緣注意機制的方法，將其從模型中移除并分析其結果。將增強的邊注意機制與GraIL 中的邊緣注意進行比較，GraIL 只使用目標關系引導邊注意機制。本文還對邊信息嵌入的更新是否會提高模型整體性能進行了實驗，在嵌入更新時刪除關系信息以及關系路徑的實驗結果如表6 所示。

表6 消融實驗結果Table 6 Results of ablation experiment 單位：%

如表6 所示，聚合邊緣信息及路徑的模型結果優于其他版本的模型。刪除增強的邊注意力的結果表明了增強的邊緣注意力的有效性。增強的邊注意力在FB15K-237-v1 數據集的AUC-PR 和Hits@10 度量上均提高了0.02 以上，并且在FB15K-237-v2 數據集上，即使沒有邊注意的模型也優于具有邊緣注意的基準模型。這些結果表明，考慮目標三元組中的所有信息以確定哪些邊是重要的具有重要意義。刪除邊信息更新模塊后，所有評估指標上的性能都有所下降。與完全刪除邊緣嵌入更新模塊相比，在邊嵌入更新中刪除關系信息及路徑得到的結果改進較小，比呈現相關信息的情況弱。這些結果表明，邊嵌入更新模塊有助于本文方法對鏈接預測的重要性，并且關系信息在邊嵌入更新中起著非常重要的作用。進一步證明了關系在歸納設置中的重要性，并強調了在子圖建模中加強關系信息流的必要性。

3.6 非對稱關系實驗結果與分析

為證明模型可以在一定程度上處理非對稱/反對稱關系（通過使用特定的評分函數和邊定義等），選擇5 個不對稱的關系來評估模型和基準模型GraIL。使用兩種負三元組抽樣策略：第一種是將其他三元組替換為正三元組的頭或尾的標準操作；第二種是交換測試三元組的頭和尾。結果如表7 所示。

表7 非對稱關系實驗結果Table 7 Experimental results of asymmetric relationship單位：%

如表7 所示，模型使用標準方法和交換頭尾方法的AUC 分數沒有明顯差異，這表明模型可以有效地將假三元組(t,r,h)與真正的三元組(h,r,t)區分開。相比之下，當樣本策略更改為第二種策略時，基準模型GraIL 的比率有所下降，這表明本文方法有效地處理了KG 中的方向問題。

4 結束語

本文提出了一種用于歸納關系預測的有向路徑子圖推理方法，使用有向子圖結合目標節點的關系路徑推斷兩個不可見實體之間的關系。本文引入了一個新的消息傳遞模型，以學習更好的節點和邊緣嵌入，并加強關系信息的作用。捕捉頭實體和尾實體之間的關系路徑，提高了三元組的預測精度。實驗表明，本文方法在大多數評估指標上優于最先進的方法。在未來的工作中，也將嘗試開發一個完全丟棄封閉子圖中節點的純關系消息傳遞網絡，并研究關系封閉子圖的性能。