Inductive relation prediction based on sentence Transformer and dual attention mechanism

Li Weijun ^a，b? ，Liu Xueyang2，Liu Shixia，Wang Ziyia，Ding Jianpinga，Su Yileia （a.Colegeofueneamp;oKbafgsamp;asellgentossnofateEcs sion，North Minzu University，Yinchuan75oo21，China）

Abstract：Relation predictionisaimportant task in knowledgegraphcompletion，aimedat predicting mising relationships between entities.Existing inductiverelationprediction methodsoften facechalenges inadequatelymodeling semanticand structural information.Toaddress thisisse，thispaper proposedaninductiverelation predictionmodel basedonsentence transformationandadual-atentionmechanism.Theproposedmethodenhancedentitysemanticrepresentationsbyautomaticallyretrievingdescritionsandincorporatesadual-atentionmechanism，whichonsiderededgeandelationawarenes，toacu ratelymodelthecomplexinteractionsbetweeentities.Firstly，itextractedtheclosedsubgraphofthetargettripleanduseda random walk strategytosearchformuli-hoprelational paths.Thesetriplesand pathswerethen transformedinto natural language sentences，generating semanticall rich sentence embeddings.Next，it updated the subgraph embeddings using GCN andbidirectionalGRU，combiningsentenceandsubgraphembeddings tocapturebothstructuralandsemanticinformationExperimentalresultsonthree public datasets—WN18RR，FB15k-237，andNELL-995—demonstratethattheproposed method outperformsexisting methodsinbothtransformationandinductiverelationpredictiontasks，validatingtheimportanceof the dual-attention mechanismandsentence transformationin improving model performance.Thisapproach efectively enhances the accuracy and efficiency of relation prediction in knowledge graphs.

Key words：knowledge graph（KG）；inductiverelation prediction；sentence Transformer;dual atention mechanism；random walk pathfinding strategy

0 引言

知識圖譜（KG）是一種用于表示和存儲客觀世界知識的圖形化知識庫，通過三元組方式進行形式化描述，廣泛應用于網絡搜索[1]、社區檢測[2]和推薦系統[3]等任務。然而，構建大規模知識圖譜（如Freebase[4] YAGO^[5] 和DBpedia[6]）既耗時又費力，常導致圖譜不完整，影響下游應用的性能，這就引起了對知識圖譜補全任務的研究。

關系預測是知識圖譜補全中的核心任務，旨在預測實體之間缺失的關系，以完善知識圖譜。傳統方法如KGT5[7]、Ex-pressivE[8]和DRR-GAT[9]通過將實體和關系映射到低維向量空間進行預測，取得了很好的性能。但由于對實體的依賴，上述方法被限制在轉換設置中，其中測試集中的所有實體都可以在訓練集中看到。然而，現實世界是不斷發展的，隨著新實體不斷出現，基于轉換的方法性能普遍下降。因此，研究人員將研究重點轉向歸納設置中的關系預測，其中訓練集和測試集中的實體完全不同。當前一些模型，如AMIE + [10]、NeuralLP[11]明確地挖掘邏輯規則進行歸納關系預測，具有良好的可解釋性，但由于搜索空間大、優化離散化，性能受到限制。最近，一些基于子圖的方法，如 GraIL^[12] 、CoMPILE[13] TACT^[14] ，利用相鄰三元組構造的局部子圖進行推理來隱式挖掘邏輯規則，推斷兩個實體之間的關系，利用圖神經網絡對提取的子圖進行預測。

現有的歸納關系預測方法多側重于通過實體間的關系路徑進行推理，但在以下兩個方面存在顯著不足：a）語義信息建模不足。現有方法大多通過實體名稱或簡單的文本描述來表示實體的語義信息，難以全面表達實體的復雜語義特征。b）結構信息建模不足。雖然基于圖的模型通過子圖結構來捕捉實體間的拓撲關系，但往往忽視不同鄰居實體及其關系對目標實體的重要性差異，未能準確建模實體間復雜的交互作用。為解決這些問題，本文提出了一種基于句子轉換和雙注意力機制的歸納關系預測方法（inductiverelationpredictionbased onsen-tenceTransformeranddualattentionmechanism，IRP-SD）。本文方法的創新之處在于：a）提出了一種自動化的詳細描述檢索機制，結合句子轉換，將實體的語義信息顯著增強，克服了傳統方法中語義建模的不足；b）引入了邊緣感知和關系感知的雙注意力機制，能夠為不同鄰居節點及其關系分配不同的權重，從而準確建模實體間復雜的交互和依賴關系；c）首次將句子轉換和圖嵌人進行結合，通過GCN和GRU結合句子嵌入，集成語義和結構信息進行關系預測。

1相關工作

1.1 基于規則的方法

基于規則的方法可以明確地學習推理的邏輯規則，是獨立于實體的，可以解決在沒有外部知識的情況下求解不可見實體的方法。例如 NeuralLP[11]使用 TensorLog[15]以端到端方式學習一階邏輯規則的參數和結構。然而NeuralLP只學習固定長度的規則，這限制了模型的規則挖掘能力。為了更好學習模型變長規則的能力，DRUM[1]引入一個特殊的關系，可以出現在規則的任何位置和次數。此外，還使用雙向循環神經網絡來模擬規則頭部和主體中關系之間的關聯。由于在NeuralLP中，數值規則會導致稠密的矩陣操作，Num-Neural-LP模型[17]對NeuralLP進行擴展，通過動態規劃和累積求和運算，實現對數值規則的快速學習，有效地表達用于數值比較的操作符。與上述方法相比，Meilicke等人[8提出的RuleN模型采用深度優先搜索從知識圖譜中尋找路徑作為推理的規則主體，具有更高的表達能力。

這類方法能夠從知識圖譜中提取規則，但它們通常忽視了實體的豐富語義描述，導致在對新實體進行歸納推理時，缺乏足夠的語義支持。本文方法通過自動化的檢索描述機制生成詳細的語義描述，從而彌補了基于規則方法在語義信息建模上的不足。

1.2基于圖神經網絡的方法

基于圖神經網絡（graphneuralnetwork，GNN）的方法是通過結構信息進行編碼，通過在圖中迭代傳播信息，可以捕獲KG中的復雜依賴關系和高階關系。Teru等人[1]提出的GraIL通過提取目標三元組的封閉子圖來獲取目標節點的拓撲結構，利用RGCN（relational graphconvolutionalnetworks）更新子圖的實體表示并進行預測，從而具有歸納預測能力。Mai等人[13]提出了一種通信消息傳遞網絡CoMPILE，以加強邊和實體之間的消息交互，從而實現關系信息的充分流動。這種方法忽略了關系的文本信息，依賴于提取的子圖的結構信息，導致對結構信息較少的稀疏子圖的預測不準確。為了考慮關系之間的語義相關性， TACT^[14] 用關系關聯網絡來提供關系之間的拓撲模式，以此來對GraIL進行了擴展。DEKG-ILP模型[19]是使用基于對比學習的關系特征建模和基于圖神經網絡的子圖建模，來預測原始KG與斷開連接的新興知識圖之間的鏈接。雖然這種方法能夠較好地捕捉實體間的拓撲信息，但其對關系的語義建模通常較為單一，未能充分考慮不同鄰居節點及其關系對目標實體的重要性差異。

1.3基于路徑和預訓練語言模型的方法

基于路徑的方法可以有效地從知識圖譜中獲取實體之間的關系信息，通過分析和利用路徑信息可以預測出實體之間的隱藏關系。例如Das等人[20]提出的MINERVA模型是在輸入問題的條件下使用強化學習有效搜索圖中答案提供路徑的方法，不需要進行預訓練，從而推理出符合目標關系的預測。

隨著在各種自然語言處理（natural languageprocessing，NLP）任務中取得的巨大成功，預訓練語言模型（pretrainedlan-guage model，PLM），例如BERT[21] GPT^[22] 和XLNet[23]在處理上下文描述方面顯示出巨大的潛力。KG-BERT[24]通過微調BERT擴展了基于嵌人的方法，使用實體和關系的上下文描述，BERT能夠理解三元組并輸出分類標簽。該方法在歸納設置中表現很好，但由于難以理解的嵌人而無法解釋。與KG-BERT不同的是，BERTRL[25]將三元組和相應的路徑轉換成句子，并對預訓練的BERT進行微調以進行序列分類。但是使用所有小于 L 的路徑作為輸人而不進行過濾，因此性能受到限制。對此， KRST^[26] 提出了關系路徑覆蓋率和關系置信度的概念以過濾掉不可靠的路徑，以此來提升模型的性能。上述方法的嵌入從句子或文本語料庫中的文本描述中捕獲實體和關系的語義。通過對文本描述中的KG信息進行編碼，可以向預訓練語言模型提供三元組或封閉路徑來獲得嵌入，并隨后用作關系預測的輸入特征。基于路徑的PLM方法不僅提供了捕獲結構和語義信息的優勢，還提高了基于路徑方法的泛化能力，使它們能夠更好地理解以前未見過的實體的描述。

本文通過將自動化檢索描述生成的語義句子和圖嵌入方法結合，創新性地實現了句子轉換與圖嵌人的融合，使模型能夠同時利用知識圖譜的結構特征和文本描述的語義細節，更全面地表征實體間的復雜關系，從而提升了模型在歸納關系預測任務中的性能。

2 模型設計與實現

本章將對所提模型IRP-SD進行具體的介紹。該模型主要包括封閉子圖及多跳關系路徑提取、句子轉換模塊，雙注意力機制的子圖建模模塊和關系預測模塊三個核心模塊。首先，使用隨機行走策略在知識圖譜中尋找多跳關系路徑。接著，通過預訓練語言模型將路徑和三元組轉換為自然語言表述的句子，從而豐富關系的語義表示。隨后，通過邊緣感知和關系感知的雙注意力機制，計算子圖中實體之間的聯合注意力值，生成更具語義和結構深度的嵌人表示。在子圖更新過程中，采用GCN的消息傳遞策略，并在最后一層融人了雙向GRU以強化實體間交互。最后，關系預測模塊通過測量嵌入之間的語義相似度得分，進行準確的關系預測。本文IRP-SD框架如圖1所示。

2.1基本符號和問題描述

知識圖譜是由主體-屬性-客體三元組事實組成，通常定義為一個有向圖 ，其中 E 表示實體集合， R 表示關系集合， F={（u，r，v）?E×R×E} 是 G 中三元組集合，其中 u 、v 為頭尾實體， ，r 為關系。在形式上，目標三元組 e_T 表示為（u，r_T，v） ，描述了從頭實體 u 到尾實體 v 之間的關系 r 歸納關系預測的任務是從一個訓練圖 G_T={E_T，R_T，F_T} 中學習，推廣到另一個知識圖譜 G_I={E_I，R_I，F_I} 中進行推理，預測在訓練階段不可見的兩個實體之間的關系。該任務是在歸納的設置下，G_T 與 G_I 有相同的關系集，具有相同的語義，但它們的實體集是不相交的，即 E_T∩E_I=? 。定義以目標三元組 e_T 為中心的封閉子圖 G_T 的關系路徑集合為paths。

2.2 封閉子圖特征提取

本文基于知識圖譜中的目標三元組 e_T 提取封閉子圖 G_T 封閉子圖定義為發生在目標節點 u 和 v 之間的路徑上所有節點而形成的圖，是由兩個目標節點的鄰居節點通過裁剪節點而形成的節點交集，如圖2所示。設 N_k（u） 和 N_k（v） 分別表示兩個目標節點 u 和 v 在 k -hop點集。通過獲取 N_k（u） 和 N_k（v） 集合的 k -hop鄰居集的交集來生成封閉子圖，并去掉與任何一個目標節點距離大于 k 的節點。然后采用雙半徑頂點標記方案對節點進行初始化，根據文獻[27]，每個節點都用 （d（i，u） ，d（i，v） ）標記， d 示兩個實體之間最短的拓撲距離，任何一個節點特征都可表示為 onehot R^2（m+2） ，其中 表示連接操作。

2.3 路徑提取

為提取出不同的關系路徑，使用一種隨機行走尋徑策略（RWPF），相比于一些傳統方法，該策略通過在知識圖上隨機漫游來尋找以單個頭節點為中心的多跳路徑，如算法1所示。首先，從圖中隨機選擇節點 e₁ 作為當前節點，通過訪問每個出邊可以到達相鄰節點，再隨機選擇一個相鄰節點 e₂ 作為新的當前節點，然后訪問該節點的每個出邊，得到一條隨機漫游路徑 p 。只要 p 中的節點數小于等于路徑長度 K ，則保存有效路徑并繼續漫游，重復上述過程，直到找到從頭實體 u 到尾實體v 的所有路徑長度為 K 的有效拓撲路徑。頭實體 u 和尾實體 σ_v 之間每一條關系路徑都由一個三元組序列組成，即 uv ：（u，ro，e），（e，r，e）（en，rn，u），那么每一條關系路徑可以表示為 p_i=（u，r₀，e₁，r₁，…，r_k，v） 。本文方法設置從頭實體到尾實體的最大路徑長度為 L_max 到關系路徑集合paths。

算法1隨機行走尋徑策略（RWPF）

輸入：知識圖譜中的節點數量 N 和路徑閾值 K 輸出：paths（一組有效路徑）。定義：將 p 定義為路徑的單元初始化：將 paths 初始化為空集，并將 p 初始化為知識圖譜中的任意三元組for i=0 to N do1 ；//選擇節點 i 作為路徑的起始節點E= neighbors（head）；//獲取起始節點的鄰居節點集合foreach e in E do（204 p=（head，r，e） ；//構建路徑 p T=tails（paths） ；//獲取已有路徑集合paths的尾節點集合ifthelength of p is less than or equal to K thenif T contains the node e thenadd p topathsafter the corresponding e;/* 在與 e 相應的位置后將 p 添加到 paths* /elseadd p directly to paths;end ifend ifend forend forreturn paths ;

2.4 句子形成及編碼

為了有效地利用PLMs中的語義知識，需要對實體和關系進行詳細的文本描述。然而在構建知識圖譜時，描述信息往往并非必須項，比如常使用的FB15k-237和NELL-995數據集，僅提供了實體名稱和幾個單詞來進行描述，無法為模型提供足夠的語義信息，也就使得句子轉換器難以精準地捕捉實體的語義。為解決這一問題，本文采用了Google自定義搜索API來搜索專業網站并自動檢索詳細描述。通過此API，可以對特定網站進行精確搜索，得到與關鍵詞相關的頁面內容。返回頁面上的這些描述是詳細的，可以形成輸入句子。

本文將查詢三元組和提取到的路徑轉換成自然語言句子，來更好地利用實體和關系的文本描述。在這個過程中，通過提供詳細的文本描述來增強語義信息，具體而言，將查詢三元組和路徑轉換為句子表示為

其中： D_e 應實體 e 的詳細描述。在句子轉換時，重點關注路徑的起點實體和終點實體的描述。這部分描述包含實體的背景信息，從而有助于更好理解實體間的語義關系。若為所有實體提供詳細描述，可能會超出sentenceTransformer允許的最大輸入長度，導致描述被截斷，影響整體效果。因此，合理選擇描述的實體有助于保持輸入的完整性。然后使用基于預訓練語言模型（all-mpnet-base- ?v2² ）的句子嵌入生成器，對路徑和三元組進行編碼，將形成的句子編碼為嵌入，分別表示為 s_eT 和 s_p 。為了確保生成的句子嵌入具有標準化的向量表示，進一步對嵌入進行歸一化處理，使每個嵌入的長度為1。

2.5基于雙注意力機制的子圖建模

在句子嵌入過程中，雖然句子嵌入本身已經包含了一定的語義信息，但缺少對知識圖譜中鄰居節點關系的重要性建模。因此，為了提高對子圖的利用準確性并區分不同結構在建模中的作用，提出了一種邊緣感知和關系感知的雙注意力機制，將其集成到GCN中，該方法通過使用基于GCN的傳統迭代消息傳遞策略來進行實體嵌入的更新，如式（1）所示。

其中： （u，r，v） 為示例三元組； N_s（?） 為包含實體關系對的鄰居集合； W_t1^k 和 $＼boldsymbol { W } _ { ＼itOmega } ^ { k }$ 為變換矩陣： ?h_v^k 表示實體 v 在第 k 層的嵌入。

在GCN中，實體的嵌人是通過其鄰居的嵌人來進行更新的。實際上，對于一個實體，不同的鄰居對該實體的表示有不同的影響。同時，預測不同的目標關系也會影響該實體的表示。為了區分這些影響，提出邊緣感知 β_u，r^k 和關系感知 γ_r，rt^k ，來計算聯合鄰居注意力值。計算過程如式（2）（3）所示。

β_u，r^k=σ（W₁^k（h_u^k⊕e_r^k⊕h_v^k））

γ_r，rt^k=σ（W₂^k（e_r^k⊕e_rt^k）

α_{（u，r，v）}^k=softmax（β_u，r^k+γ_r，rt^k）

其中： W₁^k 和 W₂^k 是變換矩陣。

邊緣感知注意力用于區分不同鄰居對中心實體的影響，不同鄰居之間的作用是不一樣的，因此需要為每個鄰居分配不同的權重。而關系感知注意力則關注不同關系對實體的影響，即當預測不同的目標關系時，該關系對實體嵌入的貢獻也不同。兩種注意力機制的結合，可以準確衡量每個鄰居與實體間的相互作用和關系貢獻，最終通過式（4）計算出聯合的注意力值。這種方式使得實體的嵌人不僅捕捉到鄰居間的差異，還能夠更細致地考慮不同關系對實體的影響，從而提升表示的精確度。

為了實現信息共享和改進表示，集成了更新的實體嵌入，以增強表示，如式（5）所示。

H_index（v）^k+1=λ₁H_index（v）^k+（1-λ₁）h_v^k+1

其中： index（v） 表示實體 σ_v 的實際索引。

在此基礎上，得到的嵌入矩陣 H_L 是由最后一個GCN子圖中所有實體的嵌入向量構成的。為了進一步增強模型的表示能力，在GCN的最后一層集成了雙向門控遞歸單元（GRU）。由于子圖中的實體是根據與目標實體的距離排序的，GRU能夠有效捕捉這些實體間的順序信息，并通過處理序列的方式進一步增強實體間的交互。在GRU的更新機制下，實體的最終嵌人可以表示為

GRU的引入使得實體嵌入能夠捕捉到更復雜的交互信息，進一步提升了嵌入表示的質量。最后，通過平均讀出函數對子圖中的實體嵌入進行匯總，得到子圖的整體表示 h_G 如式（7）所示。

總的來說，該方法通過引入邊緣感知和關系感知的雙注意力機制，結合GCN和GRU的迭代更新與序列處理，使得模型不僅僅依賴于句子嵌入，還綜合考慮了子圖結構信息，顯著提升了模型對子圖信息的利用能力。此外，使得模型能夠更精準地捕捉三元組與路徑之間的語義關系，提升了對復雜語義信息的建模能力。

2.6 關系預測

句子嵌入和子圖嵌入分別生成了三元組及其相關路徑的語義表示和結構表示。在經過基于雙注意力機制的子圖建模之后，三元組及路徑的表示不再是簡單的句子文本信息，而是結合了注意力加權后的子圖嵌入。為了將上述兩個模塊組織在一個統一的框架里，本文將句子嵌入與子圖嵌人結合起來，使模型同時利用語義和結構信息來進行預測。融合嵌入如式（8）所示。

Sub=[s_P°ledasth_G]

對于每個正查詢三元組，相應提取多個多跳推理路徑。將查詢三元組的嵌入與每個路徑的融合嵌入進行余弦相似度計算。通過余弦相似度來衡量三元組和路徑的匹配程度，度量了兩個向量的方向相似性，數值范圍在[-1，1]，1表示完全相似，-1表示完全不相似。具體的計算公式如式（9）所示。

其中： u_?1 表示查詢三元組的融合嵌入； ν₂ 表示各個路徑的融合嵌入。通過計算正查詢三元組與多條推理路徑之間的余弦相似度，選擇最匹配的路徑。相似度得分最高的路徑被認為是最合理的路徑，相似度最高的路徑被認為是對應三元組的最終得分：

其中： P 表示三元組 （u，r，v） 對應的路徑集； s（??σ） 表示三元組和路徑的嵌入函數。

在訓練過程中，本文使用余弦嵌入損失函數，其表達式如式（11）所示。

其中： margin∈（-1，1） 為預定義的邊界； 為標簽。

3 實驗驗證與分析

3.1 實驗數據集

本文評估了模型在轉換、歸納和少樣本三種不同設置下的性能。搭建實驗環境，使用WN18RR[28]、FB15k-237[29]和NELL-995^[30] 三個通用的基準轉換和歸納數據集進行實驗。WN18RR是WordNet的一個子集，包含單詞之間的詞匯關系。FB15k-237是Freebase的一個子集，包含了大量真實世界的事實。NELL-995是由NELL的高置信度事實構造的數據集。對于歸納設置，訓練實體與測試實體之間沒有重疊。對于少樣本設置，在轉換和歸納數據集中隨機選擇1000或2000個訓練三元組。這些數據集的統計數據如表1所示。

3.2 實驗評估指標

為證明本文方法的有效性，對于每個查詢三元組，都使用一個正例和49個負例候選實體，本文通過測量50個候選實體之間的平均倒數排名（MRR）和命中率（ hits（a）1 ）來進行評估。

MRR（meanreciprocalrank）依據目標函數對所有三元組打分并按照降序排序，取正確關系在所有候選實體的倒數排名的平均值。該評價指標的計算如式（12）所示。

hits@k 表示在進行鏈接預測時正確三元組在前 k 個結果中命中的概率。該評價指標的計算如式（13）所示。

其中： 表示三元組集合個數； I（?） 是indicator函數，若條件真則函數值為1，否則為0。

3.3基準模型與參數設置

為了探索本文模型的性能，將其與基于規則嵌入的RuleN[18]和TuckER[31]、基于圖神經網絡的GraIL[12]和CoMPILE[13]基于路徑的MINERVA[20]以及基于PLM的KG-BERT[24]BERTRL[25] KRST^[26] 在三個公開數據集上進行了對比實驗。

本文使用PyTorch實現了基于SOTA句子轉換器（all-mpnetbase- ?v2² ）的IRP-SD，并在單張NVIDIA GeForceRTX4090GPU上進行訓練。超參數設置如表2所示。

為了能夠自動檢索詳細描述，本文使用所有數據集中的實體名稱和簡短描述作為實體解密網站上Google自定義搜索的關鍵字。因為FB15k-237和NELL-995只包含常識性知識，本文在Wikipedia上搜索它們的實體。對于WN18RR中的多語種詞匯，在維基詞典上搜索。

3.4轉換和歸納關系預測

模型在數據集中最優性能均以粗體標出，由表3和4可以看出，本文方法IRP-SD無論是在轉換設置下還是歸納設置下，性能都有較好的提升。

轉換設置下，IRP-SD在WN18RR、FB15k-237和NELL-995三個數據集上MRR指標均有提升，相較于目前表現最好的KRST分別提升了 3.6、6、2、4.5 百分點； hits（a∣ 指標也均有提升，但相對于在NELL-995中表現最出色的模型TuckER來說，也達到了次優的效果。故在轉換任務上整體達到了一個較為優異的性能。相比之下，基于路徑的方法MINERVA，其隨機行走策略缺乏目標導向性，導致在大型知識圖譜上難以收斂到有效的路徑。

在歸納設置下，IRP-SD在WN18RR、FB15k-237數據集上MRR和 hits@1 指標都有提升，相較于KRST，MRR分別提升了3.2、1.5百分點， hits@1 分別提升了2.4、4.9百分點。在NELL-995數據集上與最新方法KRST來說雖有提升，但相對于在該數據集上表現比較好的BERTRL方法來說，性能雖然略有不足，但也達到了次優的效果。可能的原因是IRP-SD性能受到檢索到的詳細描述的限制。相比之下，基于規則的方法RuleN和基于圖的方法GraIL雖然在特定的數據集上也表現良好，但受限于其對知識圖譜結構信息的簡單處理，難以捕捉更深層次的語義特征。此外，KG-BERT在句子嵌人過程中未結合圖結構信息，對歸納任務的支持較弱。

3.5 少樣本關系預測

由于關系預測在真實場景中往往面臨著數據不完整、數據稀疏的問題，所以，本節對WN18RR、FB15k-237和NELL-995三個數據集中分別抽取1000或2000個訓練三元組的子集，來進行少樣本關系預測實驗，以評估所提IRP-SD在數據稀疏條件下的性能和穩定性。表5和6分別給出了在轉換和歸納設置下的少樣本關系預測實驗結果。在MRR和 hits@1 兩個指標上，IRP-SD在大部分情況下優于其他方法，尤其是在NELL-995和WN18RR數據集上，表明IRP-SD在少樣本條件下也能夠維持較高的關系預測性能。相比之下，MINERVA和TuckER在少樣本數據下的表現顯著下降，而IRP-SD則較為穩定。此外，IRP-SD在歸納場景中的性能略遜于轉換場景，但仍然顯著優于其他模型，表明了在面對新關系和未知三元組時具有較強的泛化能力。隨著樣本數量從1000增加到2000，IRP-SD的MRR指標分別提升了 0.6，1.5，2.2，1.1，3，1.8 百分點； hits@1 指標分別提升了 3、2、3、1、0、5、6、5、0、9 百分點。歸納設置下，與KRST相比，IRP-SD模型在WN18RR、FB15k-237和NELL-995數據集上的MRR指標分別提升了 0.4，2.3，1.7 、4.6、1.33.8百分點； hits@1 指標分別提升了 1.3，3.6，2.2 /

4.2、0..52.2百分點。

這表明，在少樣本條件下，即使是少量的數據增加也能幫助IRP-SD更好地學習關系模式并提升預測能力，進一步驗證了IRP-SD在稀疏數據條件下的穩定性和敏感性。

表5少樣本關系預測結果（MRR）

3.6 消融實驗

為了進一步分析在IRP-SD中使用詳細描述檢索機制、邊緣感知和關系感知的雙注意力機制對歸納關系預測效果的影響，在WN18RR、FB15k-237和NELL-995數據集上進行了消融實驗。表7呈現了消融實驗的結果，其中IRP-SD表示本文模型的性能，-ST表示本文模型去除句子轉換模塊，直接使用三元組中的關系和實體，不將其轉換為句子表示。-DDR表示本文模型去除詳細描述檢索機制，使模型僅使用知識圖譜中現有的實體名稱或簡單描述，不進行外部詳細描述的檢索。-At表示本文模型去除雙注意力機制的效果，-GRU表示本文模型去除GRU模塊的效果，僅使用GCN進行子圖的實體嵌入。表7給出了MRR指標的消融實驗結果。

由表7可知，這四種消融方式都造成了實驗性能的下降。因此，句子轉換模塊將知識圖譜的路徑信息與實體的文本描述結合起來，為模型提供更加豐富的語義背景，從而更準確地捕捉實體間的語義關系；詳細描述檢索機制通過增加外部信息豐富了實體上下文，能夠為模型提供更細粒度的語義信息；雙注意力機制通過邊緣感知和關系感知的雙層次權重分配，提升了模型在多關系、多層次復雜圖結構中的適應性；GRU模塊有效處理序列信息，使實體嵌入表示更加豐富且富有層次性，進一步提升模型的準確性和魯棒性。在刪除句子轉換模塊和詳細描述檢索模塊后，模型性能在FB15k-237數據集上出現顯著下降。這是因為本文的詳細描述是從維基百科和維基詞典獲得的，而FB15k-237數據集來源于維基百科，其實體與維基百科中檢索到的對象完全匹配。但是對于WN18RR和NELL-995中的實體，它們的含義可能與描述不完全匹配，故性能下降相對較多。模型性能雖然有所下降，但是與其他對比方法相比也具有一定的優勢，進一步證明了IRP-SD的有效性。該現象也表明，本文在進行關系預測時，對文本語義的依賴性較強，尤其是在涉及多層次語義信息的推理過程中。因此，計劃在未來工作中引入多模態學習策略。例如，可以將圖譜的結構信息與外部知識源（如圖像描述、實體的多維特征等）結合起來，共同為模型提供更豐富的信息，從而減少單一文本的依賴，提高模型的魯棒性和泛化能力。IRP-SD在引入雙注意力機制和GRU后，相較于傳統方法，具有更強的表示能力和預測精度。但同時也增加了計算復雜度，從而會帶來推理時間和計算資源需求的提升。為了進一步降低計算資源的需求，可以對模型進行壓縮和剪枝，去除冗余參數和節點，減少模型規模，從而提高推理速度。

本文IRP-SD不僅在學術上取得了顯著進展，同時在實際應用中也表現出較強的適應性，尤其是在大規模知識圖譜構建、智能問答系統、個性化推薦等領域，高精度的關系預測和上下文理解能力具有無可替代的重要性，在這些應用中，盡管計算資源需求較高，但高效的推理結果能夠帶來顯著的業務收益和社會效益。

4結束語

本文提出了一種基于句子轉換和雙注意力機制的歸納關系預測方法IRP-SD。IRP-SD成功結合了句子嵌人和子圖結構信息，通過提取封閉子圖和隨機路徑，對路徑進行詳細描述檢索并轉換成句子，結合邊緣感知和關系感知的雙重注意力機制，IRP-SD能夠更有效地捕捉實體間的復雜語義關系。在不同的數據集和設置下，都展現出了較為出色的效果。但在實際應用中，檢索到的描述信息可能受到來源的限制或者信息本身的質量波動，若檢索到的詳細描述信息質量較差或缺失，模型可能會在語義推理過程中面臨挑戰。為解決這一問題，未來計劃引入多任務學習或生成對抗網絡技術，在訓練過程中引入不同質量的數據樣本，使模型能夠在多種信息質量下保持穩定的性能，增強模型的魯棒性。此外，在未來可以進一步探索多模態知識圖譜的推理，致力于減少對文本的依賴，增強對知識圖譜結構信息和實體關系的直接建模，進一步提高模型的適應性和泛化能力。

參考文獻：

[1]Luo Linhao，Fang Yixiang，Lu Moli，et al.GSim：a graph neural network based relevance measure for heterogeneous graphs [J]. IEEE Trans on Knowledge and Data Engineering，2023，35（12）： 12693-12707.

[2]Luo Linhao，Fang Yixiang，Cao Xin，et al. Detecting communities fromheterogeneous graphs：a context path-based graph neural network model[C]//Proc of the 3Oth ACM International Conference on Informationamp; Knowledge Management. New York：ACM Press，2021： 1170-1180.

[3]Wang Hongwei， Zhang Fuzheng， Zhao Miao，et al. Multi-task feature learning for knowledge graph enhanced recommendation[C]//Proc of World Wide Web Conference.New York：ACM Press，2019：2000- 2010.

[4]Bollacker K，Evans C，Paritosh P，et al.Freebase：a collaboratively created graph database for structuringhuman knowledge[C]//Proc of ACM SIGMOD International Conference on Management of Data. New York：ACM Press，2008：1247-1250.

[5]Suchanek F M，Kasneci G，Weikum G. YAGO：a core of semantic knowledge[C]//Proc of the16th International Conference onWorld Wide Web.2007： 697-706.

[6]Auer S，Bizer C，Kobilarov G，et al.DBpedia：a nucleus for a Web of open data[M]//AbererK，ChoiKS，NoyN，et al.The Semantic Web.Berlin：Springer，2007：722-735.

[7]Saxena A，Kochsiek A，Gemulla R. Sequence-to-sequence knowledge graph completion and question answering[C]// Proc of the 6Oth Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA：Association for Compuational Linguistics，2022： 2814-2828.

[8]Pavlovic A，Sallinger E. ExpressivE：a spatio-functional embedding for knowledge graph completion [EB/OL]. （2022-06-08）．https ：// arxiv.org/abs/2206.04192.

[9]Zhang Xin，Zhang Chunxia，Guo Jingtao，et al.Graph attention networkwith dynamic representation of relations for knowledge graph completion [J].Expert Systems with Applications，2023，219： 119616.

[10]Galárraga L，Teflioudi C，Hose K，et al.Fast rule mining in ontological knowledge bases with AMIEMYMMYM + MYMMYM[J].The VLDB Journal，2015，24（6）： 707-730.

[11] Yang Fan， Yang Zhilin，Cohen W W，et al.Differentiable learning of logical rules for knowledge base reasoning[C]//Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY：Curran Associates Inc，2017：2316-2325.

[12]Teru K K，Denis EG，HamiltonWL，et al.Inductive relation prediction by subgraph reasoning[C]//Proc of the 37th International Conference on Machine Learning.New York：ACM Press，2020： 9448-9457.

[13]Mai Sijie， Zheng Shuangjia， Yang Yuedong，et al. Communicative message passing for inductive relation reasoning [C]//Procs of AAAI Conference on Artificial Inteligence.Palo Alto，CA： AAAI Press， 2021：4294-4302.

[14]Chen Jiajun，He Huarui，Wu Feng，et al.Topology-aware correlationsbetween relations for inductive link prediction in knowledge graphs [EB/OL].（2021-03-05）.ttps：//arxiv.org/abs/2103.03642.

[15]Cohen W W. TensorLog：a diffrentiable deductive database [EB/ OL].（2016-05-21）.https：//arxiv.org/abs/1605.06523.

[16]Sadeghian A，Armandpour M，DingP，et al. DRUM： end-to-end diferentiable rule mining on knowledge graphs [EB/OL].（2019- 10-31）.https：//arxiv.org/abs/1911.00055.

[17]Wang Powei，Stepanova D，Domokos C，et al.Diferentiable learning of numerical rules in knowledge graphs[C]//Proc of International Conference on Learning Representations. 1990：1-2.

[18]Meilicke C，Fink M，Wang Yanjie，et al. Fine-grained evaluation of rule-andembedding-based systems for knowledge graph completion [C]//Proc of Semantic Web.Cham： Springer，2018：3-20.

[19]Zhang Yufeng，Wang Weiqing，Yin Hongzhi，et al.Disconnected emerging knowledge graph oriented inductive link prediction[C]// Proc of the 39th IEEE International Conference on Data Engineering. Piscataway，NJ：IEEE Press，2023：381-393.

[20]DasR，Dhuliawala S，ZaheerM，etal.Go for a walk and arrive at the answer：reasoning over paths in knowledge bases using reinforcement learming [EB/OL]. （2017-11-15）. htps：//arxiv.org/abs/ 1711. 05851.

[21]Devlin J， Chang Mingwei，Lee K，et al.BERT： pre-training of deep bidirectional transformers for language understanding[EB/OL]. （2018-10-11）. https：//arxiv.org/abs/1810.04805.

[22]Radford A. Improving language understanding by generative pre-training[EB/OL].（2018）htps：//cdn.openai.com/research-covers/language-unsupervised/language_understanding_paper. pdf.

[23]Liu Yinhan，OttM，Goyal N，et al.RoBERTa：a robustly optimized BERT pretraining approach[EB/OL]. （2019-07-27）. htps：//arxiv.org/abs/1907.11692.

[24]Yao Liang，Mao Chengsheng，Luo Yuan．KG-BERT：BERT for knowledge graph completion [EB/OL]. （2019-09-11）． https：// arxiv.org/abs/1909.03193.

[25]Zha Hanwen，Chen Zhiyu，Yan Xifeng. Inductive relation prediction byBERT[C]//Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA：AAAIPress，2022：5923-5931.

[26]Su Zhixiang，Wang Di，Miao Chunyan，etal. Multi-aspect explainable inductive relation prediction by sentence transformer[C]// Proc of AAAI Conference on Artificial Inteligence. Palo Alto， CA： AAAI Press，，2023：6533-6540.

[27]Li Jiaoyang，Ruml W，Koenig S. EECBS：a bounded-suboptimal search for multi-agentpath finding[C]//Proc ofAAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2021： 12353- 12362.

[28]Dettmers T，Minervini P，StenetorpP，et al.Convolutional 2D knowledge graph embeddings [C]//Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，，2018 ：1811-1818.

[29]Bordes A，Usunier N，Garcia-Durán A，et al. Translating embeddings for modeling multi-relational data[C]//Proc of the 27th International Conference on Neural Information Processing Systems.2013： 2787-2795.

[30] Xiong Wenhan，Hoang T，Wang W Y. DeepPath：a reinforcement learning method for knowledge graph reasoning [EB/OL].（2017-07- 21）.https：//arxiv.org/abs/1707.06690.

[31]BalazevicI，AllenC，Hospedales TM.TuckER：tensor factorization for knowledge graph completion[EB/OL]. （2019-01-28）.https：// arxiv.org/abs/1901.09590.