基于BERT和路徑對比學習的歸納關系預測

摘要：在以往的知識圖譜關系預測任務中，主要方法僅限于直推式推理，其在新出現實體和關系情況下不能利用先驗知識去處理歸納學習的問題。提出了基于BERT與路徑對比學習的關系預測方法（BERT-based and path comparison learning，BPCL）。首先，利用卷積神經網絡捕獲子圖目標三元組的上下文鄰域信息，并將子圖線性化為關系路徑，利用BERT初始化邊特征；其次，引入正、負關系路徑；最后，聯合對比學習和自監督學習訓練對新出現實體之間的關系進行預測。在適用于歸納推理方法的常用基準數據集上，驗證了該模型的預測精度有所提高。

關鍵詞：知識圖譜補全；歸納推理；對比學習；關系預測；預訓練

中圖分類號：TP391文獻標志碼：A

文章編號：1001-3695（2023）01-007-0047-05

doi：10.19734/j.issn.1001-3695.2022.05.0253

Prediction of inductive relationship based on BERT and path contrast learning

Yin Xi，Liang Jingzhang

（School of Electrical Engineering，Guangxi University，Nanning 530004，China）

Abstract：In previous knowledge graph relationship prediction tasks，the main approach is straightforward reasoning，which couldn’t use a priori knowledge to deal with inductive learning in the case of unseen entities and relations.This paper proposed a relationship prediction method based on BERT and path contrast learning，called BPCL.Firstly，it used the convolutional neural network to capture the contextual neighborhood information of the target triplet of the subgraph，and linearized the subgraph into a relational path.And it used BERT to initialize edge features.Secondly，it introduced the comparative learning of positive and negative relational paths.Finally，it carried out the relationship prediction by combining contrast learning and supervised training.This paper verifies the improved prediction accuracy of the model on a common benchmark dataset applicable to inductive inference methods.

Key words：knowledge graph completion；inductive reasoning；contrast learning；relational prediction；pre-training

知識圖譜中結構化的知識通常被表示為事實三元組（頭實體，關系，尾實體）或者（h，r，t），一些知識圖譜已被廣泛地應用到許多人工智能行業和領域中。但是，大多數的知識圖譜通常是稀疏的并且是不完整的，即缺少大量客觀存在的事實三元組，這引起了對于知識圖譜補全任務的研究。

知識圖譜補全的主流方法是基于節點嵌入表示，例如TransE［1］模型都是基于嵌入的方法。雖然它們能夠獨立地處理三元組信息，有一定的特征學習能力，但是這些方法僅限于直推式場景中，對知識圖譜中新出現的實體和關系難以處理，如果要處理這些新的實體時，需要再次訓練動態的知識圖譜，顯然需要更多的計算時間。另外，這些基于嵌入的方法仍難以解決可解釋性、少樣本學習和遷移學習等基本問題。但是，邏輯歸納方法可以通過尋找概率子圖模式滿足上述要求。如圖1所示，在測試集（test）出現了訓練集（train）中沒有出現的實體（Trump，Ivanka Trump等），以往的基于嵌入的方法不能解決這樣問題。但是邏輯歸納推理的方法可以解決這樣的問題，可以在訓練集中推出如下潛在規則：

daughter_of（X，Z）∧mother_of（Z，Y）→husband_of（X，Y）

其中：X、Y、Z是邏輯規則的變量。由式（1）中的規則可以得到結果：Trump是Melania Trump的husband，即推理出目標三元組（Trump，husband_of，Melania Trump）?，F在人們研究歸納推理的關系預測方法時仍然面臨兩個主要的挑戰：a）測試集中容易出現訓練集中沒有出現的實體，這就要求歸納規則能夠捕獲與實體無關的上下文信息； b）文獻［2］基于圖神經網絡，提取封閉子圖，能對訓練集中沒有見過的實體進行關系預測，但是該框架提取關系路徑規則過少，會導致缺乏足夠的監督，使得關系預測的精度不夠高。針對以上兩個最主要的問題，本文提出的方法旨在利用規則推理的對比學習解決知識圖譜中新出現的實體時，推理該實體與其他實體之間的關系。具體而言，本文預先設置固定的長度來收取關系路徑，從而獲得沒有表示的實體信息。為了解決單個子圖規則監督不足的問題，采用一種通過構建正、負關系路徑的自我監督學習方法的對比策略。

1相關工作

1.1基于歸納規則的方法

由于存在實體不可見的問題，基于規則歸納的知識圖譜補全方法一直被限制。針對該問題，文獻［3，4］對知識圖譜中不可見的實體進行關系預測，但是這種方法不能處理全新的知識圖譜結構。RuleN［5］和RLvLR［6］ 都是統計規則，它們通過列舉知識圖譜中存在的規律和模式來概括邏輯規則，然而這些方法受限于時間的復雜性和擴展性。NeuralLP［7］和DRUM［8］學習每種關系類型的權重，然后用其關系權重的乘積來衡量路徑。雖然這種近似將參數的數量從指數型變為線性型，但是相當粗糙并導致令人不滿意的性能。雖然這些方法本質上是基于歸納推理學習的方法，但是其泛化能力不夠。

另外還有一種是結合圖神經網絡（GNN）的歸納規則方法，如CoMPILE［9］、GraIL［10］和GCAT［11］使用GNN預測缺失的三元組。對局部子圖結構進行推理，并對獨立于實體的關系語義有很強的歸納性。為了預測知識圖譜中是否存在某個三元組，這些方法首先抽取目標三元組對應的鄰域子圖，然后通過消息傳遞和GNN評分學習規則。與基于嵌入的模型不同，它們是自然歸納，經過訓練后可以推廣到看不見的實體和圖形，解決在知識圖譜上進行歸納式關系預測的問題。但是這些方法也有一定的缺陷，有意義的規則通常非常少，影響了該方法預測已知規則沒有覆蓋的缺失關系的能力。

1.2基于對比學習的方法

對比學習是一種自我監督學習的框架，它由一些方法組成，這些方法通過學習對相似或不同的樣本進行編碼來獲得表示。對比學習已經被應用于自然語言、計算機視覺和圖形領域，主要服務于自然語言領域。文獻［12］提出了一種名為CPC的對比方法，通過預測未來信息獲得上下文潛在表示，使用概率對比損失。在圖域中，文獻［13］提出了深度圖形信息矩陣（deep graph infomax）來表示對比圖的patch和相應的高級摘要。文獻［14］引入了C-SWMs框架，利用一種新的對象級別的對比策略來表示由GNN建模的組合結構環境。

到目前為止，很少有人研究對比學習在知識圖譜補全中的作用，本文的BPCL方法考慮了中心實體與其子圖上下文語義關系之間的強相關性，采用了BERT語言模型對關系路徑的預先訓練，再通過對比正負關系路徑樣本的訓練有效地封裝了三元組的鄰域上下文信息和學習高質量的表示，針對規則監督，在歸納推理過程中利用了對比學習策略。

2基于BERT和路徑對比學習的歸納關系預測模型

2.1基本符號和問題描述

知識圖譜由主體—屬性—客體三元組事實組成。在形式上，目標三元組eT表示為（h，rT，t），描述了從頭實體h到尾實體t之間的關系r。在知識圖譜補全任務中，目的是根據給定實體來預測實體之間缺失的關系。在給定的知識圖譜G〈R，E〉中，R代表關系集合，E代表實體集合。在測試集中，定義G′〈R′，E′〉，其中R′∈R和E′∩E=。定義以目標三元組eT為中心的封閉子圖GT的關系路徑集合為Ph→t。但是，在知識圖譜中一旦出現了新加入的新實體，規則在無須再次訓練的情況下仍然能夠保持其準確性，但是基于規則推理是基于規則的性質，導致其方法擴展性和表達性不夠完整。為了得到更好的推理規則，獲取與實體無關的上下文信息，獲取關系路徑更加精確的語義以及解決推理規則數量稀少的問題，本文方法BPCL利用抽取局部子圖的關系路徑對關系路徑進行預訓練，使用對比學習和監督學習策略。BPCL模型框架如圖2所示。

2.2子圖抽取和關系路徑生成

為了得到子圖結構特征和關系路徑，假設知識圖譜KG中特定三元組的局部鄰域包含了能夠推斷目標節點之間關系所需的邏輯證據，同時假設連接兩個目標節點的路徑可能暗示目標關系的信息，因而從知識圖譜中抽取以目標三元組eT為中心的封閉子圖。如圖3（a）所示，首先，將節點u和v之間的封閉子圖定義為發生在目標節點u和v之間的路徑上所有節點而形成的圖，它是由兩個目標節點的鄰居節點通過裁減節點而形成的節點交集。設Nk（u）和Nk（v）為知識圖譜KG中兩個目標節點的無向k-hop鄰域內的節點集，通過取Nk（u）和Nk（v）集合的k-hop鄰居集的交集來計算封閉子圖，然后去掉與任何一個目標節點距離大于k的節點。雖然，在形成目標關系子圖的過程中忽略了邊的方向，但是之后章節中仍然使用了有方向的圖神經網絡消息傳遞。同時，將目標節點/關系也添加到子圖中，以支撐兩個目標

節點之間關系的消息傳遞。

對實體采用雙半徑頂點標記設計。如圖3（b）所示，目標三元組（h，rT，t）周圍的節點i是頭尾實體的k-hop無向鄰域組成。根據文獻［15］，每個節點都用（d（i，h），d（i，t））標記，d表示不是目標實體相距目標實體之間的最短距離。例如，三元組（（0，1），daughter_of，（1，1）），（0，1） 左邊的0表示相距目標頭實體的距離是0，實體的距離是1。任何一個節點特征都可表示［one-hot（d（i，h））‖one-hot（d（i，t））］∈Euclid Math TwoRAp（2k+2），其中［·‖·］表示張量串接符號。其次，從封閉的子圖GT中得到關系路徑，這里采用子圖線性化的方法是聚集從頭實體h到尾實體t的所有路徑長度為k的路徑，頭實體h和尾實體t之間每一條關系路徑都由一個三元組序列組成，即h→t：（h，r0，e1），（e1，r1，e2），…，（en，rn，t），那么每一條關系路徑可以表示為pi=（r0，r1，…，rk），采用廣度優先搜索算法（BFS），設置從頭實體到尾實體的最大路徑長度是Lmax，這樣就容易得到關系路徑集合Ph→t。如圖2所示，設最大的路徑長度是3，廣度優先搜索算法從子圖GT中選擇了五條關系路徑。針對對比關系路徑的設計，本文將目標關系rT作為原始實例，從頭實體連續經過多個關系到達尾實體這一條路徑，將其作為正路徑樣本。對于負樣本，為了避免與正樣本集合產生交叉部分，本文隨機替換每個關系路徑的一部分，通過構造負樣本來區分原實例和正樣本的語義信息。例如，抽取的關系路徑是正樣本（DaughterOf，MotherOf），則負樣本是（DaughterOf，SonOf），目標關系表示為rT，P+h→t和P-h→t分別表示第i條正負關系路徑樣本集合。

2.3關系路徑預訓練與集合表示

為了表示關系路徑，本文利用GCN［16］去捕獲實體和關系的表示，并且設計了對比學習策略，計算實體節點的正向傳播傳遞的更新過程，將其定義為

e（k+1）i=ReLU（∑r∈R∑j∈Nriαi，rW（k）re（k）i+W（k）selfe（k）i）（1）

其中：e（k+1）i表示節點i經過迭代k+1次的嵌入向量；Nri表示節點i的鄰域節點集合；W（k）r和W（k）self表示迭代更新從第k層到第k+1層轉換矩陣；αi，r表示通過r連接的邊對應的邊注意力權值，定義為

yi，r=σ1（W1［e（k）i‖e（k）j‖r‖rT］+b1）（2）

αi，r=σ2（W2·yi，r+b2）（3）

其中：r和rT分別表示關系r和目標關系rT的嵌入向量；σ1和σ2是激活函數ReLU（·）或者sigmoid（·）。

根據圖2，為了得到關系路徑，按照規則推理的過程，本文計算了每條關系路徑pi和目標關系路徑rT的相似度。如圖4所示，利用相似度計算，最后使用聚合函數來表示關系路徑的集合ph→t，并將其定義為

Ph→t=agg（{pi：pi∈Ph→t}）（4）

從圖4可知，p1，p2，…，pn是n條路徑的特征向量，從目標頭實體到尾實體的所有關系路徑的集合定義為

Ph→t=∑ni=1βipi（5）

其中：βi是關系路徑pi和目標關系rT之間的注意力權重；pi表示關系路徑，在這里采用了文獻［17］提出的BERT預先訓練語言模型，以及文獻［18，19］對關系路徑進行預訓練。由于此模型相較于原來的RNN、LSTM可以做到并發地執行，同時提取詞在句子中的關系特征，并且能在不同層次提取關系特征，進而更全面地反映關系路徑的語義信息，相較于word2vec，其又能根據句子上下文獲取詞義，從而避免歧義出現。本文方法是用BERT模型去學習關系路徑集合P=（r0，r1，…，rk），定義關系線性化的向量表示為

pi=BERT（r1，r2，…）（6）

注意權重βi可當做推理規則的置信度，該置信度可用語義相似度計算為

βi=softmax（pi，rT）=exp（pTirT）∑pk∈Ph→texp（pTkrT）（7）

其中：pk是每一個單獨的關系路徑。對于對比學習，這里定義了關系路徑的正負樣本集合和表示向量分別為P+h→t，p+i和P-h→t，p-i。

2.4聯合對比學習

在知識圖譜補全任務中，為了將知識圖譜的拓撲結構GT和路徑語義信息Ph→t聯合起來，則知識圖譜結構GT表示為sh→t，目標三元組eT的評分概率函數f（·）為

sh→t=［e（L）GT‖e（L）eT］（8）

f（eT，Ph→t，rT）=Ws［sh→t‖rT‖Ph→t］（9）

其中：Ws表示權重矩陣；e（L）eT表示目標三元組（h，rT，t）所有L層的鄰域節點嵌入；‖ 表示張量串接操作。e（L）GT表示封閉子圖GT的所有節點表示，定義如下：

e（L）GT=1|VT|∑i∈VTe（L）i（10）

其中：VT表示封閉子圖GT的所有節點集合。通過聯合對比學習分析，將基于邊際的損失引入正負樣本的打分函數為

LG=∑eT∈εmax（0，η+f（e-T，P-h→t，rT）-f（e+T，P+h→t，rT））（11）

其中：e+T和e-T分別表示目標三元組的正負樣本；e-T的選擇是讓正樣本e+T的頭實體或者是尾實體被其他關系替代； ε表示知識圖譜所有的三元組集合。

如果更多地關注關系路徑所提供的語義信息，那么對比學習應該將目標關系與負樣本關系路徑區分開來，使其接近正樣本路徑。因此，假設樣本均勻分布，則路徑對比的損失函數定義為

LN=-log（exp（P+h→tTrT）exp（P+h→tTrT）+exp（P-h→tTrT））（12）

除了對比學習之外，還通過計算語義相似度來實現監督預測，將正樣本關系路徑集合P+h→t和目標關系rT進行有監督學習意圖的比較。在訓練策略中，本文對所有關系應用InfoNCE（多分類噪聲對比）［20］損失函數，它是用在自監督學習中作為一個對比損失函數，目的在于讓正樣本表示更加接近目標關系，讓不相似樣本遠離。本文用這個損失函數來擬合P+h→t和rT之間的最短距離，與其他關系的距離實現最大化：

LC=-log［exp（P+h→tTrT）∑r∈R exp（P+h→tTrT）］（13）

最后將三個損失函數進行聯合訓練：

L=LG+λ1LN+λ2LC（14）

其中：超參數λ1和λ2表示路徑對比損失和語義相似度損失的權值。

3實驗及分析

為了對關系路徑的預先訓練和對比學習模型進行驗證，本文使用了在關系鏈接預測任務中常用的三個大型數據集WN18RR［21］、FB15k-237［22］和NELL-995［23］進行實驗。

3.1實驗數據集

根據三個標準的歸納推理的數據集，本文從NELL-995中刪除了某些對缺失關系的邏輯推理沒有任何幫助的關系（如地點的緯度和經度信息等）。使用不相交的實體集對子圖（訓練子圖和測試子圖）進行抽樣來創建新的歸納基準數據集［10］。具體而言，首先在這些子圖中隨機選擇20%的鏈接作為測試鏈接，為了檢驗模型的歸納能力，在訓練圖上訓練模型，在測試圖上測試模型。為了獲得魯棒性評價，本文抽取了四對不同的訓練圖和測試圖，并增加了節點和鏈接的數量。每個數據集都是由訓練圖和測試圖組成，訓練圖中包含存在的所有關系，測試圖中也是一樣；為了生成訓練圖，用統一采樣的幾個實體作為目標根，然后取根周圍的k跳鄰域的并集；緊接著在每一跳上設置新鄰居的數量，以防止指數增長；最后從整個圖中刪除樣本訓練圖，并使用相同的過程對測試子圖進行抽樣。調整目標根數量的參數得到一系列尺寸增加的圖形，如表1所示。歸納推理中的模型在訓練圖上訓練，在測試圖上測試，隨機選擇測試圖中10%的邊/三元組作為測試邊。

3.2實驗評估參數和實驗設置

為了證明本文方法的高效性，使用分類和排名指標來評估模型。指標AUC-PR用分類任務計算預測—召回率曲線以下面積來衡量。為了計算AUC-PR，本文在正樣本和負樣本上考慮子圖和關系路徑的分數；對于hits@10指標，通過對40個隨機負樣本中的測試三元組進行排序。由于隨機種子和樣本的因素，本文對多次運行的結果取其平均值。

本文主要對比的三種基準模型分別是一種統計規則挖掘的方法RuleN［5］和與另外兩種端到端可微的方法 NeuralLP［7］和DRUM［8］以及基于圖的歸納方法 GraIL［10］和CoMPILE［9］。本文為了減少其他因素的影響，使用了原始實驗的相應設置，并且重新運行了最先進的方法——CoMPILE，得到實驗結果并且記錄下來。

通過雙半徑頂點標記設計的方法，抽取目標三元組3跳鄰域的封閉子圖，從而實現抽取子圖結構；同時，采用3層GCN去聚合節點鄰域信息，設置關系和實體的潛在嵌入維度都是32。在數據集WN18RR和FB15k-237中，將最大路徑長度Lmax設置為3，而NELL-995的Lmax設置為2。采用24層Transformer編碼器，設置隱藏大小1 024，注意力機制次數為16次。將每一個關系路徑的一部分用其他關系進行替代，形成負樣本路徑。在本實驗中Adam優化器的學習速率設置成0.001，margin設置為10，Gradient限制標準為1 000，每個batch大小設置為12。

3.3實驗結果及分析

所有的數據測試結果如表2、3所示。本文使用了公開可用的源代碼，在數據集上復現了Neural-LP、DRUM、RuleN、GraIL和CoMPILE模型并得出實驗結果，最優的結果用粗體標出。

如表2、3所示，在AUC-PR評價指標上相比于基線模型，本文的方法在FB15k-237、WN18RR和NELL-995數據集上的AUC-PR評價指標上分別有3、3和4個數據集的結果是最優的。在hits@10評價指標上相比于基線模型，在FB15k-237、WN18RR和NELL-995數據集上分別有2、4和2個是最優的結果。在大多數數據集上，基于圖的歸納方法通常比基于規則的歸納方法更有效。在AUC-PR評價指標上相比于基于圖的歸納方法，本文方法也是更加具有優勢。在WN18RR和NELL-995數據集兩個最稀疏的知識圖譜KG上表現出良好的效果。

3.4消融實驗

為了證明本方法的每一步改進是否有效，對本文方法進行消融實驗。首先分析了預先訓練關系路徑（pre-paths）和對比歸納（contrast）學習的影響。如表4所示，分析了僅有對比歸納或者僅有關系路徑時對實驗結果的影響。

如表4所示，BPCL w/o pre-path表示BPCL不考慮關系路徑的影響，僅考慮對比學習歸納的影響；BPCL w/o contrasts表示BPCL忽略對比學習的作用；Δ表示該情況下相對于BPCL的誤差。從中可以發現有關系路徑和對比學習時對實驗結果的重要性。具體而言，在僅有關系路徑的情況時，FB15k-237、WN18RR和NELL-995數據集的AUC-PR平均值分別降低了1.82%、3.84%、6.26%。同時，在僅有對比學習的情況下，FB15k-237、WN18RR和NELL-995數據集的AUC-PR平均值分別降低了1.41%、5.03%、7.74%。這些結果表明，對關系路徑進行預先訓練和路徑對比學習在歸納推理中起到了非常大的作用。

3.5案例說明

表5顯示了WN18RR_v1、FB15K-237_v1和NELL-995_v1推理規則的示例，每個規則前面的值是對應子圖中的置信度值。同一塊中的規則具有相同的頭部，由目標三元組推廣而來，目標關系（主體）則由預測時的推理路徑推理而來。表中加粗標記的文本置信度值小于0.01，因而是不可靠的推理路徑?？傊纱税咐苋菀捉忉尡疚哪Ｐ偷慕忉屝浴?/p>

4結束語

本文提出了一種基于關系路徑對比學習的關系預測方法，為了捕獲實體潛在的語義和更加精確的語義信息以及解決子圖中監督學習不足的問題，從知識圖譜中提取目標關系的局部子圖，并將子圖進行線性化為關系路徑，再將關系路徑輸入到BERT語言模型中訓練，最后引入聯合對比學習得到自我監督信息，通過三個損失函數的聯合學習使得正樣本表示更加接近目標關系。根據在三個數據集上的實驗評價指標表明，本文的方法具有高效性。在未來的工作中可針對模型的可擴展性和性能加以改善。例如，相比于BERT語言訓練模型，可以使用更加輕量級語言訓練模型ALBERT，其模型參數更少，所需內存更小，可提升模型的效果。

參考文獻：

［1］Bordes A，Usunier N，Garcia-Duran A，et al.Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems.Red Hook，NY：Curran Associates Inc.，2013：2787-2795.

［2］馬力，姚偉凡.結合關系路徑與有向子圖推理的鏈接預測方法［J/OL］.計算機科學與探索.（2021-09-22）.DOI：10.3778/j.issn.1673-9418.2103097.（Ma Li，Yao Weifan.Link prediction method combining relational path and directed subgraph reasoning［J/OL］.Journal of Frontiers of Computer Science amp; Technology.（2021-09-22）.DOI：10.3778/j.issn.1673-9418.2103097.

［3］Hamilton W L，Ying R，Leskovec J.Inductive representation learning on large graphs［C］//Proc of the 31st International Conference on Neural Information Processing Systems.Red Hook，NY：Curran As-sociates Inc.，2017：1025-1035.

［4］張德亮，孫更新，賓晟.基于組合關系路徑的知識圖譜補全方法研究［J］.計算機應用研究，2020，37（10）：3010-3013.（Zhang De-liang，Sun Gengxin，Bin Sheng.Knowledge graph completion method based on composite relational path［J］.Application Research of Computers，2020，37（10）：3010-3013.）

［5］Meilicke C，Fink M，Wang Yanjie，et al.Fine-grained evaluation of rule and embedding-based systems for knowledge graph completion［C］//Proc of the 17th International Semantic Web Conference.Cham：Springer，2018：3-20.

［6］Omran P G，Wang Kewen，Wang Zhe.Scalable rule learning via learning representation［C］//Proc of the 27th International Joint Conference on Artificial Intelligence.2018：2149-2155.

［7］Yang Fan，Yang Zhilin，Cohen W W.Differentiable learning of logical rules for knowledge base reasoning［C］//Proc of the 31st Conference on Neural Information Processing Systems.2017.

［8］Sadeghian A，Armandpour M，Ding P，et al.DRUM：end-to-end diffe-rentiable rule mining on knowledge graphs［EB/OL］.（2019-10-31）.https：//arxiv.org/pdf/1911.00055v1.pdf.

［9］Mai Sijie，Zheng Shuangjia，Yang Yuedong，et al.Communicative message passing for inductive relation reasoning［C］//Proc of the 35th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2021：4294-4302.

［10］Teru K，Denis E，Hamilton W.Inductive relation prediction by subgraph reasoning［C］//Proc of the 37th International Conference on Machine Learning.2020：9448-9457.

［11］劉丹陽，方全，張曉偉，等.基于圖對比注意力網絡的知識圖譜補全［J］.北京航空航天大學學報，2022，48（8）：1428-1435.（Liu Danyang，Fang Quan，Zhang Xiaowei，et al.Knowledge graph completion with graph contrastive attention network［J］.Journal of Beijing University of Aeronautics amp; Astronautics，2022，48（8）：1428-1435.）

［12］Van Den Oord A，Li Yazhe，Vinyals O.Representation learning with contrastive predictive coding［EB/OL］.（2019-01-22）.https：//arxiv.org/pdf/1807.03748v1.pdf.

［13］Velicˇkovic＇ P，Fedus W，Hamilton W L，et al.Deep graph infomax［EB/OL］.（2018-12-21）.https：//arxiv.org/pdf/1809.10341v1.pdf.

［14］Kipf T，Van Der Pol E，Welling M.Contrastive learning of structured world models［EB/OL］.（2020-01-05）.https：//arxiv.org/pdf/1911.12247.pdf.

［15］Zhang Muhan，Chen Yixin.Link prediction based on graph neural networks［EB/OL］.（2018-11-20）.https：//arxiv.org/pdf/1802.09691v3.pdf.

［16］Schlichtkrull M S，Kipf T N，Bloem P，et al.Modeling relational data with graph convolutional networks［C］//Proc of the 15th International Conference of Semantic Web.Cham：Springer，2018：593-607.

［17］Devlin J，Chang Mingwei，Lee K， et al.BERT：pre-training of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies.Stroudsburg，PA：Association for Computational Linguistics，2018：41714186.

［18］Zha Hanwen，Chen Zhiyu，Yan Xifeng.Inductive relation prediction by BERT［C］//Proc of the 36th AAAI Conference on Artificial Intelligence.Palo Alto，CA：AAAI Press，2022：5923-5931.

［19］Yao Liang，Mao Chengsheng，Luo Yuan.KG-BERT：BERT for know-ledge graph completion［EB/OL］.（2019-09-11）.https：//arxiv.org/pdf/1909.03193.pdf.

［20］Liu Xiao，Zhang Fanjin，Hou Zhenyu，et al.Self-supervised learning：generative or contrastive［J］.IEEE Trans on Knowledge and Data Engineering，2021，DOI：10.1109/TKDE.2021.3090866.

［21］Dettmers T，Minervini P，Stenetorp P，et al.Convolutional 2D know-ledge graph embeddings［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence.Pola Alto，CA：AAAI Press，2018：1811-1818.

［22］Toutanova K，Chen Danqi，Pantel P，et al.Representing text for joint embedding of text and knowledge bases［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：Association for Computational Linguistics，2015：1499-1509.

［23］Xiong Wenhan，Hoang T，Wang W Y.DeepPath：a reinforcement learning method for knowledge graph reasoning［EB/OL］.（2017-07-07）.https：//arxiv.org/pdf/1707.06690.pdf.

收稿日期：2022-05-26；修回日期：2022-07-22基金項目：廣西重點研發計劃資助項目（桂科AB22035033）

作者簡介：尹熹（1994-），男，湖北仙桃人，碩士研究生，主要研究方向為知識圖譜；梁京章（1964-），男（通信作者），廣西岑溪人，教授，碩導，碩士，主要研究方向為計算機應用（19880046@gxu.edu.cn）．