基于三元組鍵值對超關系學習的知識圖譜鏈接預測

摘要： 為了提高挖掘超關系數據中的隱含關系的能力，提出一種基于三元組鍵值對超關系學習的知識圖譜鏈接預測模型；所提模型不僅捕捉編碼在三元組中知識圖譜的主要結構信息，而且通過對三元組及其相關鍵值對進行學習，采集每個三元組及其相關聯的鍵值對之間的相關性；通過最小值操作，對基本三元組、鍵值對以及相關性特征向量進行合并，利用全連接投影得到預測得分。結果表明，與其他預測模型相比，所提模型在JF17K數據集和WikiPeople數據集的鍵、值預測平均倒數排名表現更佳，在鏈接預測中排名分別小于10、1的三元組的平均占比的預測性能更優。

關鍵詞： 知識圖譜； 鏈接預測； 超關系學習； 結構信息； 鍵值對

中圖分類號： TP311.5

文獻標志碼： A

Abstract： To improve the ability to mine implicit relationships in hyperrelational data， a link prediction model of knowledgegraph based on triple key-value pair hyperrelation learning was proposed. The proposed model not only captured the main structural information of knowledge graph encoded in the triple， but also collected the correlation between each triple and its associated key-value pairs by learning triples and their key-value pairs. Basic triples， key-value pairs， and correlation feature vectors were combined by minimum operation， and the prediction score was obtained by full join projection. The results show that on JF17K and WikiPeople datasets， key prediction and value prediction of the proposed model has better mean reciprocal ranking， triples that rank less than 10 and 1 respectively in link prediction indexes betterthan those of the other methods.

Keywords： knowledge graph; link prediction; hyperrelation learning; structural information; key-value pair

基金項目： 國家自然科學基金項目（61702026）；湖南省教育廳科學研究項目優秀青年項目（19B397）

第一作者簡介： 甄春成（1974—），男（侗族），湖南會同人。高級工程師，研究方向為圖像處理、人工智能。Email： 505293959@qq.com。

網絡首發地址： https：//kns.cnki.net/kcms/detail/37.1378.N.20230329.1658.006.html

知識圖譜（knowledge graph， KG）［1］是一種融合了計算機可視化技術、 圖形學、 應用數學、 共現分析等交叉領域的現代理論， 在公安偵查、 風險管控等多方面具有重要應用價值。 目前，谷歌的KG［2］、維基數據（Wikidata）［3］和百度的KG［4］等，已經成為支持語義搜索［5］、 問答［6］等網絡應用的關鍵資產?，F代KG雖然包含豐富的高質量數據，但也存在不完整性問題（即缺少事實）。當前，KG的完補性問題已經得到了廣泛研究，其中預測KG中的缺失鏈接（即鏈接預測）是一個核心問題，也是研究的熱點問題。

三元組集合是表示KG的典型方式，其中每個三元組的頭部、關系和尾部均編碼了連接頭實體和尾實體的關系。KG嵌入是進行鏈接預測的強有力工具［7］，其核心理念是：在保留KG進行鏈接預測的同時，從三元組集合中學習實體-關系的隱性向量表征（即實體-關系嵌入）。

基于三元組的KG表征超關系數據在KG中普遍存在，以創作共享類網站Freebase為例，比例超過30%的實體涉及到這種超關系事實［8］。在學習KG嵌入時，必須通過某種方式將這些超關系事實轉換為三元組。雖然這種轉換保留了超關系事實的完整信息，但人工引入的額外關系（或實體）會混淆KG的嵌入方法，使其無法捕捉原始輸入圖的結構屬性。

目前， 超關系數據的研究相對較少， 很多研究將關系集合考慮為n元關系， 利用n元表征［9］， 但將超關系事實轉換為n元表征并不符合現代KG架構。 也有學者對實體的相關性進行建模［10-11］， 或者從實體-關系對的相關性進行學習［12-13］。 這些方法大多基于傳統的結構化信息， 在挖掘隱含關系方面的能力較弱， 為此， 本文中提出一種基于三元組鍵值對超關系學習的知識圖譜鏈接預測模型（本文模型）， 用于提高鏈接預測性能。 其主要創新之處在于： 1）分析超關系KG嵌入問題， 每個事實不僅包含基本三元組， 而且包含相關聯的鍵值對； 2）提出超關系KG嵌入模型， 直接從KG中的超關系事實中學習， 不僅捕捉三元組中的KG主要結構信息， 而且捕捉每個三元組及其相關鍵值對之間的關系。

1 本文模型的設計

三元組是現代KG中的基本數據結構，保留了KG中鏈接預測的重要信息，即超關系事實上的鍵值對不應被當作基本三元組對待。超關系事實將關系集合考慮為n元（或多重）關系，并將相關實體考慮為該關系的實例。超關系KG嵌入模型的設計原則是：一方面，直接從主數據源（三元組）中學習嵌入，最大限度地保留KG中鏈接預測的重要信息；另一方面，對三元組及其關聯的鍵值對（若存在）的相關性進行學習。本文模型的設計目標如下：

1）從三元組事實和超關系事實中進行有效學習。由于KG中并非所有事實都是超關系的，因此嵌入模型應該從2種事實中進行高效學習，即納入來自超關系事實的鍵值對，且對三元組的主要學習過程無干擾。

2）在學習超關系事實的基本三元組時利用鍵值對。對于每個超關系事實，基本三元組與鍵值對集合相關聯，后者提供了基本三元組相關的額外信息。由于基本三元組依然是對超關系事實建模的主要數據源，因此在嵌入模型設計時，應利用鍵值對來改善從三元組的學習過程。

3）從任意數量的超關系事實鍵值對中學習。超關系事實涉及到的鍵值對的數量是可變的， 嵌入模型應能有效處理超關系事實中任意數量的鍵值對。

本文中基于上述3個目標，從三元組和超關系事實中進行有效學習嵌入。

2 本文模型的構建與訓練

本文模型結構如圖1所示。直接從KG的超關系事實中學習，不僅捕捉編碼在三元組中的KG主要結構信息，還獲得每個三元組及其相關聯的鍵值對之間的相關性。對于包含基本三元組（h， r， t） （h為頭部，r為關系，t為尾部）和關聯鍵值對（ki， vi）（ki為鍵值對第一變量，vi為鍵值對第二變量，i=1， 2，…， n）的每個超關系事實，本文模型由以下3個部分組成： 1）從基本三元組（h， r， t）中學習，分別生成h、 r和t逐三相關性特征向量； 2）從三元組及其相關的每個鍵值對（k， v）中學習，分別生成h、 r、 t、 k和v逐五相關性特征向量； 3）合并相關性特征向量，生成輸入超關系事實的最終預測得分。

2.1 從三元組中學習

在三元組和超關系事實中，基本三元組均編碼了KG的主要結構信息，由此可以捕捉KG中鏈接預測的重要信息。為了從基本三元組（h， r， t）中學習，本文中利用卷積神經網絡（convolutional neural network，CNN）對三元組中3個元素h、 r、 t之間的內在交互關系進行建模，生成逐三相關性特征向量。

2.5 模型的有效性

首先，為了實現目標1），本文中采用基礎三元組、鍵值對與基礎三元組2個單獨的神經網絡流水線分別學習。對于三元事實，僅使用第1個模塊［圖1（a）］，不激活第2個模塊［圖1（b）］。對于超關系事實（帶鍵值對），則使用第1、 2個模塊。用于基礎三元組的CNN是獨立于鍵值對的，由此支持其

捕捉三元組中編碼的KG主要結構信息，以最大限度地保留KG中鏈接預測的重要信息。

其次，為了實現目標2），通過最小值操作，對基本三元組、鍵值對與基本三元組所習得的相關性特征向量進行合并。該操作確保用于鍵值對的CNN有助于評估超關系事實的可信性?？紤]包含基本三元組及與其關聯的鍵值對的超關系事實，則可得到逐三相關性向量和逐五相關性向量ψ。若鍵值對與基本三元組高度相關（即ψ數值較大），則相關性特征向量中的數值取決于。最終預測得分主要取決于基本三元組，如果鍵值對與基本三元組的相關性較低（即ψ數值較小），則合并操作確保整體相關性特征向量中的數值較小。

最后，利用合并操作自動實現目標3）。 對于基本三元組關聯到多個鍵值對（ki， vi）的情形， 每個鍵值對（ki， vi）均與基本三元組進行組合以生成相應的逐五相關性特征向量ψ， 因此， 基于最小值的合并操作能夠取任意數量的逐五相關性特征向量作為輸入。

3 實驗與分析

3.1 數據集與參數設置

本文中在Freebase和Wikidata提取出的2個超關系數據集JF17K和WikiPeople上進行實驗。每個數據集均包含三元事實與超關系事實。JF17K數據集側重于超關系事實，WikiPeople數據集側重于人類實體。由于原始WikiPeople數據集中的一些事實還包含字面量，因此本文中濾除了這些非實體字面量和相應的事實。數據集的重要統計信息如表1所示。實驗設置2個CNN中的過濾器數量nf均為400，批數據量設為128，學習率設為0.000 1，嵌入維數設為100。JF17K數據集的訓練集和測試集的數據比為76 376∶24 561； WikiPeople數據集的訓練集與測試集的數據比為287 928∶37 536。

3.2 評估與度量指標

鏈接預測是KG的典型任務。給定超關系事實中三元組的2個元素，該任務要求預測缺失元素，例如（？， r ， t）、（h， ？， t）或（h， r ， ？），其中，“？”表示缺失實體或關系。本文中對所有3種情況進行實驗，即預測缺失的頭部、關系或尾部。對于測試（超關系）事實中的三元組（？， r ， t），利用所有實體替換缺失頭部，得到候選事實集合。該集合中除了測試事實，其他受損事實可能為真實事實（即存在于訓練集或測試集內）；從候選事實中移除這些事實；然后，將得到的候選事實輸入嵌入模型，以輸出預測得分。對于缺失關系（h， ？， t ）和缺失尾部（h， r， ？）的情況應用相同評估程序和度量。缺失的頭部或尾部的預測實際上是預測缺失實體，因此本文中給出這2種情況的平均結果，關系預測的結果則單獨給出。根據相應得分對候選事實進行排序，為缺失頭部的實體生成預測排名列表。在測試集中所有測試事實上重復該評估過程，得到平均倒數排名（MRR）、在鏈接預測中排名小于10的三元組的平均占比Hits@10和在鏈接預測中排名小于1的三元組的平均占比Hits@1，這是在鏈接預測任務中常用度量［14］。

3.3 與其他方法的比較

為了驗證本文模型的優越性， 將本文模型的KG鏈接預測性能與文獻［9］、 ［10］、 ［16］、 ［17］中的方法的預測性能進行對比。 其中， 文獻［9］中考慮了n元表征事實中實體之間的逐對相關性， 通過從每個n元事實的逐對相關性中學習， 以預測一個或多個缺失實體。文獻［10］中引入一種關系投影知識圖譜（relational projection knowledge graph， RPKG）， 以更好地捕捉多映射關系。 文獻［16］中提出一種張量分解方法Rescal， 將每個實體表示為向量， 關系表示為矩陣， 利用雙線性函數對成對實體之間的關系進行建模。 文獻［17］中利用2D卷積神經網絡ConvE捕捉實體與關系嵌入之間更豐富的交互。

不同方法在WikiPeople數據集中的KG鏈接預測性能如表2所示。實驗考慮了3種數據集轉換設定，其中：基本設定丟棄鍵值對，造成不可逆信息損失［18］；關系路徑和虛擬型設定則創建額外實體或關系，對嵌入模型從輸入KG中捕捉鏈接預測的能力造成干擾。表中空白表示不能進行該項實驗。

由表可知，與其他預測方法相比，本文模型對頭部、尾部預測和關系預測的性能改善明顯，主要得益于本文模型直接從KG的超關系事實中學習，不但捕捉編碼在三元組中的主要結構信息，而且采集每個三元組及其相關聯的鍵值對之間的相關性。在基本設定下針對WikiPeople數據集的頭部、尾部預測，

本文模型與ConvE的預測結果相差不大，這是因為ConvE也利用2D卷積層從三元組的實體、關系嵌入中進行特征提取，且WikiPeople數據集中三元組事實的優勢度較高， 使得ConvE的預測性能較好?；陉P系路徑設定的預測性能略低于基于基本設定的，進一步證明了雖然關系路徑設定保留了超關系事實的完整信息，但額外創建的實體、關系會干擾KG嵌入中捕捉鏈接預測的重要信息的能力。

不同方法在JF17K數據集中的KG鏈接預測性能如表3所示。 與WikiPeople數據集相比， JF17K數據集包含更高比例的超關系事實， 因此本文模型利用超關系事實中的鍵值對， 取得更優的預測性能， 證明本文中提出的固定負采樣處理方法的有效性， 且特別適用于關系預測。 ConvE利用數據轉換設定從轉換后的數據集中學習，針對頭部、尾部預測而設計，并不適用于關系預測任務。NKG、RPKG和Rescal的預測結果略低于本文模型的，主要原因是超關系事實的n元表征實際上忽略了三元組結構，雖然這些方法能夠從與三元組相關聯的鍵值對中學習，但忽視了三元組結構，無法獲得更好的預測結果。

3.4 鍵、值預測性能分析

針對預測超關系事實中的缺失鍵（？， vi）或缺失值（ki， ？） 進行實驗，采用與鏈接預測任務相類似的評估程序。以缺失鍵（？， vi） 的預測為例，首先，將缺失鍵替換為所有可能的關系，由此得到一組候選超關系事實。在濾除測試事實之外的其他真實事實（存在于訓練、測試集內）后，將剩余的候選超關系事實輸入到嵌入模型中，最后輸出預測得分。根據得分對候選事實排序，并給出MRR、Hits@10和Hits@1。對缺失值（ki， ？）的預測采用相同評價程序。與之前實驗一樣，僅將本文模型的預測性能與ConvE進行比較，結果如表4所示。從表中可見，與ConvE相比，本文模型在WikiPeople數據集的值、鍵預測結果分別提高6%、28%，在JF17K數據集的分別提高27%、 28%。本文模型不但捕捉編碼在三元組中的主要結構信息，而且采集每個三元組及其相關聯的鍵值對之間的相關性，因此預測性能更好。

3.5 參數敏感性分析

以下分析本文模型中2個重要參數，即CNN中使用的過濾器數量nf和嵌入維數K對參數敏感性的影響。首先，將嵌入維數K固定為100，過濾器數量nf設為10～800，圖2給出了濾波器數量nf對2個數據集的KG鏈接預測的影響。從圖中可以看出，隨著nf的增加，KG鏈接預測性能提升，當nf≥400時趨向平穩。然后，將過濾器數量nf固定為400，設K=5～200，嵌入維數K對2個數據集的KG鏈接預測的影響如圖3所示。由圖可見， 隨著K的增大，KG鏈接預測性能快速上升，然后在K≥100后趨向平穩。綜上，本文中設定濾波器數量nf為400，嵌入維數K為100。

4 結語與展望

當前的KG嵌入技術大部分將KG表示為三元組集合，從中學習實體、關系嵌入，并保留KG中鏈接預測的重要信息，但這種三元組表征過度簡化了KG中保存數據的復雜性質，特別是對于超關系事實。本文中提出了一種超關系KG嵌入模型，不但從三元組中捕捉KG中的主要結構信息，而且捕捉每個三元組與其關聯鍵值對之間的相關性，實驗結果驗證了該模型在各種KG鏈接預測中具有優異的性能。

下一步將考慮KG中其他類型的數據，例如數值和文本、多模態數據（例如圖像），使得本文模型具有更廣的應用范圍。

參考文獻：

［1］ 李浩， 張亞釧， 康雁， 等. 融合循環知識圖譜和協同過濾電影推薦算法［J］. 計算機工程與應用， 2020， 56（2）： 106.

［2］ UYAR A， ALIYU F M. Evaluating search features of Google Knowledge Graph and Bing Satori：entity types， list searches and query interfaces［J］. Online Information Review， 2015， 39（2）： 197.

［3］ TURKI H，" VRANDECIC D ，" HAMDI H ， et al. Using WikiData as a multilingual multidialectal dictionary for Arabic dialects［C］//2017 IEEE/ACS 14th International Conference on Computer Systems and Applications （AICCSA），" October 30-November 3， 2017， Hammamet， Tunisia. New York： IEEE， 2017： 75.

［4］ 覃曉， 元昌安， 何國對， 等. 基于百度百科知識圖譜的旅游資源文化特色評分算法：CN110781300A［P］. 2020-02-11.

［5］ XIONG C Y， POWER R， CALLAN J. Explicit semantic ranking for academic search via knowledge graph embedding［C］//WWW’17： Proceedings of the 26th International Conference on World Wide Web， April 3-7， 2017， Perth， Australia. New York： ACM， 2017： 1271.

［6］ YANG D Q， ROSSO P， LI B， et al. NodeSketch： highlyefficient graph embeddings via recursive sketching［C］// KDD’19： Proceedingsof the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining， August 4-8， 2019， Anchorage，" USA. New York： ACM， 2019： 1162.

［7］ 蘇榮. 基于圖網絡的知識圖譜嵌入研究［D］. 哈爾濱： 哈爾濱工業大學， 2019.

［8］ BEIERLE C， EICHHORN C， KERNISBERNER G， et al. Propertiesof skeptical cinference for conditional knowledge bases and its realization as a constraint satisfaction problem［J］. Annals of Mathematics and Artificial Intelligence， 2018， 83（3/4）： 247.

［9］ BEAN D M， WU H H， IQBAL E， et al. Author correction： knowledge graph prediction of unknown adverse drug reactions and validation in electronic health records［J］. Scientific Reports， 2018， 8（1）： 4284.

［10］ ZHANG R C， LI J P， MEI J J， et al. Scalable instance reconstruction in knowledge bases via relatedness affiliated embedding［C］// WWW ’18： Proceedings of the Web Conference 2018， April 23-27， 2018， Lyon， France. New York： ACM， 2018： 1185.

［11］ 鄒鼎杰. 基于知識圖譜和貝葉斯分類器的圖書分類［J］. 計算機工程與設計， 2020， 41（6）：1796.

［12］ ABEDINI F， KEYVANPOUR M R， MENHAJ M B. Correction tower： a general embedding method of the error recognition for the knowledge graph correction［J］. International Journal of Pattern Recognition and Artificial Intelligence， 2020， 34（10）： 2059034.

［13］ 劉瓊昕， 馬敬， 鄭培雄. 一種融合實體關聯性約束的表示學習方法［J］. 北京理工大學學報， 2020， 40（1）： 90.

［14］ GUAN S P， JIN X L， WANG Y Z， et al. Link prediction on naryrelational data［C］//WWW ’19： the World Wide Web Conference， May 13-17， 2019， San Francisco， USA. New York： ACM， 2019： 583.

［15］ CAI H Y， ZHENG V W， CHANG K C. A comprehensive survey of graph embedding： problems， techniques， and applications［J］. IEEE Transactions on Knowledge and Data Engineering， 2018， 30（9）： 1616.

［16］ 王琳， 張國坤， 徐逸濃. 一種張量分解的知識圖譜推理優化算法［J］. 計算機應用研究， 2020， 37（增刊1）： 52.

［17］ BERRENDORF M， FAERMAN E， MELNYCHUK V， et al. Knowledge graph entity alignment with graph convolutional networks： lessons learned［M］//JOSE J M， YILMAZ E， MAGALHES J， et al. Advances in Information Retrieval. Cham： Springer， Cham， 2020： 3.

［18］ FANG W， ZHANG J W， WANG D L， et al. Entity disambiguation by knowledge and text jointly embedding［C］//Proceedings of the 20th SIGNLL Conference on Computational Natural Language Learning（CoNLL）， August 11-12， 2016， Berlin， Germany. Berlin： ACL， 2016： 260.

（責任編輯：劉 飚）