面向超關系知識圖譜補全的跨模態對比學習方法

中圖分類號：TP391 文獻標志碼：A DOI：10.19907/j.0490-6756.240325

Cross-modal contrastive learning for hyper-relational knowledge graph completion with pre-trained language models

XIAO Ying-Jie，HEPei-Heng，DUANLei，YE Zheng-Mao，，HECheng-Xin，WANGXin-Ye（College of Computer Science，Sichuan University，Chengdu 6lOo65，China）

Abstract： Hyper-relational knowledge graphs （HKGs），as an extension of traditional knowledge graphs，offer a more comprehensive representation of real-world knowledge. Due to their inherent incompleteness， HKG completion has emerged as a significant research focus.Existing HKG completion methods often focus on internal structural learning without fully considering multi-role interactions within facts orsemantic interactions outside the graph. To address this，we propose CoLor， a cros-fact-text-modality contrastive learning method.CoLor uses role-aware structural modeling and introduces real-world context through pre-trained language models，with triple cross-modal contrastive supervision to jointly learn fact representation.Experiments on three real-world datasets show CoLor outperforms baselines by up to 4. 2% and 7.5% on MRR and H@1 metrics，respectively. Ablation study and case study further demonstrate the efectiveness of CoLor.

Keywords： Hyper-relational knowledge graph;Pre-trained language models；Contrastive learning

1引言

知識圖譜（KnowledgeGraphs，KGs）廣泛應用于語義搜索、推薦系統及欺詐檢測等領域[1-3]，但現實世界知識常涉及多個實體[4-6]，難以僅用單個二元關系或簡單拆分為多個二元關系來完整描述.超關系知識圖譜（Hyper-relationalKnowledgeGraphs，HKGs）擴展了傳統知識圖譜的表達形式，以包含多個實體和關系的超關系事實為基本單位，增強了對復雜關系的準確表達能力．

超關系事實由一個描述事實核心結構的主三元組（頭實體、關系、尾實體）以及若干限定符對（屬性關系：輔助實體）組成，如圖1中的事實A描述了瑪麗居里與他人共獲諾貝爾獎這一真實世界知識，涉及5個實體與3種關系.相較于基于簡單二元關系的事實三元組（MarieCurie、Receiveaward、NobelPrizeinPhysics），事實A能更準確地反映真實世界知識，因為瑪麗居里曾因不同貢獻與不同合作者兩次獲得諾貝爾獎（https：//en.wikipedia.org/wiki/Marie_Curie）.

由于真實世界知識的快速增長與不斷迭代，現有超關系知識圖譜不可避免地面臨顯著的不完整性問題[7.8]，如Freebase中 71% 的“人物”缺少“出生地”信息．因此，對超關系知識圖譜進行高質量補全已成為該領域的研究熱點[2.5.9]，旨在自動學習和推理超關系知識圖譜，以支持基于超關系知識圖譜的多種下游應用.

現有工作常通過學習超關系知識圖譜的結構表征，并評估測試超關系事實的事實合理性來完成補全任務.然而，這些方法往往僅強調實體與關系在當前事實內作為固定角色的顯式交互，從而忽略了相同實體與關系作為其他角色在當前事實外部發生的隱式交互.例如，Wang等[5提出的GRAN方法允許事實內實體通過主三元組關系顯式交互，但難以建模超出當前事實的隱式交互，以圖1中事實A、B、C為例，事實B和事實C顯然可以直觀地聯合幫助待補全事實A中缺失的輔助實體，即Pierre Curie.

通過該示例可以觀察到，相同的實體和關系之間能夠在當前事實內部或外部以不同的角色進行交互，而捕獲這些顯式或隱式的交互則能夠增益超關系事實的補全效果.因此，區分并深化實體與關系的角色信息至關重要.

除結構信息外，超關系知識圖譜的外部語義信息對補全任務也很重要，因為非結構化文本是構建知識庫的關鍵資源[10].然而，文本化數據中包含的上下文語義信息在從非結構化文本到結構化事實的轉換過程中不可避免地面臨信息損失.現有研究表明，合理利用豐富的外部語義信息能夠在一定程度上促進知識圖譜的補全[1.11.12].但對于結構更加復雜的超關系知識圖譜，收集和有效利用這些語義補充信息仍面臨諸多挑戰，如外部文本數據不完整、模態信息不平衡等．

為應對上述挑戰，本文提出了一種面向超關系知識圖譜補全的跨模態對比學習方法CoLor（Cross-modalcontrastiveLearningfor hyper-relationalknowledgegraphcompletion），其同時利用超關系知識圖譜的內部結構信息和外部語義信息進行補全.方法上，通過構建異構完全圖（Het-erogeneousCompleteGraph，HCG）推廣自注意力機制[13]，強調事實內外的角色差異所帶來的當前事實外的隱式潛在交互，從而避免局限于事實內的固定角色；通過預訓練語言模型（Pre-trainedLanguageModels，PLMs）引人了外部真實世界的非結構化文本知識作為超關系知識圖譜的語義補充.在大量非結構文本上訓練的預訓練語言模型，如BERT[14]、RoBERTa[15]、Llama-2[16]等，集成了大量的真實世界知識，一定程度上可以緩解補全方法在單一來源訓練數據上學習并推理的限制.進一步地，設計了3種用于對齊跨模態表征的對比監督，充分挖掘了真實世界知識表示的潛力．本文的主要貢獻體現在以下3個方面：

（1）提出了CoLor方法用于補全超關系知識圖譜．通過對超關系事實內部的顯式交互和外部的隱式交互進行建模，有效從超關系知識圖譜的結構信息中學習事實表征.

（2）收集不同超關系知識圖譜數據集對應的外部文本數據，并將其合理融合至超關系知識圖譜中，實驗驗證了引入外部語義信息的有效性.

（3）在3個公開超關系圖譜數據集上與先進基線對比，實驗結果表明了CoLor的優越性，并通過案例分析進一步驗證了其有效性.

2 相關工作

2.1 知識圖譜補全

知識圖譜補全大體分為基于結構和基于文本的兩類方法.基于結構的方法認為事實的建立是頭實體在某映射空間經過關系變換得到尾實體的過程，代表性方法如TransE[17]和RotatE[18]，分別將關系視為頭尾實體在目標空間中的平移、旋轉，并由此評估事實的合理性.基于文本的方法如KG-BERT采用BERT替換原始實體表示為相應的文本描述，計算修改后的三元組合理性得分并評估；SimKGC同樣采用類似的模式，并設計了一個簡單有效的對比學習框架用于知識圖譜補全.然而，對于結構更為復雜的超關系知識圖譜，目前尚無確切證據充分表明外部語義信息能夠幫助其進行補全.

2.2超關系知識圖譜補全

現有工作多將超關系事實結構表示為一個主三元組及對其修飾的若干限定符對9.為了對不同限定符對中的實體對整個事實的貢獻程度進行編碼，Rosso等[9]首次采用卷積神經網絡（ConvolutionalNeuralNetworks，CNNs）將每個每個限定詞對迭代地卷積到主三元組中，自然地提升了超關系事實的區分度.Galkin等4和Di等[19]分別在圖卷積網絡（Graph Convolutional Networks，GCNs）上使用了消息傳遞機制[20來聚合超關系知識圖譜內的實體和關系的表征.Shomer等21基于StarE方法4提出了一個利用多個聚合器來學習超關系事實表示的框架，然而與StarE方法同樣存在受到全局圖卷積過程中引人多跳鄰居噪聲信息的限制．隨著Transformer[13]在自然語言處理等領域的快速興起，基于Transformer的方法在超關系知識圖譜補全領域中也取得了良好效果.Wang等5將超關系事實表示為一個無向異構圖（HeterogeneousGraph），超關系事實中的所有實體通過主三元組中的關系進行交互.Luo等2在其基礎上進一步引入了全局和局部分層注意力來進行建模．此外，還有部分方法采用傳統機器學習或幾何方法來建模超關系事實，如收縮嵌人[22]等.

現有方法常受限于單一來源的訓練數據，導致模型蘊含知識局限于當前數據集.為減輕這一限制，CoLor整合了外部真實世界語義知識，用于超關系知識圖譜補全，表現良好.

3 預備知識

3.1超關系知識圖譜

給定一個有限的實體集 ε 、關系集 R 以及一個由 條超關系事實所構成的真實事實集 F ，一個超關系知識圖譜表示為 H=（E，R，F） .超關系事實 f∈F 表示為一個主三元組（subject，relation，object）及對其修飾的 m 個限定符對（attribute：value）的組合，記為 f={（s，r，o） v_i）}_i=1^m} ，其中 m?0 .主三元組中的頭尾實體 和限定符對中的實體 {v_i}_i=1^m 都來自實體集 ε 記為 s，o，v₁，…，v_m∈E ；關系 r 和限定符對中的關系{a_i}_i=1^m 都來自關系集 R ，記為 r，a₁，…，a_m∈R 當事實集中所有事實都滿足 m=0 時，超關系知識圖譜退化為知識圖譜．

3.2超關系知識圖譜補全

給定一個存在若干實體或關系缺失的不完整超關系事實的超關系知識圖譜 H ，對所有不完整超關系事實中缺失的部分進行補全或預測．例如，補全一個缺失主三元組中尾實體的不完整超關系事實

4 CoLor方法

CoLor整體框架如圖2所示，由角色感知的結構建模（4.1節）上下文感知的語義建模（4.2節）以及基于三重對比監督的跨模態對齊（4.3節）組成.CoLor首先分別由角色感知的事實編碼器和上下文感知的語義編碼器分別學習超關系事實的結構和語義表征后，再通過跨模態對齊模塊和表征并優化模型參數.

4.1角色感知的結構建模

相同實體和關系在不同事實中角色各異，因此區分其在具體事實內外的角色至關重要.為此，本文設計了角色感知的結構建模編碼器處理這一挑戰.如圖2所示，該編碼器將超關系事實建模為異構完全圖，即由多種類型節點和邊組成的完全圖.其中，事實中的實體和關系對應圖中的節點，邊的屬性表示節點間的異構性，此模型不僅融合了實體與關系的不同角色信息，還支持靈活表示它們之間的顯性和隱性互動，超越單一事實角色的限制.

記 2 和 L 分別為異構完全圖的節點集與邊集，則每條事實 都等效于一個異構完全圖 G=（ν，L） ，其中， u= {c，s，r，o，a₁，…，a_m，v₁，…，v_m} c 為句首標識符[CLS]，代表了當前超關系事實的全局信息融合．受Wang等[5]和Luo等[2]工作的啟發，本文從異構圖中的節點和邊，到超關系事實中的實體、關系和它們之間的交互，建立兩個映射關系，即 ? 和 ψ：L{c-s，c-r，c-o，c-a，c- v，s-r，s-o，s-a，s-v，r-o，r-a，r-v，o- （204號 a，o-v，a_i-a_j，a_i-v_i，a_i-v_j，v_i-v_j}， 其中i和 j 為等效異構完全圖中同種類型的不同節點序號：這種超關系事實結構建模方式考慮了實體與關系之間可能在當前事實之外發生的隱式交互，因為它允許實體與關系建立隱式的全連接關系，而非某一固定的交互模式.同時，引入結構信息全局標識符[CLS]也能聚合當前事實內部的全局信息，與事實所對應的真實語義信息結構對齊.此外，本文還為實體和關系另設計了角色嵌入層（RoleEmbeddingLayer以進一步增強當前事實內部的實體和關系所持有的角色信息，即 c，s，r，o，a 和 v 這6種角色信息．

異構完全圖中，節點對應的異構性表現為Transformer中全連接自注意力機制前向傳遞過程中的邊偏置（Edge-biases）.邊偏置全連接注意力（Edge-biasedFully-connectedAttention）在自注意力（Self-attention）機制[13基礎上添加了邊偏置來區分節點的異構信息，此外與自注意力機制類似.本文采用多頭注意力（Multi-headAttention）來學習超關系事實的結構信息，對于單頭而言，節點的初始表征 x_i∈R^d 首先與其對應的角色嵌入r_i∈R^d 聚合，然后使用3個頭間共享（Head-shared）的矩陣 W_h^Q W_h^K ， 對其進行投影并在注意力計算過程中添加邊偏置發，如式（1）和（2）所示.

其中， η_ij 為節點 j 對節點 i 的邊偏置權重系數；z_i^h∈R^d′ 為節點 i 在第 h 頭中更新后的結構表征；d_z=d^′=d/H ，其中 H 是多頭注意力計算中參與的頭數．在上述計算過程中，節點的角色真值共6種，分別對應于不同的角色信息，即 r_c 對應[CLS]，r_s 對應頭實體， r_r 對應主關系， r_o 對應尾實體， r_a 對應屬性關系，以及 r_v 對應輔助實體；邊偏置e_ij^Q，e_ij^K，e_ij^V 分別被添加至傳統自注意力機制并進行計算.通過上述計算可獲得每一頭中節點（204號 {z_i^st}_i=1^|ν|∈R^d 的結構表征.

在經過編碼器中一層的單頭計算后，將每一頭得到的結構表征順序拼接以得到多頭結構信息．與Transformer原始結構一致，編碼器由 L 層相同結構堆疊，每一層都帶有層歸一化（LayerNormalization）機制[23]和殘差連接（ResidualCon-nection）機制[24].重復上述計算步驟 L 次后，得到所有 121 個節點 {z_i^st}_i=1^|ν| 的全部結構表征.

4.2上下文感知的語義建模

使用預訓練語言模型的知識圖譜補全方法主要受平移模型影響，使用兩個孿生預訓練語言模型編碼器（Siamese-stylePLMEncoders）來分別學習（subject，relation）和（object）的語義表征[1.12]，并度量二者的匹配程度.這種方法割裂事實為兩部分，忽視了事實整體性，尤其在處理復雜超關系事實時效果不佳，且增加計算開銷.鑒于超關系事實需整體考慮，分解會損害其完整性，為此，本文收集并整理了超關系知識圖譜基準數據集的相關文本信息，利用上下文語義輔助超關系圖譜補全.

4.2.1數據收集本文使用的超關系知識圖譜數據集包括基于Wikidata的WikiPeople[25和WD50K[4]，以及基于Freebase的JF17K[26].實體和關系使用MID號作為標識.對于WikiPeople和WD50K，通過查詢維基數據（https：//www.wikidata.org/wiki/Special：EntityData）獲取英文文本描述；對于JF17K，關系使用其規范化后的單詞表示作為其文本描述，實體則通過Freebase（https：//developers.google.com/freebase）提供的數據獲得文本描述.

4.2.2語義建模在收集并整理不同超關系知識圖譜數據集中實體和關系所對應的文本描述后，如圖2b中所示，本文為每一個超關系事實都構建對應的文本序列.以一個訓練批次中的第 b 個樣本為例，其對應的文本序列構建形式為：

其中， t^[CLS] 是文本序列的首位標識符； t^[SEP] 是相鄰實體和關系間的分割標識符； t^（s） 是主三元組中頭實體的文本描述，為其實體名稱與實體描述的順序拼接，形如{MarieCurie：PolishphysicistandchemistnationalizedFrench}，依此類推．隨后，將該序列輸人預訓練語言模型中：

式（4）中， z_i^se 表示異構圖中節點 i 的節點級語義表征； PLM（?） 為預訓練語言模型中的前向傳播過程； Pool_global（?） 為單詞表征的平均池化； MLP（?） 為將預訓練語言模型輸出表征的維度映射到 d 的多層感知機（Multi-layerPerceptron，MLP），其同樣可以被視為對于預訓練嵌入的一個簡單微調（Fine-tuning）.平均池化在句子嵌入中較其他池化類型通常具有更優的性能[2]，因此在式（5）中，對異構完全圖使用全局圖級平均池化 Pool_global（?） ，并通過使用激活函數tanh進行非線性激活，由此獲得圖級全局語義表征 業

通常認為預訓練語言模型在龐大的真實語料庫中已經學到了自然語言的有效表征[14-16].因此，本文簡單使用資源消耗較少、訓練速度較快的微調任務來代替針對超關系事實文本描述的全量預訓練任務.具體而言，CoLor僅保留多層感知機中的梯度反向傳播（圖2b中標注“TrainableMod-ule”），并停止傳播預訓練語言模型中的梯度（圖2b中標注\"FrozenModule\"），這也一定程度上緩解了微調任務中的\"崩潰解\"（Collapsing Solution）問題[28].

4.3結合三重對比監督的跨模態對齊

本文使用余弦相似度來衡量結構化的事實模態和非結構化的文本模態之間的表征距離，如式（6）所示.

隨后，使用對比學習（ContrastiveLearning）方式來最大化正樣本（PositiveSamples）與負樣本（NegativeSamples）之間的距離，進而得到更優的超關系事實表示.如圖2b所示，CoLor設計了用于跨模態對齊的三重對比監督，其同時包含了無監督信號和有監督信號，本文以大小為 B 的訓練批次中的第 b 條樣本進行說明.為了簡化符號表示，本文后續使用Z來等價表示{}1 =

4.3.1頂點級結構感知的對比監督根據監督信號類型，CoLor設計了兩種頂點級結構感知（Vertex-levelStructural-aware，VST）的對比監督形式.

（1）無監督VST.兩次獨立的dropout-masks已被證明能有效形成正例訓練對，增強模型的穩健性[27].CoLor將此拓展到超關系事實上，為等效異構完全圖中所有頂點的結構嵌入生成正例樣本，如圖2b中的 Z_b^st 和 所示區分．

（2）有監督VST.對于一個含有 ?_m 個限定符對超關系事實，CoLor生成 （2m+3） 個僅在補全位置上不同的訓練樣本，無需復雜負采樣.在同一批次中，來自同一事實的樣本互為正例，其余為負例．對單個訓練樣本而言，除其結構嵌入和語義嵌入形成正樣本對外，即圖2b中帶陰影的矩陣上對角線方格 （Z_b^st，Z_b^se） ，同一批次中還有其他源自相同事實的樣本與其形成多正例對.

4.3.2頂點級語義感知的對比監督考慮到結構表征和語義表征是同一超關系事實的不同特征空間嵌人，因此，頂點級語義感知（Vertex-levelSemantic-aware，VSE）的對比監督通過匹配的結構-語義表征對進行對齊，不匹配的則分離．該監督機制關注異構完全圖中的獨立頂點.在同一訓練批次中，來自同一超關系事實的所有頂點的結構嵌入與匹配的語義嵌入形成正樣本對，其余為負樣本對．

4.3.3圖級語義感知的對比監督圖級語義感知（Graph-levelSemantic-aware，GSE）的對比監督聚焦于等效超關系事實的全局層面，通過對比融合結構嵌入 z_c^st 與對應融合語義嵌入 實現.因融合嵌入包含所有頂點信息，故GSE監督也被所有頂點共享．

4.4模型訓練與推理

4.4.1結構表征訓練與推理本文通過多分類任務實施并評估超關系知識圖譜補全．對于異構完全圖中的頂點 i ，其等效對應的實體候選可能性分布 ? 可通過兩層線性神經網絡獲得，如式（7）所示．

其中， W₁∈R^d×d b₁∈R^d 及 b₂∈R^|ε| 為可學習的參數； W₂∈R^|ε|×d 是與初始嵌人層共享的權重矩陣，多分類任務的訓練目標是最小化交叉熵損失（Cross-Entropy Loss） ：

其中， y_i 和 ?_Pt 分別為頂點 i 的真實標簽和第 t 個候選預測標簽的可能性.最后，CoLor使用 z_i^st 在測試集上進行推理以衡量模型的性能.

4.4.2跨模態對比訓練在訓練過程中，CoLor首先將跨模態嵌人送人兩個共享參數的多層感知機來將它們投影到計算對比損失的空間.以對節點 i 的頂點級語義感知對比監督的投影為例，如式

σ^（?） 為Leaky-ReLU非線性激活函數.其中，CoLor優化作為訓練目標的 InfoNCE^[28] 損失，如式（10）所示.

其中，超參數 τ 用于調整正負樣本的區分度.對于單個訓練樣本而言，總體訓練目標 T 為式（11）所示.

其中， α，β，γ 是用于平衡對比損失的超參數；λ是對模型參數集的 L₂ 正則化系數.

5實驗

本文進行了以下實驗：（1）與現有先進超關系知識圖譜補全方法對比，驗證CoLor有效性；（2）觀察不同基座預訓練模型對CoLor性能的影響；（3）通過消融實驗驗證各組件有效性；（4）測試不同超參數組合，檢查CoLor的參數敏感性；（5）案例分析說明利用外部語義信息的合理性.

5.1 實驗準備

5.1.1數據集本文在JF17K、WikiPeople和WD50K等3個常用超關系知識圖譜基準數據集上全面測試了CoLor的性能.JF17K由Wen等2自Freebase[6數據庫收集得到，其實體表示為MID標識號，例如01027r;關系為結構化文本，如award.ranking.WikiPeople由Guan等25]自Wikidata數據庫收集得到，專注于人物相關超關系事實，并由Rosso等9]過濾去除無關文字.WD50K由Galkin等4自Wikidata收集得到，覆蓋更多超關系事實，被視為一個高質量基準.表1展示了數據集相關的統計數據．表1中“元數”表示超關系事實所涉及的實體數量.

5.1.2基線方法本文將CoLor與多種最先進的超關系知識圖譜補全基線方法進行了比較（見表3）.需注意以下兩點：（1）部分基線方法只針對補全主三元組中的頭尾實體，或針對補全所有實體而設計，因此并未在原始論文中報告其在所有情況下的實驗結果；（2）為公平比較，排除了基于文本的二元知識圖譜補全方法，例如KG-BERT[11]和SimKGC[1]：因為CoLor僅在訓練階段使用靜態文本嵌入，推理時依賴結構表征，且基于文本的知識圖譜方法難以直接拓展到超關系知識圖譜（詳見第4.2節）.

5.1.3評價指標如第4.4節所述，對測試集所有實體和關系，按候選答案概率降序排列，根據真實標簽確定正確答案位次.評價指標為知識圖譜領域通用的平均倒數排名（MeanReciprocalRank，MRR）和k位擊中率（Hits@k，即在top k （ k=1 ，10）命中答案的概率，簡寫為 .該兩種指標值越高代表模型的性能越好.

5.1.4 超參數 本文使用網格搜索（Grid Search）來為CoLor選擇較優超參數，以實體補全上的Hits@1指標為參考.最優組合由對不同超參數的循環遍歷得到.參考Galkin等[4]、Wang等[5]、Luo等2的原文設置，在確定最優配置后，結合訓練集和驗證集進行訓練，并報告測試集上的評估結果.相關超參數設置如表2所示．

5.1.5運行環境與時間CoLor使用單張顯存為24G的RTX3090顯卡訓練，以 AdamW^[29] 優化器來優化訓練目標 T. 通過凍結預訓練語言模型的權重，CoLor僅保留用于其投影的多層感知機的權重，極大程度地減少了計算消耗.本文在CoLor的訓練過程中同樣采用了卸載[30（offload）技術，即通過預訓練語言模型得到的語義表征只在需要檢索時才會加載到GPU顯存中，這樣也顯著降低了傳統預訓練模型對于GPU顯存占用的依賴.與最具代表性的基于Transformer的方法之一STARE[4]相比，CoLor花費更少的訓練時間并取得了更佳的性能表現：對于WikiPeople數據集上的主三元組實體補全，CoLor將Hits @1 指標提升 14.8% ，且訓練速度較STARE快 25%

5.1.6CoLor變體本文為CoLor設計了4個變體：CoLor-（僅由角色感知的結構建模編碼器訓練，不涉及上下文感知的語義建模編碼器及跨模態表征對齊）、 CoLor_BERT （BERT-base[14]作為基座預訓練語言模型）、CoLorRoBERTa（RoBERTa-base[15]作為基座預訓練語言模型）以及CoLorLlama-2（Llama-2-7B1作為基座預訓練語言模型）.

5.2 有效性評估

5.2.1補全對比實驗結果表3展示了不同方法在3個超關系知識圖譜基準數據集上的實體補全對比結果，CoLor及其變體在不同數據集的絕大多數指標上都取得了不同程度的領先.表3中，最優結果加粗顯示，次優結果加下劃線顯示.結果主要來自各方法對應原始論文.“N/A\"表示對應結果未在相關原始論文中報告或對應基線方法不支持該種補全.在WikiPeople數據集上，對于所有實體補全，CoLor及其變種在MRR/H@1/H@10指標上分別至多提高了 2.1（4.2%）/3.2（7.5%）/ 1.2（1.9%） .在WD50K數據集上，對于頭/尾實體補全，CoLor及其變體在MRR/ H@1/H@10 指標上分別至多提高 1.3（3.7%）/1.6（5.8%）/ 0.8（1.6% .由于這兩個數據集的文本描述相對完整，CoLor及其變體能夠有效整合預訓練語言模型中保留的通用知識，從而顯著提高了補全質量.在JF17K數據集中，結合預訓練語言模型的相關CoLor變體相對表現次優.JF17K數據集為原生超圖結構而非超關系事實結構，其事實中的屬性關系被構建為主關系的簡單備份[4.9]而并非含有真實屬性關系語義.由此，JF17K數據集所含的語義信息較原生超關系數據集相對更少，結合預訓練語言模型的CoLor變體可能會因此受到干擾進而表現出其補全性能低于CoLor-.

5.2.2基座預訓練語言模型對比如表3所示，在相同超關系圖譜基準數據集上，不同基座預訓練模型的CoLor及變體表現各異.基于自編碼器的掩碼語言模型（MaskedLanguage Model，MLM如BERT和RoBERTa，表現優于生成式模型Llama-2.盡管RoBERTa改進了BERT的訓練策略，BERT在超關系圖譜上仍表現出更佳的文本表征.Llama-2因其自回歸（Autoregressive）訓練方式，更擅長生成連續文本而非精準預測具體實體或關系，其補全性能低于BERT類模型，符合預期.

5.3 進一步分析

5.3.1消融實驗本文使用文本描述信息保存較為完整的數據集，即WikiPeople上實體補全表現較好的 CoLor_BERT 進行對應的消融實驗以全面評估CoLor的關鍵構成部分.消融實驗結果如表4所示.表中，“HCG”表示邊偏置所對應構建的異構完全圖；“RE\"表示角色嵌入；“VST”、“VSE\"和“GSE”分別表示3種跨模態對比監督（見第4.3節）.所有組件均在不同層面上提升了補全性能，表明融合外部語義信息于超關系圖譜建模中有價值.總體上，5個關鍵組件均正向促進了CoLor的補全性能.5.3.2參數敏感性分析本文在WikiPeople上對CoLOrBERT調整跨模態對比學習的損失參數 α 、β，γ 以及批量大小并觀察模型性能變化.實驗固定了除研究變量外的其他超參數為最優值.實驗結果如圖3a和3b所示，表明隨著對比樣本數量的增加，CoLor的實體補全性能也隨之提升.此外，三重對比監督均能有效地促進超關系知識圖譜的補全任務．然而，當跨模態對比損失系數 α，β 和y增大時，性能指標出現了輕微的下降趨勢.這可能是因為結構化事實模態與非結構化文本模態間存在的噪聲導致了這種現象，因此跨模態對比損失的權重需要進行適當的平衡．

5.3.3案例分析本文在WikiPeople數據集上隨機選取測試集中的“困難\"案例（Hardcases）進行分析.“困難”案例指存在相似候選者的場景，選擇此類案例以展示方法在高混淆風險下的魯棒性.

表5給出了3個“困難\"案例， E_T ”和 E_A ”分別表示支持候選與真實實體/關系的文本證據.表5中待補全真實實體/關系加粗表示.表5列出前三候選實體/關系及其對應概率，CoLor分別在不同候選位置上完成正確預測.盡管候選者寓意相似，CoLor仍能縮小候選范圍而有效補全（甚至可以用正確的上下文意義替換給定的答案）.此外，還進行了可視化實驗.圖4a為WikiPeople實體嵌入對應t-SNE二維投影；圖4b顯示了案例②在結構編碼器最后一層中不同實體與關系間的可視化注意力權重.CoLor將實體表征在投影空間中劃分為多個明顯且分離的簇，顯示了其有效性．

6結論

本文所提出的CoLor方法針對超關系知識圖譜補全，首先通過構建等價于每個超關系事實的異構完全圖以及實體和關系對應的角色嵌入，充分挖掘了超關系知識圖譜的內部結構信息；同時，通過收集實體與關系對應的外部文本描述，并結合預訓練語言模型引入圖譜的外部語義信息；最后，利用豐富的對比監督信號來對齊跨模態表征，從而有效學習了超關系知識圖譜的跨模態表示，進一步優化了對超關系知識圖譜的補全性能.

盡管CoLor表現出良好的性能，其仍然存在部分限制，如引入其他模態所帶來相對較高的計算消耗，以及當數據集語義信息質量較低時難以充分利用預訓練語言模型.未來計劃持續挖掘更高質量的結構-語義樣本對并引入多卡并行計算以提升跨模態對比學習質量和提高模型訓練效率.

參考文獻：

[1] WangL，Zhao W，WeiZ，et al.SimKGC：Simple contrastive knowledge graph completion with pretrained language models [C]//Proceedings of the 60th Annual Meeting of the Association for Computa tional Linguistics.Dublin：ACL，2022：4281.

[2] Luo H，EH，YangY，et al.HAHE：Hierarchical attention for hyper-relational knowledge graphsin global and local level[C]//Proceedings of the 6lst Annual MeetingoftheAssociation forComputational Linguistics. Toronto：ACL，2023：8095.

[3] LiZ，Huang C，ZengY，et al.Link completion and keynode identification of fraudulent network based on knowledge graph embedding[J]. Journal of SichuanUniversity（Natural ScienceEdition），2O24，61： 030004.[李澤卿，黃誠，曾雨潼，等.基于知識圖譜 嵌入的涉詐網絡鏈接補全和關鍵節點識別[J].四川 大學學報（自然科學版），2024，61：030004.]

[4] GalkinM，TrivediP，MaheshwariG，etal.Mes sage passingforhyper-relationalknowledge graphs[C]//Proceedings of the 2O2O Conference on Empirical Methods in Natural Language Processing， EMNLP202O，Online：ACL，2020：7346.

[5] WangQ，WangH，LyuY，et al.Link prediction on n-aryrelational facts：A graph-based approach[C]// Findings of the Association for Computational Linguistics.[S.1.]：ACL，2021：396.

[6] BollackerKD，EvansC，ParitoshPK，etal.Freebase：A collaboratively created graph database for structuring human knowledge [C]//Proceedings of the ACM SIGMOD International Conference on Management of Data.Vancouver：ACM，2008： 1247.

[7] WangC，Wang X，LiZ，et al.HyConvE：A novel embedding model for knowledge hypergraph link prediction with convolutional neural networks[C]//Proceedings of the ACM Web Conference 2023.Austin， TX：ACM， 2023：188.

[8] Guo Z，Zuo J，Duan L，et al.A generative adver sarial negative sampling method for knowledge hypergraph link prediction[J]. Journal of Computer Research and Development，2022，59：1742.[郭正山， 左劫，段磊，等．面向知識超圖鏈接預測的生成對 抗負采樣方法[J].計算機研究與發展，2022，59： 1742.]

[9] Rosso P，Yang D，Cudre-Mauroux P. Beyond triplets：Hyper-relational knowledge graph embedding for link prediction[C]//Proceedings of The Web Conference 2020.Taipei：ACM，2020：1885.

[10]Dong X，Gabrilovich E，Heitz G，et al. Knowledge vault：A web-scale approach to probabilistic knowledge fusion[C]//Proceedings of the 2Oth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining.New York：ACM， 2014： 601.

[11]Yao L，Mao C，Luo Y.KG-BERT：BERT for knowledge graph completion [EB/OL]. [2024-09- 11].https：//arxiv.org/abs/1909.03193.

[12]Wang B， Shen T，Long G，et al. Structureaugmented text representation learning for efficient knowledge graph completion [C]//Proceedings of The Web Conference 2O21.Ljubljana：ACM，2021： 1737.

[13]VaswaniA，ShazeerN，Parmar N，et al.Attention is all you need[C]//Proceedings of the Annual Conference on Neural Information Processing Systems. Long Beach：MIT Press，2017：5998.

[14]Devlin J，Chang M W，Lee K，et al. BERT：Pretraining of deep bidirectional transformers for language understanding[C]//Proceedings of the 2019 Conference of the North American Chapter of the AsSociation for Computational Linguistics. Minneapolis：ACL，2019： 4171.

[15]Liu Y，Ott M，Goyal N，et al. RoBERTa：A robustly optimized BERT pretraining approach[EB/ OL].[2019-07-26]. htps：//arxiv.org/abs/1907. 11692.

[16]Touvron H，Martin L，Stone K，et al. Llama 2： Open foundation and fine-tuned chat models[EB/ OL].[2024-07-19]. https：//arxiv. org/abs/2307. 09288.

[17]Antoine B，Nicolas U，Alberto G，et al. Translating embeddings for modeling multi-relational data[C]// Proceedings of the 27th Annual Conference on Neural Information Processing Systems.Lake Tahoe， Nevada： MIT Press， 2013： 2787.

[18]Sun Z，Deng Z，Nie J，et al. RotatE： Knowledge graph embedding by relational rotation in complex space[C]//Proceedings of the 7th International Conference on Learning Representations.New Orleans： ICLR，2019：1.

[19]Di S，Chen L.Message function search for knowledge graph embedding [C]//Proceedings of the ACMWebConference2023.Austin：ACM，2023： 2633.

[20]Kipf T N，Welling M. Semi-supervised classification with graph convolutional networks[C]//Proceedings of 5th International Conference on Learning Representations. Toulon： ICLR，2017：1.

[21]Shomer H， Jin W，Li J，et al. Learning representations for hyper-relational knowledge graphs[C]// Proceedings of the International Conference on Advances in Social Networks Analysis and Mining. Kusadasi： ASONAM， 2023：253.

[22]Xiong B，NayyeriM，Pan S，et al.Shrinking embeddings for hyper-relational knowledge graphs [C]// Proceedings of the 6lst Annual Meetingof the Association for Computational Linguistics. Toronto： ACL，2023：13306.

[23]Ba JL，Kiros JR，Hinton G. Layer normalization[EB/OL].[2024-07-21].htps：//arxiv.org/ abs/1607.06450.

[24]He K， Zhang X，Ren S，et al. Deep residual learning forimage recognition[C]//Proceedings of 2016 IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas： IEEE， 2016： 770.

[25]Guan S， Jin X，Wang Y，et al. Link prediction on Naryrelational data[C]//Proceedings of the World Wide Web Conference.San Francisco： ACM， 2019：583.

[26]Wen J，Li J，Mao Y，et al.On the representation and embedding of knowledge bases beyond binary relations[C]//Proceedingsof the 25th International Joint Conference on Artificial Intelligence.New York：Morgan Kaufmann，2016：1300.

[27]Gao T，Yao X，Chen D. SimCSE：Simple contrastive learning of sentence embeddings[C]//Proceedings of the 2O21 Conference on Empirical Methods in Natural Language Processing. Punta Cana： ACL， 2021：6894.

[28]Chen T，Kornblith S，Norouzi M，et al.A simple framework for contrastive learning of visual representations[C]//Proceedings of the 37th International Conference on Machine Learning.Virtual Event： ACM，2020：1597.

[29]Loshchilov I，Hutter F.Decoupled weight decay regularization[C]//Proceedings of the 7th International Conference on Learning Representations.New Orleans：ICLR，2019：1.

[30]Ren J，Rajbhandari S，Aminabadi RY，et al. Zerooffload：Democratizing billion-scale model training[C]//Proceedings of the 2021 USENIX Annual Technical Conference.[S.1.]：USENIX Association，2021：551.

[31]Zhang R，Li J，Mei J，et al. Scalable instance reconstruction in knowledge bases via relatedness affiliated embedding[C]//Proceedings of the 2018 World WideWeb Conference.Lyon：ACM，2018：1185.

[32]Guan S，Jin X，Guo J， et al. NeuInfer： Knowledge inference on N-ary facts[C]//Proceedings of the 58th Annual Meeting of the Association for ComputationalLinguistics.[S.1.]：ACL，2O2O：6141.

[33]Lu Y， Yang D，Wang P，et al. Schema-aware hyperrelational knowledge graph embeddings for link prediction[J]. IEEE Transactions on Knowledge and Data Engineering，2024，36：2614.

（責任編輯：伍少梅）