小樣本關系下的時序知識圖譜推理

摘 要：在各大知識推理應用場景下，知識圖譜中時序的缺失、知識圖譜構建時實體關系的不完善，已然成為研究者們亟需解決的問題。為此，構造了一種融合時序信息與小樣本關系的知識圖譜推理模型，該模型將知識圖譜的三元組表示擴展到含有時序信息的四元組表示，并通過時序信息來提高推理路徑的準確性。此外，通過元學習從高頻關系中學習元參數，并使用元參數適配小樣本關系任務，提高模型在小樣本關系中的泛化能力。實驗表明，所提出的方法在Hits@1、Hits@3、Hits@10和MRR上均高于對比方法，并且均提高5%以上，表明所提出的方法可以完成知識圖譜的推理，并且在小樣本關系下具有較好的效果。

關鍵詞：知識圖譜推理；時序；小樣本學習；元學習；強化學習；多跳推理

中圖分類號：TP3-0 文獻標識碼：A 文章編號：2095-1302（2024）05-0-05

0 引 言

知識圖譜是一種使用圖結構模型來描述、構建和表示實體之間關系的技術[1]，它在問答系統、推薦系統、語義分析等領域都發揮著重要的作用。一般地，知識圖譜是用三元組（h， r， t）表示相關事實的集合，其中，h、t表示實體，r表示實體之間的關系。

目前，由三元組構成的知識圖譜已經可以很好地表示實體之間的關系了，但是這種方式忽略了實體關系中的時序信息。為了解決知識圖譜中時序信息表示問題，研究人員將三元組形式的知識圖譜擴展到由四元組（h， r， t， τ）表示[2]的時序知識圖譜，其中τ表示時序信息。

知識圖譜推理是人工智能領域的一個前沿研究方向，其旨在通過圖譜中已有的實體和關系推斷出未知的目標實體。在小樣本場景下，融合時序信息的知識圖譜可以幫助下游任務解決信息稀疏、路徑選擇困難等問題，因此融合時序信息的知識圖譜推理技術得到了不少研究者的關注。

1 相關工作

國內外研究人員從不同角度對知識圖譜推理技術進行了相關研究，主要使用兩大方法：基于知識圖譜嵌入的方法[3-6]和基于多跳推理的方法[7-9]。

基于知識圖譜嵌入的方法中，研究人員將時序信息嵌入到低維空間中，通過評分函數對推理結果進行打分，然后根據最終打分結果來選擇目標實體，該方法在隱式推理上具有不錯的效果。

基于多跳推理的方法中，通過強化學習將知識圖譜推理過程建模成馬爾科夫序列決策過程，找到實體與關系之間的預測路徑來得到目標實體，該方法在目標實體推理的過程中具有較強的可解釋性。

文獻[10]中提出了一種基于元學習的多跳推理模型（Meta-KGR），該模型將帶有同一關系的實體查詢視為一個任務，采用強化學習方法訓練智能體（Agent）來搜索目標實體和推理路徑。值得肯定的是，該方法從高頻關系中學習到的元信息在處理小樣本關系時具有不錯效果。

綜上所述，研究人員對時序信息表示和知識圖譜推理進行了相關探索與研究，但是在小樣本知識推理過程中仍然存在一些局限，主要有以下三個方面：

（1） 基于圖譜嵌入的方法主要通過隱式推理完成任務，只能得到最終的推理結果，而不能得到真實的推理路徑，因此該方法忽略了推理路徑的可解釋性，限制了其在更復雜的推理任務中的使用；

（2） 基于多跳推理的方法在知識圖譜推理過程中，往往不考慮圖譜中的時序信息，因此該方法忽略了時序信息在推理過程中所帶來的增益，限制其在小樣本關系推理上的應用；

（3） 對于小樣本關系下時序知識圖譜推理的研究尚不成熟，評價標準也不完善，對推理路徑的長度也沒有統一的度量指標。

鑒于以上分析，本文結合實體關系中的時序信息和小樣本關系的特點，提出了一種適用于小樣本關系下融合時序信息的知識圖譜推理的策略。

2 模型設計

本文設計了一種適用于小樣本關系時序知識圖譜推理的FastRS-Path模型，該模型設計主要包括多跳推理設計、策略網絡設計和元學習設計。如圖1所示是FastRS-Path模型的結構，主要由路徑推理、策略網絡和回報函數構成，圖中{es， e1， ...， et}表示智能體能夠找到目標實體的多跳路徑，{τ0|r0， τ1|r1， ...， τt|rt}表示在時序τ下的實體關系r，{h0， h1， ...， ht}表示在{τ0|r0， τ1|r1， ...， τt|rt}下LSTM的隱藏狀態。

2.1 多跳推理

在對時序知識圖譜表示時，本文將圖譜定義為有向圖G=（V， E， R， Γ），其中V和E分別表示圖譜頂點和邊的集合。通過POMDP對部分可觀測環境規劃問題進行系統建模，使用六元組{S， A， T， R， O， Ω}表示POMDP模型，其中S表示所有連續狀態空間，O表示未觀測到的狀態空間，A表示所有行為的集合，T表示概率轉移矩陣，R表示觀測點上對應行為的回報，Ω表示觀測點轉移后被觀測到的概率。具體地，POMDP的每個組成部分解釋如下：

（1）狀態S：狀態s∈S表示為s=（， es， r， et， τ），其中，表示當前到達的實體，es和et分別為源實體和目標實體，r表示es和et在τ時刻的關系。

（2）觀測O：環境是不可觀測的，只轉移其當前位置和任務。觀測函數定義為O（S=（， es， r， e0， τ））=（et， es， r， τ）。

（3）行為A：行為空間被定義為狀態s下可能的關系和時序點的集合，由狀態s下圖譜中頂點的所有出方向的邊組成。形式上，，其中v是一個臨時實體。在時序τc中，每個狀態下的智能體從多個出邊中選擇rc并到達臨時實體v，且智能體在推理路徑上所走的步數小于給定長度。

（4）轉換T：根據智能體選擇的邊，環境將當前狀態更新為新狀態。狀態轉移函數定義為δ（s， A）=（v， es， r， et， τ），其中s表示狀態，A表示智能體選擇的行為空間。

（5）回報R：在時序圖譜推理路徑中，智能體傾向于選擇重復的推理路徑。為了鼓勵智能體盡可能地探索有效路徑，本文提出了一種新的回報函數（如圖2所示），該函數對基礎回報Rb進行修正，通過引入輔助回報δ來降低推理路徑的整體回報，提高發現新實體的可能性，如式（1）和式（2）所示。

（1）

（2）

式中：δ（x）是sigmoid函數；D表示所有可觀測的四元組；函數f表示兩實體間的推理路徑；本文引入線性參數λ和μ用于調整回報修正的強度，且λ， μ∈[0， 1]。

2.2 策略網絡

在時序知識圖譜中，每個實體通過不同的邊連接多個實體，給定一組時序關系（et， r， et， τ），對于任一實體對（es， eo）有P={p1， p2， ...， pm}為es到eo的所有多跳路徑，其中，pm表示實體對（es， eo）下的一條具體路徑。一般地，，其中“：”表示向量拼接。在小樣本關系中，推理路徑長度一般不超過6，即k≤6。策略網絡結構如圖3所示。在LSTM中，智能體將歷史行為和觀測序列Ht編碼為連續的向量ht∈R2d，其中觀測序列，歷史路徑向量表示為ht，LSTM動態更新如式（3）所示。

（3）

式中：as表示起始實體es的行為；os表示起始時刻的觀測；at-1=（rt-1， τt-1）表示t-1時刻的行為向量，主要包含了實體關系和時序的向量表示；ot表示在t時刻的觀測向量。

基于當前觀測ot和當前歷史向量ht，網絡選擇關系和時序作為所有行為的輸出。該神經網絡為兩層前饋網絡，并且每層后接一個修正非線性層（ReLU）。輸出是一個行為向量，該向量由來自當前實體上所有可能的行為構成，并使用Softmax函數進行規范化，策略網絡定義如式（4）所示。

（4）

式中：W1和W2是兩層前饋神經網絡的權重矩陣；ot和ht是t時刻的觀測向量和歷史向量。

2.3 元學習

如圖4所示，模型在高頻學習中捕獲一般任務下的初始化參數θ*，當接觸到新任務Tr時，模型的參數就會適應地調整為θ*r，即利用以往的知識經驗來指導新任務的學習[2]。高頻學習所捕獲的元信息就是一般關系的初始化參數，對于小樣本關系r1、r2、r3可以快速適應得到參數θ*r1、θ*r2、θ*r3。

在推理任務Tr上，本文分別使用單任務和多任務梯度下降方法更新特定關系參數θ*r和θ。具體地，在更新參數θ*r時，本文使用單任務梯度下降方法計算獲取，如式（5）所示：

（5）

式中：Ds是從屬于Tr的四元組中隨機采樣得到的訓練集；α表示學習速率。在學習特定關系參數θ*r后，本文在數據集DQ上評估，根據評估的梯度來更新策略網絡。在更新參數θ時，本文采用多任務梯度下降方法計算獲取，如式（6）所示：

（6）

式中：DQ是從屬于Tr中隨機采樣得到的訓練集；β為學習速率。

2.4 訓練

時序知識圖譜推理模型的訓練過程是智能體和環境迭代的過程。其中，環境用來存放訓練過程中所有的向量，包括實體向量、關系向量、時序向量等。如圖5所示，給定一個缺省四元組（e， r， ？， τ），使用當前向量初始化狀態S1，通過觀測函數計算出觀測值O1，智能體獲取到觀測值后，通過策略網絡計算出行為A1，并將行為傳給環境。在這個過程中，狀態S1轉換到狀態S2后，智能體將返回這條推理路徑的回報，重復執行該過程就實現了環境和智能體的迭代。最后，通過式（1）和式（2）獲得整條路徑的回報值。

在對策略網絡優化時，本文采用梯度上升的訓練方法，即與梯度下降相反的訓練方法。區別在于梯度下降是最小化損失，而梯度上升是最大化回報，如式（7）所示。

（7）

式中：J（θ）表示完整周期下的回報；A表示行為空間；E表示訓練數據集的經驗平均值；RSt， At表示t時刻狀態S中行為A的整體回報。

（8）

（9）

（10）

式（8）～（10）用于更新策略網絡的近似梯度，對序列上的每個時間位置t，使用梯度上升方法更新策略函數的參數，a表示訓練步長。在訓練過程中，通過向模型輸入缺省四元組（e， r， ？， τ），實現智能體和環境之間的迭代。在每一輪學習中，模型將初始化狀態向量和每輪學習時長，通過當前的狀態向量來獲得觀測向量，并將前一輪學習的歷史路徑向量定義為ht-1，前一輪學習中的行為向量定義為at-1。然后，設置每一輪學習長度的上限為max_length，在長度上限max_length內，智能體將通過策略網絡來獲得下一個行為向量，從而使環境到達下一個狀態，并通過獎勵函數對路徑推理進行獎勵。

3 實驗結果與分析

3.1 數據集

實驗過程中，本文選擇兩個時間數據集對FastRS-Path模型進行評估，分別是綜合危機預警系統（ICEWS）和全球事件、語言和語氣數據庫（GDELT）。其中，ICEWS記錄了包含事件發生時間、事件參與實體等58個字段；GDELT記錄了包含事件發生時間、事件參與實體等61個字段。為了對比不同樣本關系下的模型性能，實驗分別從ICEWS和GDELT數據集中選擇常規關系數據集和小樣本關系數據集。表1中分別給出了常規關系和小樣本關系的統計數據。

對于每一個數據集，本文通過構建逆向四元組來表示逆向關系，將帶有逆向關系的四元組添加入訓練數據集，通過逆向關系來提升推理路徑的性能。在具體評估過程中，本文分別對兩個原始數據集的關系進行排序，通過構建top-n關系的子集作為推理任務。在測試數據集中，本文也同樣生成一些逆向四元組，在測試過程中評估推理任務。

3.2 基線方法

在模型對比評估時，本文將以下三種推理方法作為基線，分別是TTransE[11]、TA-TransE[12]和TA-DistMult[9]。在數據集ICEWS和GDELT上，通過比較評價指標的數據值來評估FastRS-Path模型的性能。實驗選擇Hits@n和MRR作為模型性能的評價指標，數值越大表明模型的效果越好。其中MRR是一個國際上通用的對于知識圖譜補全任務進行評價的機制；Hits@n則是表示正確實體出現在前n個結果中的比例，即n命中率，一般選擇n=1， 3， 10。對每個模型，本文計算驗證集采樣中單個小批量回報，然后只對回報最高的模型進行訓練。

3.3 結果分析

在數據集ICEWS（normal）和GDELT（normal）上，本文選擇常規數據集來測試FastRS-Path模型，使用Hits@1/3/10和MRR作為實驗結果的評價指標。實驗結果見表2所列，本文提出的模型在Hits@1和MRR上的指標均超過其他模型，效果提升7.4%左右，但仍然存在評價值低于基線方法的情況，例如：ICEWS（normal）數據集上，FastRS-Path模型在Hits@3上的值低于TA-DistMult下的評價值。實驗結果中雖然存在部分Hits@n值略低于基線方法的值，但這并不影響該模型的可靠性。因此本文提出的模型在時序知識圖譜推理任務中具有一定的可行性，且時序信息在多跳路徑推理中起著關鍵作用。

在數據集ICEWS（few-shot）和GDELT（few-shot）上，本文選擇小樣本關系數據集來分析FastRS-Path模型，以常規數據集上最優的基線方法—TA-DistMult模型作對比，使用Hits@1和MRR作為實驗結果的評價指標，通過調整小樣本關系閾值K來觀測實驗結果的變化。實驗中本文設定閾值K的大小分別為K=1， 3， 10， max，實驗結果見表3所列。在小樣本關系中，FastRS-Path模型的MMR和Hits@1評價得分在各個閾值下均高于TA-DistMult模型。因此，本文提出的模型性能對閾值K不敏感，具有更好的魯棒性，能夠提高小樣本關系數據集中路徑推理的性能。

為了進一步分析FastRS-Path在小樣本關系數據集上的性能，本文通過調整推理路徑的長度來分析該模型的有效性。從圖6中可以觀察到：當路徑的長度為3時，模型的效果顯著優于其他路徑長度；當路徑長度小于3時，模型的性能幾乎為0；當路徑長度大于3時，模型的性能逐漸降低。

因此，本文推測：在路徑長度較小時，實體之間的時序信息較少，不能完整地發揮出時序在推理任務中的作用；而當路徑較長時，推理過程變得復雜，所以性能有所下降，但是仍然優于其他模型。

4 結 語

本文結合實體關系中的時序信息和小樣本關系的特點，提出了一種融合時序信息和小樣本關系的知識圖譜推理的FastRS-Path模型。該模型把時序信息作為一個新的維度引入，將知識圖譜的三元組表示擴展到四元組表示，在時序信息的參與下提高了推理路徑的準確性。除此之外，為了提高模型在小樣本關系中的泛化能力，FastRS-Path模型采用元學習從高頻關系中學習元參數來適應小樣本關系。同時，在FastRS-Path模型中提出新的回報函數，利用LSTM從環境中捕獲觀測結果，并通過該回報函數向環境輸出關系向量與時序向量，減少了重復路徑的選擇。實驗表明，FastRS-Path模型在時序知識圖譜推理任務中具有一定的效果，在小樣本關系的推理任務中性能較為顯著。

參考文獻

[1] JI S，PAN S，CAMBRIA E，et al. A survey on knowledge graphs：representation，acquisition，and applications [J]. IEEE transactions on neural networks and learning systems，2021，33（2）：494-514.

[2] LEBLAY J， CHEKOL M W . Deriving validity time in knowledge graph [C]// Companion Proceedings of the Web Conference. Republic and Canton of Geneva，CHE：International World Wide Web Conferences Steering Committee，2018：1771-1776.

[3] LIN Y，LIU Z，SUN M，et al. Learning entity and relation embeddings for knowledge graph completion [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]：AAAI，2015.

[4] TRIVEDI R，DAI H，WANG Y，et al. Know-evolve：deep temporal reasoning for dynamic knowledge graphs [C]// Proceedings of the 34th International Conference on Machine Learning. Sydney，NSW，Australia：JMLR.org，2017：3462-3471.

[5] GARCíA-DURáN A，DUMAN?I? S，NIEPERT M. Learning sequence encoders for temporal knowledge graph completion [EB/OL]. （2018-09-10）. https：//doi.org/10.48550/arXiv.1809.03202.

[6] JIN W，ZHANG C，SZEKELY P，et al. Recurrent event network for reasoning over temporal knowledge graphs [EB/OL]. [2023-04-28]. https：//arxiv.org/abs/1904.05530v1.

[7] DAS R，DHULIAWALA S，ZAHEER M，et al. Go for a walk and arrive at the answer：reasoning over paths in knowledge bases using reinforcement learning [EB/OL]. [2023-04-28].http：//arxiv.org/abs/1711.05851.

[8] WANG H，LI S，PAN R，et al. Incorporating graph attention mechanism into knowledge graph reasoning based on deep reinforcement learning [C]// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing （EMNLP-IJCNLP）. [S.l.]：[s.n.]，2019：2623-2631.

[9] BAI L，YU W，CHEN M，et al. Multi-hop reasoning over paths in temporal knowledge graphs using reinforcement learning [J]. Applied soft computing，2021，103（1）：375-391.

[10] HOSPEDALES T，ANTONIOU A，MICAELLI P，et al. Meta-learning in neural networks：a survey [J]. IEEE transactions on pattern analysis and machine intelligence，2021，44（9）：5149-5169.

[11] ZHU C，CHEN M，FAN C，et al. Learning from history：modeling temporal knowledge graphs with sequential copy-generation networks [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]：AAAI，2021：4732-4740.

[12] CHENG S Y，HUANG S H，YIN J. Recommendation model based on knowledge graph and recurrent neural network [J]. Journal of Chinese computer systems，2020，41（8）：1670-1675.

作者簡介：邵亞麗（1991—），女，本科，助教，研究方向為人工智能。

何曉昀（1978—），男，碩士，副教授，研究方向為人工智能、機器視覺。

收稿日期：2023-04-28 修回日期：2023-05-25

基金項目：廣東理工學院科技創新項目（2022GKJZK007）；廣東理工學院質量工程項目（2020-19）；廣東理工學院質量工程（JXGG202116）；廣東理工學院科技創新團隊項目（2021GKJTD001）