基于實體活躍度及復制生成的時序知識圖譜推理

收稿日期：2021-11-15；修回日期：2022-01-05

基金項目：國家自然科學基金資助項目（61806072）；天津市自然科學基金資助項目（19JCZDJC40000）；河北省高等學校科學技術研究項目（QN2021213）；河北省自然科學基金資助項目（F2020202008）

作者簡介：劉恩海（1965-），男，河北冀州人，副教授，主要研究方向為人工智能、計算機網絡；楚航（1997-），男，河南南陽人，碩士研究生，主要研究方向為智能信息處理、知識圖譜；王利琴（1980-），女，河北張北人，實驗師，博士，主要研究方向為智能信息處理、知識圖譜（wangliqin@scse.hebut.edu.cn）；董永峰（1977-），男，河北定州人，教授，博士，主要研究方向為人工智能、知識圖譜.

摘 要：現有時序知識圖譜推理主要是基于靜態知識圖譜的推理方法，通過知識圖譜的結構特征挖掘潛在的語義信息和關系特征，忽略了實體時序信息的重要性，因此提出一種基于實體活躍度及復制生成機制的時序知識圖譜推理方法（EACG）。首先，通過改進的圖卷積神經網絡對多關系實體建模，有效挖掘知識圖譜的潛在語義信息和結構特征。其次，時序編碼器基于實體活躍度學習實體的時序特征。最后，使用復制生成機制進一步學習知識圖譜的歷史信息，提升對時序數據建模的能力。在時序知識圖譜數據集ICEWS14、ICEWS05-15、GDELT上推理的實驗結果表明，EACG在MRR評估指標中分別優于次優方法2%、10%和5%。

關鍵詞：知識圖譜； 推理； 時序； 圖卷積神經網絡； 門控循環單元

中圖分類號：TP391"" 文獻標志碼：A

文章編號：1001-3695（2022）06-023-1737-05

doi：10.19734/j.issn.1001-3695.2021.11.0611

Temporal knowledge graph prediction based on entities activity and copy generation

Liu Enhai1，2，3， Chu Hang1， Wang Liqin1，2，3， Dong Yongfeng1，2，3

（1.School of Artificial Intelligence amp; Data Science， Hebei University of Technology， Tianjin 300401， China; 2.Hebei Key Laboratory of Big Data Computing， Tianjin 300401， China; 3.Hebei Engineering Research Center of Data-Driven Industrial Intelligent， Tianjin 300401， China）

Abstract：The existing temporal knowledge graph reasoning methods were mainly based on static knowledge graph reasoning methods. These methods utilized the structural features of knowledge graphs to mine potential semantic information and relationship features， ignoring the importance of entity temporal information. Therefore， this paper proposed an based entity activity and copy generation （EACG） temporal knowledge graph reasoning method. Firstly， this paper employed an improved graph convolutional network to model multi-relational entities， effectively mining the latent semantic information and structural features of knowledge graphs. Next， this paper utilized the temporal encoder to learn the temporal characteristics of entities based on the activity of entities. Finally， this paper used the copy generation mechanism to further learn the historical information of know-ledge graphs and improve the ability to model temporal data. The experimental results of reasoning on temporal knowledge graph datasets ICEWS14， ICEWS05-15， and GDELT show that EACG outperforms the sub-optimal method by 2%， 10% and 5% respectively in the MRR evaluation index.

Key words：knowledge graph; prediction; temporal; graph convolutional network （GCN）; gated recurrent unit （GRU）

0 引言

知識圖譜推理已廣泛應用于社交網絡［1］、智能問答［2］、生物網絡［3］等領域。在實際應用中，知識圖譜隨著時間的推移不斷發生變化，實體和關系可能會消失或新增。例如，知識圖譜中存在四元組（馬云，創立，阿里巴巴，1999/09/09）以及（彭蕾，創立，阿里巴巴，1999/09/09），但同時也存在大量缺失關系的四元組，例如（馬云，？，彭蕾，1999/09/09）。目前大部分研究工作集中于靜態知識圖譜推理［4，5］，通過學習知識圖譜的靜態拓撲結構，難以有效地利用時間信息，無法適用于時序知識圖譜推理。近年來，由于研究人員對時序知識圖譜推理的廣泛關注，時序知識圖譜推理取得了很大的發展，相關文獻陸續發表，本文將時序知識圖譜推理分為基于時間點過程的推理［6， 7］、基于時間步的推理［8， 9］和基于動態網絡的推理［10， 11］。以Know-Evolve［6］、DyRep［7］為代表的基于時間點過程的推理，將時序知識圖譜中連續時間內發生的事件建模，可以精確推理事件發生的時間點。然而基于時間點過程的推理模型專注于事件在時間序列上的變化，忽略了對知識圖譜局部和全局結構特征的提取，且基于時間點過程的推理模型在單個時間步中獨立地處理事件，難以有效挖掘鄰域實體潛在的重要信息。

基于時間步的推理模型將知識圖譜劃分為不同的時間步，分別學習知識圖譜不同時間步的語義信息，再結合時間序列模型進行推理分析。然而，對于缺失時間步信息的事件，基于時間步的推理模型難以有效學習并推理，真實的場景中有許多四元組缺失時間步信息。且基于時間步的推理模型通過時間序列預測模型學習不同時間步的知識圖譜嵌入后，生成固定的實體嵌入用于推理，在推理不同時間步的事件時均使用這個固定的實體嵌入。但是發生在不同時間步的事件存在著不同的結構特征，因此難以有效地利用事件發生時間步的知識圖譜拓撲結構特征。基于動態網絡的推理模型僅僅通過學習實體嵌入進行推理，一些學者直接將動態網絡模型應用在時序知識圖譜中，而知識圖譜中連接實體的關系包含了重要的語義信息，忽略對關系嵌入的學習將導致推理精度下降。

由于上述存在的問題，本文提出基于實體活躍度及復制生成機制的時序知識圖譜推理模型EACG（entity activity and copy generation）。為了克服基于時間步的推理模型難以學習缺失時間步事件的缺點，EACG基于時間感知復制生成機制學習已知事件。同時，為了有效學習知識圖譜的時序特征，EACG在學習知識圖譜拓撲結構后，基于實體活躍度對不同時間步中實體權重進行調整，并結合復制模塊的結果進行進一步的推理。相比于上述時序知識圖譜模型，EACG模型可以對頭尾實體之間存在多個關系的事件進行建模，能夠有效學習實體和關系嵌入以捕獲實體和關系的潛在特征，推理未來新增或消失的事件。

1 相關研究

自2012年Google提出知識圖譜概念以來，知識推理作為知識圖譜的重要組成部分引發了廣泛關注，有許多研究者提出了有效的方法提高推理的精度，現有的大多數研究是針對靜態知識圖譜的推理。例如Trans系列的翻譯模型TransE、TransH等，張量分解模型DistMult、ComplEx和SimplE等。TransE［12］模型將實體和關系嵌入到低維向量空間中，將頭實體向量與關系向量做向量加法翻譯為尾實體，TransE還具有訓練速度快、易于實現等優點，但是不能解決多對一和一對多關系的問題，且TransE在訓練模型時為了滿足三角閉包關系，訓練出來的頭實體向量會很相似。TransH［13］為了解決上述問題，不再嚴格要求三元組滿足三角閉包關系，只需滿足頭實體和尾實體在關系平面上的投影在一條直線上即可，在保證算法效率的同時提高了推理的準確率。DistMult［14］用矩陣表示關系，將頭實體通過線性變換映射尾實體。ComplEx［15］通過復值嵌入擴展DistMult，可以有效地對非對稱關系進行建模。SimplE［16］利用關系的逆在三元組得分函數中加上了一個對稱項，為每個實體和關系分配兩個向量分別進行學習，在實驗中展現了良好的性能。

近年來，一些研究者嘗試把時序信息加入到知識圖譜推理中，如HyTE、AtiSE、TeRo、DE系列模型，使推理方法更加契合真實的應用場景。HyTE［9］（hyperplane-based temporally aware KG embedding）將知識圖譜按時間戳劃分為不同的超平面，將實體和關系映射到超平面上。HyTE即整合了時間維度信息，又通過超平面解決了實體間多關系難以推理的問題。AtiSE［17］針對實體和關系的時間序列進行分析，通過將實體和關系映射到高維的高斯空間中獲取時序和結構特征。TeRo［18］將實體嵌入的時間演化定義為在復向量空間中從初始時間到當前時間的旋轉，對于存在時間間隔的事件，事件中的關系表示為兩個嵌入向量，分別處理關系的開始和結束。DE系列模型［19］在靜態推理方法的基礎上將實體嵌入融入時間步信息，通過實驗證明了DE-TransE、DE-DistMult和De-SimplE等系列模型相比于靜態方法能夠充分挖掘潛在的時序特征，對于后續時序知識圖譜推理方法具有較重要的參考意義。

上述推理方法主要通過學習實體和關系嵌入進行知識圖譜推理，然而，如果知識圖譜的網絡結構在演化的過程中發生改變，僅僅學習實體和關系的嵌入難以有效的推理。DyRep不再學習節點的固定表示，而是學習節點的表示方法，即使知識圖譜的網絡結構發生變化，也可以快速得到新的實體嵌入。DyRep通過對連續時間內發生的事件進行建模，結合注意力機制調整鄰居節點權重，根據新發生的事件不斷更新實體嵌入，從而有效捕獲知識圖譜的時序信息。此外，DySAT［20］（dynamic self-attention network）還使用無監督學習算法推理未來新增的節點。DySAT首先分別捕獲每個時間步知識圖譜的結構特征，然后對不同時間步中實體嵌入做向量加法，通過得分函數進行推理。然而，此類模型對相同時間步發生的事件建模能力較差，且在學習時序信息時會丟失實體和關系的初始信息。

為了有效獲取實體領域特征和時序特征，基于圖卷積神經網絡和循環神經網絡的模型相繼被提出。EvolveGCN［21］（evolving graph convolutional networks）通過GCN得到知識圖譜的結構特征，通過循環神經網絡捕獲知識圖譜的演化信息，進一步提高了時序知識圖譜推理的精度。GCRN［22］（graph convolutional recurrent network）結合卷積神經網絡（convolutional neural networks，CNN）和循環神經網絡（recurrent neural network，RNN）學習知識圖譜的結構和時序特征。GN［23］（graph networks）和RRN［24］通過不同時間步的信息傳遞更新實體嵌入。DDNE［25］（deep dynamic network embedding）首先使用門控循環單元（gated recurrent unit，GRU）學習實體的時序特征，再根據實體鄰域信息得到實體的最終嵌入向量。但是這些模型都忽略了知識圖譜的關系特征，難以進行有效的推理。

為了有效學習事件的時間信息以及圖譜中潛在的關系特征，Jin等人［26］在基于神經網絡的知識推理模型RGCN的基礎上提出了循環事件網絡（recurrent event network，RE-NET）模型，一種用于對多關系知識圖譜的時間序列進行建模的自回歸體系結構，可以根據知識圖譜歷史的時間序列和全局的結構信息預測新發生的事件。該模型通過RGCN學習實體的局部結構特征，使用循環事件編碼器對事件序列進行時間條件聯合概率分布建模，從而推斷未來知識圖譜的拓撲結構。然而，RE-NET在推理不同時間步的事件時使用相同的實體嵌入，未能動態計算出事件發生時間步相應的實體嵌入，對時序信息的融合存在一定的局限性。

2 基于實體活躍度及復制生成的時序知識圖譜推理

時序知識圖譜是在靜態知識圖譜中加入時間標簽。給定時間步長為N的時序知識圖譜{GT－N，Gt－N+1，…，GT}，定義一組實體集合E以及一組關系集合R，事件定義為四元組的形式：（頭實體，關系，尾實體，時間），用符號表示為（s，r，o，t）。其中實體s、o屬于集合E中的元素，r屬于集合R中的元素，t表示該事件發生的時間步，t∈［T－N，T］。知識圖譜推理包含實體推理和關系推理。實體推理是對四元組中缺失的實體進行推理，例如給定一個不完整四元組（s，r，？，t），模型通過對所有實體進行評估并推理。關系推理是對缺失關系的四元組（s，？，o，t）進行推理，預測頭實體和尾實體之間可能存在的關系。時序知識圖譜推理其實可以看成實體之間在時間序列上的交互過程，在不同時間步發生的事件可能存在較強的依賴關系。

為了獲取事件在相同時間步和不同時間步的依賴關系， EACG分為生成模塊、復制模塊和解碼器三部分，EACG框架如圖1所示。生成模塊首先使用結構編碼器RGCN捕獲知識圖譜每一個時間步的拓撲結構，挖掘實體和關系的潛在關系并生成實體嵌入向量xi，t。再通過時序編碼器GRU學習知識圖譜在不同時間步中實體的嵌入向量，并根據實體在不同時間步的活躍度調整實體的權重，生成包含結構和時序特征的實體嵌入向量zi，t。為了學習知識圖譜中實體出現的規律，同時避免生成模塊丟失實體的初始特征，復制模塊對實體在歷史時間步中出現的頻率進行統計學習，生成語義更加豐富的實體嵌入i，t。最后，通過解碼器進行推理并生成推理結果。

2.1 生成模塊

生成模塊是EACG的重要組成部分，主要用于學習知識圖譜的拓撲結構并挖掘潛在的結構和時序特征，獲取代表實體和關系含義的有效嵌入向量。首先通過結構編碼器RGCN對實體的鄰域進行卷積操作，捕獲實體鄰域語義信息和潛在關系，有效獲取知識圖譜實體鄰域的局部結構特征，計算出實體嵌入向量xi，t。其次，時序編碼器通過實體活躍度更新實體在不同時間步的權重，有助于深入學習實體的時序特征，再使用GRU學習實體和關系嵌入的時間序列信息，將實體嵌入向量xi，t更新為zi，t。

2.1.1 結構編碼器

結構編碼器基于圖的拓撲結構生成知識圖譜在每個時間步的實體嵌入，是生成模塊的重要組成部分。本文使用靜態知識圖譜推理模型RGCN［27］作為結構編碼器。RGCN使用GCN對局部鄰居信息進行聚合得到實體的表示信息，通過優化交叉熵損失函數學習參數。同時，RGCN使用參數共享和稀疏約束的技術，適用于處理具有高度多關系數據特征的知識圖譜，能夠在大規模關系數據上擴展、傳遞消息，如式（1）（2）所示。

h（0）i，t=W0ui，t∈0，…，T（1）

h（l+1）i，t=σ∑r∈R∑j∈Nri1|Nri|W（l）rhlj，t+W（l）shli，t（2）

其中：ui表示實體ei的獨熱向量；W0為實體嵌入矩陣;W（l）r和W（l）s分別表示第L層的轉置矩陣;Nri表示與實體ei以關系r相連接的實體;在經過L層的消息傳遞后，使用xi，t=hLi，t表示實體ei在結構編碼器中的結果。

2.1.2 時序編碼器

實體活躍度是指實體在時序知識圖譜不同時間步中的活躍程度。在步長為T的時序知識圖譜中，某一實體共在M（0≤M≤T）個時間步中出現，則該實體的活躍度δ∝M/T。例如在時序知識圖譜中，實體當前出現的時間步與實體上一次出現的時間步的間隔越小，則實體在當前時間步的活躍度越高，間隔越大，實體在當前時間步的活躍度越低。時序編碼器的目標是整合實體在不同時間步的嵌入向量，根據實體活躍度計算得出實體的最終嵌入向量。時序編碼器首先根據實體活躍度調整實體權重，再將知識圖譜在各個時間步的實體嵌入矩陣作為GRU的輸入，得到知識圖譜最終的實體嵌入矩陣。時序編碼器在結構編碼器的基礎上，有效獲取知識圖譜時序特征，從而進一步提高推理精度。對于在時間步t失活的實體ei，實體ei在時間步t的嵌入信息不會被更新，然而GRU會把實體ei舊的嵌入向量作為新的嵌入向量學習。為了有效學習時序特征，需要降低失活實體嵌入向量的權重，具體的權重調整策略如下：

γi，t=exp－max0，λ1log（t－t－）+b（3）

其中：t表示當前時間步;t－表示實體上次出現的時間步;γi，t表示實體ei在t時間步的權重;λ和b為γi，t的參數。

GRU是傳統RNN的變體，與長短期記憶網絡（long short-term memory，LSTM）一樣能夠有效捕捉長序列之間的語義關聯，但是它的結構和計算要比LSTM更簡單。GRU的核心是重置門和更新門，重置門決定了如何將新的輸入信息與前面的記憶相結合，更新門定義了前面記憶保存到當前時間步的量。使用GRU獲取實體的時序信息，如式（4）所示，表示實體在時序編碼器中的輸出結果。

zi，t=GRU（γi，T－Nxi，T－N，γi，T－N+1xi，T－N+1，…，γi，Txi，T）（4）

2.2 復制模塊

復制生成的思想來源于人類在閱讀文章后進行總結時，除了自己會生成一些概括性的語句之外，還會從文章中摘抄一些核心的句子，總結的過程包含理解生成和復制摘抄兩個部分。Gu等人［28］在2016年首次提出復制機制并應用在自然語言生成（natural language generation，NLG）中，通過復制模塊對語句中詞匯的頻率進行整理歸納且記錄詞匯在語句中出現的位置，在推理的過程中結合復制模塊進行推理，實驗證明了該方法在文本處理任務中優于基于RNN的推理模型。

在時序知識推理任務中，對圖譜歷史信息進行統計學習有助于提升推理的準確率。例如，當需要推理四元組（？，奧運會乒乓球男子團體，冠軍，2021）時，對使得該四元組成立的頭實體進行學習統計，統計結果發現四元組（？，奧運會乒乓球男子團體，冠軍，t）自1988年至2016年共出現八次，頭實體均為“中國隊”。那么，四元組（？，奧運會乒乓球男子團體，冠軍，2021）頭實體為“中國隊”的概率較大。因此，通過深度學習模型提取圖譜的結構和時序特征后，結合圖譜歷史信息的統計結果，能夠輔助時序知識圖譜的推理任務。

CyGNet［29］將復制機制首次應用在時序知識圖譜推理中，通過研究時間步中實體重復出現的潛在現象，它結合復制和生成兩種推理模式，在學習推理未來事件時參考歷史中已知的事實，并通過實驗驗證了該推理方法的有效性。本文將通過復制機制進一步分析學習實體的歷史信息，充分利用已知事件推理未來的事件。例如，當需要推理四元組時（s，r，？，t），對實體在所有歷史時間步中出現的次數進行統計得到實體頻率向量f，接下來統計圖譜中忽略時間步后使得三元組（s，r，？）成立的實體得到向量fs，r。在推理的過程中，首先對實體在所有歷史時間步中出現的次數進行統計得到頻率向量F=［f，fs，r］，再使用多層感知機對向量F進行學習，最后通過softmax函數作歸一化處理得到概率向量，如下：

v=WF+b，p=softmax（v）（5）

其中：W∈Euclid Math TwoRApN×2N;b∈Euclid Math TwoRApN;v、p是N維向量;N表示知識圖譜中實體的數量。接下來，再通過獨熱向量計算出實體系數，結合結構編碼器和時序編碼器得到實體最終的嵌入向量，如下：

αi=pui，i，t=αixi，t+（1－αi）zi，t（6）

其中：ui表示實體ei的獨熱向量;αi表示實體ei在歷史時間步中出現的概率系數，取值為［0，1］。xi，t、zi，t分別表示實體ei在結構編碼器和時序編碼器中的計算結果，通過概率系數αi得到最終實體ei的向量i，t。

2.3 解碼器

對于給定的四元組，該四元組的得分可以通過實體s、關系r和實體o表示向量之間的多線性乘積得到。由于實數向量之間的點積計算是具有交換性的，所以以往的TransE系列模型、DistMult等模型不能很好地處理非對稱關系。但在實際的知識圖譜中，非對稱關系遠多于對稱關系。基于此，本文使用基于復數表示的方法，實體、關系向量均在復數空間中，非對稱元組根據不同的順序可以得到不同的分數，具體得分函數為

f（s，r，o，t）=Re（〈wr，es，o〉）=〈Re（wr），Re（es），Re（eo）〉+

〈Re（wr），Im（es），Im（eo）〉+〈Im（wr），Re（es），Im（eo）〉－

〈Im（wr），Im（es），Re（eo）〉（7）

其中：實體s、關系r和實體o的嵌入向量分別表示為es、wr和eo;o為eo的共軛復數;Re（wr）則表示關系r的實部;Im（wr）表示關系r的虛部。為了通過評分函數訓練模型，替換正樣本集合S中的尾實體構造負樣本集合S′={o′∣（s，r，o′，t）S}，損失函數公式為

L=－∑Tt=1∑η∈S（t）exp（f（s，r，o，t））∑o′∈S′（t）exp（f（s，r，o′，t））（8）

模型在訓練的過程中通過Adam算法優化目標函數，在迭代的過程中更新實體和關系嵌入向量。

算法1 EACG算法

輸入：步長為T的時序知識圖譜G={G1，G2，…，GT}；數量為N的實體集合E={e1，e2，…，eN}；實體上一次出現的時間步t－；λ和b為學習參數。

輸出：推理時序知識圖譜G={G1，G2，…，GT}中的四元組缺失的頭實體或尾實體。

1 for t in {1，…，T}

2" G′t（x1，t，x2，t，…，xN，t）←RGCN（Gt（e1，t，e2，t，…，eN，t））//結構特征提取

3 end for

4 for i in {1，…，N}

5" for t in {1，…，T}

6"" xi，t←exp{－max{0，λ/log（t－t－）+b}}//權重計算

7" end for

8" zi，t←GRU（γi，1xi，1，…，γi，Txi，T）//時序特征提取

9 end for

10 for i in {1，…，N}

11" αi←實體ei的概率系數計算式（5）（6）

12" it←αixi，t+（1－αi）zi，t//實體更新

13 end for

14 ei←推理缺失頭實體的四元組（？，r，e0，t）或缺失尾實體的四元組（es，r，？，t）

3 實驗過程及結果分析

3.1 數據集及評價標準

為了評估EACG模型，本文使用了兩種時序知識圖譜數據集：ICEWS（integrated crisis early warning system）［30］和GDELT（global database of events，language，and tone）［31］。這兩種數據集都包含時間步的事件如（s，r，o，t）。ICEWS是由BBN ACCENT事件編碼器自動從新聞文章中提取數據并加入時間信息生成的。在實驗中使用ICEWS的兩個子集ICEWS14、ICEWS05-15。ICEWS14數據集包含2014年1月至2014年12月中所有發生的事件。ICEWS05-15數據集包含2005年1月至2015年12月中所有發生的事件。GDELT數據集記錄全球范圍內發生的政治事件。這三個數據集都是每24 h記錄一次。數據集的統計信息如表1所示，其中訓練集、驗證集、測試集按照8∶1∶1的比例劃分。

實驗中采用平均倒數排名（mean reciprocal rank，MRR）、hits@1、hits@3和hits@10等指標進行評估。對缺少頭實體和" 尾實體的四元組進行推理，將推理結果按照降序排列。MRR表示正確實體在推理列表中排名倒數的平均數，計算如式（11）所示。hits@1、hits@3和hits@10分別表示推理結果命中前1/3/10的比例，計算如式（12）所示。

MRR=12×|Dtest|∑Tt=1∑τ=（s，r，o）∈D（t）test1rank（o|s，r，t）+1rank（s|r，o，t）（9）

其中：T表示時間步的總步數;|Dtest|表示測試集中元組的個數;在實驗中分別去除尾實體o、頭實體s進行推理;rank表示推理的排名。

hits@k=12×|Dtest|∑Tt=1∑τ=（s，r，o）∈D（t）test（I（rank（o|s，r，t）≤k）+

I（rank（s|r，o，t）≤k））（10）

其中：I是指示函數;k∈{1，3，10}。

3.2 實驗結果分析

在所有的數據集中對比現有靜態知識圖譜推理方法TransE、DistMult和SimplE，并對比現有時序知識圖譜推理方法HyTE、DE系列模型DE-TransE、DE-DistMult、DE-SimplE、AtiSE和TeRo。EACG參數設置如下：學習率為0.001，ICEWS14、ICEWS05-15、GDELT的批訓練大小分別為8、4、2，嵌入向量和隱藏層向量維度均為128，在RGCN中獲取兩跳鄰域信息。

表2給出了在ICEWS14、ICEWS05-15、GDELT數據集的實驗結果，AtiSE和TeRo模型的結果來自文獻［20，21］，其余對比模型的結果均來自文獻［22］。hits @ 1/3/10的值以百分比的形式表示，MRR的值乘以100。最優結果用粗體顯示。由表2可見，除在ICEWS14數據集中TeRo在hits@1評價標準上優于EACG外，EACG均優于其他方法。在MRR、hits@3和hits@10評估方法中EACG方法分別優于次優方法TeRo3%、7%、13%。在ICEWS05-15數據集上EACG方法在MRR、hits@1、hits@3和hits@10評價標準中分別優于次優方法TeRo 17%、19%、18%、15%。在GDELT數據集上EACG方法在MRR、hits@1、hits@3和hits@10評價標準中分別優于次優方法DE-SimplE 23%、42%、23%、11%，推理精度提升效果明顯。

實驗結果表明EACG在ICEWS05-15、GDELT數據集中的提升幅度大于ICEWS14數據集，這主要是因為ICEWS14數據集樣本量相對較少且時間步長較短，而EACG對于長時間序列數據具有良好的建模能力，且需要大量的訓練數據進行學習才能達到最優推理結果。另外，從實驗結果可以看出在ICEWS14和ICEWS05-15數據集上的推理結果整體優于在GDELT數據集上的推理結果，這是由于GDELT數據集實體、關系數量較少，但是關系網絡及其復雜，難以根據錯綜復雜的領域信息挖掘到真正有效的信息，導致推理精度相對較低。表2中，EACG在ICEWS14數據集中hits@1評價指標僅達到了次優結果。因為知識圖譜網絡的形成是一個復雜的過程，受到許多因素影響，難以設計一種模型在不同數據集的各項評價指標中均達到最優結果。TeRo在對不完整四元組推理的過程中，僅僅將候選實體的嵌入向量融合時間步信息，如果實體和時間步信息均正確，則正確的候選實體得分會較明顯地優于其他候選實體，因此TeRo在hits@1指標中表現更好。EACG模型在推理時將頭尾實體的嵌入向量都融合了時間步信息，與目標實體語義相近的實體得分都會有所提高，以及EACG引入實體活躍度和復制生成機制的思想，EACG在整體的推理精度上更優。圖2展示了EACG、SimplE和DE-TransE在ICEWS14數據集中每一個時間步的推理結果的MRR值。由圖2可以看出EACG的推理結果優于其他兩個模型。

3.3 消融實驗

為了研究EACG各個組件的重要性，進行了消融實驗。具體地，首先去除復制模塊，直接把時序編碼器中生成的嵌入向量作為解碼器的輸入，模型命名為-copy。接下來，去除了時序編碼器中的實體活躍度機制，即把不同時間步中實體的權重均設置為1，模型命名為-active。在ICEWS14數據集上進行消融實驗，結果如圖3所示，圖中對MRR的值乘以100，值為［0，100］。圖3表明EACG勝于這兩個消融模型，去除復制模型和實體活躍度機制將會對模型的性能產生重要影響。

4 結束語

現有時序知識圖譜方法大多針對時間信息進行單獨建模，缺乏對連續發生事件推理的能力。為了提升對時序信息建模的能力，本文首先通過RGCN和GRU分別獲取時序知識圖譜的結構特征和時序特征，基于時序編碼器優化實體嵌入向量，并通過復制機制進一步學習知識圖譜歷史信息。實驗表明，本文EACG模型在時序知識圖譜中可進一步提升推理的準確性，在靜態知識圖譜領域亦可作為參考。下一步研究將致力于修剪EACG模型，使其快速、精準地在大規模時序知識圖譜數據集中推理。除此之外，進一步探索EACG模型的可移植性，使其適用于動態網絡、節點分類等任務。

參考文獻：

[1]Hamidi M， Smarandache F. Single-valued neutrosophic directed （hyper） graphs and applications in networks［J］.Journal of Intelligent amp; Fuzzy Systems，2019，37（2）：2869-2885.

［2]Cai Hongyun， Zheng V W， Chang K C C. A comprehensive survey of graph embedding： problems， techniques， and applications［J］.IEEE Trans on Knowledge and Data Engineering，2018，30（9）：1616-1637.

［3]Cen Yukuo， Zou Xu， Zhang Jianwei， et al. Representation learning for attributed multiplex heterogeneous network［C］//Proc of the 25th ACM SIGKDD International Conference on Knowledge Discovery amp; Data Mining.New York：ACM Press，2019：1358-1368.

［4]鄶弘智，閆健卓，陳建輝.一種知識驅動的個性化文獻推薦方法［J］，計算機應用研究，2018，35（12）：3603-3608.（Kuai Hongzhi， Yan Jianzhuo， Chen Jianhui. Personalized literature recommendation method driven by knowledge［J］.Application Research of Compu-ters，2018，35（12）：3603-3608.）

［5]Wei Zhuoyu， Zhao Jun， Liu Kang， et al. Large-scale knowledge base completion： inferring via grounding network sampling over selected instances［C］//Proc of the 24th ACM International on Conference on Information and Knowledge Management.New York：ACM Press，2015：1331-1340.

［6]Trivedi R， Dai H， Wang Y， et al. Know-Evolve：deep temporal reasoning for dynamic knowledge graphs［C］//Proc of International Conference on Machine Learning.2017：3462-3471.

［7]Trivedi R， Farajtabar M， Biswal P， et al. DyRep：learning representations over dynamic graphs［C］//Proc of International Conference on Learning Representations.2019.

［8]Leblay J， Chekol M W. Deriving validity time in knowledge graph［C］//Proc of Web Conference.2018：1771-1776.

［9]Dasgupta S S， Ray S N， Talukdar P. HyTE： hyperplane-based temporally aware knowledge graph embedding［C］//Proc of Conference on Empirical Methods in Natural Language Processing.2018：2001-2011.

［10]Sankar A， Wu Y， Gou L， et al. Dynamic graph representation lear-ning via self-attention networks［EB/OL］.（2018）.https：//arxiv.org/abs/1812.09430.

［11]Goyal P， Kamra N， He Xinran， et al. DynGEM： deep embedding method for dynamic graphs［EB/OL］.（2018）.https：//arxiv.org/abs/1805.11273.

［12]Bordes A， Usunier N， Garcia-Duran A， et al. Translating embeddings for modeling multi-relational data［C］//Advances in Neural Information Processing Systems.2013.

［13]Wang Zhen， Zhang Jianwen， Feng Jianlin， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proc of AAAI Confe-rence on Artificial Intelligence.2014.

［14]Yang Bishan， Yih W， He Xiaodong， et al. Embedding entities and relations for learning and inference in knowledge bases［EB/OL］.（2014）.https：//arxiv.org/abs/1412.6575.

［15]Trouillon T， Welbl J， Riedel S， et al. Complex embeddings for simple link prediction［C］//Proc of International Conference on Machine Learning.2016.

［16]Kazemi S M， Poole D. Simple embedding for link prediction in know-ledge graphs［EB/OL］.（2018）.https：//arxiv.org/abs/1802.04868.

［17]Xu Chengjin， Nayyeri M， Alkhoury F， et al. Temporal knowledge graph embedding model based on additive time series decomposition［EB/OL］.（2019）.https：//arxiv.org/abs/1911.07893.

［18]Xu Chengjin， Nayyeri M， Alkhoury F， et al. TeRo： a time-aware knowledge graph embedding via temporal rotation［EB/OL］.（2020）.https：//arxiv.org/abs/2010.01029.

［19]Goel R， Kazemi S M， Brubaker M， et al. Diachronic embedding for temporal knowledge graph completion［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto， CA：AAAI Press，2020：3988-3995.

［20]Sankar A， Wu Y， Gou L， et al. DySAT： deep neural representation learning on dynamic graphs via self-attention networks［C］//Proc of the 13th International Conference on Web Search and Data Mining.2020：519-527.

［21]Pareja A， Domeniconi G， Chen Jie， et al. EvolveGCN： evolving graph convolutional networks for dynamic graphs［C］//Proc of AAAI Conference on Artificial Intelligence.Palo Alto， CA：AAAI Press，2020：5363-5370.

［22]Seo Y， Defferrard M， Vandergheynst P， et al. Structured sequence modeling with graph convolutional recurrent networks［C］//Proc of International Conference on Neural Information Processing.Cham：Springer，2018：362-373.

［23]Sanchez-Gonzalez A， Heess N， Springenberg J T， et al. Graph networks as learnable physics engines for inference and control［C］//Proc of International Conference on Machine Learning.2018：4470-4479.

［24]Palm R B， Paquet U， Winther O. Recurrent relational networks［EB/OL］.（2017）.https：//arxiv.org/abs/1711.08028.

［25]Li Taisong， Zhang Jiawei， Philip S Y， et al. Deep dynamic network embedding for link prediction［J］.IEEE Access，2018，6：29219-29230.

［26]Jin W， Qu Meng， Jin Xisen， et al. Recurrent event network： autoregressive structure inference over temporal knowledge graphs［EB/OL］.（2019）.https：//arxiv.org/abs/1904.05530.

［27]Schlichtkrull M， Kipf T N， Bloem P， et al. Modeling relational data with graph convolutional networks［C］//Proc of European Semantic Web Conference.Cham：Springer，2018：593-607.

［28]Gu Jiatao， Lu Zhengdong， Li Hang， et al. Incorporating copying mechanism in sequence-to-sequence learning［EB/OL］.（2016）.https：//arxiv.org/abs/ 1603. 06393.

［29]Zhu Cunchao， Chen Muhao， Fan Changjun， et al. Learning from history： modeling temporal knowledge graphs with sequential copy-generation networks ［EB/OL］. （2020）. https：//arxiv.org/abs/2012. 08492.

［30]García-Durán A， Dumancˇic＇ S， Niepert M. Learning sequence encoders for temporal knowledge graph completion［EB/OL］.（2018）.https：//arxiv.org/abs/1809.03202.

［31]Leetaru K， Schrodt P A. GDELT： global data on events， location， and tone， 1979—2012［C］//Proc of ISA Annual Convention.2013：1-49.