基于關系時間嵌入的時間知識表示學習

靳 州，楊振艦

（天津城建大學 計算機與信息工程學院，天津 300384）

知識圖譜（knowledge graph，KG）是結構化存儲知識的知識庫，通常采用三元組（頭實體，關系，尾實體）的形式描述現實世界的事實，例如三元組（奧巴馬，總統，美國），其中“奧巴馬”表示頭實體，“美國”表示尾實體，“總統”表示“奧巴馬”和“美國”之間的關系.

然而，知識圖譜是不完整的，需要基于已有事實進行補全和完善.受到表示學習的啟發，研究人員提出知識表示學習（knowledge representation learning，KRL），將知識圖譜映射到低維向量空間[1]，學習實體和關系的嵌入表示.知識表示學習緩解了數據稀疏性，實現了多源信息的融合，保留了知識圖譜的結構信息.

Goel等人提出歷時嵌入（diachronic embedding，DE），通過激活函數掩蓋部分嵌入權重，學習時間實體嵌入[2].DE是方法無關的，可擴展到任意靜態表示方法，且表現出先進的性能，本文圍繞DE展開研究工作.針對上述問題，本文提出了一種關系感知的時間嵌入（relation-aware temproal embedding，RTE）.本文的主要貢獻如下：

（1）本文提出一種關系感知的時間嵌入（relationaware temproal embedding，RTE），可擴展到任何靜態表示學習方法.

（2）本文提出一種高效的融合機制，耦合靜態特征和時間特征，并研究不同融合機制方案對RTE的影響.

（3）本文將RTE與DistMult和SimplE結合，提出RTE-DistMult和RTE-SimplE，在基準數據集上取得了先進的實驗結果.

近年來，知識表示學習受到高度關注，研究人員提出各種表示學習方法、學習實體和關系的嵌入表示，并通過評分函數判定事實元組是否有效[3].本文將相關工作劃分為靜態表示學習方法和時間表示學習方法.

靜態表示學習方法忽略了知識圖譜的時間屬性，時間表示學習方法利用時間信息擴展了靜態表示學習方法.García-Durán等人[4]通過字符LSTM組合關系時間戳擴展TransE DistMult.Goel等人通過掩蓋部分嵌入權重，學習歷時實體嵌入DE，擴展TransE、DistMult和SimplE.DE是方法無關的，可擴展任意靜態表示方法，且在基準上展現強大的性能.通過改進DE，本文提出一種新穎的時間嵌入表示，擴展現有的靜態表示方法.

1 研究方法

正確事實中的實體應該包含時間信息，通過給三元組標注時間戳或時間間隔，可獲得事實四元組.受到歷時嵌入DE的啟發，本文提出一種關系感知的時間嵌入（relation-aware temproal embedding，RTE）.

1.1 歷時嵌入DE

歷時嵌入DE按照維度劃分為靜態特征和時間特征，并利用激活函數和實體權重學習時間特征.使用表示DE，定義如下

其中，av和ωv，bv是實體相關的向量；σ是激活函數.的γd部分表示時間特征，（1-γ）d部分表示靜態特征.DE使用超參數γ控制時間特征的占比，限制了時間特征的表達.同時，DE的時間特征只使用了實體相關的權重，忽視了關系對時間實體嵌入的影響.

1.2 關系感知的時間嵌入RTE

本文提出一種關系感知的時間嵌入RTE.不同于DE的維度劃分，RTE學習了關系感知的時間特征，并使用zvs和zvt分別表示靜態特征和時間特征.RTE顯式建模zvs，定義如下

其中，vs是實體特定的向量.RTE引入關系權重，建模了關系與時間之間的潛在關聯，學習關系感知的時間特征zvt，定義如下

其中，vt，ωv和bt是實體相關的向量；ωr是關系特定的向量；σ是激活函數.類似DE，本文使用sin作為激活函數.本文提出一種簡單有效的融合機制，耦合靜態特征和時間特征，學習時間關系感知的時間嵌入zRTE，定義如下

本文通過實驗研究了各種融合方案對zRTE的影響.已有的時間表示學習方法通常利用時間信息僅擴展一個靜態表示學習方法，例如TTransE[5]和HyTE[6].RTE是方法無關的，可擴展任意的靜態嵌入方法（例如TransE，DistMult，SimplE）.

本文將時間嵌入RTE與DistMult和SimplE結合，提出RTE-DistMult和RTE-SimplE.

RTE-DistMult使用向量eRTE表示實體時間嵌入，對角矩陣Mr=diag（r）表示關系嵌入，定義如下評分函數

本文使用時間嵌入RTE替換DistMult和SimplE中的靜態嵌入，有效捕捉了頭尾實體在時間空間的潛在語義交互.

1.3 學習與訓練

知識圖譜中的事實被劃分為訓練集、驗證集和測試集.本文通過最小批隨機梯度下降算法學習方法參數.對于最小批B中的事實四元組，本文生成兩種查詢（v，r，?，t）和（?，r，u，t）.對于（v，r，?，t），生成候選集合C（f，v），對于（?，r，u，t），生成候選集合C（f，u）.然后，本文使用二分類交叉熵損失函數訓練方法的參數，定義如下

算法1展示了RTE方法的訓練過程.RTE模型采用Xavier[7]初始化方式，將實體和關系初始化為均勻分布的隨機向量.在算法的迭代循環過程中，首先對實體嵌入和關系嵌入進行歸一化，然后從知識圖譜訓練集中隨機抽取一小批次三元組作為訓練樣本，通過隨機替換訓練集中每個三元組的實體或關系，生成負三元組集合.集合由成對的正三元組和負三元組組成.最后，通過最小化損失函數，迭代更新實體嵌入和關系嵌入，直到算法在驗證集上性能收斂或達到最大迭代次數.

算法1 RTE模型訓練算法

2 結果與分析

本文在時間標記的標準數據集ICEWS14和ICWES05-15上進行鏈接預測實驗，與不同的基準方法進行比較，評估RTE-DistMult和RTE-SimplE的性能.

2.1 數據集

ICEWS14和ICEWS05-15是時間知識圖譜ICEWS的子集.ICEWS是一個包含時間戳和政治事件的知識庫.ICEWS提供從1995年到2015年發生的，由實體（例如國家、地區、總統）和關系（例如訪問、會面、談判）組成的政治事實.ICEWS14對應2014年的事實，ICEWS05-15對應2005年4月1日到2016年3月31日的事實.ICEWS14包含7 128個實體，230個關系，365個時間戳和90 730個三元組.ICEWS05-15包含10 488個實體，251個關系，4 017個時間戳和479 329個三元組.表1展示了數據集的統計信息.

表1 數據集的統計信息

2.2 基準

對比基準可分為靜態表示學習方法和時間表示學習方法.對于靜態表示學習方法，選擇TransE、DistMult和SimplE進行對比；對于時間表示學習方法，選擇TTransE、TA-DistMult、DE-DistMult和DESimplE進行對比.

2.3 評價指標

鏈接預測的目的是預測給定事實缺失的實體.為驗證RTE-DistMult和RTE-SimplE的性能，在ICEWS14和ICEW05-15數據集上進行鏈接預測實驗.按照TransE過程，對正確四元組進行負采樣，分別用于頭實體預測和尾實體預測.對于測試集中的每個四元組，使用實體集合中的所有實體替換頭實體或尾實體，構造候選四元組集合.然后，按照評分函數計算的得分降序排列候選四元組，存儲正確實體的排名，并按照評價指標計算實體的預測結果.考慮到候選四元組可能存在知識圖譜，按照TransE的設置，從候選四元組集合中，剔除存在訓練集、驗證集和測試集的候選四元組.為評估方法性能，選擇兩個標準指標：Mean Reciprocal Rank（MRR）和Hits at N（Hits@N）.MRR表示所有正確實體的平均倒數排名，Hit@N表示正確實體排在前n個預測實體中的比例.方法的鏈接預測性能越好，MRR越高或Hits@N越高.

2.4 實驗實現

本文使用Pytorch框架實現RTE-DistMult和RTESimplE，并在單個GPU上進行實驗.對于基準方法，引用原始論文中報告的實驗結果.根據方法在驗證集上的MRR指標，通過網格搜索尋找最佳超參數.本文將學習率lr設置為0.001，從{256，512，1024}中選擇批大小B，從{50，100，200，300，4005，00}中選擇維度d，從{1，5，10，20，50，100，200}中選擇訓練樣本的負采樣個數ne.在不同數據集上最佳的參數配置如下：在ICEWS14上，對于RTE-DistMult，B=512，d=500，ne=100，對于RTE-SimplE，B=512，d=500，ne=200；在ICEWS05-15上，對于RTE-DistMult，B=256，d=500，ne=100對于RTE-SimplE，B=256，d=500，ne=200.

2.5 結果分析

表2展示了RTE-DistMult和RTE-SimplE在基準數據集上的鏈接預測結果.從表2中可以看出：①RTE-DistMult明顯優于其他基于DistMult的基準TA-DistMult和DE-DistMult，RTE-SimplE優于基于SimplE的基準DE-SimplE，由此顯示了RTE相較于DE的優越性.②RTE-SimplE優于RTE-DistMult，證明SimplE具有較強的表現力.③RTE-SimplE在各個評價指標上取得先進的性能，進一步表明RTE的有效性.

表2 ICEWS14和ICEWS05-15數據集上的結果

本文在公式（2）中使用正切和正弦作為融合系數，為了研究不同融合方案對RTE的影響，進一步進行RTE變體的實驗.表3展示了RTE-DistMult的變體在ICEWS14上的實驗結果.從表3中可以看出：相較于其他融合方案（sigmoid，relu等[8]），tanh和sin的組合產生更好的性能，可能由于tanh對應于平滑的特征切換，可模擬實體的特征選擇，sin對應多個開關的特征切換，模擬時間的特征選擇（在某個時間開始并在某個時間結束）.

表3 RTE-DistMult的變體在ICEWS14數據集上的結果

圖1a和圖1b分別顯示了RTE-SimplE和DESimplE在ICEWS14數據集上的MRR值與維度和負采樣之間的關系.圖2a和圖2b分別顯示了RTEDistMult和DE-DistMult在ICEWS14數據集上的MRR值與維度和負采樣之間的關系.從圖1a和圖2a可以看出，隨著維度的增加，RTE-DistMult和DEDistMult的MRR指標迅速增大，逐漸趨于平穩，達到峰值后略有下降，性能的輕微下降可能是由于參數過多導致過擬合.從圖1b和圖2b可以看出，隨著負采樣值變大，MRR指標平穩增長至最大值.增大負采樣率可以在一定程度上提升方法的性能.圖1和圖2的結果表明RTE-DistMult始終優于DE-DistMult，RTE-SimplE始終優于DE-SimplE，驗證了RTE的有效性和優越性.

圖1 RTE-SimplE和DE-SimplE在ICEWS14數據集上的MRR值

圖2 RTE-DistMult和DE-DistMult在ICEWS14數據集上的MRR值

3 結論

本文提出一種關系感知的時間實體嵌入RTE，學習關系感知的時間特征，并通過一種簡單有效的融合機制耦合靜態特征和時間特征.RTE是方法無關的，可擴展到任何靜態知識表示學習方法.本文將RTE與DistMult和SimplE結合，提出RTE-DistMult和RTESimplE，并在基準數據集上設計了對比實驗.實驗結果驗證了RTE的有效性.