基于時(shí)序感知的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法

李鳳英，范偉豪

桂林電子科技大學(xué) 廣西可信軟件重點(diǎn)實(shí)驗(yàn)室，廣西 桂林 541004

知識(shí)圖譜是知識(shí)工程的最新產(chǎn)物，作為一種可存儲(chǔ)和計(jì)算的信息載體，在以知識(shí)驅(qū)動(dòng)的人工智能領(lǐng)域有諸多實(shí)踐，如信息檢索[1]、推薦系統(tǒng)[2]、智能問答[3]。知識(shí)庫通過三元組(s,r,o)構(gòu)成。每個(gè)三元組反映一個(gè)知識(shí)事件，該事件包含頭實(shí)體（subject）、尾實(shí)體（object）以及兩者間關(guān)系（relation）。這三者分別對(duì)應(yīng)圖結(jié)構(gòu)中的兩個(gè)節(jié)點(diǎn)及相連的有向邊。目前較大的百科知識(shí)庫如Freebase[4]、YAGO[5]、DBpedia[6]都來源于大量的網(wǎng)頁信息。然而這些知識(shí)圖譜并不完整，一部分原因是源數(shù)據(jù)所含的知識(shí)并不充分，另一部分則與提取實(shí)體和關(guān)系的算法能力有關(guān)[7-8]，在處理各類非結(jié)構(gòu)化數(shù)據(jù)效果并不理想。不完善的數(shù)據(jù)會(huì)導(dǎo)致以知識(shí)驅(qū)動(dòng)的應(yīng)用效果下降，因此補(bǔ)全完善知識(shí)庫對(duì)于知識(shí)圖譜的利用十分必要。

知識(shí)圖譜補(bǔ)全（knowledge graph completion，KGC）是通過學(xué)習(xí)知識(shí)庫內(nèi)在結(jié)構(gòu)和相關(guān)語義信息，對(duì)實(shí)體間潛在的關(guān)系進(jìn)行補(bǔ)全。相關(guān)研究通常給定一種刻畫實(shí)體關(guān)系相關(guān)性的建模理論，通過訓(xùn)練得到實(shí)體向量和關(guān)系向量。實(shí)體間缺失的關(guān)系鏈接可通過計(jì)算實(shí)體和關(guān)系之間的相似性進(jìn)行評(píng)估預(yù)測(cè)，從而達(dá)到補(bǔ)全的目的。

傳統(tǒng)KGC的研究工作是在三元組構(gòu)成的靜態(tài)知識(shí)圖譜下對(duì)多關(guān)系建模。自TransE[9]方法的提出以來研究者們嘗試了多種建模方式：一部分工作是利用關(guān)系的語義特征，設(shè)計(jì)出滿足關(guān)系間多種性質(zhì)的相似性理論，其性質(zhì)涵蓋對(duì)稱性、反對(duì)稱性、自反性和組合性[10]；另一部分研究是利用了知識(shí)圖譜中的結(jié)構(gòu)信息對(duì)實(shí)體關(guān)系建模，如基于關(guān)系路徑的方法[11]以及基于節(jié)點(diǎn)鄰域特征的方法[12]。

在知識(shí)應(yīng)用過程中，歷史事件必須限定在特定時(shí)間才具有參考價(jià)值，即知識(shí)存在時(shí)效性。近年來出現(xiàn)了帶有時(shí)間標(biāo)簽的動(dòng)態(tài)知識(shí)圖譜（dynamic knowledge graph，DKG），也有部分研究人員稱作時(shí)序知識(shí)圖譜（temporal knowledge graph，TKG）。其基本單元是在三元組的基礎(chǔ)上加入時(shí)間信息（time）的四元組(s,r,o,t)。隨著事件的不斷演進(jìn)，動(dòng)態(tài)知識(shí)圖譜可以不斷更新，提供時(shí)間維度的知識(shí)內(nèi)容，更具研究?jī)r(jià)值。圖1舉例了靜態(tài)和動(dòng)態(tài)知識(shí)圖譜表示國(guó)家建交事實(shí)的異同。靜態(tài)知識(shí)圖譜疊加了所有歷史事實(shí)，通過圖譜結(jié)構(gòu)能夠利用相對(duì)完整的全局信息。而動(dòng)態(tài)知識(shí)圖譜則以演化的視角，展示事件的發(fā)展變化。從知識(shí)的利用角度，通過聚焦多個(gè)時(shí)間事實(shí)，動(dòng)態(tài)知識(shí)庫相比靜態(tài)知識(shí)庫能夠反映出更加豐富的信息。

圖1 靜態(tài)知識(shí)庫和時(shí)序知識(shí)庫對(duì)比Fig.1 Comparison between static KG and dynamic KG

由于傳統(tǒng)KGC方法是面向三元組建模，其相似性評(píng)估計(jì)算僅涉及實(shí)體和關(guān)系，缺乏時(shí)間維度信息，因此并不適用于動(dòng)態(tài)知識(shí)庫的補(bǔ)全。動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法除了對(duì)實(shí)體關(guān)系建模，更重要的是在四元組相似性評(píng)估中充分利用時(shí)間特征。

目前該領(lǐng)域的部分工作是將時(shí)間特征內(nèi)嵌于實(shí)體和關(guān)系之中。此類方法將不同時(shí)間看做彼此互不重疊的時(shí)間空間，通過將實(shí)體和關(guān)系映射在不同的時(shí)間超平面，將四元組轉(zhuǎn)化成三元組，以沿用傳統(tǒng)KGC方法對(duì)實(shí)體和關(guān)系進(jìn)行相似性評(píng)估。然而在現(xiàn)有的動(dòng)態(tài)知識(shí)庫中，關(guān)于時(shí)間信息的描述包含時(shí)間點(diǎn)、時(shí)間起止、時(shí)間段三種形式，且時(shí)間分布的稀疏程度影響映射效果。不規(guī)則的時(shí)間描述以及時(shí)間分布的稀疏性都限制了補(bǔ)全動(dòng)態(tài)知識(shí)庫的實(shí)際效果。而其他面向動(dòng)態(tài)知識(shí)圖譜的補(bǔ)全研究嘗試將時(shí)間維度進(jìn)行獨(dú)立建模，將時(shí)間向量引入相似性評(píng)價(jià)過程。但實(shí)際上僅在代價(jià)函數(shù)中作為參數(shù)使用，并沒有充分考慮時(shí)間特征對(duì)于四元組更深層的含義。表1對(duì)比了現(xiàn)有補(bǔ)全方法在相似性理論和知識(shí)維度建模的差異。通過對(duì)比可知，適用于動(dòng)態(tài)知識(shí)庫的補(bǔ)全方法應(yīng)該具備能夠?qū)χR(shí)各維信息實(shí)施建模，且必須利用時(shí)間特征以及充分體現(xiàn)時(shí)間維度與其他相關(guān)維度的深層聯(lián)系。

表1 用于知識(shí)圖譜的補(bǔ)全方法對(duì)比Table 1 Comparison of approaches for knowledge graph completion

為了解決四元組中時(shí)間維度利用不充分的問題，設(shè)計(jì)出的時(shí)序感知編碼器（temporal aware encoder，TAE）將四元組中的時(shí)間與其他實(shí)體和關(guān)系建模為規(guī)模相同的嵌入向量。TAE改進(jìn)了圖卷積神經(jīng)網(wǎng)絡(luò)[21]，利用注意力權(quán)重有側(cè)重地學(xué)習(xí)鄰域時(shí)序信息。同時(shí)設(shè)計(jì)的時(shí)序卷積解碼器（temporal convolutional decoder，TCD）用于對(duì)編碼后的時(shí)序四元組進(jìn)行全局相似性評(píng)價(jià)。這樣的方式可以學(xué)習(xí)到更精確的時(shí)間維度特征，提升補(bǔ)全時(shí)序圖譜的性能。通過在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k數(shù)據(jù)集上的實(shí)驗(yàn)，驗(yàn)證了時(shí)序感知補(bǔ)全方法的有效性。對(duì)比相關(guān)研究性能指標(biāo)，時(shí)序感知補(bǔ)全方法在鏈接預(yù)測(cè)表現(xiàn)較優(yōu)。

1 相關(guān)工作

1.1 靜態(tài)知識(shí)圖譜補(bǔ)全方法

靜態(tài)知識(shí)圖譜補(bǔ)全研究重點(diǎn)在于如何刻畫實(shí)體與關(guān)系的相關(guān)性。根據(jù)知識(shí)來源、靜態(tài)知識(shí)圖譜可以分成百科類知識(shí)圖譜和垂直領(lǐng)域知識(shí)圖譜。百科類知識(shí)由于來源于大量網(wǎng)頁信息，關(guān)系數(shù)量相對(duì)較多。缺乏統(tǒng)一的內(nèi)容規(guī)范，百科知識(shí)圖譜存在相對(duì)復(fù)雜的語義關(guān)系，表現(xiàn)于兩個(gè)實(shí)體同時(shí)存在多種關(guān)系。這要求補(bǔ)全方法能夠充分表示實(shí)體的多維特征。而垂直領(lǐng)域知識(shí)圖譜來源于行業(yè)專家編寫和鑒定的細(xì)分知識(shí)，事實(shí)內(nèi)容描述簡(jiǎn)潔，關(guān)系種類相對(duì)較少。大量的實(shí)體僅通過較少的關(guān)系聯(lián)系，這要求建模關(guān)系需要克服一對(duì)多和多對(duì)多的難點(diǎn)。

早期Bordes等人發(fā)現(xiàn)三元組中的實(shí)體和關(guān)系在向量空間中滿足幾何向量加的特點(diǎn)s+r≈o，設(shè)計(jì)出翻譯方法TransE[9]。Yang等人借鑒張量分解理論提出DistMult[13]方法。實(shí)體映射為低維向量后，再計(jì)算與每種關(guān)系的相似性。在二者開創(chuàng)性工作的基礎(chǔ)上，研究工作不斷改進(jìn)完善。從關(guān)系語義角度出發(fā)，Sun等人分析了關(guān)系存在的多種性質(zhì)，如對(duì)稱性、反對(duì)稱性、自反性和組合關(guān)系，利用歐拉恒等式，提出將實(shí)體和關(guān)系映射到復(fù)數(shù)向量空間，并將每個(gè)關(guān)系定義為頭實(shí)體到尾實(shí)體的旋轉(zhuǎn)。除此以外，知識(shí)圖譜的結(jié)構(gòu)信息也被利用到多關(guān)系建模。PTransE[11]擴(kuò)大了建模視野，對(duì)整條實(shí)體關(guān)系組成的路徑建模表示。R-GCN[22]將關(guān)系賦予不同的權(quán)重，通過圖卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)鄰域特征學(xué)習(xí)表示，并采用DistMult作為解碼器進(jìn)行相似性評(píng)估。

1.2 動(dòng)態(tài)知識(shí)圖譜補(bǔ)全方法

動(dòng)態(tài)知識(shí)圖譜補(bǔ)全研究對(duì)于時(shí)間維度知識(shí)的思考更多[23-24]，除了考慮靜態(tài)知識(shí)圖譜補(bǔ)全中的實(shí)體和關(guān)系，更需要注重時(shí)間維度的信息建模。相比“頭實(shí)體—關(guān)系—尾實(shí)體”的指向性聯(lián)系，時(shí)間信息是更加全局性的知識(shí)維度，能夠從更多角度解讀，有著更靈活的建模方式。按照時(shí)間信息的利用方式，現(xiàn)有動(dòng)態(tài)補(bǔ)全方法可以分成時(shí)間內(nèi)嵌補(bǔ)全方法和時(shí)間獨(dú)立補(bǔ)全方法。二者區(qū)別在于是否將時(shí)間維度同實(shí)體關(guān)系一樣表示學(xué)習(xí)得到特征向量。

時(shí)間內(nèi)嵌補(bǔ)全方法是把時(shí)間信息內(nèi)嵌于實(shí)體和關(guān)系中，僅建模實(shí)體關(guān)系。本質(zhì)上該類方法是把四元組降維成三元組后使用靜態(tài)補(bǔ)全方法。Dasgupta等人把特定時(shí)間中的實(shí)體和關(guān)系看成一個(gè)靜態(tài)知識(shí)圖譜，提出的HyTE[16]方法將不同時(shí)間視作不同的時(shí)間超平面，四元組的實(shí)體和關(guān)系通過映射函數(shù)在某個(gè)超平面中得到三元組(Pt(s),Pt(r),Pt(o))表示，再利用翻譯思想補(bǔ)全。García-Durán等人將時(shí)間和關(guān)系合并成一個(gè)維度。合并后的文本序列通過LSTM計(jì)算得到含時(shí)間特征的關(guān)系rseq，由此將四元組轉(zhuǎn)化為帶有時(shí)間特征的三元組(s,rseq,o)，結(jié)合三元組建模思想，設(shè)計(jì)出TA-DistMult和TA-TransE[17]。Zhang等人通過注意力機(jī)制將時(shí)間信息融合進(jìn)實(shí)體當(dāng)中，同樣結(jié)合三元組建模思想，設(shè)計(jì)出ST-TransE、ST-DistMult和ST-ConvKB[18]。DySAT[25]方法同時(shí)關(guān)注圖結(jié)構(gòu)和時(shí)間演進(jìn)過程。按時(shí)間劃分的事件通過自注意力學(xué)習(xí)鄰域信息，再通過聯(lián)合注意力學(xué)習(xí)時(shí)間推演下的三元組相似性。

時(shí)間獨(dú)立補(bǔ)全方法則是學(xué)習(xí)四元組的四個(gè)維度向量表示，方法中相關(guān)計(jì)算引入時(shí)間向量。TTransE[19]延伸了TransE方法，將時(shí)間加入到實(shí)體關(guān)系在幾何向量空間中的運(yùn)算f=|s+r+t-o|。相同地，TComplEx[20]延伸了Compl Ex[14]方法，將時(shí)間加入到復(fù)數(shù)域下進(jìn)行張量計(jì)算以評(píng)估四元組相似性。TeLM[26]方法利用線性時(shí)間正則化器和多向量嵌入進(jìn)行四元組張量分解評(píng)估相似性。

2 時(shí)序感知補(bǔ)全方法

現(xiàn)有對(duì)于動(dòng)態(tài)知識(shí)圖譜的補(bǔ)全工作，大都將時(shí)間特征內(nèi)化到實(shí)體和關(guān)系當(dāng)中，僅對(duì)實(shí)體和關(guān)系建模，時(shí)間維度沒有得到建模表示。忽略了時(shí)間向量在下游任務(wù)中被利用的可能。與此同時(shí)適用于三元組的相似性理論并不能直觀地反映動(dòng)態(tài)知識(shí)庫各維度信息的相關(guān)性。因此時(shí)序感知補(bǔ)全方法借鑒時(shí)間獨(dú)立補(bǔ)全方法中對(duì)于時(shí)間維度獨(dú)立建模，同實(shí)體和關(guān)系表示成規(guī)模相同的嵌入向量。根據(jù)表1中面向四元組的補(bǔ)全方法，TTransE[19]和TComplEx[20]雖然能夠?qū)r(shí)間維度建模，但未能考慮到時(shí)間特征與實(shí)體和關(guān)系間的關(guān)聯(lián)性。因此時(shí)序感知補(bǔ)全方法在時(shí)間獨(dú)立建模外還將時(shí)間特征融合參與到其他維度，以更充分表示四元組各維度，達(dá)到更佳補(bǔ)全效果。

時(shí)序感知補(bǔ)全方法整體框架如圖2所示，包含時(shí)序感知編碼器（temporal aware encoder，TAE）和時(shí)序卷積解碼器（temporal convolutional decoder，TCD）。TAE改進(jìn)了圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN），將四元組中的各維度嵌入為規(guī)模相同的向量，每個(gè)節(jié)點(diǎn)通過改進(jìn)的圖注意力機(jī)制[27]達(dá)到有側(cè)重地學(xué)習(xí)鄰域特征。TCD將所有四元組(s,r,o,t)在k維空間下嵌入表示為一個(gè)k×4的輸入矩陣，改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)，采用1×4的不同卷積核來提取嵌入四元組的全局關(guān)系，從而評(píng)估四元組整體的相似性。

圖2 用于動(dòng)態(tài)知識(shí)圖譜補(bǔ)全的時(shí)序感知方法整體框架Fig.2 Structure of temporal aware approach for dynamic knowledge graph completion

2.1 時(shí)序感知編碼器

動(dòng)態(tài)知識(shí)圖譜定義為G=(E,R,T)，其中E={e1,e2,…,ea}、R={r1,r2,…,r b}和T={t1,t2,…,t c}分別為實(shí)體集合、關(guān)系集合以及時(shí)間集合。基本單元為四元組tp ijkm=(ei,r k,e j,t m)，表示在時(shí)間t m下，兩個(gè)相連的實(shí)體e i和e j，通過關(guān)系r k連接構(gòu)成的事件。

TAE將時(shí)間維度同實(shí)體關(guān)系相同處理，建模為一個(gè)嵌入向量，即四元組的嵌入表示為x i、y k、x j以及t m。TAE借鑒了圖卷積神經(jīng)網(wǎng)絡(luò)的特性，以充分學(xué)習(xí)動(dòng)態(tài)知識(shí)庫中實(shí)體、關(guān)系以及時(shí)間三者間的交互特征。圖卷積神經(jīng)網(wǎng)絡(luò)因其能夠匯聚鄰域節(jié)點(diǎn)特征到中心節(jié)點(diǎn)，已成功應(yīng)用在各類圖表示學(xué)習(xí)任務(wù)中。而圖注意力網(wǎng)絡(luò)[24]將鄰域權(quán)重進(jìn)一步改進(jìn)為注意力值。相比無向圖，動(dòng)態(tài)知識(shí)庫的圖結(jié)構(gòu)中關(guān)系和時(shí)間維度有著獨(dú)特的含義，因此TAE改進(jìn)了圖注意力網(wǎng)絡(luò)的特征學(xué)習(xí)過程，中心節(jié)點(diǎn)通過匯聚鄰域四元組特征進(jìn)行表示學(xué)習(xí)。具體步驟如下：

如圖2所示，首先以同一中心節(jié)點(diǎn)s為頭實(shí)體的鄰域四元組劃分。將每個(gè)知識(shí)單元中頭實(shí)體s、關(guān)系r、尾實(shí)體o、時(shí)間t對(duì)應(yīng)的向量x i、y k、x j以及t m，拼接成一個(gè)四元組矩陣。如公式（1）所示，得到該四元組的嵌入向量表示z ijkm：

其中，A為線性變換矩陣，用于降低四元組矩陣維度。

鄰域中不同四元組特征對(duì)于中心節(jié)點(diǎn)的影響并不相同。為了有側(cè)重地學(xué)習(xí)中心節(jié)點(diǎn)的鄰域特征，TAE將注意力值作為涉及的四元組對(duì)中心節(jié)點(diǎn)的貢獻(xiàn)程度。根據(jù)每個(gè)四元組嵌入向量，分別計(jì)算注意力值p ijkm：

其中，W為權(quán)重矩陣，LeakyReLU是選用的激活函數(shù)。為了調(diào)整注意力值的大小避免出現(xiàn)較大的差值，針對(duì)公式（2）計(jì)算的注意力值進(jìn)行歸一化處理，得到四元組級(jí)注意力值為q ijkm：

其中，歸一化函數(shù)采用softmax，exp表示以e為底的指數(shù)次冪。N a表示鄰域四元組中尾實(shí)體集合，Nb表示鄰域四元組中包含的關(guān)系集合，N c表示鄰域四元組涉及的時(shí)間集合。公式（1）～（3）相關(guān)計(jì)算如圖3所示，經(jīng)過上述步驟得到了四元組級(jí)注意力。

圖3 時(shí)序感知編碼器中四元組注意力計(jì)算過程Fig.3 Process of computing 4-tuple feature in TAE

結(jié)合注意力值，中心節(jié)點(diǎn)s通過匯聚鄰域四元組特征更新其嵌入向量x i，如圖2中“四元組級(jí)特征融合”所示。其鄰域四元組嵌入向量與歸一化后的注意力權(quán)重聚合后相加，如公式（4）通過激活函數(shù)得到更新后的嵌入向量x′i：

為了防止實(shí)體本身特征在迭代更新中丟失，TAE引入網(wǎng)絡(luò)層輸入，如公式（5）所示每次注意力學(xué)習(xí)到的鄰域信息與原實(shí)體向量共同更新實(shí)體矩陣X”：

其中，X表示實(shí)體向量組成的矩陣，X′為本次迭代更新的實(shí)體向量矩陣，B為線性變換矩陣用于匹配矩陣規(guī)模。經(jīng)過多次迭代，實(shí)體矩陣學(xué)習(xí)到了時(shí)序知識(shí)庫的多維特征，為了保持輸出的規(guī)模相同，通過權(quán)重矩陣實(shí)現(xiàn)關(guān)系矩陣R′和時(shí)間矩陣T′的輸出：

其中，R表示關(guān)系向量組成的矩陣，W R為關(guān)系的權(quán)重矩陣，T表示時(shí)間向量組成的矩陣，W T為時(shí)間的權(quán)重矩陣。

訓(xùn)練的優(yōu)化目標(biāo)采用TTransE[19]的思想，使用鉸鏈損失來優(yōu)化TAE，單獨(dú)四元組損失為dist(tpijkm)=，全體四元組優(yōu)化目標(biāo)為：

其中，S為原知識(shí)庫存在的四元組集合，而S′為負(fù)采樣生成的四元組集合，目的是為了增加訓(xùn)練樣本。S′是通過置換存在四元組的頭尾實(shí)體得到的污染的四元組。γ表示誤差邊界。

2.2 時(shí)序卷積解碼器

動(dòng)態(tài)知識(shí)庫經(jīng)TAE編碼后，中心實(shí)體通過聚合鄰域特征，捕獲了四元組中多個(gè)維度的特征。特別包含了表1提到的此類方法未能充分利用的時(shí)間維度特征。為了補(bǔ)全動(dòng)態(tài)知識(shí)庫，需要評(píng)價(jià)四維信息的相似性。ConvKB[15]方法利用卷積神經(jīng)網(wǎng)絡(luò)能夠在卷積核視野下對(duì)三元組相似性評(píng)估。設(shè)計(jì)的TCD改進(jìn)了其網(wǎng)絡(luò)結(jié)構(gòu)針對(duì)四元組相似性評(píng)估，如圖4所示。針對(duì)嵌入后規(guī)模為k×4的四元組作為輸入矩陣，卷積層采用多種規(guī)模為1×4的卷積核，從多個(gè)角度提取四元組特征。計(jì)算得到的特征向量通過矩陣轉(zhuǎn)換成數(shù)值來評(píng)價(jià)四元組的相似程度。TCD評(píng)分函數(shù)為：

圖4 時(shí)序卷積解碼器相似度評(píng)估過程Fig.4 Process of computing similarity in TCD

其中，ωm表示第m個(gè)卷積核，Ω表示超參數(shù)，*表示卷積操作，C為線性變換矩陣。

TCD采用軟邊界損失訓(xùn)練網(wǎng)絡(luò)參數(shù)，同樣通過負(fù)采樣增加訓(xùn)練樣本。損失函數(shù)如下：

其中，p的取值與tp i jkm的關(guān)系為：當(dāng)tpijkm∈S時(shí)，p=1；當(dāng)tp ijkm∈S′時(shí)，p=-1。

3 實(shí)驗(yàn)及分析

為了驗(yàn)證所提出的時(shí)序感知編碼器以及時(shí)序卷積解碼器的有效性，在4個(gè)公開的數(shù)據(jù)集上進(jìn)行了鏈接預(yù)測(cè)實(shí)驗(yàn)。在多項(xiàng)數(shù)據(jù)指標(biāo)上觀測(cè)補(bǔ)全效果并給出相應(yīng)分析。

3.1 數(shù)據(jù)集

綜合危機(jī)預(yù)警系統(tǒng)（ICEWS）是目前公開的最大動(dòng)態(tài)知識(shí)庫。已有198個(gè)國(guó)家為該數(shù)據(jù)集提供自1995年至2018年的1 700多萬次政治事件。其主要來源于社交媒體和新聞媒體等。García-Durán等人將ICEWS劃分為多個(gè)子數(shù)據(jù)集。其中ICEWS14[17]記錄的是2014年內(nèi)的政治事件，時(shí)間稠密。而ICEWS05-15[17]的時(shí)間跨度較長(zhǎng)，從2005年至2015年近10年的政治事件。YAGO11k[16]是截取靜態(tài)數(shù)據(jù)集Freebase15k的實(shí)體，通過YAGO知識(shí)圖譜的實(shí)體對(duì)應(yīng)，提取關(guān)系，最后根據(jù)yagoDateFacts中相關(guān)記錄提取時(shí)間信息。Wikidata12k[16]是從維基百科知識(shí)庫中提取的時(shí)序事件，但該數(shù)據(jù)集中增加了時(shí)間修飾語“occursSince”及“occurUntil”。數(shù)據(jù)集涉及實(shí)體關(guān)系和時(shí)間統(tǒng)計(jì)信息如表2所示。

表2 動(dòng)態(tài)知識(shí)圖譜數(shù)據(jù)集信息統(tǒng)計(jì)Table 2 Statistics of dynamic knowledge graph datasets

3.2 評(píng)價(jià)指標(biāo)

知識(shí)圖譜補(bǔ)全的測(cè)評(píng)任務(wù)為鏈接預(yù)測(cè)，它的目標(biāo)是根據(jù)已知的節(jié)點(diǎn)和邊，得到新的邊（的權(quán)值/特征）。其評(píng)價(jià)指標(biāo)有命中率（Hit@1/3/10）、平均排名（mean rank，MR）和平均倒數(shù)排名（mean reciprocal rank，MRR）。訓(xùn)練集中對(duì)所有三元組訓(xùn)練方法參數(shù)，測(cè)試集驗(yàn)證真實(shí)三元組的排名情況，進(jìn)行記錄統(tǒng)計(jì)。共有Ttest個(gè)測(cè)試集三元組，rank i表示打分后的排序名次，Hit@X、MR及MRR的計(jì)算如下：

其中，Hit@X表示真實(shí)三元組在前X中出現(xiàn)。

Hit@1得分高說明方法對(duì)原本的實(shí)體關(guān)系學(xué)習(xí)較好，在當(dāng)前知識(shí)庫中命中率高，補(bǔ)全效果佳；Hit@10得分高說明實(shí)體關(guān)系學(xué)習(xí)潛在表現(xiàn)較好，在多個(gè)數(shù)據(jù)集上Hit@10較高分?jǐn)?shù)則說明方法的泛化能力強(qiáng)；Hit@3介于Hit@1和Hit@10之間。方法的全局表現(xiàn)通過MR和MRR體現(xiàn)，與MR相比，MRR在遇到異常數(shù)據(jù)的情況下數(shù)值變化不大，即對(duì)個(gè)別異常數(shù)據(jù)不敏感，所以目前研究工作更多采用MRR評(píng)價(jià)補(bǔ)全方法的綜合表現(xiàn)。

3.3 實(shí)驗(yàn)結(jié)果及分析

為了分別驗(yàn)證時(shí)序感知編碼器（TAE）和時(shí)序卷積解碼器（TCD）對(duì)于動(dòng)態(tài)知識(shí)圖譜補(bǔ)全的有效性，在四個(gè)公開的數(shù)據(jù)集上進(jìn)行了鏈接預(yù)測(cè)實(shí)驗(yàn)，結(jié)果如表3和表4所示。其中“TCD”的數(shù)據(jù)是僅采用時(shí)序卷積解碼器的補(bǔ)全效果，其輸入為隨機(jī)初始化的四元組向量；而“TAE+TCD”的數(shù)據(jù)則是聯(lián)合了時(shí)序感知編碼器和時(shí)序卷積解碼器的實(shí)驗(yàn)效果，此處TCD的輸入是經(jīng)TAE訓(xùn)練得到的四元組向量。為了與相關(guān)動(dòng)態(tài)知識(shí)圖譜補(bǔ)全研究分析，實(shí)驗(yàn)中列舉了相關(guān)工作中提到的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全工作，其數(shù)據(jù)來源于TeLM[26]及ST-ConvKB[18]。在ICEWS14、ICEWS05-15、Wikidata12k和YAGO11k數(shù)據(jù)集上，僅TCD補(bǔ)全方法在Hit@3和Hit@10指標(biāo)上超越了其他工作，說明僅TCD補(bǔ)全方法的泛化能力較強(qiáng)，能夠適用于不同動(dòng)態(tài)知識(shí)圖譜補(bǔ)全。然而在MRR及Hit@1指標(biāo)上，僅TCD補(bǔ)全方法未能超越相關(guān)工作，這是因?yàn)門CD雖然對(duì)四元組的各維度統(tǒng)一建模，但四元組內(nèi)部的相互聯(lián)系并未充分利用。

表3 在ICEWS14和ICEWS05-15上的測(cè)試效果Table 3 Experimental results on ICEWS14 and ICEWS05-15

通過對(duì)比“TCD”和“TAE+TCD”的實(shí)驗(yàn)數(shù)據(jù)，“TAE+TCD”方法在相同數(shù)據(jù)集下，MRR、Hit@1、Hit@3和Hit@10各項(xiàng)指標(biāo)都有提升。這說明了TAE通過聚合四元組鄰域特征，捕獲了四元組內(nèi)部信息，從而提升TCD的補(bǔ)全性能。這同時(shí)驗(yàn)證了TAE作為編碼器的有效性。

在ICEWS14、Wikidata12k和YAGO11k數(shù)據(jù)集上“TAE+TCD”方法在MRR和Hit@1指標(biāo)上均高于其他方法，在ICEWS05-15數(shù)據(jù)集的MRR得到次佳的結(jié)果，說明了提出的時(shí)序感知補(bǔ)全方法對(duì)于動(dòng)態(tài)知識(shí)圖譜補(bǔ)全的有效的。然而在ICEWS05-15數(shù)據(jù)集的Hit@1指標(biāo)上，同類時(shí)間獨(dú)立補(bǔ)全方法TeLM和TComplEx效果更好。根據(jù)表2的數(shù)據(jù)集統(tǒng)計(jì)信息，ICEWS05-15相比其他3個(gè)數(shù)據(jù)集，實(shí)體關(guān)系數(shù)量差別不大，但時(shí)間數(shù)量最多，這是因?yàn)閿?shù)據(jù)來源時(shí)間跨度較大。在多時(shí)間建模問題上，TeLM方法通過設(shè)置時(shí)間約束，降低了時(shí)間信息建模的難度；而TComplEx方法對(duì)四元組的相關(guān)性計(jì)算是在復(fù)數(shù)域空間，相比實(shí)數(shù)域空間，能夠更充分表示時(shí)間特征。本方法雖然也對(duì)時(shí)間信息單獨(dú)建模，但提取多時(shí)間特征仍存在提升空間。

4 總結(jié)與展望

本文提出了用于動(dòng)態(tài)知識(shí)圖譜補(bǔ)全的方法，由時(shí)序感知編碼器和時(shí)序卷積解碼器兩部分構(gòu)成。本方法能夠?qū)r(shí)間維度單獨(dú)建模，且充分考慮了時(shí)間維度與實(shí)體關(guān)系的相關(guān)性。通過鏈接預(yù)測(cè)實(shí)驗(yàn)，分別驗(yàn)證了時(shí)序感知編碼器以及時(shí)序卷積解碼器的有效性。與目前動(dòng)態(tài)補(bǔ)全工作相比，時(shí)序感知補(bǔ)全方法在多項(xiàng)衡量指標(biāo)上獲得提升，取得較好的動(dòng)態(tài)知識(shí)圖譜補(bǔ)全效果。但在更復(fù)雜的動(dòng)態(tài)知識(shí)庫中，提出的方法仍存有提升空間，未來將改進(jìn)方法，以適用于補(bǔ)全多時(shí)間的動(dòng)態(tài)知識(shí)圖譜。除了解決動(dòng)態(tài)知識(shí)庫補(bǔ)全任務(wù)，時(shí)序感知編碼器也提供了將四元組建模思路。未來將嘗試融合本方法，適用于動(dòng)態(tài)知識(shí)圖譜的推理及問答等應(yīng)用。