基于層級注意力機制的鏈接預(yù)測模型研究

趙曉娟，賈焰，李愛平，陳愷

（1.國防科技大學(xué)計算機學(xué)院，湖南 長沙 410073；2.湖南工業(yè)大學(xué)商學(xué)院，湖南 株洲 412007）

1 引言

在資源描述框架（RDF,resource description framework）下，知識可以表示為事實三元組，即(頭實體,關(guān)系,尾實體)的形式，例如“A 是一名運動員”可表示為(A,職業(yè),運動員)，其中，“A”“職業(yè)”“運動員”分別是三元組的頭實體、關(guān)系和尾實體。知識也可以表示為有向多關(guān)系圖，即知識圖譜，其中，每個節(jié)點對應(yīng)一個實體，連接節(jié)點的每條邊對應(yīng)一種關(guān)系。知識圖譜中的一個三元組或者事實h,r,t表示一對實體及實體之間的關(guān)系。圖1為RDF 表示與知識圖譜表示的示例。

圖1 RDF 表示與知識圖譜表示的示例

知識圖譜嵌入旨在學(xué)習(xí)知識圖譜中的每個元素（實體和關(guān)系）在連續(xù)低維度向量空間中的潛在表示，使知識圖譜具有可計算性，并且更容易與深度學(xué)習(xí)模型集成。它支撐著許多實際應(yīng)用，包括知識問答[1-3]、推薦系統(tǒng)[4-6]和其他自然語言理解任務(wù)[7-9]。然而，即使YAGO[10]、DBPedia[11]、Freebase[12]這樣包含了數(shù)十億個事實的大型知識圖譜，也不能避免關(guān)系或者節(jié)點缺失的問題[2,13-14]，從而引出了知識圖譜補全任務(wù)的研究。這類研究任務(wù)一方面利用知識圖譜中已經(jīng)存在的信息來自動推斷缺失的事實，另一方面預(yù)測三元組是否有效。

在知識圖譜中，實體存在的意義很大程度上取決于其連邊的關(guān)系類型，同一個實體在不同的關(guān)系下，其表示的重點也應(yīng)有所不同。例如，對于圖1中的實體“A”作為(A,職業(yè),運動員)的頭實體，在嵌入表示時更多地體現(xiàn)作為一個運動員的屬性；作為(A,畢業(yè)于,華東師范大學(xué))的頭實體，在嵌入表示時則更多地體現(xiàn)作為學(xué)生的一些屬性。考慮(A,國籍,?)這樣一個鏈接預(yù)測問題，根據(jù)問題中的關(guān)系“國籍”可知，“職業(yè)”和“獲獎”這2 種關(guān)系對推理“國籍”的貢獻不會比“出生于”和“畢業(yè)于”這樣的關(guān)系大，因為與“出生于”和“畢業(yè)于”相連的尾實體才是與國籍有關(guān)的地點。

事實上，當使用知識圖譜嵌入技術(shù)將實體和關(guān)系投影到低維連續(xù)向量空間時，根據(jù)已知事實(A,出生于,上海)和(上海,屬于,中國)，本文可以把“A”和“中國”都映射到“上海”附近的向量空間，所以它們在向量空間中的距離比較近，而且，在關(guān)系嵌入的向量空間中，相對于“職業(yè)”和“獲獎”，“出生于”與“國籍”的嵌入向量所表達的語義更接近。因此，通過“出生于”推導(dǎo)出“國籍”的尾實體比通過“職業(yè)”或“獲獎”推導(dǎo)出的結(jié)果更可信。

深度學(xué)習(xí)的注意力機制模擬人類的選擇性視覺注意力，從眾多信息中選擇與當前預(yù)測目標最相關(guān)的信息，并根據(jù)這些信息做出預(yù)測，近年來被各個領(lǐng)域的不同任務(wù)廣泛采用。文獻[15]提出一種在知識圖譜推理中關(guān)注關(guān)系的方法，對不同的關(guān)系賦予不同的注意力，但是該方法與其他圖神經(jīng)網(wǎng)絡(luò)一樣，在訓(xùn)練過程中，隨著網(wǎng)絡(luò)層數(shù)的增加和迭代次數(shù)的增加，每個節(jié)點的隱層表征會趨向于收斂到同一個值，即通常所說的過度平滑問題。

基于前述問題，本文提出一種新的層級注意力機制的鏈接預(yù)測模型。模型的主要思想是通過分層聚合來避免過度平滑問題，同時，在關(guān)系子圖之間的信息聚合時，設(shè)計一種更簡潔的關(guān)系注意力機制，可以根據(jù)預(yù)測問題中的目標關(guān)系對知識圖譜中給定實體不同類型的關(guān)系給予不同的注意力。具體來說，在低維向量空間中，學(xué)習(xí)給定實體及其多跳鄰域的實體和關(guān)系的特征，根據(jù)與目標關(guān)系的距離分配注意力，通過將更多的注意力分配給語義更接近的關(guān)系來獲得更準確的尾實體預(yù)測結(jié)果。

本文的主要貢獻是設(shè)計了一種基于分層注意力機制的嵌入模型，并將模型應(yīng)用在知識圖譜鏈接預(yù)測任務(wù)中。分層注意力機制除了關(guān)注多跳鄰居實體特征外，能更加關(guān)注關(guān)系特征以找到符合目標關(guān)系的關(guān)系類型。

2 相關(guān)研究工作

以圖神經(jīng)網(wǎng)絡(luò)（GNN,graph neural network）[16]為基礎(chǔ)的圖卷積網(wǎng)絡(luò)（GCN,graph convolutional network）[17]能同時對節(jié)點特征信息與結(jié)構(gòu)信息進行端對端學(xué)習(xí)，是目前對圖數(shù)據(jù)學(xué)習(xí)任務(wù)的最佳選擇。從GCN 開始，研究者越來越多地關(guān)注將卷積運算引入圖領(lǐng)域，這里的圖是指圖論中用頂點和邊建立相應(yīng)關(guān)系的拓撲圖。但是，傳統(tǒng)的離散卷積在知識圖譜這種非歐幾里得數(shù)據(jù)上無法保持平移不變性，如何定義能夠處理大小可變的鄰居集和共享參數(shù)的操作是一個具有挑戰(zhàn)性的問題。

為了解決這個問題，文獻[18]提出GraphSAGE（graph sample and aggregate）模型，從每個節(jié)點的鄰居節(jié)點中提取固定數(shù)量的節(jié)點，然后使用聚合函數(shù)融合這些鄰居節(jié)點的信息。當然，這也意味著模型不能采樣到所有的鄰居。與文獻[18]類似，圖注意力（GAT,graph attention）[19]也是該研究領(lǐng)域一個典型的模型，這個模型是基于所有鄰居節(jié)點，而且對鄰居節(jié)點的順序沒有要求。雖然該模型在圖網(wǎng)絡(luò)結(jié)構(gòu)中取得了成功，但不能直接用于知識圖譜，因為這個模型僅考慮了節(jié)點，而忽略了知識圖譜中非常重要的一部分信息，即知識圖譜中實體之間的關(guān)系。本質(zhì)上，GCN[17]和GAT[19]都是將鄰居節(jié)點的特征聚合到中心節(jié)點，利用圖上的局部平衡狀態(tài)學(xué)習(xí)新的節(jié)點特征表達式；不同之處在于GCN 使用了拉普拉斯矩陣，而GAT 使用的是注意力機制。CompGCN[20]是一個考慮多種關(guān)系信息的圖神經(jīng)網(wǎng)絡(luò)框架，它通過共同學(xué)習(xí)多關(guān)系知識圖譜中關(guān)系和節(jié)點的向量表示，解決了傳統(tǒng)GCN 的難點。為了避免隨著關(guān)系數(shù)量增加，參數(shù)數(shù)量顯著增加的問題，CompGCN 使用一組基作為可學(xué)習(xí)的基向量，而不是為每個關(guān)系定義嵌入。

實際上，對于每個節(jié)點，模型選取它的一些鄰居，每個鄰居對節(jié)點都有一定的影響，但每個鄰居的影響力都可能不同，文獻[17,20]沒考慮每個鄰居對節(jié)點的影響力的差異。因此，文獻[21]提出了一種端到端的模型，該模型在聚合每一層節(jié)點特征時考慮了知識圖譜中的關(guān)系，但是，該模型在計算注意力時只考慮了關(guān)系和實體表示的簡單拼接，并沒有反映不同關(guān)系對特定推理任務(wù)的重要程度不同。文獻[22]的Minerva模型將每一種關(guān)系設(shè)置為一種任務(wù)類型，在預(yù)訓(xùn)練中針對特定任務(wù)進行模型訓(xùn)練，這實際上是一種考慮知識圖譜中不同類型關(guān)系的實踐，該模型根據(jù)關(guān)系對三元組進行分類，并沒有分別考慮鄰居節(jié)點和關(guān)系對目標節(jié)點嵌入的影響。

3 任務(wù)描述

在知識圖譜鏈接預(yù)測任務(wù)中，目標是當u或v丟失時，推斷一個三元組(u,r,v)是否是有效三元組，即給定(r,v)推導(dǎo)u或者給定(u,r)推導(dǎo)v，本文研究的任務(wù)包括(u,r,?)和 (？,r,v)。對于這2 種情形，本文并沒有單獨為每一種情況訓(xùn)練一個模型，而是訓(xùn)練了同一個模型用于這2 種情況的評估。對于每個測試三元組(u,r,v)，本文用知識圖譜中存在的所有實體替換每個頭實體，構(gòu)造(n-1)個被損壞的三元組，然后對每一個這樣的三元組評分。最后將這些分數(shù)按升序排序，得到正確的三元組的排列。本文也可以用同樣的方法替換三元組的尾實體。

知識圖譜用G=(E,R,V)表示，這里的E、R、V分別表示實體、關(guān)系、三元組的集合。V={(u,r,v)∈E×R×E}，其中，u,v∈E是實體，r∈R是實體之間的關(guān)系。嵌入模型嘗試學(xué)習(xí)一個有效的函數(shù)f(g)，對于給定的輸入三元組T=(u,r,v)，f(T) 給出T是一個有效三元組的可能性。

4 模型設(shè)計

4.1 模型整體框架

本節(jié)將詳細描述本文提出的模型。異構(gòu)圖注意力[23]在異構(gòu)圖神經(jīng)網(wǎng)絡(luò)中使用分層注意力機制，包括節(jié)點級別的注意力和語義級別的注意力。受該思想的啟發(fā)，本文提出了一種新的基于層級注意力機制的鏈接預(yù)測模型。整個鏈接預(yù)測模型主要由兩部分組成：編碼部分和解碼部分，RAKGR（relation attention based knowledge graph reasoning）作為編碼器，ConvKB[24]作為解碼器。RAKGR 由多層組成，整體框架如圖2 所示，其每一層由GAT 和關(guān)系注意力（RAT,relation attention）兩部分組成。每一個GAT 和RAT 都由多個注意力頭組成。本文假設(shè)RAT和GAT 的注意力個數(shù)相同。圖2 中的多頭注意力拼接展示了將每個注意力頭的輸出結(jié)果concat 之后再降維，也可以直接求各個注意力頭輸出的平均值。ConvKB 由一個二維卷積Conv2D 表示，其相關(guān)內(nèi)容詳見文獻[24]。

圖3 給出了某一層中的某個注意力頭“GAT+RAT”示例，來說明圖 2 中所示的“GAT+RAT”的工作原理。這里僅表示單一注意力頭，且僅說明其中一層的情況。中心節(jié)點0 有9 個一階直接鄰居，將這些鄰居分成3 個鄰居子圖{1,2}、{3,4,5,6}、{7,8,9}，這3 個子圖與中心節(jié)點之間的關(guān)系分別為r1、r2和r3。圖3 中右側(cè)黑色圓圈表示每個中心節(jié)點0 為每個鄰居子圖設(shè)置的對應(yīng)的虛擬節(jié)點。相應(yīng)地，分別對應(yīng)基于關(guān)系r1、r2和r3的子圖在聚合鄰居信息后的中心節(jié)點0 的嵌入表示。首先，用GAT 聚合子圖內(nèi)部各節(jié)點的信息；然后，用關(guān)系注意力機制聚合這3 個虛擬節(jié)點的信息，以獲得更新后的中心節(jié)點0的嵌入表示。

圖2 RAKGR 整體框架

圖3 某一層中的某個注意力頭“GAT+RAT”示例

4.2 構(gòu)建鄰居子圖

給定三元組(u,r,v)∈G，分別表示u、r、v對應(yīng)的初始嵌入。本文用TransE[25]獲得模型的初始嵌入，然后分別用2 種類型的轉(zhuǎn)換矩陣VW和WR將節(jié)點和關(guān)系投射到相同的特征空間。本文將某個中心節(jié)點的所有一階鄰居根據(jù)其與中心節(jié)點之間的關(guān)系類型分成不同的子圖，也就是說，中心節(jié)點與它的一階鄰居之間有多少種類型的關(guān)系，就會生成多少個鄰居子圖。每個子圖中所有節(jié)點與中心節(jié)點之間的關(guān)系是一樣的。與文獻[23]類似，本文將聚合的過程分為2 個級別：子圖內(nèi)部的信息聚合和關(guān)系子圖之間的信息聚合。

4.3 子圖內(nèi)部的信息聚合

為了獲得節(jié)點v的新的嵌入表示，本文將與該節(jié)點相連的每一個實體表示為

其中，W1為一個線性變換矩陣。

在考慮鄰居節(jié)點對目標節(jié)點的重要性時，本文用auv表示注意力的絕對值。然后，類似于GAT[19]，將上述注意力的絕對值進行歸一化，如式(2)所示。

其中，為節(jié)點u與節(jié)點v在關(guān)系r下的相關(guān)權(quán)重系數(shù)，N(v) 為與節(jié)點v直接相連的鄰居節(jié)點的集合。根據(jù)式(2)中得到的相關(guān)性權(quán)重系數(shù)，用式(3)將子圖中每個鄰居的信息進行聚合。

其中，為關(guān)系rt下節(jié)點v聚合鄰居節(jié)點信息后的嵌入表示；N(vrt)為與節(jié)點v之間存在關(guān)系rt的鄰居節(jié)點的集合。

使用多頭注意力機制可以獲取更多關(guān)于鄰居節(jié)點的信息，因此，對應(yīng)多頭注意力機制的情況，可將式(3)轉(zhuǎn)換為

其中，||表示拼接操作，是一種集成多個注意力頭輸出結(jié)果的聚合方式。多頭和單頭的區(qū)別在于每個注意力頭的權(quán)重系數(shù)不一樣，但模型是一樣的。

假設(shè)用一個虛擬節(jié)點來表示某個鄰居子圖的所有信息，那么中心節(jié)點與鄰居子圖之間的關(guān)系就簡化成了節(jié)點與節(jié)點之間的關(guān)系。對應(yīng)于關(guān)系tr的虛擬節(jié)點可表示為

其中,f(·) 是轉(zhuǎn)換函數(shù)，是中心節(jié)點v在高維空間中的嵌入表示。由此可以得到T組特定關(guān)系的節(jié)點嵌入為{hN(vr1),hN(vr2),…,hN(vrt)}。

4.4 關(guān)系子圖之間的信息聚合

根據(jù)目標關(guān)系給每個鄰居子圖分配不同的注意力值，也稱為關(guān)系子圖級別的聚合。本文要給每個鄰居子圖計算一個注意力分數(shù)atr。區(qū)別于A2N（attending to neighbor）[15]的注意力機制，本文將子圖之間信息聚合環(huán)節(jié)的注意力分數(shù)表示為

對上述注意力分數(shù)atr進行標準化處理，得到每個鄰居子圖對中心節(jié)點v的相關(guān)性權(quán)重值為

將學(xué)習(xí)到的權(quán)重作為系數(shù)，聚合這些特定關(guān)系的嵌入，得到節(jié)點v更新后的嵌入表示為

其中，代表與中心節(jié)點之間存在關(guān)系rt的鄰居集對中心節(jié)點v的嵌入表示的影響，也就是hN(vrt)對hv的影響；hv是中心節(jié)點v更新后的嵌入表示。上述過程僅描述了RAKGR 模型的單層單頭注意力聚合過程。同理，可以采用多頭注意力機制獲得更豐富的鄰居信息。類似地，M個注意力的情況表示為

上述聚合過程可以擴展到多層，使模型具有高階傳播的特點，即

對于一個節(jié)點與另一個節(jié)點之間存在多個關(guān)系的情況，本文將這個節(jié)點復(fù)制n次得到n個不同的節(jié)點，因此，本文在后續(xù)知識圖譜推理的應(yīng)用中根據(jù)知識圖譜中邊的數(shù)量來構(gòu)建鄰居子圖。

4.5 模型優(yōu)化目標

本文的模型第一階段訓(xùn)練目標借鑒了TransE[25]的平移平分函數(shù)的思想。對于一個給定三元組=(u,r,v)，學(xué)習(xí)一種嵌入表示，其能量函數(shù)定義為

本文使用基于邊際的評分函數(shù)作為訓(xùn)練目標，定義為

其中，[x]+表示取x正的部分，γ＞0 表示一個邊際超參數(shù)，(u,r,v)∈T，T表示有效三元組集合，也稱之為正樣本，而T-則是負樣本，表示為

本文通過用其他實體替換三元組的頭實體或者尾實體來得到負樣本。

第二階段的ConvKB 采用與文獻[21]類似的方法，定義評分函數(shù)為

其中，ei、er和ej分別表示頭實體的最終嵌入、關(guān)系的最終嵌入和尾實體的最終嵌入；concat 表示將這些嵌入表示拼接起來；*表示卷積操作；κ表示卷積核的個數(shù)；ωm表示第m個卷積核；W表示一個線性變換矩陣，用于計算三元組的最終得分。本文使用soft-margin 損失對模型進行訓(xùn)練，表示為

表1 數(shù)據(jù)集的統(tǒng)計情況

5 實驗

5.1 實驗數(shù)據(jù)集

本文提出的層級注意力機制中，子圖之間的注意力分配重點考慮了關(guān)系在預(yù)測任務(wù)中的意義，所以，本文選取FB15k-237[26]、WN18RR[27]這2 個數(shù)據(jù)集評估前述模型。一方面，F(xiàn)B15k-237 中有237 種關(guān)系，是一種典型的多關(guān)系數(shù)據(jù)集，可以用來驗證本文的模型在關(guān)系類型較多的情況下其優(yōu)勢更加明顯，WN18RR 的節(jié)點數(shù)比較多，但關(guān)系只有11 種；另一方面，由于WN18[28]和FB15K[25]中存在很多逆關(guān)系，這些逆關(guān)系會影響本文預(yù)測任務(wù)的結(jié)果，因此，本文使用的是WN18 和FB15K 刪除了逆關(guān)系之后的子集WN18RR 和FB15k-237。數(shù)據(jù)集的統(tǒng)計情況如表1 所示。

5.2 實驗設(shè)置

本文的實驗中用到的初始實體嵌入和關(guān)系嵌入用TransE[25]獲得。模型的訓(xùn)練分成2 個步驟。首先，使用RAKGR 模型對知識圖譜中的實體和關(guān)系進行編碼；然后，使用ConvKB 對得到的節(jié)點和關(guān)系表示進行解碼，以得到符合鏈接預(yù)測任務(wù)的知識表示方式。

在這類任務(wù)中，通常的做法是將正確答案的排列順序記錄在有序列表中，以便確定是否可以將正確答案排列在錯誤答案之前。常用的3 個評估指標是平均排序（MR,mean rank）、平均倒數(shù)排序（MRR,mean reciprocal rank）和N個正確排序所占的比例（Hits@N）。MR 是所有排序的均值；MRR 與MR 類似，但是MRR 是一種比MR 更穩(wěn)健的衡量方法，因為某一的特別糟糕的排名可以在很大程度上影響平均排名；Hits@N中的N可以取1、3 和10。對于本文模型，MRR 和Hits@N的值越大意味著模型性能越好，MR 的值越小意味著模型性能越好。本文選擇MRR 和Hits@1、Hits@3、Hits@10 作為評估指標。

為了評估RAKGR 模型性能，本文選擇了幾類目前較先進的知識圖譜嵌入模型進行對比，包括A2N[15]、Minerva[22]、ConvKB[24]、TransE[29]、DistMult[29]、Complex[30]、ConvE[28]。

5.3 實驗結(jié)果與分析

實驗結(jié)果如表2～表5 所示。A2N、DistMult、Complex、ConvE 的實驗結(jié)果來自文獻[15]，該文獻下載了公開的源代碼來復(fù)現(xiàn)所有的結(jié)果；ConvKB、TransE 在2 個數(shù)據(jù)集上的實驗結(jié)果是本文下載公開源代碼并復(fù)現(xiàn)的結(jié)果；Minerva 在2 個數(shù)據(jù)集上的結(jié)果來自文獻[22]。文獻[21]指出，對于一個n層模型，其輸入信息是從n跳的鄰域上累積的。所以，本文實驗設(shè)置為2 層模型，相當于聚合了2 跳鄰域的信息。當然，本文提出的模型是可以擴展到任意層數(shù)的。

表2 數(shù)據(jù)集FB15k-237 預(yù)測尾實體的實驗結(jié)果

表3 數(shù)據(jù)集FB15k-237 預(yù)測尾實體或者頭實體的實驗結(jié)果

表4 數(shù)據(jù)集WN18RR 預(yù)測尾實體的實驗結(jié)果

表5 數(shù)據(jù)集WN18RR 預(yù)測尾實體或者頭實體的實驗結(jié)果

表2 和表4 中提到的預(yù)測尾實體是指單獨針對(h,r,?)這樣的任務(wù)模型得到的結(jié)果，ConvKB、TransE 的源代碼中并沒有提供單獨預(yù)測尾實體的代碼，所以本文沒有展示其結(jié)果。表3 和表5 中的結(jié)果是指測試集中同時存在頭實體缺失(？,r,v)或者尾實體缺失(u,r,)？這2 種情況。文獻[21]沒有提供Minerva 在同時預(yù)測頭實體或者尾實體缺失情況下的實驗結(jié)果，所以在本文的表3和表 5 中沒有相應(yīng)的結(jié)果展示。表 2 展示了FB15k-237 在已知頭實體和關(guān)系，預(yù)測尾實體的結(jié)果?？梢钥闯?，本文模型的所有4 個評價指標都具有較顯著的優(yōu)越性。表3 展示了在測試集中同時存在頭實體缺失或者尾實體缺失的情況，盡管這種情況下模型性能比表2 中展示的結(jié)果稍遜色，但本文模型性能明顯優(yōu)于其他模型。

表4 和表5 展示了WN18RR 數(shù)據(jù)集上的實驗結(jié)果?？梢园l(fā)現(xiàn)，在WN18RR 數(shù)據(jù)集上，本文模型性能與A2N 接近，并沒有絕對優(yōu)勢。因為WN18RR 有40 943 個實體，但是僅有11 種類型的關(guān)系。本文模型在較多關(guān)系的數(shù)據(jù)集上具有優(yōu)勢，對于這一類關(guān)系較少而節(jié)點數(shù)又較多的數(shù)據(jù)集并不能很好地體現(xiàn)模型的優(yōu)越性。

從上述結(jié)果可以看到，所有的模型在已知頭實體和鏈接預(yù)測尾實體情況下的實驗結(jié)果普遍比同時預(yù)測尾實體或者頭實體的情況好。這是因為FB15k-237 與WN18RR 中刪除了逆關(guān)系，這種逆關(guān)系對于已知尾實體和關(guān)系預(yù)測頭實體的情況會有影響，但對已知頭實體和關(guān)系預(yù)測尾實體的情況基本沒有影響。另外，在2 個數(shù)據(jù)集上的實驗結(jié)果表明，本文模型具有較好的穩(wěn)健性，在不同的數(shù)據(jù)集上性能穩(wěn)定。

5.4 模型的輸出結(jié)果測試實例

為了對層級注意力機制有更加清晰的支持和解釋，本文從 UMLS（unified medical language system）數(shù)據(jù)集[31]的測試集中隨機選取了一個實體n79和一個關(guān)系r40來進行鏈接，然后預(yù)測(n79,r40,?)，這個測試用例在訓(xùn)練集中是沒有出現(xiàn)過的。模型的輸出結(jié)果測試實例如圖4 所示，中心節(jié)點n79的一階鄰居節(jié)點共56 個，關(guān)系類型共8 種。其中，17 個節(jié)點與n79之間的關(guān)系是r17，9 個節(jié)點與n79之間的關(guān)系是r10，21 個節(jié)點與n79之間的關(guān)系是r0。為了簡化，圖4 只表示了主要關(guān)系和節(jié)點，鄰居節(jié)點集合分別用N(vr17)、N(vr10)、N(vr0)表示，且這3 個鄰居節(jié)點集合中所有節(jié)點在訓(xùn)練集中都沒有作為n90的頭實體。將式(6)進行修改，直接用類似RAT 的機制計算關(guān)系注意力分數(shù)，如式(16)所示。

觀察圖4 可以得到以下2 個重要的結(jié)果。

1) 圖4(a)是用修改后的RAT 得到的結(jié)果。注意力分數(shù)排名前三的關(guān)系分別為r0(0.321 4)、r10(0.140 7)、r17(0.230 5)。n79有56 個一階鄰居，該方法中，注意力分數(shù)在56 個三元組中進行分配，前述注意力分數(shù)對應(yīng)所有與n79之間存在該類關(guān)系的三元組注意力分數(shù)之和；三元組(n79,r43,n41)、(n79,r43,n39)、(n79,r43,n29)得到的注意力分數(shù)分別是0.020 3、0.0180 4、0.016 5。圖4(b)是利用本文的層級注意力機制得到的結(jié)果，排名前三的關(guān)系分別為r43(0.136 6)、r0(0.131 7)、r38(0.111 4)。該方法中，注意力分數(shù)在8 種不同的關(guān)系中進行分配。

2) 注意力模型可以加強鏈接預(yù)測結(jié)果的可解釋性。從關(guān)系的語義可以看到，本測試實例的關(guān)系r40(adjacent_to,與…相鄰)屬于空間上相關(guān)，r43(surrounds,包圍)也屬于空間上相關(guān)，兩者在語義上比較接近；排名第二的關(guān)系r0(location_of,位于)屬于空間上相關(guān)；排名第三的關(guān)系r38(developmental form of,…的發(fā)育階段)屬于概念上相關(guān)。

圖4 模型的輸出結(jié)果測試實例

6 結(jié)束語

本文介紹了一種基于層級注意力機制的鏈接預(yù)測模型，并將其應(yīng)用于知識圖譜鏈接預(yù)測任務(wù)。所提模型取得了比目前較先進的模型更好的結(jié)果。在未來的工作中，可以擴展所提模型，針對不同類型的節(jié)點設(shè)計不同的線性變換矩陣，在考慮知識圖譜結(jié)構(gòu)的同時，考慮節(jié)點的語義信息。另外，可以考慮在嵌入表示時融合知識圖譜中實體和關(guān)系的相關(guān)描述信息和文本信息，從而進一步提高知識圖譜推理的性能，而不是僅考慮知識圖譜內(nèi)在的信息。本文提出的模型具有高階傳播特性，可以捕獲給定實體周圍多跳的關(guān)系信息，在未來的工作中可以考慮將該模型應(yīng)用在基于知識圖譜的多跳推理以及基于知識圖譜的復(fù)雜關(guān)系問答等應(yīng)用中。