融合層次類型信息的雙向圖注意力機(jī)制的知識圖譜嵌入模型

摘 要：知識圖譜嵌入旨在將實(shí)體與關(guān)系映射到低維且稠密的向量空間中。目前已有的嵌入模型仍存在以下兩個(gè)方面的缺陷：現(xiàn)有的模型大多只關(guān)注知識圖譜的語義信息，而忽略了大量三元組的隱藏信息；現(xiàn)有的模型僅關(guān)注了實(shí)體的單向信息，而忽略了雙向的潛在信息。針對以上問題，提出了一種融合層次類型信息的雙向圖注意力機(jī)制的知識圖譜嵌入模型Bi-HTGAT，該模型設(shè)計(jì)了層次類型注意力機(jī)制，考慮不同關(guān)系下每種類型的不同實(shí)體對中心實(shí)體的貢獻(xiàn)。同時(shí)引入了關(guān)系的方向注意力機(jī)制，通過融合不同方向的鄰居信息來更新實(shí)體和關(guān)系嵌入，最終聚合兩部分信息以得到實(shí)體的最終嵌入。在基準(zhǔn)數(shù)據(jù)集上的實(shí)驗(yàn)證明，Bi-HTGAT在鏈接預(yù)測任務(wù)上性能明顯優(yōu)于其他基線模型，充分證明了Bi-HTGAT能夠進(jìn)一步提高嵌入結(jié)果的精準(zhǔn)度。

關(guān)鍵詞：知識圖譜嵌入； 圖注意力機(jī)制； 層次類型信息； 鏈接預(yù)測

中圖分類號：TP391.1

文獻(xiàn)標(biāo)志碼：A

文章編號：1001-3695（2023）07-017-2031-08

doi：10.19734/j.issn.1001-3695.2022.12.0763

Knowledge graph embedding model for bidirectional graph attentionmechanism with hierarchical type information

Zhai Sheping^a，b， Li Fangyi^a?， Li Hang^a， Yang Rui^a

（a.School of Computer Science amp; Technology， b.Shaanxi Key Laboratory of Network Data Analysis amp; Intelligent Processing， Xi’an University of Posts amp; Telecommunications， Xi’an 710121， China）

Abstract：Knowledge graph embedding designs to map the entities and relations into low-dimensional and dense vector spaces. The existing embedded models still have the following two defects： most of the existing models only focus on the semantic information of knowledge graph， but ignore plentiful hidden information of triples; the existing models only concern the unidirectional information of the entity， but ignore the bidirectional potential information. This paper proposed the knowledge graph embedding model Bi-HTGAT to solve these problems. The model designed a hierarchical type attention mechanism， considered the contribution of different entities of each type to the central entity under different relations. At the same time， this paper introduced the directional attention mechanism of the relations， fused the neighbor information in different directions to update the entities and relations embedding， and finally aggregated the two parts of information to obtain the final embedding of the entity. The experimental results show that Bi-HTGAT performs better than other baseline models in link prediction， which fully proves that Bi-HTGAT can further improve the accuracy of embedding results.

Key words：knowledge graph embedding; graph attention mechanism; hierarchical type information; link prediction

0 引言

知識圖譜（knowledge graph，KG）^［1］作為一種典型的異質(zhì)圖網(wǎng)絡(luò)，將知識表示為事實(shí)三元組（h，r，t），其中h和t表示三元組的頭實(shí)體和尾實(shí)體，r表示頭實(shí)體和尾實(shí)體之間的關(guān)系。例如Freebase^［2］和DBPedia^［3］這類大型的知識圖譜，在知識推理、語義檢索和智能問答^［4］等人工智能相關(guān)領(lǐng)域中得到廣泛應(yīng)用。盡管知識圖譜在表示結(jié)構(gòu)化數(shù)據(jù)方面非常有效，但這種三元組的基本符號性質(zhì)導(dǎo)致計(jì)算過程的復(fù)雜度較高，影響了知識推理的效率，同時(shí)知識圖譜仍然存在高度不完全性，例如缺少環(huán)節(jié)和關(guān)系。因此出現(xiàn)了一個(gè)新的研究方向，稱為知識圖譜嵌入（knowledge graph embedding，KGE），又稱為知識表示學(xué)習(xí)（knowledge representation learning，KRL），旨在將知識圖譜的結(jié)構(gòu)化信息映射到低維且稠密的向量空間中，同時(shí)可保留固有的知識圖譜語義信息。

已有的知識圖譜嵌入模型，例如基于翻譯模型TransE^［5］、基于語義匹配模型DistMult^［6］，這類模型將關(guān)系和實(shí)體嵌入到連續(xù)向量空間中，基于關(guān)系和實(shí)體的向量表示并通過評分函數(shù)驗(yàn)證三元組。近年來，由于卷積運(yùn)算的高效率和有效性，基于卷積神經(jīng)網(wǎng)絡(luò)嵌入實(shí)體和關(guān)系的知識圖譜嵌入模型受到廣泛關(guān)注，如ConvKB^［7］應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)來探索實(shí)體和關(guān)系嵌入相同維度條目之間的全局關(guān)系。

以上模型大多只考慮了知識圖譜中單獨(dú)的三元組信息，并未考慮到每個(gè)實(shí)體所隱藏的豐富的鄰居信息，導(dǎo)致在推理等任務(wù)性能上存在局限性。R-GCN^［8］在知識圖譜中應(yīng)用圖卷積神經(jīng)網(wǎng)絡(luò)模型從每個(gè)實(shí)體的鄰域中收集信息。圖注意力機(jī)制（graph attention mechanism，GAT）^［9］將注意力引入到圖神經(jīng)網(wǎng)絡(luò)中，可為鄰域中的不同節(jié)點(diǎn)指定不同的權(quán)重，以融合節(jié)點(diǎn)的特征。受GAT的啟發(fā)，KBGAT^［10］被提出，通過編—解碼器結(jié)構(gòu)從給定實(shí)體的入站方向獲取多跳鄰域信息，以學(xué)習(xí)實(shí)體嵌入。RGHAT^［11］將實(shí)體的局部鄰域視為簡單的層次結(jié)構(gòu)，并有效地計(jì)算相鄰實(shí)體和關(guān)系的適當(dāng)注意力權(quán)重。這些模型雖然性能得到了明顯提高，但是實(shí)體的類型信息和實(shí)體間的雙向信息并未得到有效的處理，影響了模型的精準(zhǔn)度。

基于以上問題，本文提出一種融合層次類型信息的雙向圖注意力機(jī)制的知識圖譜嵌入Bi-HTGAT模型，該模型引入了圖注意力機(jī)制來捕捉更豐富、更細(xì)粒度的實(shí)體鄰居信息，以用于知識圖譜的嵌入。Bi-HTGAT模型采用編碼器—解碼器的框架，編碼器部分主要由兩部分組成，第一部分為了充分考慮實(shí)體間關(guān)系方向問題引入雙向注意力機(jī)制，第二部分為了提高實(shí)體嵌入結(jié)果的精準(zhǔn)度，引入了實(shí)體層次類型信息，最后聚合這兩部分得到的嵌入結(jié)果得到最終的實(shí)體關(guān)系嵌入向量。解碼器部分使用ConvE模型，其模型相關(guān)內(nèi)容詳見文獻(xiàn)［12］。本文提出一種融合層次類型信息的雙向圖注意力機(jī)制的知識圖譜嵌入模型Bi-HTGAT，該模型通過聚合實(shí)體的層次類型信息，為實(shí)體嵌入提供更多的信息，以更好地學(xué)習(xí)實(shí)體的嵌入；同時(shí)使用雙向注意力機(jī)制度量具有不同關(guān)系方向的鄰居實(shí)體的重要性，以產(chǎn)生更精準(zhǔn)的嵌入結(jié)果。

1 相關(guān)工作

知識圖譜嵌入專注于學(xué)習(xí)關(guān)系和實(shí)體的分布式表示，以推斷缺失的三元組，并相應(yīng)地更新關(guān)系和實(shí)體的表示。知識圖譜嵌入通過評分函數(shù)預(yù)測給定三元組的有效性?，F(xiàn)有的知識圖譜嵌入方法大致可分為平移方法、張量因子分解方法、融合多源信息方法和神經(jīng)網(wǎng)絡(luò)方法。

1.1 平移方法

平移方法又被稱為基于翻譯的方法，該方法將關(guān)系視為從頭部實(shí)體到尾部實(shí)體的翻譯來定義一個(gè)距離評分函數(shù)。TransE是最經(jīng)典的基于翻譯的模型，其將關(guān)系視為同一低維超平面上從頭部實(shí)體到尾部實(shí)體的轉(zhuǎn)換，即當(dāng)（h，r，t）成立時(shí)，滿足條件h+r≈t。該模型在建模一對一關(guān)系方面表現(xiàn)出優(yōu)異的性能，但在建模復(fù)雜關(guān)系如一對多、多對一和多對多等方面仍存在一些缺陷。因此后續(xù)又提出一系列Trans模型，如TransR^［13］、TransH^［14］等，通過引入不同的向量空間來嵌入關(guān)系和實(shí)體以解決復(fù)雜問題。

1.2 張量因子分解方法

張量因子分解方法假設(shè)一個(gè)三重的分?jǐn)?shù)可以因式分解成幾個(gè)張量，定義一個(gè)乘法函數(shù)來為三元組評分。RESCAL^［15］是一種基本的張量分解方法，其利用評分函數(shù)f（h，r，t）=hM_rt來計(jì)算知識三元組得分，并假設(shè)正三元組得分高于負(fù)三元組。DistMult^［6］擴(kuò)展了RESCAL，并將關(guān)系特定的矩陣M_r設(shè)置為對角線。ComplEx^［16］使用復(fù)嵌入空間來嵌入實(shí)體和關(guān)系，并可以通過對尾部實(shí)體嵌入的共軛運(yùn)算來建模非對稱關(guān)系。

1.3 融合多源信息方法

融合多源信息方法，考慮到知識圖譜中的三元組事實(shí)通常還包括潛在的豐富語義信息，可以輔助知識圖譜嵌入，如實(shí)體關(guān)系描述、層次類型等信息。DKRL模型^［17］在TransE的基礎(chǔ)上融合了實(shí)體的描述信息，分別使用卷積神經(jīng)網(wǎng)絡(luò)模型和連續(xù)詞袋模型將實(shí)體的描述文本進(jìn)行編碼，從而極大增強(qiáng)了鏈接預(yù)測和實(shí)體分類的效果。TKRL^［18］認(rèn)為實(shí)體應(yīng)在不同的類型上有不同的多種表示，使用兩種編碼器對分層結(jié)構(gòu)進(jìn)行建模。Tang等人^［19］發(fā)布了多源知識表示模型MKRL，將實(shí)體描述、層次結(jié)構(gòu)類型和文本關(guān)系與三元組相結(jié)合，明顯提高了模型效率。

1.4 神經(jīng)網(wǎng)絡(luò)方法

神經(jīng)網(wǎng)絡(luò)方法通過應(yīng)用深度神經(jīng)網(wǎng)絡(luò)來捕捉關(guān)系和實(shí)體的非線性特征。ConvE是第一個(gè)使用二維卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，對頭實(shí)體和關(guān)系的重塑嵌入實(shí)現(xiàn)了卷積運(yùn)算，以匹配尾部實(shí)體。而由于以上模型大多獨(dú)立地學(xué)習(xí)知識圖譜三元組信息，且知識圖譜結(jié)構(gòu)變得越來越復(fù)雜，為了更好地表示實(shí)體和關(guān)系，引入了圖卷積神經(jīng)網(wǎng)絡(luò)（graph convolutional network，GCN）^［20］來進(jìn)行知識圖譜嵌入。R-GCN在知識圖譜中應(yīng)用GCN模型從每個(gè)實(shí)體的鄰域中收集信息。CompGCN^［21］、WGCN^［22］和VR-GCN^［23］等在R-GCN的基礎(chǔ)上進(jìn)行了一些創(chuàng)新。

后續(xù)又出現(xiàn)KBGAT和RGHAT通過在知識圖譜嵌入中引入GAT進(jìn)行節(jié)點(diǎn)分類，擴(kuò)展了GCN方法。例如，Nathani等人為每個(gè)三元組分配了一個(gè)注意值，用于融合中心實(shí)體的鄰域信息；Zhao等人^［24］通過基于注意的全局隨機(jī)漫步算法估計(jì)實(shí)體的重要性，將全局信息納入GAT模型；趙曉娟等人^［25］提出了一種基于層級注意力機(jī)制的知識圖譜嵌入方法，通過設(shè)計(jì)分層注意力機(jī)制，解決注意力分配向某些出現(xiàn)頻率高的關(guān)系傾斜的問題。Li等人^［26］設(shè)計(jì)了一種基于關(guān)系路徑的注意機(jī)制，用來衡量具有不同關(guān)系的相鄰實(shí)體的重要性。然而以上知識圖譜嵌入模型，僅獨(dú)立地考慮每個(gè)三元組的結(jié)構(gòu)信息，忽略了度量鄰居重要性關(guān)系的方向信息以及實(shí)體的層次類型信息，以至于得到的實(shí)體和關(guān)系嵌入結(jié)果不夠精確。因此本文提出的Bi-HTGAT不僅將方向信息納入到鄰域重要性的度量中用于實(shí)體的表示學(xué)習(xí)，而且充分考慮了實(shí)體的層次類型信息對實(shí)體表征的影響，進(jìn)一步優(yōu)化實(shí)體關(guān)系嵌入。

2 模型設(shè)計(jì)

本章將詳細(xì)描述Bi-HTGAT模型的內(nèi)容。在知識嵌入過程中，除了需要考慮原始的三元組信息，還需要考慮入向和出向三元組信息。與此同時(shí)，通過融合實(shí)體的層次類型信息聯(lián)合學(xué)習(xí)實(shí)體和關(guān)系的表示。在介紹Bi-HTGAT模型之前，先介紹本文使用到的基本符號。

2.1 符號定義

知識圖譜用D={（E，R，T）}表示，其中E代表實(shí)體集合，R代表關(guān)系集合，T代表三元組集合。T={（e_m，r_i，e_n）∈E×R×E}，其中e_m∈E和e_n∈E分別是頭實(shí)體和尾實(shí)體，r_i∈R是實(shí)體之間存在的關(guān)系。

2.2 模型整體框架

本文提出的Bi-HTGAT模型整體框架如圖1所示，主要由編碼器和解碼器兩部分構(gòu)成。編碼器部分是由雙向注意力機(jī)制和層次類型注意力機(jī)制兩部分組成的，其中雙向注意力機(jī)制是融合實(shí)體間的不同方向，即入方向和出方向的鄰居信息以得到實(shí)體的最終嵌入，層次類型注意力機(jī)制是將三元組實(shí)體的鄰域信息和類型信息有機(jī)地結(jié)合得到嵌入結(jié)果，最終通過聚合這兩部分的結(jié)果得到最終的嵌入作為解碼器的輸入。

Bi-HTGAT模型輸入是原始三元組（e_m，r_i，e_n）、反向三元組（e_n，r_i，e_m）以及自循環(huán)三元組（e_m，r_i，e_m），利用圖注意力機(jī)制生成原始關(guān)系、反向關(guān)系和自循環(huán)關(guān)系模式下實(shí)體的方向特征，同時(shí)生成實(shí)體的層次類型特征。聚集由不同方向模式中的嵌入表示和層次類型信息得到實(shí)體的最終嵌入表示結(jié)果。

2.3 雙向注意力機(jī)制

2.3.1 用于知識圖譜的圖注意力

在注意力機(jī)制中，注意力函數(shù)可以被描述為對一組鍵—值對的查詢，其中查詢、鍵、值和輸出都是向量。注意力函數(shù)的輸出是所有匹配值的加權(quán)和，其中權(quán)重是通過考慮查詢與對應(yīng)關(guān)鍵字的匹配度來確定的。在圖注意力機(jī)制模型中，基于嵌入學(xué)習(xí)常用假設(shè)的影響下，即特征相似的實(shí)體可能存在相似的鄰居，類比注意函數(shù)的定義并應(yīng)用于知識圖譜D中實(shí)體的嵌入。具體來說，圖注意力機(jī)制的輸入層由一組實(shí)體特征組成，可表示為e={e₁，e₂，…，e_l}，e_i∈R^d，其中l(wèi)表示實(shí)體特征的維數(shù)，d表示每個(gè)實(shí)體的特征維度。圖注意力機(jī)制的輸出層是產(chǎn)生的一組新的實(shí)體嵌入，表示為e′={e′₁，e′₂，…，e′_l}，e′_i∈R^d′，其中d′表示新實(shí)體嵌入的維度。

在本文中，考慮到關(guān)系會(huì)影響實(shí)體的嵌入，因此圖注意力機(jī)制的輸入層為D={（E，R，T）}，同時(shí)由于可使用鄰居實(shí)體或?qū)嶓w間的關(guān)系作為信息獲取的度量，而關(guān)系可分為入向、出向和自循環(huán)關(guān)系，所以將圖注意力的實(shí)現(xiàn)分為基于三種不同關(guān)系三元組的實(shí)體級注意力和關(guān)系級注意力。

2.3.2 實(shí)體級注意力

節(jié)點(diǎn)連通性信息提供了知識圖譜中節(jié)點(diǎn)的描述，通過聚合其相關(guān)三元組的信息來學(xué)習(xí)實(shí)體嵌入。特別地，本文采用雙向注意力機(jī)制，該機(jī)制封裝了關(guān)系的方向信息來衡量鄰域的重要性。如圖2（a）所示的子圖是一個(gè)中心實(shí)體A，被鄰居實(shí)體“電影”“電視劇”和“學(xué)校”所圍繞，并由外向關(guān)系“導(dǎo)演”“演員”和內(nèi)向關(guān)系“學(xué)生”鏈接。圖2（b）（c）是圖2（a）的外向關(guān)系和內(nèi)向關(guān)系模式，描述了鄰居實(shí)體對中心實(shí)體的不同事實(shí)。例如，中心實(shí)體A表示一個(gè)娛樂圈人物，當(dāng)出向關(guān)系為“導(dǎo)演”時(shí)，鏈接的鄰居節(jié)點(diǎn)可能是“電影”或“電視劇”，因此需要計(jì)算這兩個(gè)節(jié)點(diǎn)的權(quán)重，完成中心實(shí)體的嵌入。值得注意的是，由于在聚合鄰居信息時(shí)并未考慮到中心實(shí)體本身的特征，而其本身也可以作為自己的特殊鄰居實(shí)體，所以本文為中心實(shí)體附加自循環(huán)操作，如圖2（d）所示，在計(jì)算不同鄰居信息對中心實(shí)體的權(quán)重同時(shí)也將自循環(huán)考慮進(jìn)去，提高最終的嵌入結(jié)果的精準(zhǔn)度。在實(shí)體嵌入層利用圖注意機(jī)制，根據(jù)三重隱含表征的重要性來分配關(guān)注度權(quán)重，從而產(chǎn)生中心實(shí)體表征。通過簡單的拼接以及線性轉(zhuǎn)換生成中心實(shí)體e_m包含實(shí)體和關(guān)系的新嵌入向量的三重表示，其出向關(guān)系、入向關(guān)系以及自循環(huán)關(guān)系模式下的三元組表示如下：

表示線性變換矩陣。接著計(jì)算三元組的注意力系數(shù)，這里以入向關(guān)系為例，出向和自循環(huán)關(guān)系計(jì)算方法相同，過程如下：

其中：b表示一個(gè)注意向量；LeakyReLU表示非線性激活函數(shù)，其斜率為負(fù)0.2。最后針對每一個(gè)中心實(shí)體，由于權(quán)重系數(shù)受鄰居實(shí)體和實(shí)體之間鏈接的關(guān)系影響，所以權(quán)重系數(shù)計(jì)算如下：

其中：e_n表示入向關(guān)系多頭注意力的聚合輸出取平均的結(jié)果；l=1，2，…，K是注意頭的數(shù)量。

2.3.3 關(guān)系級注意力

由于知識圖譜中關(guān)系類型的異構(gòu)性，需要學(xué)習(xí)獨(dú)立的嵌入來建模其差異，此外由于這些關(guān)系處于不同的上下文（鄰居）中，為了在更新時(shí)減少語義損失，本文將具有適當(dāng)重要性的鄰域信息封裝到學(xué)習(xí)的關(guān)系嵌入中，即針對不同的關(guān)系，計(jì)算其對中心實(shí)體的權(quán)重以完成實(shí)體嵌入。如圖2（b）有“導(dǎo)演”和“主演”兩種出向關(guān)系，此時(shí)需要計(jì)算這兩種關(guān)系對中心實(shí)體的重要程度，以助于完成實(shí)體嵌入。與實(shí)體嵌入的過程相同，對于關(guān)系r_i，有選擇地融合其相關(guān)三元組的信息來更新其表示，這里以出向關(guān)系為例。首先，基于上文三元組注意力系數(shù)計(jì)算公式計(jì)算針對關(guān)系r_i的三元組相對關(guān)注度，公式如下：

其中：N_r（i）={（e_p，e_q）（e_p，r_i，e_q）∈T″}表示關(guān)于關(guān)系r_i的頭尾實(shí)體的集合；T″←T∪T′∪Ts。接著更新關(guān)系r_i的表示為h′_i。

其中：f（·）函數(shù)表示關(guān)系的非線性激活函數(shù)；WH是特定于關(guān)系的卷積核。與實(shí)體級注意力相同，為了聚合更多的鄰居信息，本文使用多頭注意力并取平均來完成關(guān)系的嵌入h′_i。

2.4 層次類型注意力機(jī)制

層次類型級注意力旨在針對中心實(shí)體的不同鄰域關(guān)系、同一關(guān)系下的不同鄰域?qū)嶓w組以及同一類型的不同鄰域?qū)嶓w對于表示該實(shí)體并不同等重要的事實(shí)，進(jìn)一步實(shí)現(xiàn)了鄰域信息與類型信息的分層學(xué)習(xí)。對于圖2（a）的知識圖譜，可以將其表示為一個(gè)層次類型樹，圖3為一具體實(shí)例，首先計(jì)算每個(gè)相鄰關(guān)系對中心實(shí)體的不同貢獻(xiàn)，包含出關(guān)系“direct”、入關(guān)系“act”、入向關(guān)系“student”。再根據(jù)不同關(guān)系將鄰居實(shí)體分為若干個(gè)集合來完成類型的重要性評估，在每個(gè)相鄰關(guān)系下，評估每種類型對中心實(shí)體的重要性。最后，評估中心實(shí)體在每個(gè)鄰接關(guān)系下對每組中每個(gè)鄰接實(shí)體的重視程度。

2.4.1 關(guān)系級注意力

關(guān)系層注意是由于不同關(guān)系的權(quán)重在表示一個(gè)實(shí)體方面存在很大差異而引起的。如圖3中存在“direct”“act”和“student”三種不同的關(guān)系，在該層計(jì)算不同關(guān)系下類型實(shí)體集的重要性。本文分為入向關(guān)系和出向關(guān)系權(quán)重計(jì)算，首先通過特征矩陣完成線性轉(zhuǎn)換，嵌入向量如下：

本文使用標(biāo)準(zhǔn)交叉熵?fù)p失來計(jì)算損失函數(shù)：

其中：y_j=y（e_m，r_i，e_nj）表示三元組（e_m，r_i，e_n）的標(biāo)號（0或1），0表示負(fù)三元組，1表示正三元組；N表示尾部實(shí)體的候選數(shù)；D+∈D∪D^-表示正負(fù)三元組并集，D^-是通過隨機(jī)替換正三元組的頭實(shí)體或尾實(shí)體，獲得的負(fù)三元組集合。該模型使用Adam優(yōu)化器來優(yōu)化損失函數(shù)，具體內(nèi)容詳見文獻(xiàn)［27］。

3 實(shí)驗(yàn)

本文對鏈路預(yù)測任務(wù)進(jìn)行了實(shí)驗(yàn)，根據(jù)多個(gè)基線評估Bi-HTGAT模型的有效性。進(jìn)一步研究了本文模型在建模不同類別關(guān)系方面的威力。

3.1 數(shù)據(jù)集

本文使用WN18RR^［12］、FB15k-237^［28］、Kinship^［29］和NELL-995^［30］這四個(gè)數(shù)據(jù)集完成鏈接預(yù)測實(shí)驗(yàn)，這四個(gè)基準(zhǔn)數(shù)據(jù)集包含一定數(shù)量的關(guān)系和實(shí)體，表1列出了基本統(tǒng)計(jì)數(shù)據(jù)，同時(shí)還提供了如下的詳細(xì)信息。

WN18RR數(shù)據(jù)集是從WN18^［35］創(chuàng)建的鏈接預(yù)測數(shù)據(jù)集，該數(shù)據(jù)集刪除了可逆關(guān)系，包含40 943個(gè)實(shí)體和11種關(guān)系類型。

FB15k-237數(shù)據(jù)集是從FB15k^［35］創(chuàng)建的鏈接預(yù)測數(shù)據(jù)集，同樣刪除了可逆關(guān)系，該數(shù)據(jù)集具有14 541個(gè)實(shí)體和237種關(guān)系類型。

Kinship數(shù)據(jù)集描述了阿亞瓦拉部落的人際關(guān)系，包括104個(gè)實(shí)體和25個(gè)關(guān)系。

NELL-995數(shù)據(jù)集提供了農(nóng)產(chǎn)品、書籍、動(dòng)物等描述，包含75 492個(gè)實(shí)體和200種關(guān)系。

3.2 基線

TransE：一種經(jīng)典的翻譯方法，設(shè)計(jì)了一個(gè)基于距離的評分函數(shù)，通過轉(zhuǎn)換操作來模擬頭部和尾部之間的關(guān)系。

DistMult：一種具有代表性的張量因子分解模型，通過使用雙線性評分函數(shù)來計(jì)算三元組的得分。

ComplEx：引入了一個(gè)復(fù)雜的空間來模擬反對稱關(guān)系，是DistMult的一個(gè)顯著擴(kuò)展。

RotatE^［31］：該模型將關(guān)系視為從頭部到尾部的旋轉(zhuǎn)，從而對各種復(fù)雜關(guān)系模式進(jìn)行建模。

ConvE：第一個(gè)通過應(yīng)用卷積運(yùn)算處理關(guān)系和實(shí)體的CNN模型。

CompGCN：基于GCN的模型，在關(guān)系和尾部實(shí)體之間執(zhí)行組合操作。

R-GCN：一種應(yīng)用GCN模型來從每個(gè)實(shí)體的鄰域中收集信息的模型。

HRAN：一種基于GNN的模型，該模型設(shè)計(jì)了一種基于關(guān)系路徑的注意機(jī)制來度量具有不同關(guān)系的鄰居實(shí)體的重要性。

A2N^［32］：一種基于GNN的模型，同時(shí)利用注意力機(jī)制自適應(yīng)地組合實(shí)體的相關(guān)鄰域信息。

AutoETER^［33］：通過將每個(gè)關(guān)系看做是兩個(gè)實(shí)體類型之間的轉(zhuǎn)換操作來學(xué)習(xí)每個(gè)實(shí)體的潛在類型嵌入，并利用關(guān)系感知映射機(jī)制來學(xué)習(xí)每個(gè)實(shí)體的潛在類型嵌入。

KBGAT：一種基于GNN的模型，將圖注意網(wǎng)絡(luò)對局部鄰域建模用于捕獲多跳鄰域的信息。

RGHAT：提出了一種新的基于GNN的模型，該模型設(shè)計(jì)了一種基于關(guān)系路徑的注意機(jī)制來度量具有不同關(guān)系的鄰居實(shí)體的重要性。

3.3 評估方案

遵循大多數(shù)基線方法，該研究使用三元組的等級進(jìn)行評估，即對測試數(shù)據(jù)集中所有正確的三元組執(zhí)行頭部評估和尾部評估。具體地，對于一個(gè)測試三元組，首先通過用其他實(shí)體替換其頭部和尾部實(shí)體來構(gòu)建正確的三元組。然后，通過該模型預(yù)測正確的三元組和被破壞的三元組分?jǐn)?shù)，并按降序進(jìn)行排序以生成相應(yīng)的排名。最后，基于排序算法用MRR（mean reciprocal rank，平均倒數(shù)排名）、MR（mean rank，排名的平均值）和Hits@k（排名不大于k的比例）等幾個(gè)基于排序的度量對本文提出的Bi-HTGAT模型進(jìn)行了評估，預(yù)計(jì)會(huì)獲得更高的MRR和Hits@N，并降低MR。

3.4 參數(shù)設(shè)置

本文通過聯(lián)合訓(xùn)練編碼器和解碼器模型而不是單獨(dú)的訓(xùn)練過程來進(jìn)行所有實(shí)驗(yàn)。超參數(shù)設(shè)置選擇如下：學(xué)習(xí)率［0.001，0.0005，0.0001］，批量大?。?4，128，256］，標(biāo)簽平滑度［0.1，0.2，0.3］，關(guān)系和實(shí)體的初始嵌入大?。?00，200，300，400］，關(guān)注頭的數(shù)量［1，2，3，4］，內(nèi)核大小［3，5，7］，過濾器的數(shù)量［1000，200，300］。丟失包括0.0～0.7采樣的GCN丟失、嵌入丟失、特征丟失和隱藏丟失。每個(gè)三元組的負(fù)樣本數(shù)選自［20、30、40、50］。此外，由GCN層更新的關(guān)系和實(shí)體的最終嵌入大小設(shè)置為200。

3.5 實(shí)驗(yàn)結(jié)果與分析

3.5.1 總體實(shí)驗(yàn)結(jié)果

為了證明Bi-HTGAT的有效性，本文從兩個(gè)方面直觀地分析了實(shí)驗(yàn)結(jié)果。一方面，Bi-HTGAT的整體性能針對幾個(gè)基線模型進(jìn)行評估，如表2和3所示，同時(shí)圖4描述了FB15K-237和WN18RR上訓(xùn)練過程中的Hits@10和MRR。另一方面，因?yàn)锽i-HTGAT引入了雙向注意力，為了評估建模不同關(guān)系類型的能力，本文比較Bi-HTGAT與FB15k-237數(shù)據(jù)集上的Hits@10指標(biāo)中的一些基線關(guān)系類別，如表4所示，最好的分?jǐn)?shù)以粗體顯示，次好的分?jǐn)?shù)帶有下畫線，“-”表示缺失值。

由表2和3可以看出，本文提出的模型Bi-HTGAT在WN18RR和FB15k-237數(shù)據(jù)集以及Kinship和NELL-995數(shù)據(jù)集上，除了FB15k-237上的Hit@10和Kinship上的Hit@10，各種評價(jià)指標(biāo)始終表現(xiàn)出最佳性能。從實(shí)驗(yàn)結(jié)果可以得出如下結(jié)論：

a）與翻譯模型和張量分解模型相比，Bi-HTGAT在四個(gè)數(shù)據(jù)集上性能獲得明顯提高。

b）與基于圖神經(jīng)網(wǎng)絡(luò)模型相比，Bi-HTGAT性能仍然取得顯著的改進(jìn)。

c）與融合鄰域信息的圖注意力機(jī)制模型相比，大部分的性能均優(yōu)于其他基線模型?？捎梢韵氯c(diǎn)說明：與R-GCN相比，Bi-HTGAT性能在四個(gè)數(shù)據(jù)集上明顯提高，R-GCN雖然關(guān)注了實(shí)體的方向信息，但是并未考慮實(shí)體其他的隱藏信息，本模型在此基礎(chǔ)上還融入了實(shí)體的層次類型信息，使最終的嵌入結(jié)果精準(zhǔn)度升高；KBGAT在Kinship數(shù)據(jù)集的Hit@10指標(biāo)上表現(xiàn)突出，是因?yàn)镵inship含有的實(shí)體和關(guān)系數(shù)量較少且類型單一，而KBGAT引入注意力機(jī)制的同時(shí)考慮到實(shí)體間的多跳路徑信息，可封裝更多的鄰域信息，提高了模型性能，除了Kinship數(shù)據(jù)集上Hit@10指標(biāo)外，Bi-HTGAT在四個(gè)數(shù)據(jù)集上的其他指標(biāo)均優(yōu)于KBGAT，其中在WN18RR數(shù)據(jù)集上Hit@1性能提高了12.2%，因?yàn)镵BGAT僅關(guān)注了入站方向的多跳信息；RGHAT在FB15k-237上的Hit@10指標(biāo)略高于本模型，因?yàn)镕B15k-237是一個(gè)含有復(fù)雜關(guān)系的知識圖譜數(shù)據(jù)集，且RGHAT也關(guān)注到實(shí)體的層次信息，使得實(shí)體的嵌入結(jié)果更精準(zhǔn)，所以性能表現(xiàn)較突出。但是Bi-HTGAT在WN18RR和FB15k-237數(shù)據(jù)集上的其他指標(biāo)均優(yōu)于RGHAT，是因?yàn)镽GHAT雖然融入了實(shí)體的層次信息，但本文在此基礎(chǔ)上不僅在層次信息的基礎(chǔ)上增加了實(shí)體類型級注意力，也增加了雙向注意力機(jī)制，更大程度地提高了模型的準(zhǔn)確性，其中在WN18RR數(shù)據(jù)集上的MRR指標(biāo)上提升了2.9%。

d）雖然Bi-HTGAT在Kinship和NELL-995這兩個(gè)數(shù)據(jù)集上顯示性能相比其他模型較突出但相差不大，一方面是由于這兩個(gè)數(shù)據(jù)集較簡單，另一方面說明已有的模型已經(jīng)可以達(dá)到一個(gè)相當(dāng)不錯(cuò)的效果。

e）與解碼器ConvE模型相比，Bi-HTGAT在四個(gè)數(shù)據(jù)集上的各個(gè)指標(biāo)都有顯著的提高，由此可以說明，引入實(shí)體的鄰域信息后，對知識圖譜嵌入是有價(jià)值的，進(jìn)一步驗(yàn)證了本文提出的編碼器是有效的。

由圖4可以發(fā)現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)模型通常比以前的模型具有更好的性能，語義匹配模型很容易訓(xùn)練，并且可以快速地對知識圖譜建模。

考慮到知識圖譜中存在著復(fù)雜的關(guān)系信息，同時(shí)Bi-HTGAT也引入了雙向注意力機(jī)制來處理關(guān)系信息，本文將關(guān)系分為1對1、1對N、N對1和N對N，在FB15k-237數(shù)據(jù)集上的Hit@10指標(biāo)來評估鏈路預(yù)測性能，如表4所示。除了在N-1關(guān)系上對于主實(shí)體的預(yù)測，Bi-HTGAT在頭部實(shí)體預(yù)測和尾部實(shí)體預(yù)測上都比其他基線獲得了更好的性能，這說明了利用雙向注意力機(jī)制進(jìn)行實(shí)體嵌入具有一定的優(yōu)越性。

3.5.2 消融研究

為了檢測模型組件的有效性，本文引入了Bi-HTGAT的四種變體，在四個(gè)數(shù)據(jù)集上進(jìn)行消融研究，如下：a）Bi-HTGAT-HT，從Bi-HTGAT中移除雙向注意力機(jī)制，在該實(shí)驗(yàn)中檢測模型只含有層次類型注意力機(jī)制對模型的效果；b）Bi-HTGAT-Bi，從Bi-HTGAT中移除層次類型注意力機(jī)制，檢測模型只含有雙向注意力機(jī)制對模型的效果；c）Bi-HTGAT-O，Bi-HTGAT只接收來自入方向的鄰居，檢測模型效果；d）Bi-HTGAT-I，Bi-HTGAT只接收來自出方向的鄰居，檢測模型效果。

由表5可以得出以下結(jié)論：a）模型僅含有層次類型注意力機(jī)制或雙層注意力機(jī)制，效果明顯低于原模型，因此可以說明通過融合兩種注意力顯著提高了模型的性能；b）模型僅聚合入方向或出方向鄰居信息，實(shí)驗(yàn)效果接近但低于原模型，因此可以說明同時(shí)考慮雙向關(guān)系的鄰居信息改善了嵌入結(jié)果。由此數(shù)據(jù)可說明Bi-HTGAT中所有組件的合理性。

3.5.3 案例研究

為了直觀地驗(yàn)證Bi-HTGAT的預(yù)測能力，本文使用FB15k-237數(shù)據(jù)集進(jìn)行案例研究。表6顯示了在給定頭實(shí)體的情況下與對應(yīng)尾實(shí)體間的相應(yīng)關(guān)系，表中的α和β分別表示關(guān)系和尾實(shí)體相對于頭實(shí)體的權(quán)重值。從表中可以看到，對于頭實(shí)體“René Descartes”來說，只存在“Nationality”關(guān)系，而尾實(shí)體則出現(xiàn)了三個(gè)，但是“France”權(quán)重值最大，因此該實(shí)體作為正確尾實(shí)體的概率最大。而對于“Los Angeles Lakers”實(shí)體來說，存在三個(gè)關(guān)系“Sports_team_location”“Award”和“Sports_team_roster”，但是“Award”所占的權(quán)重較高，因此可以看出人們相比于地址和團(tuán)隊(duì)成員更加關(guān)注團(tuán)隊(duì)的榮譽(yù)。而基于“Award”關(guān)系又存在兩個(gè)尾實(shí)體“NBA championship”和“regular competition”，其中“NBA championship”權(quán)重值最高，因此該實(shí)體頭實(shí)體的影響度最高。

Bi-HTGAT模型與KBGAT和RGHAT結(jié)果比較時(shí)發(fā)現(xiàn)，在KBGAT上對于實(shí)體“René Descartes”，尾實(shí)體“France”“Finland”和“Britain”的權(quán)重值分別為0.063、0.068和0.071，權(quán)重值并無明顯的幅差，顯然與現(xiàn)實(shí)不符。同時(shí)在RGHAT上對于實(shí)體“Los Angeles Lakers”，基于關(guān)系“Sports_team_roster”的尾實(shí)體權(quán)重值分別為0.258和0.023 5，這兩者相差近10倍，明顯違背現(xiàn)實(shí)。從以上結(jié)論可以看出，使用Bi-HTGAT模型能夠很好地區(qū)分局部鄰域的重要性；此外，雙向注意機(jī)制和層次類型注意力機(jī)制增加了模型的可解釋性，可反映出一個(gè)實(shí)體如何從鄰居那里聚集信息。綜上Bi-HTGAT相比于其他模型性能更穩(wěn)定，更符合現(xiàn)實(shí)。

4 結(jié)束語

本文介紹了一種融合層次類型信息的雙向圖注意力機(jī)制的知識圖譜嵌入模型Bi-HTGAT，該模型通過學(xué)習(xí)實(shí)體間雙向鄰居信息的同時(shí)聚合實(shí)體的層次類型信息。具體地說，該模型設(shè)計(jì)了雙向注意力機(jī)制和層次類型注意力機(jī)制，聯(lián)合度量鄰居信息對中心實(shí)體的重要性，從而使知識圖譜中的關(guān)系和實(shí)體等元素能夠更好地進(jìn)行語義交互。實(shí)驗(yàn)結(jié)果表明，與其他基線模型相比，Bi-HTGAT在四個(gè)知識圖譜嵌入基準(zhǔn)數(shù)據(jù)集上實(shí)現(xiàn)了最佳性能。在未來的研究中，將考慮實(shí)體間多跳關(guān)系路徑信息，進(jìn)一步提升模型性能。

參考文獻(xiàn)：

［1］張?zhí)斐桑?田雪， 孫相會(huì)， 等. 知識圖譜嵌入技術(shù)研究綜述［J］. 軟件學(xué)報(bào)， 2023，34（1）： 277-311. （Zhang Tiancheng， Tian Xue， Sun Xianghui， et al. Overview of knowledge map embedding techno-logy［J］. Journal of Software， 2023，34（1）： 277-311.）

［2］Bollacker K， Evans C， Paritosh P， et al. Freebase： a collaboratively created graph database for structuring human knowledge［C］//Proc of ACM SIGMOD International Conference on Management of Data. New York：ACM Press， 2008： 1247-1250.

［3］Auer S， Bizer C， Kobilarov G， et al. DBPedia： a nucleus for a Web of open data［C］//Proc of the 6th International Semantic Web Confe-rence， 2nd Asian Semantic Web Conference. Berlin： Springer， 2007： 722-735.

［4］Hu Sen， Zou Lei， Yu J X， et al. Answering natural language questions by subgraph matching over knowledge graphs［J］. IEEE Trans on Knowledge and Data Engineering， 2017，30（5）： 824-837.

［5］Bordes A， Usunier N， Garcia-Duran A， et al. Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.，2013：2787-2795.

［6］Yang Bishan， Yih W， He Xiaodong， et al. Embedding entities and relations for learning and inference in knowledge bases［EB/OL］. （2015-08-29）. https：//arxiv.org/abs/1412.₆₅75.

［7］Nguyen D Q， Nguyen T D， Nguyen D Q， et al. A novel embedding model for knowledge base completion based on convolutional neural network［EB/OL］. （2018-03-13）. http：//doi.org/10.18₆₅3/v1/n18-2053.

［8］Schlichtkrull M， Kipf T N， Bloem P， et al. Modeling relational data with graph convolutional networks［C］//Proc of the 15th European Semantic Web Conference. Berlin： Springer， 2018： 593-607.

［9］Veli?kovi? P， Casanova A， Liò P， et al. Graph attention networks［C］//Proc of the 6th International Conference on Learning Representations. 2018.

［10］Nathani D， Chauhan J， Sharma C， et al. Learning attention-based embeddings for relation prediction in knowledge graphs［EB/OL］. （2019-06-04）. https：//arxiv.org/abs/1906.01195.

［11］Zhang Zhao， Zhuang Fuzhen， Zhu Hengshu， et al. Relational graph neural network with hierarchical attention for knowledge graph completion［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2020： 9612-9619.

［12］Dettmers T， Minervini P， Stenetorp P， et al. Convolutional 2D know-ledge graph embeddings［C］//Proc of the 32nd AAAI Conference on Artificial Intelligence and the 30th Innovative Applications of Artificial Intelligence Conference and the 8th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018：1811-1818.

［13］Lin Yankai， Liu Zhiyuan， Sun Maosong， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proc of the 29th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2015：2181-2187.

［14］Wang Zhen， Zhang Jianwen， Feng Jianlin， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proc of the 28th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2014： 1112-1119.

［15］Nickel M， Tresp V， Kriegel H P. A three-way model for collective learning on multi-relational data［C］//Proc of the 28th International Conference on Machine Learning. Madison， WI： Omnipress， 2011：809-816.

［16］Trouillon T， Welbl J， Riedel S， et al. Complex embeddings for simple link prediction［C］//Proc of the 33rd International Conference on Machine Learning.［S.l.］：JMLR.org ，2016：2071-2080.

［17］Xie Ruobing， Liu Zhiyuan， Jia Jia， et al. Representation learning of knowledge graphs with entity descriptions［C］//Proc of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2016： 2₆₅9-26₆₅.

［18］Xie Ruobing， Liu Zhiyuan， Sun Maosong. Representation learning of knowledge graphs with hierarchical types［C］//Proc of the 25th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2016：29₆₅-2971.

［19］Tang Xing， Chen Ling， Cui Jun， et al. Knowledge representation learning with entity descriptions， hierarchical types， and textual relations［J］. Information Processing amp; Management， 2019，56（3）： 809-822.

［20］Kipf T N， Welling M. Semi-supervised classification with graph con-volutional networks［EB/OL］. （2017-02-22）. https：//arxiv.org/abs/1609.02907.

［21］Vashishth S， Sanyal S， Nitin V， et al. Composition-based multi-relational graph convolutional networks［EB/OL］. （2020-01-18）. https：//arxiv.org/abs/1911.03082.

［22］Shang Chao，Tang Yun，Huang Jing，et al. End-to-end structure-aware convolutional networks for knowledge base completion［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence and the 31st Innovative Applications of Artificial Intelligence Conference and the 9th AAAI Symposium on Educational Advances in Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 3060-3067.

［23］Ye Rui， Li Xin， Fang Yujie， et al. A vectorized relational graph convolutional network for multi-relational network alignment［C］//Proc of the 28th International Joint Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press，2019： 4135-4141.

［24］Zhao Yu， Feng Huali， Zhou Han， et al. EIGAT： incorporating global information in local attention for knowledge representation learning［J］. Knowledge-Based Systems， 2022， 237： 107909.

［25］趙曉娟， 賈焰， 李愛平， 等. 基于層級注意力機(jī)制的鏈接預(yù)測模型研究［J］. 通信學(xué)報(bào)， 2021，42（3）： 36-44. （Zhao Xiaojuan， Jia Yan， Li Aiping， et al. Research on link prediction model based on hierarchical attention mechanism［J］. Journal on Communication， 2021，42（3）：36-44.）

［26］Li Zhifei， Liu Hai， Zhang Zhaoli， et al. Learning knowledge graph embedding with heterogeneous relation attention networks［J］. IEEE Trans on Neural Networks and Learning Systems， 2022，33（8）： 3961-3973.

［27］Kingma D P， Ba J. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）. https：//arxiv.org/abs/1412.6980.

［28］Toutanova K， Chen Danqi， Pantel P， et al. Representing text for joint embedding of text and knowledge bases［C］//Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015：1499-1509.

［29］Lin X V， Socher R， Xiong Caiming. Multi-hop knowledge graph reasoning with reward shaping［EB/OL］. （2018-09-11）. https：//arxiv.org/abs/1808.10568.

［30］Xiong Wenhan， Hoang T， Wang W Y. DeepPath： a reinforcement learning method for knowledge graph reasoning［EB/OL］. （2018-07-07）. https：//arxiv.org/abs/1707.06690.

［31］Sun Zhiqing， Deng Z H， Nie J Y， et al. Rotate： knowledge graph embedding by relational rotation in complex space［EB/OL］. （2019-02-26）. https：//arxiv.org/abs/1902.10197.

［32］Bnsal T， Juan Dacheng， Ravi S， et al. A2N： attending to neighbors for knowledge graph inference［C］//Proc of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4387-4392.

［33］Niu Guanglin， Li Bo， Zhang Yongfei， et al. AutoETER： automated entity type representation for knowledge graph embedding［EB/OL］. （2020-10-06）. https：//arxiv.org/abs/2009.12030.