基于雙層圖注意力網絡的鄰域信息聚合實體對齊方法

摘 要：針對知識圖譜中存在部分屬性信息對實體對齊任務影響程度不一致以及實體的鄰域信息重要程度不一致的問題，提出了一種結合雙層圖注意力網絡的鄰域信息聚合實體對齊（two-layer graph attention network entity alignment，TGAEA）方法。該方法采用雙層圖神經網絡，首先利用第一層網絡對實體屬性進行注意力系數計算，降低無用屬性對實體對齊的影響；隨后，結合第二層網絡對實體名稱、關系和結構等信息進行特征加權，以區分實體鄰域信息的重要性；最后，借助自舉方法擴充種子實體對，并結合鄰域信息相似度矩陣進行實體距離度量。實驗表明，在DWY100K數據集上，TGAEA模型相較于當前基線模型，hit@1、hit@10和MRR指標分別提升了4.18%、4.81%和5%，證明了雙層圖注意力網絡在鄰域信息聚合實體對齊方面的顯著效果。

關鍵詞：知識圖譜；實體對齊；圖注意力網絡；屬性信息；鄰域信息聚合

中圖分類號：TP391 文獻標志碼：A文章編號：1001-3695（2024）06-012-1686-07

doi： 10.19734/j.issn.1001-3695.2023.10.0520

Neighborhood information aggregation entity alignment method based on double layer graph attention network

Abstract： This paper proposed the TGAEA algorithm， which combined neighborhood information aggregation with two layers of graph attention networks to tackle challenges in entity alignment tasks within knowledge graphs. Initially， the method utilized the first-layer graph neural network to calculate attention coefficients for entity attribute embedding vectors， aiming to mitigate the impact of irrelevant attributes on entity alignment outcomes. Based on the attribute embedding， the second-layer graph neural network was employed to weight the embedding vectors of entity names， relationships， and structural information， thereby distinguishing the importance of various information within the entity’s neighborhood. Additionally， it utilized the bootstrap method to iteratively expand the seed entity pair， and completed the entity distance measurement by combining the neighborhood information similarity matrix. The experimental results show that the TGAEA model is significantly superior to the current advanced baseline models in the DWY100K dataset， compared to the best method， hit@1， hit@10 and MRR indicators increased by 4.18%， 4.81%， and 5%. These findings emphasize the substantial impact of the two-layer graph attention network on aggregating neighborhood information for entity alignment.

Key words：knowledge graph（KG）; entity alignment; graph attention network; attribute information; neighborhood information aggregation

0 引言

近年來，知識圖譜（KG）已在人工智能、自然語言處理和語義網等領域展露鋒芒。知識圖譜是高效利用可視化技術描述知識資源的重要載體，其構建了一個計算機和人類都能理解的關系網絡［1］。隨著深度學習和表示模型的迅猛發展，知識圖譜在知識推理［2］、推薦系統［3］、知識問答［4］等領域得到廣泛應用。然而，隨著數據量的持續增長，知識圖譜愈發呈現跨領域、知識逐漸細分的特性，如何在不同數據源知識圖譜中查找等效實體，是進行知識大規模整合及利用的難點。

實體對齊（entity alignment，EA）旨在從不同來源的知識圖譜中找到指向現實世界的同一實體，該任務是完成知識融合的關鍵步驟。最早的實體對齊工作大多集中在句法和結構上［5］，主要由符號特征［6］和關系推理［7］來實現對齊，但是這些方法忽略了多方面隱含的語義信息（如屬性之間的關聯語義和結構信息等），使得對齊效果有限。

近年來基于知識嵌入［8］的實體對齊技術應運而生，這類技術旨在捕獲實體之間的語義關聯關系，提高對齊的準確性和魯棒性。知識嵌入的方法主要使用TransE［9］和GCN（graph convolutional networks）［10］等作為編碼器，將實體信息表示為低維向量并計算相似性，以找到對齊實體對。但這些模型大多只關注實體關系信息，也有一些模型［11］嘗試使用GAT（graph attention）［12］網絡，結合知識圖譜中的結構表示與實體自身的屬性特征加權表示進行實體對齊，但大多都只針對單個屬性內部信息的字符序列信息進行學習，忽略了不同屬性對實體重要程度不一致的問題，且實體名稱、屬性、關系以及結構等鄰域信息對實體表示的重要程度也不一。因此，本文提出一種基于雙層注意力網絡的實體對齊方法，利用兩層注意力網絡分別對屬性信息內部和實體的不同信息之間進行注意力加權，消除不同信息對實體對齊工作影響程度不一的問題。本文的主要貢獻如下：

a）在屬性嵌入模塊，使用BERT（bidirectional encoder re-presentations from transformers）預訓練模型［13］學習實體的屬性及屬性值表示，根據表示結果，引入GAT網絡進行注意力系數的計算，然后形成加權的屬性表示向量矩陣。

b）基于實體表示模塊，使用GCN分別將實體名稱、實體的關系信息以及實體的結構信息進行向量化表示，并將加入注意力系數后的屬性表示向量和其他多類信息特征向量進行注意力系數計算，最終形成由雙層圖注意網絡計算輸出的實體多信息相似度矩陣。

c）使用嵌入空間的距離計算相似度得分，并最終在真實數據集上評估該方法，本文模型相比于最優基線模型，hit@1、hit@10和MRR指標分別提升了4.18%、4.81%和5%，驗證了雙圖注意力網絡在實體鄰域信息聚合工作方面的優異表現。

1 相關工作

知識表示學習也被稱為知識嵌入，是目前應用較為廣泛的實體對齊方法，主要研究對象是知識圖譜嵌入。這種嵌入方法的機制是將多個知識圖譜中的實體映射到低維向量空間，通過向量空間的幾何結構來捕獲實體之間的語義關聯性，同時也能隱性地降低不同知識圖譜間的異構性問題。目前主流的知識嵌入方法分為基于翻譯、基于路徑和基于圖神經網絡方法三類。

1.1 基于翻譯的實體對齊方法

翻譯模型以TransE［9］、TransH［14］和TransR［15］及其擴展模型為主，這類模型的主要工作機制是將關系視為頭實體到尾實體的翻譯。MTransE［16］首次將TransE的思想用于實體對齊工作中，其首先使用TransE學習單個知識圖譜的嵌入表示，然后提出三種跨知識圖譜的變換方法，將兩個知識圖譜映射到相同的嵌入空間中，最后對齊不同知識圖譜中的實體；BootEA［17］采用TransE作為編碼模塊，并在MTransE模型基礎之上引入“參數交換”策略，通過相互交換已對齊的實體對來擴充有效的事實三元組；JAPE［18］將兩個知識圖譜的結構聯合嵌入到一個統一的向量空間中，并利用知識圖譜中的屬性相關性來進一步完善實體嵌入；KDCoE［19］在翻譯模型的編碼模塊基礎上增加了實體描述編碼模塊，以進行半監督跨語言學習，通過協同訓練來優化兩個嵌入模型；NTAM［20］提出了一種非平移方法，旨在通過概率模型為對齊任務提供更強大的解決方案，通過探索結構屬性以及利用錨點在學習單個網絡表示的過程，將每個網絡投影到相同的向量空間。然而，上述模型多數僅關注實體之間的單跳關系，并主要以三元組的角度對實體進行建模，因此此類模型常因損失較多的多跳鄰居信息而導致精度不夠。

1.2 基于路徑的實體對齊方法

不同于翻譯模型只關注實體間單跳信息的特點，基于路徑的模型將實體間的關系路徑進行建模，包含實體之間的傳播路徑，對于一些遠鄰居實體信息的利用更加充分。其中IPTransE［21］最早嘗試從路徑的視角解決實體對齊問題，與MTransE模型類似，IPTransE同樣在相互獨立的編碼空間內分別表示兩個知識圖譜的實體，RSNs［22］使用循環跳躍網絡來彌合實體之間的差距。RSN將遞歸神經網絡（RNN［23］）與殘差學習集成在一起，有效地捕獲單個KG內部和不同KG之間的長期關系依賴。但是目前多數基于路徑的模型不能解決因三元組數量增多而導致路徑變長的問題，進而影響訓練效率。

1.3 基于圖神經網絡的實體對齊方法

基于圖神經網絡的模型可以很好地解決因路徑過長導致對齊效果差的問題。此類模型將鄰近節點視為根節點的信息，使用圖神經網絡作為編碼器，以捕獲子圖結構，并對實體的信息進行聚合，最終轉換為向量表示。GCN-Align［24］是首個提出使用圖神經網絡來完成實體對齊任務的模型，該模型使用圖卷積網絡GCN結合結構信息和屬性信息來共同學習實體表示；NAEA［25］提出使用TransE和圖注意力網絡獲得實體的關系信息和鄰域信息；HMAN［26］使用GCN和全連接網絡來分別組合實體的多方面信息，包括實體的拓撲連接、關系和屬性，以學習實體嵌入。

以上工作主要從知識嵌入的不同表達方式出發，具體又可以分為局部嵌入和整體嵌入兩個方面。按照這些方法在處理不同實體對齊任務的結果來看，從整體嵌入的方法處理實體對齊工作表現得更加優異，但是隨著數據規模的增大，整體嵌入會導致不同信息對實體對齊工作影響程度不一的問題。因此本文基于GAT網絡，提出了一種利用雙層圖注意力網絡來學習實體鄰域信息的嵌入，以提升實體對齊工作的效率。

2 問題定義

實體對齊任務可以描述為兩個待對齊的知識圖譜G1=（E1，R1，V1，A1，T1），G2=（E2，R2，V2，A2，T2），給定的種子實體對S={（e1，e2）∈E1×E2|e1≡e2}，其中：E、R、V、A、T分別代表知識圖譜內的實體、關系、屬性、屬性值以及三元組的集合，≡表示現實中指向同一事實的實體［27］，實體對齊任務的目的是利用S中的先驗知識，找到G1、G2中的相同實體。

如圖1所示，品種名稱為“豫農186”的小麥在另一個數據源的名稱可能為“豫審麥2017002”小麥品種國家審定編號，兩個不同來源的實體都有“春性”的屬性，但是其他小麥品種也可能有相同的屬性，同時兩個實體都有適宜播種區域為“河南省早中茬中高肥力地”的屬性值，不難發現，更常見的屬性值在表示實體特征重要程度方面會變弱；同時觀察兩個實體的結構相似程度和實體與鄰居節點的關系特征等信息可以發現，名稱信息與其他信息相比，在實體對齊的重要程度會更低。因此，實體對齊工作應從單個信息內的重要程度和信息間的重要程度分別開展。

3 實體對齊方法

實體對齊方法分為屬性嵌入、多信息注意力加權嵌入以及實體對齊算法三個模塊。其中屬性嵌入模塊使用預訓練模型BERT進行屬性向量化表示，消除由屬性單位及數據源表示方法不統一造成的知識噪點，在獲得屬性特征向量的初始矩陣后，利用第一層圖注意網絡進行單個信息內的特征向量加權，消除不同屬性對實體對齊工作的影響程度不一的問題；多信息注意力加權嵌入模塊首先使用GCN對實體的結構、名稱以及關系進行卷積表達操作，目的是獲取實體其余信息的特征向量表示，在獲得實體的所有鄰域信息向量表示后，使用第二層圖注意網絡對所有信息進行加權，消除實體不同信息對對齊工作的影響程度不一的問題；實體對齊算法模塊中將獲得加權后的特征向量相似度矩陣使用嵌入空間的距離計算相似度得分，針對實體對齊工作中存在的先驗知識不足的問題，在此模塊中使用一種基于自舉的方法迭代地將每一輪若干高置信度對齊實體（全局最高）迭代地添加到訓練集中，達到擴充種子實體對的目的。最后在基準數據集上評估了該方法的實驗效果。實體對齊方法流程如圖2所示。

3.1 屬性嵌入模塊

同一屬性在不同數據源中表達形式可能不一。如表1所示，“麥紅吸漿蟲”的成蟲體長在“中原農村信息港”的表達單位為“毫米”，在“河南省小麥栽培管理措施”中為“mm”，為了使特征向量化的時候能區分出兩者為同一表達內容，本文在屬性特征表達上提出了區別于神經網絡進行向量表達的方法，即使用預訓練語言模型對屬性信息進行特征向量表示。

為了降低屬性的單位等信息對實體表示的影響，本文使用預訓練模型BERT對屬性信息進行嵌入表示，這樣既可以統一屬性的表達形式，同時得到的屬性向量可以用于和GCN模型學習的實體其他信息進行拼接和注意力系數計算。本節首先將屬性信息進行嵌入表達，初始詞嵌入向量表示為

其中：sn表示單個實體中屬性的特征向量表示，n為實體個數；F為節點的F維特征集合。

為了更好地為節點的屬性信息分配權重，需要將目標節點的所有鄰居屬性向量進行歸一化處理，這里使用softmax函數歸一化和使用LeakyReLU作為非線性激活函數計算權重，計算過程如圖3所示。

注意力系數計算公式為

其中：s是節點的特征；a表示一個單層的前饋神經網絡；W為參數矩陣；‖表示為兩個節點向量進行拼接；si， j為歸一化之前的注意力系數，該系數計算流程為

si， j=a（Wsi，Wsj）=aT［Wsi‖Wsj］（3）

獲得鄰居節點屬性的注意力系數ai， j后，需要對鄰域內節點的特征進行聚合，得到的即為節點屬性的特征向量，公式為

3.2 多信息37a1be1e17c7e8e62380ac9ef394d5efe727b612cf9219d7bd5bcc88b1f84991注意力加權嵌入模塊

實體的鄰域信息多樣且多維，具體取決于應用場景和任務需求。實體鄰域信息涵蓋實體描述、名稱、結構、關系以及屬性等諸多方面，這些信息能夠更全面地捕捉實體的語義含義，如何充分利用實體的鄰域信息是目前實體嵌入的難點。Chen等人［16］將關系三元組對齊任務描述為利用實體的結構信息進行嵌入。同樣，文獻［18］根據關系三元組得到結構嵌入，且根據屬性三元組得到屬性嵌入。文獻［28］使用實體的結構信息、屬性信息和實體名信息來完成實體鄰域信息嵌入。但是以往的工作都是圍繞著部分實體信息進行嵌入，沒有充分利用實體的鄰域信息，且不同信息對實體的重要程度也不一致。為此，本文結合通用知識圖譜屬性三元組較多的特點，選擇包括實體名稱、結構、關系以及在上一節中計算后加權的屬性信息，利用第二層圖注意力網絡對實體多信息進行加權嵌入表達。

具體思路是首先根據不同的信息內容，使用GCN對節點的名稱、結構及與鄰居節點的關系分別進行嵌入表達，然后根據獲得的特征向量進行第二次注意力加權。其中，多類信息的嵌入表達公式為

其中：m為經過GCN輸出的節點名稱的特征向量表示；q為節點結構的特征向量表示；r為節點的鄰居關系特征向量表示。

然后對獲取到的不同信息的特征向量進行注意力系數計算，其中也包含了經過第一層圖注意力網絡計算過的屬性嵌入向量。具體地，第二層GAT的輸入需要通過共享線性變換增強特征，由權重矩陣W進行參數初始化，每一種的信息注意力系數計算分別如下：

其中：ei， j，m 、ei， j，q、 ei， j，r分別為實體名稱、結構、關系的注意力系數；ei， j，s為二次加權后屬性的注意力系數；ei， j為四種信息注意力系數的求和。為了使不同實體之間的注意力系數易于區分，同樣使用共享權重矩陣、自注意變換以及LeakyReLU函數對求和后的注意力系數進行歸一化，計算流程如圖4所示。

多信息注意力系數計算公式如下：

得到注意力系數后，計算實體名稱、結構、關系以及屬性的特征進行加權求和：

多信息嵌入的實現代碼如算法1所示。

算法1 計算加入雙層圖注意力機制的多信息嵌入向量矩陣

3.3 基于鄰居距離的實體對齊

確定實體的最終向量化表示后，以往的做法是根據實體ei和ej之間的距離確定是否可以對齊，但是這種度量一般是局部最優，忽略了可能存在的其他實體和原本實體的對齊結果。

本文根據實體的向量相似度預測可能對齊的實體對，具體通過測量實體嵌入表示之間的距離實現。知識圖譜嵌入模塊的輸出為t′={t′1，t′2，…，t′n}，對于兩個實體ei∈G1，ej∈G2，根據式（16）計算實體對（ei，ej）距離。

d（ei，ej）=ti′-tj′L1（16）

其中：d表示L1范數。訓練的目標是使損失函數的值盡可能小。使用基于邊際的排序損失函數來訓練以下目標函數：

其中：γ為超參數；H和H′分別表示正負樣本的集合；［x］+表示修剪函數（rectified linear unit，ReLU），確保只有正值會對損失函數有貢獻，負值被視為零。正樣本通過數據集的種子實體對信息獲取，負樣本采用均勻負采樣的方法。

基于嵌入的實體對齊工作常受到不充分的先驗對齊知識的影響。為了解決這類問題，本文采用自舉的方法迭代地將置信度高的對齊實體對標記為訓練數據，使用這些知識進一步改進實體嵌入的對齊結果，在第n輪迭代中，新增的實體對齊按照式（18）選擇。

其中：X′表示x未對齊實體集合；Y′表示y未對齊實體集合；t（n）表示第n輪迭代中實體的嵌入向量；ψ（n）（x，y）為指示函數，指示x和y是否對齊；Y′x表示x的候選集合，Y′x={y|y∈Y′ and π（y|x;t（n））>ξ}，ξ為相似度閾值，由式（16）計算的實體距離度量超過該值，則選入候選集合。

4 實驗與分析

4.1 實驗數據

為了在包含屬性三元組等在內的多種實體工作場景下評估TGAEA模型，實驗選擇使用DWY100K數據集。該數據集包含從DBpedia、Wikidata和YAGO3提取出的三元組，用DBP-WD和DBP-YG表示。數據集具體信息如表2所示。

4.2 評估指標

本文選擇了三種常用的實體對齊的評價指標，即hits@1、hits@10以及MRR［29］。hits@k表示對于所有目標實體，與其所對應的前k個備選實體中存在正確對齊實體的有效實體對所占比例。記N為三元組集合，|N|為三元組集合的個數，Euclid ExtraCAp（·）為indicator函數，條件為真，函數值為1，若為假，則函數值為0。計算公式如下：

MRR為匹配到正確實體的排名倒數的平均值，計算公式如下：

其中：ranki表示對齊到正確實體的排名；N為對齊實體對的數量。

4.3 實驗環境及參數設置

本文的所有實驗均在個人工作站進行，該工作站配有Intel i5-12490F 3.00 GHz CPU、NVIDIA GeForce GTX 3080 GPU和1 TB內存，通過深度學習框架TensorFlow實現，編譯環境為Python 3.8。其中屬性嵌入的BERT預訓練模型包括12層，768個隱單元，12個attention head，110 M參數，學習率初始值為0.01，相似度閾值ξ設置為0.8。

訓練過程中采用 Adam優化器進行參數優化，負樣本采樣數設置為25，訓練負樣本采用正樣本，按照［1，50］比例均勻隨機生成完成，根據計算機資源訓練迭代輪數設置為100，每進行10輪訓練迭代，進行一次基于自舉的迭代，這樣可以適度使用訓練出的預對齊實體對而不會引起過擬合情況，實體的各個信息維度設置及其余具體實驗參數如表3所示。

通常，訓練數據量越大，模型性能越好。但在實體對齊工作中，需要選擇較小的訓練集比例驗證模型在未知實體對上的性能，且模型在先驗知識為30%的訓練值能使數據利用效率最大化，大多數現有實體對齊模型的訓練和測試數據比例為3∶7。因此為了與其他現有模型進行公平比較，本文也設置了30%的預對齊實體對用于訓練，其余用于測試。

4.4 實驗結果及分析

4.4.1 對比實驗

為了驗證本文所提雙層圖注意網絡嵌入方法的優越性，實驗選擇了不同模塊引入注意力機制的實體對齊方法進行對比。按照嵌入方法分為基于TransE和基于GCN的方法兩大類。其中，TransE系列有KECG［30］采用給相關實體分配注意力權重的方法，同時BootEA［17］對具有較多屬性三元組的實體對齊任務具有較好的處理效果。基于GCN的方法中，GCN-Align［24］是第一個提出使用圖神經網絡來完成實體對齊任務的模型。該模型采用兩個GCN，通過共享權重矩陣，將來自不同知識圖譜的實體嵌入到一個統一的向量空間中，它借助實體之間的結構來傳播對齊關系；RDGCN［31］采用圖注意力機制，給鄰接實體分配權重；AliNet［32］運用了注意力機制來為遠距離實體分配權重，NMN［33］則利用跨圖注意力機制為相鄰的實體分配權重，SelfAttention-GCN（SA-GCN）［34］采用了多頭注意力機制，以賦予具有較遠關聯的實體相應的權重；ESEA［35］提出一種將嵌入模型與基于符號的模型相結合的方法，通過混合嵌入獲得向量相似度高的實體。

對比實驗均采用結合原模型代碼及相關論文在相同實驗平臺進行復現，得到相關模型實驗結果對比如表4所示。

基于TransE為編碼器的實體對齊模型在整體上效果表現較差，主要原因是使用TransE的嵌入方法構建關系三元組，但忽略了實體的整體結構信息；基于GCN為編碼器的模型從知識圖譜整體結構上面進行嵌入，取得了較好的效果。本文模型在兩個基準數據集上取得了優異的效果，其hits@1、hits@10和MRR較目前主流的模型提升3%～20%，與本文對照的最優基準模型ESEA在兩個數據集的比較中，本文模型分別在hits@1上提升了4.18%和2.81%，在hits@10上提升了4.81%和3.61%，在MRR上提升了0.05和0.025。RDGCN與 NMN使用由圖神經網絡計算的局部節點嵌入，證明了圖卷積網絡能夠有效融合圖之間局部鄰域的匹配特征，在兩種數據集上都明顯優于其他基準模型，其hits@10值在兩個數據集上分別在 97%～99%。可以看出，關系鄰域特征對于實體對齊任務有著明顯的幫助，然而這兩種模型更聚焦于處理關系三元組的知識圖譜，并未處理具有屬性特征的實體對齊工作，因此單看兩種模型的表現不具備普適性。

觀察TGAEA模型在DBP-WD和DBP-YG數據集上的表現不難看出，相比于同樣使用圖神經網絡對實體結構信息嵌入的GCN-Align模型，正文顯示屬性、名稱、關系等信息嵌入策略對實體對齊任務的精準度有顯著提升。本文模型在屬性特征向量更多的情況下表現得更加優異，證實了優化后的屬性信息能夠提升實體對齊模型的性能，驗證了此模型更偏向處理屬性信息豐富的鄰域實體對齊工作。

4.4.2 消融實驗

為了驗證本文方法的有效性，在實驗過程中采用了不加圖注意網絡的方法（TGAEA-a）、在屬性模塊加入單注意力網絡的方法（TGAEA-b）、在聯合嵌入時加入單注意力網絡的方法（TGAEA-c）以及本文的雙層圖注意力網絡嵌入下的實體對齊模型（TGAEA）四種方法，在DWY100K上進行消融實驗，得出不同注意力加權下的模型hits@1、hits@10以及MRR的值，如表5所示。

根據以上四種在不同位置加入圖注意網絡模型的得分情況可知， TGAEA-b模型在DBP-WD數據集上的評估指標性能優于DBP-YG數據集，這與單層圖注意力網絡更關注屬性信息對實體的貢獻程度有關，而TGAEA-c與TGAEA-b模型分別關注實體單個信息和實體間不同信息。結果在兩種不同數據集上的模型評估指標說明，單層圖注意力網絡雖然能使模型性能有所提升，但提升效果遠差于兩層圖注意力網絡相結合的模型性能。加入雙注意力機制的嵌入方法要明顯區別于沒有加入任何注意力機制的方法，且精確度提升在25%～35%，說明雙層注意力機制能夠明顯提升模型性能；同時觀察可知，加入雙層注意力機制的方法要比加入單層注意力機制的方法在對齊得分上提升10%～15%，結果符合本文提出的注意力機制能夠顯著提升嵌入時信息聚合的質量。

4.4.3 種子比例對模型的影響

通常，模型性能受先驗知識訓練數據比例影響較大。為了探討種子實體對對模型性能的影響，選擇種子實體對比例為10%～40%來觀察模型性能變化，間隔為5%。圖5～7分別顯示了不同種子實體對比率在DWY100K數據集上對模型性能的影響。在三個種子實體對影響折線圖中，橫坐標表示種子實體對的比例，縱坐標表示模型性能，觀察可知，隨著種子集的比例增加，模型性能在種子集比例為10%～25%期間提升較大，在25%～40%提升較小，原因是隨著種子實體對的增加，模型在學習先驗知識的過程漸趨飽和，模型精度隨著種子實體對的增加會趨于穩定，最終使模型具有較高性能。

4.4.4 實例驗證

本文從數據集DWY100K的DBP-WD和DBP-YG中分別隨機選擇三個等價實體對，使用主成分分析（PCA）算法將實體嵌入映射到二維中。圖8顯示了DWY100K實體對的對齊可視化，圖例顏色顯示不同數據源實體。觀察二維表可以發現，數據源為DBP的“Bonne_of_Bohemia”實體可能對應數據源為WD的“Bonne de Luxembourg”實體，兩者都作為波希米亞國王約翰的次女名稱描述；數據源為DBP的“UIC_Pavilion”實體可能對應數據源為WD的“Credit Union 1 Arena”實體，“Credit Union 1 Arena”為多功能競技場，雖然和“UIC_Pavilion”名稱不同，但它們指向同一個地點；數據源為DBP的“Coke”實體可能對應數據源為WD的“Coca-Cola”實體，“Coke” 是“Coca-Cola”的簡稱，雖然名稱不同，但它們指向同一個公司。在兩個數據集上，等價實體彼此接近，在二維圖中，不相關的實體相距遙遠，更相關的兩個實體距離相近甚至重合，證實了以實體距離判斷相似性的方法可行，符合模型設計的預期，圖9同樣展示了數據源為DBP和YG映射后的等價實體對。

5 結束語

本文提出了一種基于雙層圖注意網絡的鄰域信息聚合表示模型TGAEA，使用雙層圖注意力網絡分別對實體單個信息內和多種信息間的向量進行雙層實體鄰域信息聚合，解決了實體對齊工作中部分信息對實體的影響程度不一致的問題。該模型設計了一種可以進行雙層圖注意網絡特征加權的模式，可以更好地細分不同信息在實體對齊工作中的作用。在DWY100K數據集上分別進行了與基線模型的對比實驗和單層或不加GTA模型的消融實驗以及實例應用，分別驗證了本文模型在處理單模態知識下不同數據來源和屬性三元組較多的實體對齊工作的顯著效果。

為了更好地提升圖注意機制對特征向量表示的作用，未來還可以從如下兩個方面進行研究：a）考慮進行多層注意力機制分別對實體的不同信息進行特征學習，進一步細化知識的作用；b）在未來，多模態實體對齊將是知識融合的重點和難點，如何利用圖注意力機制細分不同模態的知識對實體對齊的影響，將是接下來工作的研究方向之一。

參考文獻：

［1］趙丹，張俊. 基于雙重注意力和關系語義建模的實體對齊方法［J］. 計算機應用研究，2022，39（1）： 64-69，79. （Zhao Dan，Zhang Jun. Entity alignment method based on dual attention and relational semantic modeling ［J］. Application Research of Compu-ters，2022，39（1）： 64-69，79.）

［2］Pan Yudai，Liu Jun，Zhang Lingling，et al. Incorporating logic rules with textual representations for interpretable knowledge graph reaso-ning［J］. Knowledge-Based Systems，2023，277： 110787.

［3］Shokrzadeh Z，Feizi-Derakhshi M R，Balafar M A，et al. Knowledge graph-based recommendation system enhanced by neural collaborative filtering and knowledge graph embedding［J］. Ain Shams Enginee-ring Journal，2023，15（1）： 102263.

［4］Bi Xin，Nie Haojie，Zhang Xiangguo，et al. Unrestricted multi-hop reasoning network for interpretable question answering over knowledge graph［J］. Knowledge-Based Systems，2022，243： 108515.

［5］張富，楊琳艷，李健偉，等. 實體對齊研究綜述［J］. 計算機學報，2022，45（6）： 1195-1225. （Zhang Fu，Yang Linyan，Li Jianwei，et al. Review of solid alignment［J］. Chinese Journal of Computers，2022，45（6）： 1195-1225.）

［6］Cohen W W，Richman J. Learning to match and cluster large high-dimensional data sets for data integration［C］// Proc of the 8th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM Press，2002： 475-480.

［7］Halpin H，Hayes P J，McCusker J P，et al. When owl： sameAs isn’t the same： an analysis of identity in linked data［C］// Proc of the 9th International Semantic Web Conference. Berlin： Springer，2010： 305-320.

［8］徐有為，張宏軍，程愷，等. 知識圖譜嵌入研究綜述［J］. 計算機工程與應用，2022，58（9）： 30-50. （Xu Youwei，Zhang Hongjun，Cheng Kai，et al. Review of knowledge graph embedding［J］. Computer Engineering and Applications，2022，58（9）： 30-50.）

［9］Bordes A，Usunier N，Garcia-Duran A，et al. Translating embeddings for modeling multi-relational data［C］// Proc of the 26th International Conference on Neural Information Processing Systems. 2013： 2787-2795.

［10］Kipf T N，Welling M. Semi-supervised classification with graph con-volutional networks ［EB/OL］. （2017-02-22）. https：//arxiv.org/abs/1609.02907.

［11］莫少聰，陳慶鋒，謝澤，等. 基于動態圖注意力與標簽傳播的實體對齊［J］. 計算機工程，2024，50（4）： 150-159. （Mo Shaocong，Chen Qingfeng，Xie Ze，et al. Entity alignment based on dynamic graph attention and label propagation［J］. Computer Engineering，2024，50（4）： 150-159.

［12］Velickovic P，Cucurull G，Casanova A，et al. Graph attention networks ［EB/OL］. （2017-10-30）. https：//arxiv.org/abs/1710.10903.

［13］Kim M，Kim G，Lee S W，et al. St-BERT： cross-modal language model pre-training for end-to-end spoken language understanding［C］// Proc of IEEE International Conference on Acoustics，Speech and Signal Processing. Piscataway，NJ： IEEE Press，2021： 7478-7482.

［14］Wang Zhen，Zhang Jianwen，Feng Jianlin，et al. Knowledge graph embedding by translating on hyperplanes［C］// Proc of the 28th AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2014： 1112-1119.

［15］Lin Hailun，Liu Yong，Wang Weiping，et al. Learning entity and relation embeddings for knowledge resolution［J］. Procedia Computer Science，2017，108： 345-354.

［16］Chen Muhao，Tian Yingtao，Yang Mohan，et al. Multilingual know-ledge graph embeddings for cross-lingual knowledge alignment ［C］// Proc of the 28th International Joint Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2017： 1511-1517.

［17］Sun Zequn，Wei Hu，Zhang Qingheng，et al. Bootstrapping entity alignment with knowledge graph embedding［C］// Proc of the 27th International Joint Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2018： 4396-4402.

［18］Sun Zequn，Hu Wei，Li Chengkai. Cross-lingual entity alignment via joint attribute-preserving embedding［C］// Proc of the 16th International Semantic Web Conference. Cham： Springer，2017： 628-644.

［19］Chen Muhao，Tian Yingtao，Chang K W，et al. Co-training embeddings of knowledge graphs and entity descriptions for cross-lingual entity alignment［EB/OL］. （2018-06-18）. https：//arxiv.org/abs/1806.06478.

［20］Li Shengnan，Li Xin，Ye Rui，et al. Non-translational alignment for multi-relational networks［C］// Proc of the 27th International Joint Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2018： 4180-4186.

［21］Zhu Hao，Xie Ruobing，Liu Zhiyuan，et al. Iterative entity alignment via joint knowledge embeddings［C］// Proc of the 26th International Joint Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2017： 4258-4264.

［22］Guo Lingbing，Sun Zequn，Hu Wei. Learning to exploit long-term relational dependencies in knowledge graphs［C］// Proc of the 36th International Conference on Machine Learning. ［S.l.］： PMLR，2019： 2505-2514.

［23］Grossberg S. Recurrent neural networks［J］. Scholarpedia，2013，8（2）： 1888.

［24］Wang Zhichun，Lyu Qingsong，Lan Xiaohan，et al. Cross-lingual knowledge graph alignment via graph convolutional networks［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2018： 349-357.

［25］Zhu Qiannan，Zhou Xiaofei，Wu Jia，et al. Neighborhood-aware attentional representation for multilingual knowledge graphs［C］// Proc of the 28th International Joint Conference on Artificial Intelligence Main Track. ［S.l.］： International Joint Conferences on Artificial Intelligence Organization，2019：1943-1949.

［26］Yang H W，Zou Yanyan， Shi Peng，et al. Aligning cross-lingual entities with multi-aspect information ［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. 2019： 4422-4432.

［27］李鳳英，黎家鵬. 聯合三元組嵌入的實體對齊［J］. 計算機工程與應用，2023，59（24）： 70-77. （Li Fengying，Li Jiapeng. Entity alignment for joint triple embedding［J］. Computer Engineering and Applications，2023，59（24）： 70-77.）

［28］Zhang Qingheng，Sun Zequn，Hu Wei，et al. Multi-view knowledge graph embedding for entity alignment［C］// Proc of the 28th International Joint Conference on Artificial Intelligence. ［S.l.］： International Joint Conferences on Artificial Intelligence Organization，2019： 5429-5435.

［29］魏忠誠，張潔瀅，連彬，等. 基于雙向GCN和CVm的實體對齊模型研究［J］. 計算機應用研究，2021，38（9）： 2716-2720. （Wei Zhongcheng，Zhang Jieying，Lian Bin，et al. Research on entity alignment model based on bidirectional GCN and CVm［J］. Computer Application Research，2021，38（9）： 2716-2720.）

［30］Li Chengjiang，Cao Yixin，Hou Lei，et al. Semi-supervised entity alignment via joint knowledge embedding model and cross-graph mo-del［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg，PA： Association for Computational Linguistics，2019： 2723-2732.

［31］Wu Yuting，Liu Xiao，Feng Yansong，et al. Relation-aware entity alignment for heterogeneous knowledge graphs［C］// Proc of the 28th International Joint Conference on Artificial Intelligence Main Track. ［S.l.］： International Joint Conferences on Artificial Intelligence Organization，2019： 5278-5284.

［32］Sun Zequn，Wang Chengming，Hu Wei，et al. Knowledge graph alignment network with gated multi-hop neighborhood aggregation［C］// Proc of AAAI Conference on Artificial Intelligence. Palo Alto，CA： AAAI Press，2020： 222-229.

［33］Wu Yuting，Liu Xiao，Feng Yansong，et al. Neighborhood matching network for entity alignment［C］// Proc of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg，PA： Association for Computational Linguistics，2020： 6477-6487.

［34］Chen Jia，Li Zhixu，Zhao Pengpeng，et al. Learning short-term diffe-rences and long-term dependencies for entity alignment［C］// Proc of the 19th International Semantic Web Conference. Cham： Springer，2020： 92-109.

［35］Jiang Tingting，Bu Chenyang，Zhu Yi，et al. Combining embedding-based and symbol-based methods for entity alignment［J］. Pattern Recognition，2022，124： 108433.