基于雙重注意力和關系語義建模的實體對齊方法

摘 要： 實體對齊任務目標是在知識圖譜間發現更多的等價實體對。目前一些實體對齊方法聚焦實體結構和屬性信息，卻沒有很好地處理兩者交互學習的問題。為此，提出一種基于雙重注意力和關系語義建模的實體對齊方法，采用雙重注意力在屬性分類嵌入的基礎上學習實體屬性和結構的交互特征，采用關系語義建模對實體結構嵌入進行局部語義優化，最后對實體多方面語義特征下的相似度矩陣進行融合。在三個真實數據集上的對齊準確率分別可達到81.00%、83.90%和92.73%，與基準模型相比平均提升了2.62%，實驗結果表明提出的方法可以有效地識別出對齊實體對。

關鍵詞： 實體對齊； 雙重注意力； 關系語義建模； 圖注意力網絡； 知識圖譜

中圖分類號： TP3"" 文獻標志碼： A

文章編號： 1001-3695（2022）01-011-0064-06

doi：10.19734/j.issn.1001-3695.2021.04.0169

Entity alignment method based on dual attention and relational semantic modeling

Zhao Dan， Zhang Jun

（School of Information Science amp; Technology， Dalian Maritime University， Dalian Liaoning 116026， China）

Abstract： The goal of the entity alignment task is to find more equivalent entity pairs in the knowledge graph. At present， some entity alignment methods focus on entity structure and attribute information， but they do not deal with the problem of interactive learning between the two. To this end， this paper proposed an entity alignment method based on dual attention and relational semantic modeling. It used dual attention to learn the interactive features of entity attributes and structure based on attribute classification embedding， and used relational semantic modeling to optimize local semantics of entity structure embedding. Finally， this paper fused the similarity matrix under the entity’s multi-faceted semantic features. The alignment accuracy on the three real data sets can reach 81.00%， 83.90% and 92.73%， respectively， which is an average improvement of 2.62% compared with the benchmark model. The experimental results show that the proposed method can effectively identify aligned entity pairs.

Key words： entity alignment; dual attention; relational semantic modeling; graph attention network; knowledge graph（KG）

0 引言

近年來，知識圖譜（KG）在人工智能和自然語言處理（natu-ral language processing，NLP）領域大放異彩，現有的大型開源知識圖譜包括DBpedia［1］、YAGO［2］、Freebase［3］等。KG以（s，p，o）三元組形式存儲結構化知識，包含實體、實體間關系和實體屬性信息，是文本分類、智能搜索和推薦系統等NLP任務的基石。KG以強大的語義表達能力和靈活的建模能力，推動以知識為驅動的智能服務蓬勃發展。然而，大多數KG是基于不同數據源根據不同需求構建而來的，不可避免地存在信息冗余與數據異構問題［4］。為了能夠有效利用KG間互補的信息，實體對齊（entity alignment，EA）在指向現實世界中同一事物的實體間建立等價映射，實現知識圖譜間信息共享，從而向上提供一個信息完備的知識庫。另外，實體對齊還有助于新知識的發現，例如，對于兩個知識圖譜中的三元組（Kobe Bryant，birthplace，New York City）和（NYC，country，United States of America），如果可以對齊實體“New York City”和“NYC”，則可以得到新的事實（Kobe Bryant，nationality，United States of America）。

實體對齊方法從發展歷程上來看可以分為兩個階段。傳統的實體對齊方法面向以符號表示的知識，通常依賴于人工設定的特征與規則，適用于特定領域［5］。近幾年，表示學習逐步發展，通過將研究對象的語義信息表示為稠密低維的實值向量［6］，表示學習可以從原始數據中提取更高層次和更為抽象的實體特征，基于特征相似性進行實體對齊，其中包括基于翻譯模型和基于圖神經網絡兩類實體對齊方法。基于翻譯模型的方法［7～10］考慮實體向量和關系向量空間建模問題，探索實體與關系之間語義相互作用。基于圖神經網絡的方法關注實體的拓撲結構，其中圖注意力網絡［11］（graph attention network，GAT）將注意力機制引入圖神經網絡中，以區分實體不同領域的重要性。但是圖神經網絡方法不能很好地學習實體間相連的關系語義，雖然R-GCN［12］考慮了多關系數據特征，基于關系類型有策略地聚合鄰居實體，但并未對關系語義進行優化學習。本文舉例說明關系語義對實體對齊的重要性，圖1是從DBpedia中截出的子圖，KG1為中文KG，KG2為英文KG，虛線連接已對齊實體，若要判斷中文KG中“吉林省”“吉林市”實體和英文KG中“Jilin”“Jilin City”實體的對齊情況，只考慮其拓撲結構特征，因“Jilin”“吉林省”和“吉林市”實體具有相似的拓撲結構，給實體對齊判別帶來挑戰。但若引入實體間相連的關系，因關系“Capital”和“毗鄰”是有本質區別的，所以會使得（吉林省， Jilin）更易判別為對齊實體，使（吉林市， Jilin）更不易判別為對齊實體。由此可見，關系語義的引入能夠提升對不同實體的辨別能力，從而影響實體對齊效果。KECG［13］設計知識嵌入模型和交叉圖模型，通過知識嵌入模型學習實體間的關系約束，以完成兩個知識圖譜間的一致性，但需要兩個模型交替訓練。RDGCN［14］提出一種關系感知雙圖卷積神經網絡，利用注意力機制對原始圖和對偶關系圖交互建模。HGCN［15］協同處理實體對齊與關系對齊，使兩者效果相互促進。但以上研究忽略了實體豐富的屬性信息。

目前，實體對齊工作聚焦于實體結構和屬性信息，JAPE［16］和AttrE［17］通過實體屬性嵌入對自身結構嵌入進行進一步修正，但實體的屬性信息局限于自身節點，無法與實體的領域結構進行交互學習。JAPE［16］和GCN-Align［18］僅利用實體屬性信息，忽略了實體豐富的屬性值。還有學者研究利用實體name和結構特征對齊實體，實體name作為實體最為特殊的一類屬性，在實體對齊任務中發揮重要作用。RDGCN和HGCN將實體name作為實體結構嵌入模型的輸入，得到的實體對齊效果甚至優于其他一些聯合使用實體屬性和結構信息的實體對齊模型，以此可以推測混合不同類型的屬性進行實體對齊的效果并不理想。同時，AttrGNN［19］也印證了此推測，該研究將實體屬性信息分為name屬性、文字型（literal）和數值型（digi-tal）屬性三類，對屬性信息分類別嵌入，取得較好的對齊效果，但在其屬性和結構交互學習過程中忽略了領域噪聲對實體對齊的影響。本文受文獻［20］采用字符和實例級別注意力構成的雙重注意力進行中文關系抽取工作的啟發，利用實體屬性和領域級別注意力構建適用于實體對齊任務的雙重注意力機制。

對于上述實體對齊研究中存在的問題，本文聯合使用實體屬性與結構信息，在屬性分類嵌入的基礎上，同時學習實體屬性與屬性值。本文的主要貢獻如下：a）使用雙重注意力機制，聯合屬性注意力和領域注意力，在實體屬性和結構交互學習過程中過濾相應噪聲;b）對于實體結構嵌入，基于翻譯模型的思想引入關系語義建模，基于實體對齊任務同時學習圖拓撲結構和關系語義對實體嵌入的影響;c）在真實數據集上評估所設計的實體對齊方法，取得了較好的實驗效果。

1 問題定義

定義1 知識圖譜KG。將知識圖譜形式化定義為六元組G=（E，R，A，V，Tr，Ta），其中E、R、A、V分別表示實體、關系、屬性、屬性值集合；Tr={（h，r，t）|h，t∈E，r∈R}表示關系三元組集合；Ta={（e，a，v）|e∈E，a∈A，v∈V}表示屬性三元組集合［19］。

定義2 實體對齊EA。對于兩個知識圖譜G1=（E1，R1，A1，V1，Tr1，Ta1）和G2=（E2，R2，A2，V2，Tr2，Ta2），定義部分預對齊的實體作為種子集seed={（e1，e2）|（e1，e2）∈E1×E2，e1∈E1，e2∈E2，e1e2}，也即模型的訓練集，其中表示實體間的一種等價映射關系，說明兩實體指向現實世界的同一事物。實體對齊任務是指在知識圖譜G1與G2之間，基于實體種子集seed，訓練模型能夠自動發現兩個知識圖譜間其他更多的對齊實體［19］。

定義3 基于表示學習的實體對齊（representation learning-based EA）。根據KG中與實體相關的知識knowledge={neighbor entity，relation，attribute，attribute value}，將實體表示為稠密低維的實值向量e。對種子集中的實體對（e1，e2），訓練模型使其滿足d（e1，e2）趨近于0，從而使得兩個KG中的實體嵌入到同一向量空間V下，其中d（e1，e2）表示在V中兩實體的間距。在V中依據實體的特征向量e，尋找KG間其他的對齊實體。

如圖1所示，對于中文KG1和英文KG2來說，實體對齊任務就是基于一些已知的對齊實體對，比如（東北話，northeastern mandarin）和（長春，Changchun），以及實體在KG中的拓撲結構、關系和屬性等相關信息，去發現兩個KG間其他正確的等價對齊實體對，比如（吉林省， Jilin）（吉林市，Jilin ci-ty），即將實體“吉林省”和“吉林市”匹配到正確的英文實體“Jilin”和“Jilin city”上，而非“Jilin City”和“Jilin”實體。

2 方法描述

2.1 總體框架

本文在AttrGNN模型的基礎上引入雙重注意力機制和關系語義建模。實體對齊方法總體框架包含結構通道、屬性通道和通道融合模塊三大部分，如圖2所示。結構通道用于獲取實體的結構特征，對于兩個待對齊的知識圖譜KG1和KG2，輸入其關系三元組，通過改進GAT獲取實體全局結構嵌入，再經過關系語義建模模塊，在實體間加以關系語義約束，獲得局部語義增強后的實體表示；屬性通道用于獲取實體屬性結構的交互特征，輸入KG1和KG2的屬性和關系三元組，首先經過屬性分類器將屬性信息分為實體name、文字型（literal）和數值型（digital）三類，接著分類別地對實體屬性和屬性值進行嵌入，對于編碼后的實體name特征直接輸入領域注意力層中，對于文字型和數值型屬性信息，利用雙重注意力機制分別獲取實體屬性和結構的交互特征；通過各通道的實體特征向量計算相似度矩陣，最后基于四類特征下的實體相似度矩陣進行通道融合。

2.2 雙重注意力

本文設計的雙重注意力機制如圖3所示，包含屬性注意力層和領域注意力層，其中綠色實線連接已對齊的實體（見電子版）。屬性注意力層基于實體節點內部的屬性信息獲取局部語義嵌入，領域注意力層基于實體節點外部的領域信息獲取全局結構嵌入，由屬性注意力和領域注意力構成的雙重注意力機制在KG上實現了實體由近及遠的信息傳遞。

3 實驗與結果分析

3.1 數據集

本文采用DBP15k［19］作為實驗數據集，DBP15k從DBpedia大型知識圖譜中生成，包含三個跨語言數據集，分別為中文—英文（ZH-EN）、日文—英文（JA-EN）、法文—英文（FR-EN），每個數據集在兩種不同語言的知識圖譜間包含15 000個對齊實體對，作為本文實驗的訓練集和測試集，DBP15k中每個數據集的具體統計信息如表1所示，詳細介紹了每個知識圖譜包含的關系三元組、文字型（literal）和數值型（digital）屬性三元組數。

3.2 評價指標與實驗設置

本文實驗訓練集和測試集的劃分比例為3∶7。采用hits@k（k=1，10）和平均倒排序值（mean reciprocal rank，MRR）作為實驗評價指標，在尋找某實體的最佳候選對齊實體時，需要對所有的候選實體基于相似度值進行排序，hits@k=n/N，N表示測試集總實體數，n=count（rank（e）≤k）表示正確的對齊實體e出現在排序前k位的總次數；MRR=1/N∑Ni=11/rank（ei）計算所有正確對齊實體ei排位值倒數的均值。hits@k和MRR值越高越好，說明實體對齊效果越好。

實驗隨機初始化實體和屬性向量，使De=Da=128。按照文獻［16］處理跨語言數據集的方式，使用谷歌翻譯將所有非英文的屬性值轉換為英文表示，之后利用預訓練詞向量工具BERT生成詞向量，并采用max-pooling技術獲取固定長度的向量表示作為初始化的實體屬性值嵌入。為保持同AttrGNN［19］ 一樣的模型配置，本文在屬性通道的領域注意力層添加殘差連接。

實驗采用Adagrad優化器，每個通道訓練使用100個epoch，負例采樣周期設置為5個epoch，對實體負例采樣數設置為25，對關系三元組負例采樣數設置為2，圖注意力網絡嵌入層數m設置為2，通過網格搜索（grid search）尋找每個通道實體對齊的最佳參數配置，其中學習率的搜索范圍為{0.001，0.004，0.007}，L2正則化參數的搜索范圍為{10-4，10-3，0}，其他超參數設置為γ=γ′=1。

3.3 結果分析

3.3.1 雙重注意力消融實驗

本文為驗證雙重注意力的有效性，使用三個數據集分別在兩種屬性通道中對比分析單重和雙重注意力兩種屬性結構交互學習方式的實體對齊效果。其中，literal表示在屬性通道中僅使用分類后的文字型屬性；digital表示僅使用分類后的數值型屬性所對應的對齊情況；s-att表示單重注意力方法，即保留屬性注意力層，并將領域注意力層替換為GraphSage［23］均值聚合器的方式（即計算當前節點及其所有鄰居在每一維特征上的均值作為實體嵌入）；d-att表示本文設計的雙重注意力機制。保持種子集比例為0.3，實驗效果對比如表2所示。

從表2實驗結果可以對比分析得出：

a）在實體literal和digital屬性特征通道下，雙重注意力機制的hit@k（k=1，10）和MRR指標均高于單重注意力，體現了領域注意力層在過濾圖結構噪聲的作用，驗證了雙重注意力機制的有效性。

b）literal屬性特征通道的實驗效果要高于digital屬性通道，并且基于雙重注意力機制literal屬性通道的實驗提升效果也比digital屬性通道好，表明literal比digital包含更豐富的實體屬性語義特征。

c）數據集FR-EN的實驗效果要低于ZH-EN和JA-EN，從數據集本身特性出發，分析其原因是FR-EN數據集中屬性信息不豐富導致的，三個數據集包含的屬性個數分別為15.2k、11.9k和10.9k，可以看出FR-EN包含的屬性個數最少。

為進一步證實雙重注意力機制的優越性，本文在相同的參數配置下對比了單/雙重注意力機制對種子集的敏感程度。以ZH-EN數據集為例，在屬性通道中使用屬性分類后的文字型屬性，通過不斷調整種子集比例，分別采用單/雙重注意力方法進行屬性通道的實體對齊實驗，對比這兩種方法的對齊效果。s-att表示單重注意力方法，d-att表示雙重注意力方法。種子集比例設定為{0.1，0.2，0.3，0.4，0.5}，對比hit@1和hit@10實驗指標值。結果如圖5所示。

從圖5實驗對比中可以分析得出：

a）隨著種子集比例的增大，實體對齊效果逐漸提升。

b）在種子集比例{0.1，0.2，0.3，0.4，0.5}下，雙重注意力的實驗效果始終優于單重注意力。尤其當種子集比例為0.1時，雖然訓練集數量很少，雙重注意力在hit@1和hit@10上仍以3.59%和3.33%優于單重注意力。

3.3.2 關系語義建模消融實驗

本文為驗證關系語義建模有效性，在structure特征通道下對比分析了三種結構嵌入方式的實體對齊效果，其中GraphSage、imp GAT和imp GAT+R分別代表使用GraphSage均值聚合器、改進GAT、改進GAT基礎上關系語義建模的結構嵌入方式。保持種子集比例為0.3，實驗結果對比如表3所示。

從表3實驗結果可以對比分析得出：a）imp GAT與GraphSage相比，hit@1值平均提升4.16%，hit@10值平均提升5.21%，表明了imp GAT在獲取實體全局結構特征的優越性;b）imp GAT+R與imp GAT相比，hit@1值平均提升0.86%，hit@10值平均提升5.13%，表明了在實體全局結構嵌入的基礎上學習實體間相連關系語義的必要性。通過在實體間加以關系語義約束，進一步優化實體表示，得到局部語義增強后的實體結構特征。為進一步證實關系語義建模的優越性，本文在相同的參數配置下對比了這三種結構嵌入方式對種子集的敏感程度，以ZH-EN數據集下的structure通道為例，在種子集比例{0.1，0.2，0.3，0.4，0.5}下分別對hit@1和hit@10值進行對比實驗，結果如圖6所示。實驗表明即使是在較低的種子集比例下，添加關系語義建模后的實體對齊在hit@1和hit@10上仍以10.57%和25.36%優于GraphSage。

3.3.3 各通道消融實驗

本文為驗證實體結構和屬性通道的有效性，對其進行消融實驗，其中，structure表示僅使用本文設計的結構通道對應的實體對齊情況；literal、digital和name表示僅使用本文設計的屬性通道，并分別基于文字型、數值型或實體name屬性對應的實體對齊情況；attribute表示基于屬性通道，取消對屬性的分類別學習，輸入實體所有類別的屬性信息，并通過雙重注意力對應的實體對齊情況；w/o structure表示去除結構通道，基于li-teral、digital和name特征下的實體相似度矩陣采用2.4節均值融合方法對應的實體對齊情況；w/o name表示去除name特征，基于structure、literal和digital特征下的實體相似度矩陣進行均值融合對應的實體對齊情況；mix-our表示基于attribute和structure特征下的實體相似度矩陣進行均值融合對應的實體對齊情況；our-avg表示基于structure和屬性分類后的literal、digital、name特征下的相似度矩陣進行均值融合對應的實體對齊情況。本文以ZH-EN數據集為例，以hit@1指標展示各通道消融實驗結果，如圖7所示。

從圖7通道消融實驗結果中可以分析得出：

a）與實體相關的五種特征通道中，實體name屬性通道對齊效果最好，而且當去除name屬性通道后，實驗效果竟然低于單獨使用name屬性通道的情況，同時與our-avg相比效果急劇下降了16.62%，驗證了單獨學習實體name特征的有效性。

b）當去除structure通道后，實驗效果下降了6.11%，表明除了學習實體屬性結構的交互特征外，仍有必要單獨學習實體的結構特征，以獲取實體更多側面的語義信息，輔助實體對齊。

c）從理論上看，attribute比literal屬性通道輸入的信息更加豐富，但其實驗效果卻低于literal屬性通道，表明混合不同類型的屬性信息會給實體對齊帶來負面影響，直接體現了實體屬性分類嵌入的有效性。

d）our-avg比mix-our實驗效果大幅度提升20.07%，表明通過進一步細粒度劃分實體信息，使實體不同類型的語義特征在融合過程中相互補充完善，獲得更好的實體對齊效果。

3.3.4 相關工作對比實驗

本文對比了七種實體對齊基線模型，并按照模型所用實體信息將其分為兩類：a）利用實體結構和name，RDGCN［14］和HGCN［15］將實體name作為實體結構嵌入模型的輸入，并同時學習實體與關系嵌入，兩者均基于圖卷積神經網絡（GCN）方法，其中RDGCN通過構建對偶關系圖來對實體拓撲結構和關系嵌入進行交互學習，HGCN根據實體嵌入設計函數計算實體相關的關系語義，并將其合并到實體嵌入中，模型訓練過程中使關系對齊和實體對齊相互促進;b）利用實體結構和屬性信息，JAPE［16］和GCN-Align［18］使用實體結構和屬性，Multi-KE［24］、JarKA［25］和AttrGNN［19］使用實體結構、屬性和屬性值信息。其中，JAPE、MultiKE和JarKA的關系結構嵌入部分均采用基于翻譯模型的方法。MultiKE采用卷積神經網絡（CNN）提取實體屬性特征，并設計多視圖組合策略整合實體多視圖數據。JarKA在屬性之間進行交互建模，并采用迭代對齊思想擴充種子集。GCN-Align和AttrGNN基于圖神經網絡方法聯合學習實體結構和屬性嵌入。相關工作的實驗結果均取自于原文獻中的最佳數據，對于原文獻中未給出的評價指標值，本文利用實驗數據集復現其相關模型，得到相關實驗數據。本文實驗our-avg表示基于2.4節中實體name、literal、digital和structure四類特征下的相似度矩陣進行均值融合的方法。實驗結果對比如表4所示。

從以上模型實驗結果對比中可以分析得出：

a）基于結構和屬性信息的一些實體對齊模型的實驗效果要低于基于結構和實體name的模型，并且除了本文實體對齊模型外，AttrGNN的實驗效果達到最佳，驗證了實體屬性分類別學習的必要性。

b）本文方法與AttrGNN相比，評價指標hit@1值平均提升2.62%，hit@10值平均提升1.48%，表明了本文設計的雙重注意力和關系語義建模在通道融合驗證實體對齊效果的過程中共同發揮了重要作用，其中在JA-EN數據集上實驗效果提升最大，hit@1值提升5.57%，表明了在本文模型改進的基礎上JA-EN數據集中的實體能夠獲得更多有利于對齊的互補信息。

4 結束語

本文提出了一種基于雙重注意力和關系語義建模的實體對齊方法，該方法設計了有關實體的屬性和結構通道。在屬性通道中基于實體屬性分類別嵌入，使用雙重注意力機制，學習實體屬性結構的交互特征；在結構通道中，通過引入關系語義建模，得到局部語義增強后的實體結構嵌入；最后在三個跨語言數據集上的實驗，驗證了雙重注意力機制、關系語義建模的有效性。

下一步工作將考慮研究實體其他一些附加信息，比如實體的文本描述信息，對實體對齊任務的影響。同時，實體對齊效果依賴已對齊的實體種子集，未來將研究采用一些無監督或半監督方式來完成實體對齊任務。

參考文獻：

[1]Lehmann J， Isele R， Jakob M， et al. DBpedia：a large-scale， multilingual knowledge base extracted from Wikipedia［J］.Semantic Web，2015，6（2）：167-195.

［2]Rebele T， Suchanek F， Hoffart J， et al. YAGO： a multilingual knowledge base from Wikipedia， Wordnet， and Geonames［C］//Proc of International Semantic Web Conference. Cham： Springer，2016：177-185.

［3]Bollacker K， Evans C， Paritosh P， et al. Freebase： a collaboratively created graph database for structuring human knowledge［C］//Proc of Joint ACM SIGMOD International Conference on Management of Data. New York： ACM Press，2008：1247-1250.

［4]莊嚴，李國良，馮建華.知識庫實體對齊技術綜述［J］.計算機研究與發展，2016，53（1）：165-192.（Zhuang Yan， Li Guoliang， Feng Jianhua. A survey on entity alignment of knowledge base［J］.Computer Research and Development，2016，53（1）：165-192.）

［5]Zhuang Yan， Li Guoliang， Zhong Zhuojian， et al. Hike： a hybrid human-machine method for entity alignment in large-scale knowledge bases［C］//Proc of the 26th ACM International Conference on Information and Knowledge Management.New York：ACM Press，2017：1917-1926.

［6]劉知遠，孫茂松，林衍凱，等.知識表示學習研究進展［J］.計算機研究與發展，2016，53（2）：247-261.（Liu Zhiyuan， Sun Maosong， Lin Yankai， et al. Research progress in knowledge representation learning［J］.Computer Research and Development，2016，53（2）：247-261.）

［7]Bordes A， Usunier N， Garciaduran A， et al. Translating embeddings for modeling multi-relational data［C］//Proc of the 26th International Conference on Neural Information Processing Systems. Cambridge，MA： MIT Press，2013：2787-2795.

［8]Wang Zhen， Zhang Jianwen， Feng Jianlin， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proc of the 28th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press，2014：1112-1119.

［9]Lin Yankai， Liu Zhiyuan， Sun Maosong， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proc of the 29th AAAI Conference on Artificial Intelligence. Menlo Park， CA： AAAI Press，2015：2181-2187.

［10]Sun Zequn， Huang Jiacheng， Hu Wei， et al. Transedge： translating relation-contextualized embeddings for knowledge graphs［C］//Proc of International Semantic Web Conference. Cham： Springer，2019：612-629.

［11]Velicˇkovic＇ P， Cucurull G， Casanova A， et al. Graph attention networks［EB/OL］.（2017-10-30）［2021-04-12］.https：//arxiv.org/abs/1710.10903.

［12]Schlichtkrull M， Kipf T N， Bloem P， et al. Modeling relational data with graph convolutional networks［C］//Proc of European Semantic Web Conference.Cham：Springer，2018：593-607.

［13]Li Chengjiang， Cao Yixin， Hou Lei， et al. Semi-supervised entity alignment via joint knowledge embedding model and cross-graph mo-del［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：ACL Press，2019：2723-2732.

［14]Wu Yuting， Liu Xiao， Feng Yansong， et al. Relation-aware entity alignment for heterogeneous knowledge graphs［C］//Proc of the 28th International Joint Conference on Artificial Intelligence. San Francisco： Morgan Kaufmann，2019：5278-5284.

［15]Wu Yuting，Liu Xiao，Feng Yansong，et al.Jointly learning entity and relation representations for entity alignment［C］//Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing.Stroudsburg，PA：ACL Press，2019：240-249.

［16]Sun Zequn，Hu Wei，Li Chengkai.Cross-lingual entity alignment via joint attribute-preserving embedding［C］//Proc of the 16th International Semantic Web Conference.Cham： Springer，2017：628-644.

［17]Trisedya B D，Qi Jianzhong，Zhang Rui.Entity alignment between knowledge graphs using attribute embeddings［C］//Proc of the 33rd AAAI Conference on Artificial Intelligence.Menlo Park，CA： AAAI Press，2019：297-304.

［18]Wang Zhichun， Lyu Qinsong，Lan Xiaohan，et al.Cross-lingual knowledge graph alignment via graph convolutional networks［C］//Proc of Conference on Empirical Methods in Natural Language Processing.Stroudsburg，PA：ACL Press，2018：349-357.

［19]Liu Zhiyuan，Cao Yixin，Pan Liangming，et al.Exploring and evaluating attributes，values，and structures for entity alignment ［EB/OL］.（2020-10-07）［2021-04-12］.https：//arxiv.org/abs/2010.03249.

［20]車金立，唐力偉，鄧士杰，等.基于雙重注意力機制的遠程監督中文關系抽取［J］.計算機工程與應用，2019，55（20）：107-113.（Che Jinli，Tang Liwei，Deng Shijie，et al.Remote supervised Chinese relationship extraction based on dual attention mechanism［J］.Computer Engineering and Applications，2019，55（20）：107-113.）

［21]Devlin J，Chang Mingwei，Lee K， et al． BERT：pretraining of deep bidirectional transformers for language understanding［C］//Proc of Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies． Stroudsburg，PA：ACL Press，2019：4171-4186.

［22]Smith S L，Turban D H P，Hamblin S，et al.Offline bilingual word vectors，orthogonal transformations and the inverted softmax［EB/OL］.（2017-02-13）［2021-04-12］.https：//arxiv.org/abs/1702.03859.

［23]Hamilton W L，Ying R，Leskovec J.Inductive representation learning on large graphs［EB/OL］.（2017-06-07）［2021-04-12］.https：//arxiv.org/abs/1706.02216.

［24]Zhang Qingheng，Sun Zequn，Hu Wei，et al.Multi-view knowledge graph embedding for entity alignment［C］//Proc of the 28th International Joint Conference on Artificial Intelligence.San，CA：Morgan Kaufmann，2019：5429-5435.

［25]Chen Bo，Zhang Jing，Tang Xiaobin，et al.JarKA：modeling attribute interactions for cross-lingual knowledge alignment［C］//Proc of Pacific Asia Conference on Knowledge Discovery and Data Mining.Cham：Springer，2020：845-856.