基于多鄰域感知的石油數據資產圖譜實體對齊

王志寶，江樹濤，李菲，高俊濤，馬強，楊彬

（1.東北石油大學計算機與信息技術學院，黑龍江大慶 163318；2.東北石油大學環渤海能源研究院，河北秦皇島 066004；3.黑龍江八一農墾大學信息與電氣工程學院，黑龍江 大慶 163319）

0 引言

知識圖譜（KG）已廣泛應用于推薦系統［1］、智能搜索引擎［2］、智能問答系統［3］、決策支持［4］等石油企業智能化應用與知識驅動的任務。知識圖譜的完整性影響這些應用的效率與準確度。石油企業在信息化建設過程中積累了大量的業務數據，為充分發揮數據價值，采用數據湖技術統一管理勘探開發領域的數據資源［5］。在數據湖中，基于數據資源目錄抽取數據進行知識建模，形成石油領域數據資產知識圖譜，簡稱石油數據資產圖譜。不同的石油數據資產圖譜根據不同的數據源構建而成，各石油數據資產圖譜間相互補充，融合多源異構的石油數據資產圖譜是提高圖譜完整性的有效方法。但是在表示現實世界的同一實體中，不同的石油數據資產圖譜有不同的實體名稱，這增加了自動融合石油數據資產圖譜的難度。實體對齊（EA）是從不同知識圖譜中自動發現等價實體的任務，是實現多源異構石油數據資產圖譜的自動融合、提高石油數據資產圖譜完整性的基礎。

石油數據資產圖譜有以下特點，使得實體對齊過程變得復雜且困難：1）命名規則差異性大，不同版本的數據資源命名規范不一致，有的用英語單詞拼接和英語單詞縮寫，也有的用編碼和漢語拼音縮寫，導致名稱差異大，如“CD_SURVEY_STATION_T”和“DAA03”2 個實體只依靠其實體名稱難以分辨出它們在2 個不同石油數據資產圖譜中是表示同1 個現實對象的實體；2）具有極強的專業性，存在特殊的語義，如“狗腿嚴重度”在鉆井工程中是用來測量井眼彎曲程度或變化快慢的參數，又稱全角變化率或井眼曲率。在不具備領域知識的背景下，僅憑實體名稱難以對不同知識圖譜中都表示“狗腿嚴重度”的“DOGLEG_SEVERITY”和“QJBHL”進行實體對齊。

在通用領域中，知識圖譜實體對齊主要有基于TransE 的知識圖譜嵌入方法［6］和基于圖神經網絡（GNN）的方法［11］。基于TransE 的知識圖譜嵌入方法受訓練樣本數量和知識圖譜異質性的影響，實體對齊效果一般。基于圖神經網絡的方法是目前主流的實體對齊方法，這些方法［11］通過聚合實體和圖結構的信息來提高準確度，在通用領域的知識圖譜中表現較好，但在實體名稱差異大、專業性強且行業特殊語義實體多的石油數據資產圖譜實體對齊過程中表現一般。在石油數據資產圖譜中，除實體和圖結構特征以外，頭實體和尾實體間的關系、實體的屬性和屬性值也包含豐富的語義信息，然而在現有的基于GNN 的實體對齊方法中卻沒有被充分利用。

現有基于GNN 聚合實體和圖結構特征的實體對齊模型在石油數據資產圖譜實體對齊任務中表現一般。針對石油數據資產圖譜特點，本文提出一種改進的基于圖注意力網絡（GAT）的多鄰域感知網絡（MNAN）模型。MNAN 模型結合基于BERT 的多語言預訓練模型捕獲和融合石油數據資產圖譜中實體間關系、屬性和屬性值多鄰域的初始語義信息，改進關系感知圖注意力網絡和屬性感知圖注意力網絡，通過變體注意力機制充分學習實體的多鄰域特征，進一步提高實體對齊的效果。

1 相關工作

1.1 基于知識圖譜嵌入的實體對齊

基于知識圖譜嵌入的實體對齊方法核心思想是使用知識圖譜嵌入模型學習實體在低維向量空間中的嵌入表示，計算待對齊實體的向量相似度，得到相似度矩陣，最后根據相似度矩陣發現對應的目標實體。一些基于知識圖譜嵌入的實體對齊方法認為關系向量是頭實體向量到尾實體向量的轉換向量，利用TransE［6］將實體和關系嵌入到統一向量空間中。例如MTransE［7］使用TransE［6］在分離的嵌入空間中對每個知識圖譜的實體和關系進行編碼，并提供每個嵌入向量到其他知識圖譜嵌入空間的轉換，最后計算實體間距離進行實體對齊。JE［8］聯合學習多個知識圖譜在統一向量空間中的嵌入，以對齊知識圖譜中的實體。JAPE［9］結合結構嵌入和屬性嵌入來匹配不同知識圖譜中的實體。BootEA［10］采用迭代的方式增加實體對齊種子并進行模型訓練，學習知識圖譜的嵌入。雖然基于TransE［6］的嵌入方法能表示知識圖譜中實體和關系的語義信息，但是它們在表示知識圖譜全局結構信息方面存在不足。

1.2 基于GNN 的實體對齊

隨著圖神經網絡的研究，很多學者將GNN 引入到實體對齊任務中，通過接收、聚合鄰域特征信息的方式更新實體的特征，獲得更全面、更準確的實體嵌入表示。例如，GCN-Align［11］使用2 層原始的圖卷積網絡［12］（GCN）聚合當前時刻節點及其鄰居的向量表示，以更新下一時刻節點的向量表示，將每個知識圖譜的實體嵌入到統一的向量空間中，但是原始的GCN 不能學習知識圖譜中的異構關系特征，難以聚合更多的關系信息。在GCN-Align［11］之后，基于GCN 的實體對齊方法蓬勃發展。MRAEA［13］根據實體的傳入和傳出鄰居以及實體之間的關系類型為實體分配不同的權重系數，使模型能夠區分不同實體之間的重要性。RDGCN［14］通過構建1 個以關系為節點、實體為邊的對偶關系圖，通過注意力機制使對偶關系圖與原始知識圖譜之間進行交互，從而將關系信息整合到實體中。RREA［15］將關系反射變換添加到GNN 中，通過關系反射變換計算出關系的向量表示。HGCN［16］使用帶有Highway Networks 的GCN更新實體表示并根據實體表示得到關系表示。MHGCN［17］提出使用實體、關系、屬性多視圖，每個視圖使用帶有Highway Networks 的GCN 對實體表示進行更新，最后根據每個視圖的重要性對多個視圖進行加權融合，以獲得更好的實體表示。RAGA［18］為充分利用多個實體之間的關系，使用關系感知圖注意力網絡捕捉實體和關系之間的交互。EchoEA［19］利用4 層自注意力機制將實體信息傳播到關系，并回顯給實體。NAMN［20］針對圖結構的異質性使用GAT 進行局部采樣，通過帶有門控機制的GNN 聚合鄰域特征，并與跨圖鄰域匹配的輸出進行聯合編碼，利用最終得到的實體表示進行對齊預測。DAGCN［21］使用帶有Highway Networks 的GCN 和度感知生成網絡解決因等價實體間實體度差異而存在的實體對齊效果差問題。Ad-MKG 模型［22］中的知信圖卷積語義分析使用帶有GCN 圖編碼層和多頭注意力機制的引導層以及結合先驗知識的知信牽引層，最后通過三元組判別層獲得醫療知識圖譜中的等價實體。

1.3 石油領域知識圖譜的實體對齊

目前，在石油領域數據資產知識圖譜中基于圖神經網絡的實體對齊方法研究較少，主要是基于字符串相似度與實體語義相似度的方法。在測井解釋領域知識圖譜中徐凡鈞等［23］使用名稱和屬性的綜合相似度進行實體對齊，此方法在實體命名規范一致且異構性小的前提下比較高效。薛廣有與文必龍等［24-25］改進孿生神經網絡用于油藏地質領域實體對齊，捕獲了實體的語義信息，獲得較好的效果。朱小龍［26］通過加入實體的類型和描述的方式改進TransE 模型，融合了從異質的地質文本中抽取出的三元組。劉國強等［27］將有監督學習和無監督學習相結合進行模型訓練，利用實體相似度算法實現油氣層測井知識圖譜實體層的知識融合。但是以上方法沒有充分聚合知識圖譜中的鄰域信息，實體對齊效果還有待進一步提高。

2 MNAN 模型

本文提出一種改進的用于實體對齊任務的MNAN 模型，該模型使用2 個知識圖譜的關系三元組、屬性三元組和對齊的種子實體對，首先通過初始化嵌入得到實體及多種鄰域特征，再聚合多種特征以學習實體的表示，最后根據不同知識圖譜間實體嵌入向量的L1 距離發現對齊的實體。主要包括以下5 部分：1）初始化嵌入使用基于BERT 的多語言預訓練模型將實體名稱、關系名稱、屬性名稱和屬性值進行初始化嵌入，獲取它們的語義信息；2）鄰域實體聚合根據知識圖譜的拓撲結構利用圖卷積神經網絡和Highway Networks 聚合鄰域結構的信息，以初步獲得知識圖譜的結構特征；3）多鄰域感知通過變體注意力機制的關系感知注意力網絡和屬性感知注意力網絡分別聚合知識圖譜中實體間的關系、實體的屬性與屬性值多鄰域特征；4）實體增強注意力網絡使用一層圖注意力網絡聚合鄰居實體的多鄰域特征以增強實體表示；5）實體對齊和訓練在經過以上步驟學習到實體的最終嵌入后，計算2 個知識圖譜中對齊實體對之間的L1 距離，其訓練目標是使對齊實體對之間的嵌入距離盡量小，距離越小實體間的相似性越高。MNAN 模型框架如圖1 所示。

圖1 MNAN 模型框架Fig.1 Framework of MNAN model

2.1 問題表征與初始化嵌入

知識圖譜的形式化定義為KKG={E,R,M,V,TR,TA}，其中E、R、M、V分別表示實體、關系、屬性、屬性值的集合。TR={(h,r,t)?E×R×E}表示關系三元組的集合，每個關系三元組(h,r,t)由頭實體h?E、關系r?R和尾實體t?E組成。TA={(e,m,v)?E×M×V}表示屬性三元組的集合，每個屬性三元組(e,m,v)由實體e?E、屬性m?M和屬性值v?V組成。知識圖譜中實體的數量|E|=n是知識圖譜的大小。

受MHGCN［17］模型啟發，利用知識圖譜中的實體語義視圖、關系語義視圖、實體屬性視圖和實體屬性值視圖的信息來初始化知識圖譜。知識圖譜中所有實體、關系、實體屬性和實體屬性值都是由詞語或短語組成，與MHGCN［17］等模型把詞語或短語統一翻譯為英語，再利用GloVe［28］詞預訓練模型生成不同詞向量，MNAN 模型直接使用基于BERT［29］的多語言預訓練模型得到詞語或短語的向量表示，如式（1）所示：

2.2 鄰域實體聚合

為進一步聚合鄰居實體的信息，本文使用經過名稱嵌入得到的初始實體向量X(0)作為GCN 層輸入，使用GCN 結合實體的鄰居實體信息以學習實體表示。第l層的實體特征用X(l)=表示，其中，n表示知識圖譜中實體的數量表示實體ei在第l層的實體向量，d(l)是第l層實體向量的維度。第l層的隱藏特征由l-1 層中的隱藏特征計算得到的，如式（2）所示：

其中：X(l-1)為l-1 層的隱藏特征；A表示知識圖譜結構信息的鄰接矩陣，形狀為n×n；=A+I表示知識圖譜中每個節點加上自環的鄰接矩陣，I是單位矩陣；為的度矩陣是激活函數，為減輕梯度消失問題和避免ReLU(x<0)=0 所帶來的負面信息丟失問題，本文模型選用Tanh 作為激活函數；W(l)是1 個形狀為d(l-1)×d(l)的可訓練權重矩陣。受RREA［15］模型的啟發，為了避免改變實體嵌入形狀，保持d(l-1)=d(l)=de。

GCN 模型包含了豐富的拓撲信息，但也容易累積前一層的噪聲。受HGCN［16］啟發，在GCN 層之間加入Highway Networks 平衡實體本身和鄰居實體的特征，控制錯誤傳播并保留有用的結構信息，達到減少噪聲的目的。經過Highway Networks 處理后的特征是輸入特征和通過可學習的門控機制對輸入特征進行處理后的特征加權和，如式（3）和式（4）所示：

其中：σ為Sigmoid 激活函數；?為元素乘法；W(l)和b(l)為第l層變換門T(X(l))的權重矩陣和偏置向量。

2.3 多鄰域感知

實體間的關系、實體的屬性與屬性值在實體對齊的過程中起著重要的輔助作用。為了得到更精確的實體向量表示，本文使用基于變體注意力機制的關系感知注意力網絡和屬性感知注意力網絡實現多鄰域感知，聚合實體的多鄰域信息。

不同關系對學習實體嵌入發揮著不同的作用，為了更準確地獲得實體嵌入并捕捉關系的異質性，采用基于變體注意力機制的關系感知注意力網絡對具有不同關系的鄰居實體進行權重學習。區別于GAT 僅考慮鄰近節點注意力機制，為了使注意力系數捕捉到相鄰實體間不同的關系語義信息，MNAN 模型將實體間關系的嵌入向量加入到注意力系數計算中。注意力系數既依賴于實體的表示又依賴于實體間關系的表示，能夠更好地刻畫現實世界中復雜的知識圖譜信息。此外，由于ei對ej的重要性和ej對ei的重要性可能不同，因此具有不對稱性，關系感知注意力可以保持異構圖的不對稱性。注意力系數的計算表達式如式（5）所示：

使用注意力系數聚合其鄰居特征以更新實體ei基于關系結構的嵌入，如式（6）所示：

與關系感知注意力網絡類似，屬性感知注意力網絡使用變體注意力機制計算屬性三元組(ei,mg,vq) ?TA中vq到ei的屬性感知注意力系數如式（7）所示：

在得到屬性感知注意力系數后，結合屬性感知注意力系數和屬性值的嵌入得到實體ei新的嵌入向量，如式（8）所示：

經過關系感知注意力網絡和屬性感知注意力網絡后，多鄰域感知的實體向量通過式（9）拼接、來表示：

2.4 實體增強注意力網絡

為了突出兩跳鄰居實體的重要性，本文添加一層圖注意力網絡計算每個鄰居實體的注意力系數，得到增強的實體表示，鄰居實體ej對實體ei的注意力系數αij計算如式（10）所示。為了簡化計算和避免過擬合，只有1 個向量參數aT是可訓練的。實體嵌入的最終輸出計算式如式（11）所示：

2.5 對齊損失

MNAN 模型利用每個實體的最終嵌入向量xout評估對齊效果并計算損失，MNAN 模型使用曼哈頓距離（L1 距離）來計算2 個對齊實體之間的距離，距離越小說明候選實體對對齊的概率越高。通過式（12）計算來自KGs的ei、KGt的ej2 個實體之間的L1 距離。

通過減少對齊實體對的L1 距離并增大負實體對的L1 距離來計算損失，使用最小化基于邊際的排名損失函數優化模型訓練，學習實體的表示，損失函數計算式如式（13）所示：

其中：γ為邊際超參數；dis(ei,ej)表示實體ei和實體ej間的L1 距離；Pseed為對齊種子實體對；P′seed表示負樣本集，負樣本是通過選擇另1 個K-Nearest 實體來代替ej或ei的組成。因為1 個實體在另1 個知識圖譜中只能有1 個對應實體，所以在同1 個知識圖譜中最接近對齊實體的實體應該是準確區分目標實體作為反例的最佳選擇，每個預對齊的實體對將有2×K個負樣本。

3 實驗結果與分析

在本節中，使用石油勘探開發領域數據資產圖譜作為數據集在實體對齊任務上評估MNAN 模型，評估結果顯示MNAN 模型優于所有評測的基準模型。

3.1 數據集

為評估MNAN 模型，本文使用由石油勘探開發領域中鉆井、測井、油氣生產等12 個業務域的EPDM1.0（簡稱EPDM）和中石化勘探開發數據庫（簡稱ZSH）2 個不同版本的數據模型和業務模型構建而成數據資產知識圖譜作為數據集，命名為PED。PED 數據集中共包含8 000 個對齊的種子實體對，具體統計信息如表1 所示。

表1 PED 數據集統計信息Table 1 Statistics information of PED dataset 單位：個

在數據集中2 個知識圖譜具有編碼格式差異性大、專業性強且獨特語義實體多等特點，實現自動實體對齊的難度較大。PED 數據集中部分數據如圖2所示，顏色不同的節點表示EPDM 與ZSH 2 個不同版本的數據模型和業務模型中的實體，灰色節點表示EPDM 中的實體，淺灰色節點表示ZSH 中的實體，節點間關系為“對齊”的2 個節點表示預先對齊的種子實體對，如是2 個KG 間預先對齊的種子實體對。PED 數據集中EPDM 與ZSH 2 個知識圖譜的關系和屬性如表2 所示。為了區別不同類型節點間的關系，有的關系使用尾實體的實體類型作為頭實體和尾實體間的關系，如“模型”“業務域”等關系。

圖2 PED 數據集中部分數據展示Fig.2 Partial data display on PED dataset

3.2 評估指標與參數設置

本文使用前K命中率Hits@K和平均倒數排名（MRR）作為評估指標評估實體對齊的性能，這2 個評估指標均越高越好。

與RAGA［18］等模型先通過谷歌翻譯把所有名稱翻譯成英文，然后再使用預訓練模型得到的名稱嵌入向量不同，MNAN 模型無須翻譯成統一語言，直接使用基于BERT 的多語言預訓練模型對實體、關系、屬性和屬性值的名稱進行初始化嵌入，嵌入維度均為512。為了與其他模型一致，數據集在訓練模型之前被隨機打亂。使用2 層帶有Highway Networks 的GCN 聚合結構信息，學習率r=0.001，更新負樣本數的epoch 數p=5，負樣本數K=5，在基于邊際的損失函數中，邊際λ=3.0。將數據集中30%的種子實體對作為訓練模型的訓練集Ptrain，剩余70%的種子實體對作為測試集Ptest。本文模型使用PyTorch 深度學習框架實現，選用Adam 作為梯度下降優化器。

3.3 對比模型與實驗結果

為了評估MNAN 模型，本文選擇4 個基于GNN的實體對齊方法進行比較，分別為GCN-Align［11］、RDGCN［14］、RAGA［18］、EchoEA［19］。為了公平起見，所有模型中實體名稱的初始嵌入統一使用基于BERT 的多語言預訓練模型。

另外，為了評估MNAN 模型中每個部分的有效性，本文為消融實驗提供了以下4 個不同的模型變體：

w/o HGCN：模型中沒有帶有Highway Networks的GCN，在關系感知注意力網絡和屬性感知注意力網絡中使用初始嵌入的實體特征，實體增強注意力網絡的輸入為，其中是實體ei經過初始化嵌入和鄰域實體聚合網絡的輸出向量。

w/o RGAT：模型中沒有關系感知注意力網絡，在實體增強注意力網絡中的輸入為

w/o MGAT：模型中沒有屬性感知注意力網絡，在實體增強注意力網絡中的輸入為

w/o EGAT：模型中沒有實體增強注意力網絡，最終的實體表示為

表3 所示為所有選用的對比模型在PED 數據集上的表現結果，加粗表示最優數據。

表3 不同模型在實體對齊任務上的實驗結果Table 3 Experimental results among different models on the entity alignment task %

從表3 可以看出，本文提出的MNAN 模型在石油勘探開發領域數據資產知識圖譜數據集上的指標優于所有對比模型，與基于GNN 實體對齊模型的EchoEA 相比Hits@1 提高2.3 個百分點，其原因在于MNAN 模型融合了知識圖譜結構的信息以及關系、屬性、屬性值初始語義信息。GCN-Align［11］簡單使用關系三元組沒有考慮關系和屬性的信息而表現最差，RDGCN 進一步利用實體的關系信息獲得了比GCN-Align 更好的性能，RAGA 考慮了實體對關系的影響，并通過關系感知注意力網絡對實體和關系之間的交互進行建模，提高了實體對齊性能。EchoEA 通過在實體和關系之間回顯信息來進一步利用關系信息，是目前基于圖神經網絡的實體對齊模型中性能最好的模型，在PED 數據集上Hits@1 為84.4%。

通過變體模型在數據集上的表現，評估MNAN模型中每個部分對于實體對齊任務的重要性。鄰域實體聚合網絡效果：相對于其他變體模型而言，w/o HGCN 表現最差，Hits@1 值為80.5%，與MNAN模型相比Hits@1 值相差6.2 個百分點，說明在PED 數據集上知識圖譜的結構和鄰域實體的特征有利于實體對齊，證明了鄰域實體聚合網絡的必要性。關系感知注意力網絡效果：w/o RGAT 表現較差，Hits@1 值為82.2%，與MNAN 模型相比Hits@1 值相差4.5 個百分點，說明在PED 數據集上關系類型與關系的語義信息對實體對齊有很大的影響，證明了關系感知注意力網絡的重要性。屬性感知注意力網絡效果：w/o MGAT 表現較差，Hits@1 值為82.7%，與MNAN模型相比Hits@1 值相差約4.0 個百分點，說明在PED 數據集上實體的屬性與屬性值對類似“RPT_YEAR”和“ND”命名規范差異大的待對齊實體對有很大的幫助，證明了屬性感知注意力網絡的重要性。實體感知注意力效果：w/o EGAT 與MNAN模型相比Hits@1 值相差約2.2 個百分點，說明知識圖譜中的關系和屬性對兩跳實體的表示學習也有較大的影響，證明了實體增強注意力網絡對實體對齊任務的有效性。

此外，為評估MNAN 模型對實體對齊種子數量的敏感性，本文將實體對齊種子比例分別劃分為10%、20%、30%、40%、50%作為訓練集進行實驗，圖3所示為不同模型在各對齊種子實體比例下的Hits@1 值。

圖3 在不同對齊實體種子比例下Hits@1 的實驗結果Fig.3 Experimental results of Hits@1 under different ratios of aligned entity seeds

從圖3 可以看出：1）隨著對齊實體種子比例的增加，更多的訓練數據可以為實體對齊提供信息，所有的對比模型在PED 上的性能隨著對齊實體種子比例的增加而提高；2）在訓練集比例為10%和20%的情況下MNAN 模型依然可以達到較好的效果，而且隨著對齊實體種子比例的增加具有平緩上升的斜率曲線，證明MNAN 模型有較優的泛化能力；3）MNAN 模型的表現始終優于其他基于圖神經網絡的對比模型，證明MNAN 模型在學習多鄰域信息方面的優勢。

4 結束語

針對石油領域數據資產知識圖譜融合的實體對齊問題，本文提出基于圖注意力網絡改進的多鄰域感知網絡（MNAN）模型。MNAN 模型通過結合基于BERT 的多語言預訓練模型得到實體及鄰域的初始語義信息，再通過鄰域實體聚合網絡、多鄰域感知網絡和實體增強注意力網絡來融合知識圖譜中的多鄰域信息。實驗結果表明，在石油領域知識圖譜實體對齊方面，MNAN 模型優于對比模型中最先進的基于圖神經網絡的實體對齊模型，相比最優的基于圖神經網絡的實體對齊模型Hits@1 值最高可提高2.3 個百分點，有效融合石油勘探開發領域的數據資產知識圖譜。下一步將融合實體類型信息、預訓練實體對齊模型等實體對齊相關問題，以實現更高質量的知識圖譜融合。此外，在實體對齊任務中，充分且高效地融合實體的多鄰域信息也是本文研究重點方向。