融合實體描述信息和鄰居節點特征的知識表示學習方法

焦守龍，段友祥，孫歧峰，莊子浩，孫琛皓

（中國石油大學（華東）計算機科學與技術學院，山東青島 266555）

0 引言

隨著大數據和人工智能的發展，知識圖譜作為一種可以將知識結構化的重要技術而受到廣泛關注。在知識圖譜中，大眾所熟知的現實世界中的知識通常被表示為多個三元組（頭實體、關系、尾實體）組成的多關系網絡形式。知識圖譜集合了人類世界的廣泛知識，在知識問答、信息抽取、智能搜索等人工智能領域擁有廣闊的應用空間，但知識圖譜使用符號化的表示方式，大規模知識圖譜存在計算效率低下和數據稀疏的問題，而且隨著深度學習的發展和應用，人們希望知識圖譜有更簡單高效的表示形式。因此許多研究者提出了基于深度學習的知識表示學習方法，目標是將三元組從高維獨熱向量空間映射到一個連續的低維稠密實值向量空間中，以解決知識庫中數據稀疏問題，實現高效計算，對知識圖譜的推理、補全、應用等都具有重要意義。

在現有的表示學習研究中，翻譯模型是最具代表性的經典方法，它因訓練時只需要較少的參數并取得了較好的知識表達效果而受到大量研究者的重點關注和應用，但這類方法普遍獨立學習每個三元組的結構特征，沒有應用知識圖譜中存在的語義信息和知識圖譜外的描述信息，后來隨著研究的深入，知識表示學習模型不斷改進，許多方法開始在學習三元組結構特征的基礎上融入多源信息來提高模型的表達能力。其中KBGAT 模型將圖注意力網絡（Graph Attention Network，GAT）應用到知識表示學習中，進一步解決了大多數模型中獨立處理每一個三元組，無法表達三元組之間特征信息的問題，KBGAT 不僅考慮到相鄰實體之間的向量表示，還考慮了兩個實體間的關系向量，從而豐富了實體的語義信息。但是該模型還存在缺陷：第一，知識圖譜中的實體擁有豐富的實體描述信息，在此模型中沒有被利用；第二，對每個三元組中關系和實體向量進行拼接后使用GAT 的方法對三元組中實體和關系的特征獲取不夠充分；第三，分步訓練編碼器解碼器的方法容易產生錯誤傳播。

因此，為了融合更多的三元組語義信息，提高知識表示的準確性，本文提出了一個基于BERT（Bidirectional Encoder Representations from Transformers）和GAT 的知識表示學習（knowledge representation learning based on BERT And GAT，BAGAT）模型。該模型既考慮了三元組外的實體描述文本信息，又充分利用了知識圖譜三元組中隱藏的復雜實體關系特征向量對目標實體的表示。具體來說，首先對三元組中每個實體關系通過GAT 計算基于知識圖譜內部實體鄰居節點信息的向量表示，然后使用BERT 詞向量模型實現對實體描述信息的向量表示，最后將兩者在相同向量空間中進行聯合知識表示學習。

1 相關工作

知識表示學習通過將實體和關系向量化來實現對實體和關系的語義信息準確描述。近年來，有多種不同類型知識表示學習模型提出，首先是Bordes 等提出的翻譯模型TransE（Translating Embeddings），它將三元組中頭實體通過關系聯系尾實體的過程當作翻譯過程，然后用得分函數衡量每個三元組的合理性，最后通過不斷優化損失函數獲得最準確的向量表示結果。盡管TransE 簡單高效，但處理復雜關系時容易出現不同實體間的語義沖突，為克服這種缺陷，Wang等提出通過將關系建模超平面并將頭實體和尾實體投影到特定關系超平面的方法 TransH（Translating on Hyperplanes）來解決三元組的復雜關系問題。此外Lin 等提出TransR（Translation in the corresponding Relation space），即將實體和關系分別映射到不同的空間，然后將實體向量表示從實體空間投影到關系空間實現翻譯過程。Ji 等提出TransD（Translating embedding via Dynamic mapping matrix），即分別設置頭實體和尾實體的投影矩陣，然后將實體從實體空間投影到關系空間中，并使用向量操作取代矩陣操作來提高模型的計算效率。這些方法盡管取得了不錯的效果，但都是對三元組結構特征的表示，對三元組的語義信息應用不足。此后Xie 等提出了融入多源信息的知識表示學習模型（Representation Learning of Knowledge graphs with entity Descriptions，DKRL），它將實體分為基于結構的表示和基于描述的表示兩部分進行聯合訓練，使用連續詞袋（Continuous Bag Of Words，CBOW）模型和卷積神經網絡（Deep Convolutional Neural Network，CNN）模型兩種不同方法訓練得到實體描述信息向量，然后將該向量與基于結構的表示向量放在相同的連續向量空間中學習，實驗結果表明該模型對不同實體有更好的區分能力。

除了上述模型外，神經網絡也被應用到研究知識表示學習。比如，Dettmers 等提出基于CNN的知識表示模型ConvE（Convolutional Embedding），它使用頭實體和關系組成輸入矩陣，然后送到卷積層提取特征，將特征矩陣通過線性變換向量化后通過和尾實體向量內積得到表示三元組合理性的得分。Nguyen 等在ConvE 的基礎上提出更注重三元組整體特征的基于CNN 的知識庫嵌入模型（embedding model for Knowledge Base completion based on Convolutional neural network，ConvKB），它將每個三元組都表示為3 個特征向量組成的矩陣形式，然后將該矩陣使用多個卷積核經過卷積操作生成不同的特征圖，將這些特征拼接成代表輸入三元組的特征向量，最后通過特征向量與權重向量相乘返回一個得分，該分數便是預測此三元組是否有效的標準。此外，Schlichtkrull 等提出了首個使用圖卷積網絡（Graph Convolutional Network，GCN）建模知識圖譜實體關系網絡的模型R-GCN（modeling Relational data with GCN），它在使用圖卷積網絡的基礎上考慮了三元組中關系的方向，并根據不同的關系學習到不同的特征信息，通過對實體的鄰域特征和自身特征進行加權求和得到新的實體特征，此模型雖然使用圖卷積網絡建模復雜實體關系網絡，但在知識表示學習中表現不夠優秀。Nathani 等提出了KBGAT 模型，該模型第一個實現了將GAT 應用到知識圖譜表示學習中，它使用了GAT和ConvKB 組合的分步編碼、解碼器結構，在編碼器階段，首先將三元組的實體、關系通過向量拼接后執行線性變換作為該三元組向量表示，通過將不同的權重分配給目標節點構成的三元組向量表示來得到對目標節點的向量表示，在此之上進一步挖掘

N

跳鄰居的特征信息來增加目標節點的語義豐富性，最后將向量表示送入到ConvKB 解碼后執行鏈接預測任務，該模型在實驗中取得了更好的效果。

2 本文模型

在知識圖譜中，實體關系之間存在潛在聯系，能夠對實體語義進行補充，而且實體常常擁有大量描述信息，因此本文在使用GAT 基礎上引入實體描述信息，并且不使用KBGAT 中分步訓練的編碼器―解碼器結構，而是參考DKRL的訓練方法，旨在學習到三元組的結構信息的同時，以外部描述信息與內部鄰居節點信息作為補充進行聯合訓練。具體來說，BAGAT 模型采用GAT 獲取

N

階鄰居節點對目標節點的加權表示，使用BERT 預訓練模型獲取實體的描述信息向量表示。KBGAT 模型已經證明了使用GAT 建模實體關系網絡在知識表示學習中的作用，以圖1 為例，當要推理的目標節點U.S.A 中融合了像（Google，Belong_to）、（New York，Located_in）等鄰居節點的語義信息時，節點U.S.A 的向量表示會更加豐富，在進行三元組推理時結果也會更準確。

圖1 知識圖譜網絡結構Fig.1 Knowledge graph network structure

2.1 基于GAT的實體向量表示

傳統的GAT 通過學習鄰居節點的權重，從而實現對鄰居特征的加權求和，為了在知識圖譜的三元組中將關系作為一部分重要信息加入訓練同時結合三元組的結構特征，在使用GAT 對節點進行表示時，除了將實體作為初始輸入向量外，也將關系作為重要信息添加到圖注意力模型中。具體來說，為了將注意力機制應用在目標節點與鄰居節點上，首先將鄰域內實體與關系進行加權求和，對目標節點和鄰居節點的構建方法如式（1）、（2）：

其中：

h

、

t

分別代表頭實體、尾實體的初始向量表示；

r

代表關系的初始向量表示；權重參數

ρ

∈(0，1)用于調整關系向量與實體向量構成鄰居節點時所占的比重，從而將每個三元組的實體和關系都參與到圖注意力模型的計算中。為了計算

h

對目標節點

h

的影響權重，定義兩者的注意力值

v

如式（3）：

其中：

W

代表投影矩陣；注意力機制

a

是單層前饋神經網絡。將式（3）展開得到具體計算公式（4）。

將投影矩陣與特征向量相乘后拼接在一起，使用權值向量

z

做一次線性變換，再使用LeakyReLU 函數做非線性激活，最后使用Softmax 函數對每個節點與所有鄰居節點的注意力值做歸一化處理。歸一化后的注意力權重即為最后的注意力系數，如式（5）：

其中：

N

表示目標節點

h

的鄰居節點，即由式（2）中與目標節點

t

相鄰的

h

和兩者之間的關系

r

構成。注意力機制簡要圖示如圖2 所示。

將計算的注意力系數進行加權求和，如式（6）：

其中：

h

′是基于GAT 輸出的對于每個節點

i

的新特征向量，新的向量表示融合了知識圖譜中實體的鄰域信息；

σ

是激活函數，目標節點的輸出與所有鄰居節點的特征向量都相關。為使模型更穩定地學習鄰居節點的特征，將采用多頭注意力機制獲得不同特征進行集成；為防止過擬合現象，將

K

個獨立的注意力機制得到的向量表示拼接。具體表示如式（7）：

其中：

||

表示拼接。在圖注意力模型的最后一層，將對得到的向量表示進行

K

平均計算而不再拼接，如式（8）：

為了獲得與實體向量變換后同樣的關系向量表示，將使兩者共享輸出維度，在完成一次圖注意力的計算后對關系向量做線性變換，如式（9）：

其中：

R

代表輸入關系向量集合；

W

∈R代表線性變換矩陣，

T

代表轉換前向量維度，

T′

代表轉換后的維度。此外，在獲得新的實體向量表示過程中可能會造成原來結構特征信息的損失，所以在最后得到的實體表示中添加經過線性變換的初始實體向量來解決，如式（10）：

圖3 圖注意力層網絡結構Fig.3 Graph attention layer network structure

除了結合一階鄰居節點外，進一步挖掘

N

階鄰居節點對目標節點的向量表示，將此類節點看作組合的三元組，表示為（頭實體，多個關系組成的關系路徑，尾實體）的形式，例如在圖1 中，對Jill Biden 與U.S.A 建立（Jill Biden，Wife_of/President_of，U.S.A）的組合三元組形式，對高階鄰居中的多個關系進行加和后取平均值作為最終關系向量表示，如式（11）：

其中：

R

代表

N

階實體間的關系表示集合；

r

代表它們的向量表示。

2.2 基于BERT模型的實體向量表示

使用基于實體描述信息的向量表示可以捕捉更準確的文本信息特征，對各類實體有更好的區分效果，DKRL 中將描述信息分別作了連續詞袋編碼和卷積神經網絡編碼，改變了翻譯模型中僅考慮實體間結構特征而忽略其他信息的方式，在知識表示學習中取得了更好的效果，但連續詞袋編碼沒有脫離Word2vec（Word to Vector）詞向量所帶來的問題，它產生的向量表示是靜態的，并且對上下文語義的考慮不夠充分，卷積神經網絡雖然考慮了詞序信息，但輸入只用了部分短語，對實體描述信息語義表示不足。本文采用BERT 模型對實體的描述信息進行向量表示，它使用雙向Transformer 作為算法主要框架，核心是注意力機制，經過編碼器可以學習到每個詞左右兩側的信息，因此可以獲得更準確的詞向量表示。使用BERT 模型得到的詞向量是由三種嵌入特征求和而成，具體方式如圖4 所示。

圖4 BERT的輸入表示Fig.4 Input representation of BERT

它分為三部分：詞向量編碼（Token Embeddings）、對句子進行切分（Segment Embedding）、學習出來的位置向量（Position Embedding）。在詞向量編碼任務中，本文使用BERT 預訓練模型完成，這樣就不需要再用大量的語料進行訓練。此次任務不改變預訓練模型的參數，只把句子作為輸入放入預訓練模型，以標識符［CLS］代表句子開始，得到的輸出向量作為特征向量輸入到下一個任務中。由于任務只需要編碼實體描述的句向量，所以在選擇保留原始單詞順序下，對部分長度超過510 詞的句子，只取前510 個詞作為輸入，然后得到輸出句向量，最后通過式（12）的線性變換來獲得與圖注意力模型向量同樣維度的實體向量表示。

2.3 得分函數

為了將三元組的結構特征信息、三元組實體關系語義信息和實體描述信息結合起來，本文將兩種嵌入向量放在相同的連續向量空間中進行聯合知識表示學習，其中包括通過GAT 訓練得到的向量表示和通過BERT 模型得到的向量表示，為了將兩種向量表示融合，根據DKRL 的訓練方法，定義能量函數如式（13）：

圖5 BAGAT模型結構Fig.5 BAGAT model structure

2.4 損失函數

在模型訓練中，與翻譯模型的訓練目標相同，采用基于邊際的得分函數作為訓練目標，定義如式（15）：

其中：

γ

為最大間隔參數；

S

為正例三元組的集合；

S′

代表頭實體或尾實體被隨機替換后生成的負例三元組的集合，

S′

的定義為。

其中：

ε

代表實體的嵌入表示，隨機構建的負例三元組可能本身就作為正確的三元組存在數據集中，因此剔除這些已存在于數據集中的正確三元組。

3 實驗與結果分析

3.1 實驗數據集

FB15K-237數據集是Freebase的子集，它相對于FB15K 數據集刪除了多余的關系，其中每個實體的實體描述信息使用DKRL 模型中的實驗數據。WN18RR 數據集是WordNet的子集，它相較于WN18 數據集消除了反向關系，很大程度增加了推理的難度，將WordNet 中對實體的定義作為實體的描述信息數據。實驗數據集的具體信息如表1所示。

表1 實驗數據集統計信息Tab 1 Experimental dataset statistics

3.2 實驗設置

基于實體描述信息的向量使用Google 官方預訓練模型Bert-Base-Uncased 獲取，它使用12 層的Transformer 訓練，每層加入12 個多頭注意力獲取數據特征，隱藏層單元768 個，最后將實體嵌入維度變換為200。在獲取基于GAT 的表示時，使用TransE 的訓練向量作為實體和關系的初始化結構特征向量表示，初始嵌入向量維度為50。在選擇

N

階鄰居節點對目標節點的表示時，因節點間距離越遠在訓練中所占權重越小，所以本文選取2 階鄰居節點，模型最后輸出實體和關系向量維度設為200，LeakyReLU 的alpha 參數設置為0.2。為防止模型的過擬合，采用L2 正則化。在FB15K-237 數據集上，Drop_out 設置為0.3，

ρ

值選擇為0.6，訓練迭代3 000次，訓練批次大小為20 000，基礎學習率為0.001，邊界值

γ

為1.5。在WN18RR 數據集上，Drop_out 設置為0.3，

ρ

值選擇為0.5，訓練迭代3 600 次，訓練批次大小為10 000，基礎學習率為0.001，邊界值

γ

為1.0。訓練中采用Adam 優化算法。

3.3 三元組分類任務實驗

三元組分類任務是確定給出的三元組（

h

，

r

，

t

）是否符合客觀事實，即是否成立，可以視為二分類問題，實驗使用3.1節中實驗數據集中的FB15K-237 和WN18RR。錯誤三元組的構建采用與上文訓練時構建負例三元組同樣的方式，為保證測試數據的合理性，本文選取同樣數量的正確與錯誤三元組進行測試。分類規則是對于一個給定的三元組，通過比較其得分函數和給定閾值

δ

的大小確定分類效果，若得分比閾值低，則判定為正確三元組，反之為錯誤三元組。每種關系的閾值由驗證集中關于特定關系的最大化分類準確率決定。

三元組分類結果如表2 所示。相較于DKRL，本文模型在數據集FB15K-237 和WN18RR 上分別提高了5.8 和1.5 個百分點，與KBGAT 相比分別提高了3.7 和1.1 個百分點，本文模型分類準確度更優于其他基準模型。這說明使用GAT和實體描述信息所得到的聯合向量表示能夠更好地區別語義相近的不同實體，更有效地表示復雜的實體關系特征，在對三元組的分類中使正確三元組得分更低、錯誤三元組得分更高，說明了本模型有較優的分類性能。

表2 三元組分類準確率 單位：%Tab 2 Accuracy of triple classification unit：%

3.4 鏈接預測任務實驗

鏈接預測旨在測試模型的推理預測能力，對給定的一個正確三元組（

h

，

r

，

t

），在缺失頭實體

h

或尾實體

t

后，在原實體集中隨機選擇頭尾實體補全，對于缺失位置，通過模型計算出重組的三元組的得分后升序排序，最終正確三元組的排名會被記錄下來。

在隨機替換頭尾實體時，可能會出現替換后三元組本身就是知識圖譜中的正確三元組的問題，那么這種三元組可能會排在目標三元組的前面，所以為了最終實驗的準確性，實驗時采用“Filter”方式將存在的干擾三元組過濾掉后排序。

為了對比分析，實驗采用以下評價指標：1）MeanRank（MR），正確實體得分排名平均值，該指標值越小說明預測結果越好；2）Hits@

n

，正確實體排名在前

n

名的比例，該值越大說明預測模型越準確，在測試中

n

值分別取1、3、10。

模型在FB15K-237 數據集的實驗結果如表3 所示：BAGAT 在四項指標上的表現都超過了其他對比模型，尤其是在Hits@1 和Hits@10 的表現：與TransE 相比，BAGAT 分別提升了25.9 和22.0 個百分點；與KBGAT 相比，BAGAT 分別提高了1.8 和3.5 個百分點。

表3 FB15K-237數據集上的鏈接預測結果Tab 3 Link prediction results on FB15K-237 dataset

在WN18RR 數據集上的實驗結果如表4 所示，BAGAT 在Hits@3、Hits@10 兩項指標上超過了其他對比模型，而在MR和Hits@1 上沒有達到最好表現，最主要原因是數據集中訓練數據比較稀疏，實體描述信息不足，這導致模型不能學習到很好的三元組特征。但每個實驗結果都要優于KBGAT 模型，其中在Hits@10 指標上提高了1.2 個百分點。

表4 WN18RR數據集上的鏈接預測結果Tab 4 Link prediction results on WN18RR dataset

綜合實驗結果可以看出，本文模型使用BERT 編碼實體的描述信息使每個實體有了更豐富的語義信息，其次就是通過應用GAT 將實體和關系聯合構造鄰居節點的方法使目標節點結合了更多鄰域內實體和關系的信息，使模型的推理能力得到了提高，驗證了對于KBGAT 模型的改進是有效的。另外，實驗結果還表明，模型在使用聯合訓練方法而去掉KBGAT 模型中使用ConvKB 作為解碼器的訓練步驟后仍然具有高效的鏈接預測性能。

4 結語

本文在KBGAT 模型基礎上進一步考慮了基于實體描述的向量表示模型，同時將GAT 應用到三元組中使其更適應于知識圖譜的知識表示學習任務；此外本文使用了多源信息聯合訓練方法，取代了分別訓練編碼器與解碼器的步驟。實驗結果顯示使用GAT 和BERT 模型聯合編碼數據的方法在兩個數據集上分類性能均有不同程度的提高。本文模型重點使用了實體的描述信息和三元組內部的實體關系特征信息，但對于知識圖譜中的諸如類別信息，其他知識庫信息、圖像信息等還沒有利用，所以多源的聯合知識表示學習方法仍然是未來研究和改進的方向。