融合實體類型信息的本體?實例聯合學習方法

游樂圻，裴忠民，羅章凱

（航天工程大學復雜電子系統仿真重點實驗室，北京 101416）

0 概述

知識圖譜［1］可以形式化展示事物之間的關系，其本質是一種語義網絡。近年來，知識圖譜已成為支撐對話代理［2］、智能問答［3］、新聞推薦［4］等智能生活應用的技術基礎。目前，已經有許多比較成熟的知識圖譜，例如Freebase［5］、YAGO［6］、DBPedia［7］、ConceptNet［8］等，這些知識圖譜都可以分為兩種基本視圖，即實例視圖及其本體視圖。本體視圖和實例視圖相輔相成，對兩者進行聯合學習可以掌握更全面的知識。通常，研究者將實例填充到本體視圖中形成一個完整的知識圖譜，再用知識表示學習的方法嵌入學習。文獻［9］提出將知識圖譜的實例和本體聯合嵌入的學習方法JOIE，并在公開數據集YAGO26K-906 和DB111K-174 上驗證了該模型的優越性。該方法避免了耗時耗力的本體實例填充工作，并且與傳統方法相比更完整地保存了實例之間的關系。同時，作者在文末也指出聯合學習模型的損失還有待進一步優化，可以考慮復雜的嵌入模型、融入知識圖譜全局結構、類型信息等方式來改進模型性能。其中，同一實體在不同關系下具有多義性的問題有待進一步研究。

本文通過考慮三元組中實體的關系類型特征，提出一種融合實體類型信息的本體-實例聯合學習方法JOIE-TKRL-CT。在本體和實例視圖的內部關系表征上，利用實體分層類型模型融入實體類型信息，在兩個獨立的嵌入空間中分別表征學習。同時，通過分層類型模型將每個三元組的頭實體和尾實體轉化成具有特定類型的投影矩陣嵌入，以此來表征多義性實體。在視圖間關系的表征上，運用文獻［9］提出的跨視圖轉換模型，將表征在兩個獨立空間的本體和實例通過非線性映射的方法跨視圖鏈接，從而區別表示實體在不同場景下的不同意義。

1 相關研究

知識圖譜可以形式化展示事物之間關系，其本質是一種語義網絡。近年來，知識圖譜已成為支撐對話代理、智能問答等智能生活應用的技術基礎。知識圖譜可以用（實體，關系，實體）三元組來表示，現有的知識圖譜大多可以分為兩種基本視圖，即實例視圖及其本體視圖，如圖1 所示。實例視圖主要包含三元組特定實體及其之間的關系，其本體視圖主要描述的是抽象概念及其語義元關系。兩個視圖之間通過本體和實例的類屬關系鏈接。

圖1 知識圖譜中本體和實例視圖示例Fig.1 Example of ontology and instance views in knowledge graph

通過對本體視圖和實例視圖進行聯合學習，可以掌握更全面的知識。一方面，實例可以為其對應的本體概念提供詳細的信息；另一方面，本體提供了對應實例的高級抽象，這在發現一些數量較少的實例時尤為重要。可以考慮復雜的嵌入模型、融入知識圖譜全局結構、類型信息等方式來改進模型性能。其中，同一實體在不同關系下多義性的問題就有待進一步研究。如在圖2 中，有多個屬性指向的有“羅貫中”“三國演義”兩個實體，其中兩個屬性指向的“三國演義”實體具有多義性，一個指的是小說，一個指的是電視劇。如果計算機像人一樣，能夠分辨出不同場景對應的實體語義，那么就可以在一定程度上提高模型性能。但是實體的多義性在計算機嵌入學習過程中無法分辨。因此，使得擁有多種類型的實體在不同的場景中有不同的表示，是提高聯合學習模型識別性能的有效途徑。

圖2 知識圖譜中的實體多義性示例Fig.2 Example of entity polysemy in knowledge graph

知識圖譜嵌入方法的不斷優化推動了圖譜構建和應用技術的快速發展。知識圖譜嵌入就是對圖譜中三元組的實體和關系表示學習。給定三元組（h，r，t），其中，h、t分別表示頭實體和尾實體，r表示實體之間的關系，知識圖譜嵌入即是將實體及其之間的關系轉化為向量空間模型。在嵌入模型中，基于平移距離模型的模型有TransE［10］、TransH［11］、TransR［12］、TransD［13］、TranSparse［14］、KG2E［15］等，基于語義匹配的模型有DisMult［16］、HolE［17］等。其中，TransE 模型最為經典，其設計思想是期望標準三元組（h，r，t）有h+r=t，定義距離d表示向量之間的距離，因此機器學習到正確的三元組的距離越小越好，而錯誤的三元組的距離越大越好，其損失函數可以表示為：

將表示知識圖譜的本體圖和實例圖聯合學習，在性能上優于單個完整知識圖譜的嵌入學習方法。自文獻［18］提出本體嵌入方法On2Vec 以來，本體中的元信息嵌入表示得到廣泛關注。文獻［9］提出將知識圖譜的實例庫和本體庫聯合嵌入的JOIE 模型，采用跨視圖和視圖內建模的方法，從知識圖譜的本體元層次和實例層次分別表示學習。

在嵌入過程中融合實體類型信息可以有效提高模型性能。文獻［19］提出一種能夠區分概念和實例信息的TransC 模型，其將知識圖譜中的概念編碼為球體，實例用向量表示，在YAGO 數據集上嵌入性能達到了相對最優。文獻［20］將實體類型信息作為先驗知識融入模型中，模型在鏈接預測任務中性能提升高達77%。文獻［21］提出語義平滑嵌入的SSE 模型，該模型的核心思想是讓同一語義類別的實體在嵌入空間中位置相近。文獻［22］提出TKRL 模型，其將類型信息分層表示，并作為關系的特定約束。實驗結果表明，利用此方法嵌入學習能捕獲知識圖譜中重要意義的分層類型信息。文獻［23］建立一種基于知識表示學習的知識可信度評估模型PTCA，利用實體類型信息對知識的可信度進行計算，從而有效應用知識圖譜，對知識的可信度進行準確評估。

結合現有研究，本文借鑒TKRL 模型中對類型信息分層表示的思想，將類型信息融入本體-實例聯合學習模型中，目的是表示實體在不同場景的不同意義，進一步提高知識圖譜嵌入的學習效率。

2 JOIE-TKRL-CT 方法

為彌補本體-實例聯合學習模型不能區分表示多義性實體的不足，本文提出一種融合實體類型信息的本體-實例聯合學習方法JOIE-TKRL-CT。該方法將本體和實例知識庫分別嵌入，再進行聯合學習，其由視圖內學習、視圖間學習和聯合學習3 個模型組成。在本體和實例視圖內部的嵌入學習中，為了在不同的三元組語境凸顯相應的類型信息，本文將實體類型信息分層表示，在構建實體的投影矩陣時，類型信息由各類型層加權表示。視圖間的學習采用跨視圖轉換方法來學習本體嵌入空間和實例嵌入空間之間的關聯，在正樣本中關聯即為實體和本體間的類屬關系。

2.1 視圖內學習

2.1.1 本體和實例視圖嵌入

在進行視圖內部學習時，本文基于TransE 模型，在表示實體時將類型信息作為實體的補充信息一同嵌入。具體而言，將每個類型c的層次信息構造成投影矩陣Mc，這樣頭實體h和尾實體t對應的特定類型就為crh、crt，相應的類型矩陣用Mrh、Mrt表示。再根據式（1），可得能量函數和損失函數分別為：

其中：y>0；E(h,r,t)是正確的三元組的能量函數；E(h',r',t')是錯誤的三元組的能量函數；(h',r,t')通過(h,r,t)替換頭實體和尾實體得到，并且替換后的三元組在視圖中不存在。學習一個融合類型關系的知識圖T中所有節點的嵌入，最小化所有的三元組損失，可得：

機器學習的過程就是運用梯度下降法更新上述函數，其中，γT>0，是一個正余量。

在嵌入過程中需要考慮到實例內部視圖和本體內部視圖。本文用(h(I),r(I),t(I))?TI表示實例視圖，用(h(O),r(O),t(O))?TO表示本體視圖，分別用表示計算得到的損失函數，再將兩個損失函數通過組合權重α1來調控內部視圖的結構丟失。視圖內嵌入的整體學習模型可表示為：

2.1.2 分層類型模型

本節用分層類型模型來表示實體在不同場景下的類型信息，主要是考慮判別三元組中實體類型的情境通過三元組的關系傳達，例如在三元組（三國演義，作者，羅貫中）中，通過關系“作者”就可以辨別實體“三國演義”是屬于小說類，而不是電視劇。每個類型分多層來表示，是因為可以通過不同的權重組合對應不同的類型。具體說明如下：

設某實體有n個類別，則其類別集合可表示為c={c1,c2,…,cn}，ci表示實體的第i個類別。又設每個類別是由多個分層子類別集成控制，如圖3 所示。假設子類別個數為m，則其中表示實體第i個類型的第j個子類型。

圖3 分層類型模型Fig.3 Hierarchical type model

在分層結構中，不同子類型的不同粒度在映射實體時，需要通過權重相加的方法達到區分實體不同類型信息的目的，如下所示：

其中：Mc(i)是c(i)的投影矩陣；βi是c(i)的權重。由式（6）可知，βi>βi+1，以此控制在Mc上c(i)的影響比c(i+1)大。頭實體的投影矩陣可表示為：

其中：Crh表示由關系特定類型信息給出的相對r的頭部類型集為ci的投影矩 陣；εi為對應的權值，通過控制εi的大小分布達到區分不同類型下相同實體的目的。尾部實體的投影矩陣Mrt與頭部實體的投影矩陣形式相同。

2.2 視圖間學習

視圖間學習采用文獻［9］中提出的跨視圖轉換方法。如圖4 所示，本體圖O和實例圖I分別嵌入在不同的向量空間中，跨視圖轉換旨在通過學習本體和對應實例的類屬關系，使得計算機在嵌入空間中認為本體和相應的實例通過一種非線性映射關系來鏈接。

圖4 跨視圖轉換示意圖Fig.4 Schematic diagram of cross-view transformation

假設屬于本體o的實例i通過關系f會映射到對應的本體o，o?O,i?I，即：

其中：f(i)=σ(w·i+b)，是一個非線性映射；w為權重矩陣；b為偏置項；σ為激活函數tanh。因此，視圖間學習的損失函數可以表示為：

通過上述跨視圖的轉換，可以讓計算機學習到一個虛擬的空間中，本體及其對應的實例會在空間中聚合為距離較近的狀態。

2.3 聯合學習

將視圖內學習模型和視圖間學習模型整合，可得本體-實例聯合學習模型：

其中：ω是權重系數。在訓練的過程中，先更新底層的再更新J。

3 實驗與結果分析

通過三元組補全和實體分類兩個任務，驗證本文模型的有效性。

3.1 實驗前期準備

實驗前期準備工作包括使用的數據集、實驗評價指標、實驗參數設置。

3.1.1 數據集

通常，知識圖譜中實例的數量會遠大于本體的數量。為驗證模型的有效性，分別在YAGO26K-906 和DB111K-174 數據集上進行實驗（數據來源：https：//github.com/JunhengH/joie-kdd19），這兩個數據集是在YAGO、DBpedia 基礎上分離出本體、實例制作而成。數據集數據分布統計情況如表1 所示。

表1 數據分布統計Table 1 Data distribution statistics

實驗所需錯誤三元組的構建是將正確三元組的頭實體、尾實體或者關系變成知識圖譜中原來就存在的實體或者關系。在整個數據集中保持正確三元組與錯誤三元組之比為1∶1。

3.1.2 評價指標

實驗選用以下評價指標：

1）MRR。將預測中排名第一的相關結果位置記作ki，則MRR為

2）Hit@10，表示正確的實體或關系在預測中排名前十的個數占總數的比例。

3）Hit@1，表示正確的實體或關系在預測中排名第一的個數占總數的比例。

3.1.3 參數設置

為保證公平性，實驗過程中保持以下參數一致：本體圖嵌入維度為100，實例圖嵌入維度為300，α1=2.5，，實體類型維度n=50，epoch 為100，訓練學習率lr 為0.000 5，單視圖數據batch size 為128，聯合學習中實例圖數據batch size為256，本體圖數據batch size為64。訓練的過程使用AMSGrad 優化器優化聯合損失。為了避免有的實體在訓練過程中被忽略，每次訓練之前將實體和關系向量歸一化。

3.2 三元組補全

三元組補全由文獻［24］提出，目標是在三元組(h,r,t)中h、r、t缺失時將其補全，在知識圖譜嵌入模型驗證時經常被用作測試模型學習嵌入性能的檢驗方法。測試的方法是在模型內部將預測的實體或關系的似然函數進行計算和排名。在本次實驗中，分為本體三元組補全和實例三元組補全兩個子任務。

設置以下6 組對照模型：

1）TransE 模型［10］。該模型參數少，計算復雜度低，并且具有較好的性能和可擴展性，是經典的基于平移距離的知識圖譜嵌入模型。

2）TransC模型［19］。該模型是融合了實體類型信息的知識圖譜嵌入模型，與同期模型相比具有較好的效果。

3）DisMult 模型［16］。該模型是基于語義匹配的知識圖譜嵌入模型，其利用學到的關系來挖掘邏輯規則。

4）HolE模型［17］。該模型結合了語義匹配模型的表達能力和DisMult 的效率，與同期模型相比具有較好的嵌入性能。

5）TKRL 模型［22］。該模型在嵌入過程中融入了實體的層次類型信息，得到了較好的嵌入效果。

6）JOIE-TransE-CT模型［9］。該模型是本體-實例聯合學習模型，在部分任務上能夠達到較整個知識圖譜嵌入更好的效果。

圖5 和圖6 顯示了各模型在兩個數據集上訓練過程中損失變化（epoch：30～100）。

圖5 YAGO26K-906 數據集上各模型訓練損失變化Fig.5 Changes of the loss in each model training on YAGO26K-906 data set

圖6 DB111K-174 數據集上各模型訓練損失變化Fig.6 Changes of the loss in each model training on DB111K-174 data set

損失（loss）在模型的訓練中是一個關鍵角色。模型的訓練就是最小化loss 過程，減少預測的誤差，尋找最優解的過程。一定程度上來說，模型的loss 越小，模型的預測能力越好。由圖5 和圖6 整體來看，在訓練達到一定的程度后（epoch>60），兩種聯合學習模型loss都會比其他模型降得更小。而進一步通過兩個聯合學習模型對比可知，JOIE-TKRL-CT的loss更小。因此，JOIETKRL-CT 模型性能優于其他模型。

各模型具體實驗結果如表2 和表3 所示，其中，加粗表示最優數據。值得注意的是，TransC 模型編碼時區分了概念和實例，但是沒有將概念的元關系編碼，因此涉及對本體三元組的補全。

表2 在YAGO26K-906數據集上的三元組補全實驗結果Table 2 Experimental results of triple completion on YAGO26K-906 data set

表3 在DB111K-174 數據集上的三元組補全實驗結果Table 3 Experimental results of triple completion on DB111K-174 data set

表2 和表3 的實驗結果表明：

1）在兩個數據集上，聯合學習模型都取得了較其他模型更好的性能，其中JOIE-TKRL-CT 在實例三元組補全上具有優勢，原因是融合的實體類型信息更多是針對實例，在本體三元組補全上反而弱于JOIE-TransE-CT。

2）對比JOIE-TKRL-CT 和JOIE-TransE-CT、TKRL和TransE 兩組模型，可以發現在兩種數據集上，融合實體層次類型信息可以有效提高模型性能，在所有的指標中都有較大的提升。

3.3 實體分類

實體類型任務目標簡單來說就是預測給定實體的對應本體概念。測試方法同三元組補全任務。

實驗設置了TransE、DisMult、HolE、JOIE-TransE-CT這4 個模型對照實驗，實驗結果如表4 所示，其中，加粗表示最優數據。

表4 實體分類實驗結果Table 4 Experimental results of entity classification

就實體分類任務實驗結果而言，在兩種數據集上，聯合學習模型的實驗性能都遠超過單純基于距離和語義相似度的模型，其中JOIE-TKRL-CT較前者MRR、準確率平均高了1%，這也證明了融合實體了層次類型信息可以提高聯合學習的性能。

綜合以上實驗結果可知，JOIE-TKRL-CT 模型在實例三元組補全和實體分類上都取得了比JOIETransE-CT 模型更好的成績。因此，融合了實體層次類型信息的本體-實例聯合學習方法可以達到區分實體多義性的目的，具有更好的知識學習效果。

4 結束語

為區別表示實體在特定場景的獨特意義，本文在嵌入時融合三元組中實體的關系類型特征，提出一種本體-實例聯合學習方法JOIE-TKRL-CT。在YAGO26K-906 和DB111K-174 數據集上針對三元組補全和實體分類兩個任務進行多組實驗，結果表明，JOIE-TKRL-CT 在實例三元組補全和實體分類任務上較TransE、TransC、DisMult 等模型具有更好的性能，驗證了本文方法的有效性。下一步將在模型中融入知識圖譜的結構信息和深層的類型信息，獲得更優的知識學習效果。