基于元學習的小樣本知識圖譜補全

汪雨竹,彭 濤,2,朱蓓蓓,崔 海

(1.吉林大學 計算機科學與技術學院,長春 130012; 2.吉林大學 符號計算與知識工程教育部重點實驗室,長春 130012)

隨著互聯網技術的高速發展,如何表示、存取和使用知識已成為亟待解決的問題,而作為結構化語義知識庫,知識圖譜的相關研究也在不斷發展和完善.知識圖譜是由語義網絡演化而來的.語義網絡[1]作為知識表示的一種方法,其是由表達信息的節點及表示節點之間關系的有向直線連接而成的結構化知識圖,本質是建立開放數據之間的鏈接.作為Web3.0時代的特征之一,它是理解詞語、概念及其之間邏輯關系的智能網絡,可提高互聯網信息交互效率.知識圖譜用可視化技術描述知識資源及其載體[2],挖掘、分析、構建、繪制和顯示知識及其之間的相互聯系,并利用可視化的圖譜形象地展示學科的核心結構、發展歷史、前沿領域以及整體知識架構,達到多學科融合的目的[3],能為學科研究提供切實有價值的參考[4].知識圖譜由大量描述客觀事實及其關系的結構化三元組構成,圖中節點表示實體或概念,有向邊表示實體與概念之間的語義關系,并且已經廣泛應用于智能檢索、推薦與問答、機器翻譯、金融風控和智慧城市等領域.

現實中多數大規模知識圖譜是稀疏的,需要補充隱含信息或添加新的三元組使其更完整,這樣的工作稱為知識圖譜補全(KGC).知識圖譜補全可分為實體預測、關系預測和鏈路預測3個子問題,目前大多數研究都只適用于其中一個子問題,也有少數方法同時進行3個任務.按能否處理新實體和新關系,可分為靜態知識圖譜補全和動態知識圖譜補全.靜態知識圖譜補全是基于圖中現有的實體補充其間的隱含關系,僅能處理實體以及關系都是固定的場景,擴展性較差.動態知識圖譜補全引入新實體或新關系擴大知識圖譜的規模,更具現實意義[5].按照缺失的部分進行分類,可分為對頭實體、對關系和對尾實體的預測.但知識圖譜中存在部分長尾關系,即當關系出現頻率較低時,對應的實體數量較少,針對上述問題的KGC任務稱為小樣本知識圖譜補全.

隨著知識圖譜的不斷發展,應用范圍逐漸廣泛,而大規模知識圖譜比較稀疏,其中關系的長尾分布較普遍,為應對出現頻率不高的關系數量較多的問題,研究人員開始關注小樣本知識圖譜補全任務[6].本文提出一個融合了元學習思想,應用Transformer解決小樣本知識圖譜補全問題的模型——Meta-TKGC(基于元學習和Transformer的知識圖譜補全模型).該模型提出一個基于卷積神經網絡(CNN)的關系元嵌入學習器,從任務關系的參考實體對中捕獲關系信息; 應用元學習的思想,將參考集中關系特定的元信息遷移至查詢集中,將公共關系信息從已知的真實三元組轉移到不完整的三元組,在框架Meta-TKGC中,關系元是連接頭尾實體關系的高階表示; 利用基于Transformer的編碼器在預測過程顯式建模查詢集及其負例的頭尾實體嵌入,實現不完全三元組更好的匹配.

1 相關工作

目前解決知識圖譜補全問題的方法包括基于嵌入的方法、小樣本關系學習方法、關系路徑推理方法[7]、基于強化學習的方法[8]、三元組分類方法以及基于規則推理的方法[9],本文主要應用前兩種方法.

1.1 基于嵌入的方法

基于嵌入的方法關注如何學習實體及關系嵌入,主要包括以下3類:

1) 張量分解模型是將整個知識圖譜中三元組視為一個三階鄰接矩陣,之后對其降維,轉化為頭實體、關系和尾實體的拼接; RESCAL[10]將實體與實體之間的關系描述為一個三維矩陣,然后分解為實體的潛在語義表示和非對稱關系矩陣的組合,但該模型不適用于大規模知識圖譜,隨著關系矩陣的維度增加,復雜度增加,易出現過擬合; DistMult[11]針對上述問題,將關系矩陣簡化為對角矩陣,但無法解決非對稱關系相應的預測問題.

2) 在幾何模型中,純翻譯模型以TransE[12]及其擴展的TransH[13],TransR[14]為代表,這類模型利用實體與關系之間的距離衡量三元組的合理性; 由于大部分基于嵌入的模型并未考慮到實體和關系的雙向作用,使用額外信息的翻譯模型將知識圖譜中的輔助信息融合到實體及關系嵌入[15]; 旋轉翻譯模型可以正確推斷上述算法無法建模的對稱關系、反對稱關系、反演關系和合成關系.

3) 基于深度神經網絡的模型,為處理大規模知識圖譜中參數規模與過擬合之間的矛盾,ConvE[16]應用二維卷積,保證模型訓練速度的同時可達到較好的實驗效果; 但在ConvE中,對實體和關系嵌入的重構和聚合不能充分表達圖中的信息,而同樣基于CNN的CTKGC[17]通過在元素層次上融合實體嵌入和關系嵌入構造一個便于二維卷積的矩陣,模型架構簡單且可解釋性較強.

1.2 基于元學習的方法

為應對大規模知識圖譜中三元組中關系的長尾分布現象,本文模型引入元學習[18]的方法解決小樣本問題,元學習偏重于任務和數據的雙重采樣,適合于小樣本學習,它將訓練集和測試集分為若干個訓練任務和測試任務,面向多個任務聯合訓練,利用前面任務的經驗指導新任務的學習,使機器具備適應每個具體任務的能力.目前基于元學習的方法包含以下三類.

1) 基于度量學習的方法: 度量學習廣泛應用于圖像處理中,根據目標的某些核心特征得到衡量特定任務的距離度量函數.Prototypical Network[19]選取Bregman散度中的平方歐氏距離作為距離度量方式完成了小樣本分類任務,模型策略簡單且效果較好.

2) 模型表示增強方法: 這類算法的目的是提高樣本的表示能力,LaSO[20]從圖像中學習到隱式的語義信息,相當于對數據集進行了數據增強,拓展了特征空間包含的信息,因此可用于解決小樣本的多標簽分類問題.

3) 基于參數優化的方法: 這類方法[21]主要為了學習模型對各種任務的初始參數,通過幾個迭代步驟即可獲得優異的泛化性能.MAML具備無模型限制、元學習和快速適應的特性,能在少量樣本、有限迭代次數條件下快速適應新的任務并完成參數的優化,適用于多種網絡模型和任務類型.

1.3 小樣本知識圖譜補全模型

由于長尾關系的特殊性,上述方法并不完全適用于小樣本知識圖譜補全場景.首先,對于單樣本知識圖譜補全問題,以圖卷積網絡(GCN)為基礎的GMatching[22]由鄰居編碼器和匹配處理器組成,鄰居編碼器捕獲一跳鄰域信息得到實體和關系嵌入,并應用長短期記憶網絡(LSTM)進行參考實體對、查詢實體對的多步匹配得到相似性得分,選取最佳候選實體作為預測結果.MetaR[23]以元學習為核心思想,包含一個關系元編碼器和一個嵌入學習器,關系元編碼器利用支持集中的實體對獲取任務關系元信息,將其轉移至查詢集中,應用嵌入學習器區分查詢集中的正負例完成對缺失實體的預測.上述方法只是假設所有鄰居對實體嵌入的貢獻相等,或者為鄰居分配靜態的注意力權重,得到的是靜態實體表示,而FAAN[24]提出了動態屬性的概念,設計了應用Transformer的自適應注意力網絡用于獲取參考實體對的動態自適應表示,以及一個基于注意力的聚合器用于表示查詢集的缺失三元組.

2 問題定義

知識圖譜可表示為三元組的集合τ={(h,r,t)}?E×R×E,其中h,r,t分別表示頭實體、關系和尾實體,E和R分別表示實體集和關系集.知識圖譜補全任務分為(?,r,t),(h,?,t),(h,r,?)三類任務,本文研究對尾實體的預測,例如對(珠峰計劃,創辦時間,?)中尾實體的預測.將元學習的思想應用到小樣本知識圖譜補全中,按關系分類,將每類關系對應的不完全三元組的預測視為一個任務,因此訓練集Ttrain={Dtr}和測試集Ttest={Dte}都是若干個任務的集合,Dtr,Dte是訓練任務和測試任務,分別表示為Dtr={Sr,Qr}和Dte={Sr′,Qr′},其中Sr,Qr分別表示每個任務r對應的支持集和查詢集,r′表示訓練集中未出現過的新關系.Sr,Qr的定義如下: 對于特定關系任務,將關系r對應的K個頭尾實體對稱為支持集,表示為Sr={(hr,tr)|(hr,r,tr)∈G},且|Sr|=K為樣本數量,其中G表示背景知識圖譜,類似于由任務關系“創辦時間”對應的三元組中(國際滑冰聯盟,創辦時間,1892年)的頭尾實體(國際滑冰聯盟,1892年)構成的K個實體對的集合.從支持集中提取信息轉移至對應的查詢集Qr={(hi,r,ti)|ti∈Chi,r},其中Chi,r表示待預測三元組中頭實體hi對應的候選尾實體集合.最終預測任務可描述為完成測試集Qr′={(hi,r′,ti)|ti∈Chi,r}中對候選尾實體的排序.

3 基于元學習的小樣本知識圖譜補全模型

3.1 總體框架

Meta-TKGC由關系元學習器、Transfomer編碼器[25]和匹配處理器三部分組成.圖1為模型的整體架構,圖2為關系元學習器的實現過程.基于CNN的關系元學習器根據參考實體對獲取任務關系嵌入; 將初始化后的任務關系表示、查詢集和查詢集負例拼接成三元組,分別和它們的位置信息結合,輸入Transfomer編碼器中,得到查詢集及其負例的嵌入; 將任務關系嵌入遷移到查詢部分,在匹配處理器中,計算前兩部分得到的頭尾實體和關系特征表示間的相似度得分,完成小樣本知識圖譜補全任務.

圖1 模型的整體架構Fig.1 Overall architecture of model

圖2 關系元學習器Fig.2 Relation-meta learner

3.2 關系元學習器

關系元學習器作為兩層前饋神經網絡,由卷積層和全連接層建模實體和關系之間的相互作用.首先,把支持集的頭尾實體拼接,輸入到二維卷積層中,經過激活和最大池化后,重構為一個融合參考集實體和關系信息交互的三階張量:

(1)

其中Sh和St分別表示支持集頭尾實體的嵌入,ω為卷積層的濾波器,σ表示ReLU激活函數.再輸入到一個線性層,進行批量歸一化:

(2)

其中W和b表示可學習參數.其次,對由K個參考集實體對獲取的關系表示求平均,得到可遷移至查詢集的任務關系嵌入Rs:

(3)

3.3 Transfomer編碼器

由于現有的嵌入模型總需要足夠多的訓練數據對任務關系建模,但實際應用中可依據的相關信息較少,很難獲取到小樣本關系的有效表示.受翻譯距離模型的啟發,基于平移假設,由h+r=t得到r=t-h,因此由支持集的頭尾實體嵌入計算任務關系的原始嵌入R0為

R0=St-Sh,

(4)

其中Sh和St分別表示支持集頭尾實體的嵌入.對于查詢集及其負例的頭尾實體,將對應的預訓練嵌入和三元組位置嵌入相加,得到實體和關系的位置信息融合嵌入:

hi=h0+hpos,

(5)

ti=t0+tpos,

(6)

其中h0,t0分別表示頭尾實體的原始嵌入,hpos,tpos分別表示頭尾實體的位置嵌入.獲取實體嵌入后,與上個模塊得到的關系元嵌入拼接成三元組嵌入,從而實現了參考集信息和查詢集信息的有效結合,然后輸入L層Transformer中:

(7)

(8)

3.4 匹配處理器

根據純翻譯模型TransE中的得分函數h+r=t,計算衡量三元組準確度的得分函數:

φ(Hj,Rs,Tj)=Hj+Rs-Tj,

(9)

其中: 應用的關系元Rs為模型第一部分的結果,即由支持集獲得的關系元嵌入; 實體嵌入Hj,Tj是由L層Transformer編碼器計算得到的.模型的損失函數定義為

(10)

4 實 驗

4.1 數據集及評價指標

本文選取數據集NELL-One和Wiki-One進行實驗,它們是在NELL[26]和Wiki[27]的基礎上移除自反關系,并保留三元組數量為50～500的關系構建而成的,數據集的具體信息及任務劃分列于表1.

表1 數據集統計結果及劃分

選擇平均倒數排名(MRR)、Hits@5和Hits@1作為評價指標,其中MRR是預測結果中真實匹配的文本排序位置平均值的倒數,Hits@k表示預測結果排在序列前k的個數占全部預測結果的比例,上述幾個評價指標數值越大表示預測結果越好.

4.2 基線算法

選擇基于嵌入的模型TransE和DistMult及小樣本關系學習算法GMatching和MetaR與Meta-TKGC進行比較,衡量本文算法的有效性.TransE利用實體和關系之間的距離衡量三元組的合理性,RESCAL先將實體與實體之間的關系描述為一個三維矩陣,再分解為實體的潛在語義表示和非對稱關系矩陣的組合表示,DistMult將RESCAL中的關系矩陣簡化為對角矩陣,并且由于GMatching是針對單樣本知識圖譜補全設計的模型,每個任務關系只有一個相關聯的參考實體對,因此通過對模型中的參考實體對分別應用平均池化和最大池化,使其適用于小樣本學習場景,使用GMatching進行K-樣本知識圖譜補全問題的實驗(K=5).

4.3 參數設置

將在數據集NELL-One和Wiki-One上的嵌入維度分別設為100和50,Transformer的層數和多頭注意力頭的數量均設為2,為避免過擬合,關系元學習器和Transformer中Dropout取值分別為0.8和0.4.在訓練過程中,應用小批量梯度下降更新模型的網絡參數,批量大小為128,損失函數中邊界值為0.5.此外,本文使用Adam優化器作為優化器,初始學習率為5×10-5.在每1 000個訓練步的驗證集上評估本文模型,并在MRR在1 000步內達到最高值時保存最佳模型.

4.4 實驗結果

表2列出了在數據集NELL-One和Wiki-One上基線算法和Meta-TKGC模型在選取的3個評價指標上的性能.由表2可見,本文模型優于所選取的基線算法.實驗結果證明了應用元學習的有效性,表明考慮查詢集及查詢集負例中頭尾實體的嵌入并結合Transformer可以更好地實現不完全三元組和候選實體間的匹配.與基于嵌入的方法相比,本文模型將由參考集計算得到的關系嵌入遷移到查詢集中,并應用Transformer計算實體和關系嵌入,實現了實體、關系以及它們在知識圖譜中的交互更充分的表達.與小樣本關系學習模型的實驗結果相比,Meta-TKGC的效果更好,進一步驗證了Tranformer的有效性,而GMatching和MetaR中并未實現對不完全三元組中實體的有效表示,證明了實體嵌入對最終預測的重要性.

4.5 消融實驗

為檢驗模型兩個主要模塊的有效性,即驗證使用CNN建模支持集中實體和關系的信息交互,以及利用Transformer強化查詢集及其負例的嵌入表示是否對最終結果產生影響,設計如下兩個模型變體與本文的Meta-TKGC模型進行比較,在數據集NELL-One上對應的MRR,Hits@1值列于表3.

1) 移除關系元學習器模塊(變體1): 將僅由支持集的頭尾實體計算出的任務關系嵌入和待預測頭尾實體對拼接成三元組,用匹配處理器衡量其準確度.

2) 去掉Transformer編碼器部分(變體2): 在匹配處理器部分,直接使用查詢集和負例集實體的原始嵌入,與模型第一部分生成的關系元嵌入共同輸入匹配處理器中.

表3 數據集NELL-One上不同模型的實驗結果

由表3可見,Meta-TKGC在數據集NELL-One上的性能優于上述兩個變體模型,同時實驗結果表明,Transformer編碼器對預測結果的影響更大,證明了考慮優化查詢集及其負例的有效性.

綜上所述,本文簡要分析了用于解決知識圖譜補全問題的各類方法,如基于嵌入的方法、基于規則推理的方法、基于強化學習的方法以及三元組分類的方法,總結了各類方法的特點,并對比分析了一些具有表示性的模型.在此基礎上提出了一個結合元學習和Transformer編碼器,用實體與關系的相關性建模任務關系,優化不完全三元組中的實體嵌入以完成最終預測的模型——Meta-TKGC.在數據集NELL-One和Wiki-One上的實驗結果表明,本文模型在各評價指標上都有良好的性能.模型在架構簡單的基礎上,訓練速度較快,并且可以實現高效且較準確的預測.消融實驗也驗證了模型的關系元學習器和Transformer編碼器對最終結果都有貢獻.