結合卷積特征提取和路徑語義的知識推理

陳新元，謝晟祎，陳慶強，劉羽

（1.閩江學院 計算機與控制工程學院，福建 福州 350121;2.福州墨爾本理工職業學院 信息工程系，福建 福州 350121;3.福建農業職業技術學院 教學科研處，福建 福州 350181;4.福建工程學院 信息科學與工程學院，福建福州 350118;5.福州墨爾本理工職業學院 現代教育技術中心，福建 福州 350121）

知識庫(knowledge base,KB)[1]以三元組的形式編碼事實，三元組由實體和關系組成。主流知識庫(如NELL[2]、YAGO[3]、Freebase[4]等)在語義搜索[5]和問題解答[6]等領域[7]應用廣泛。

然而，現有知識庫缺失大量事實，即三元組不完整，缺少實體或關系[8]。知識圖譜補全(knowledge graph completion,KGC)[9]旨在解決該問題，通過提取局部模式或語義特征，用已知信息生成新的有效事實[10-11]，許多學者對KGC 的核心概念、關鍵問題、主流技術和未來方向進行了分析、總結和展望[12-13]。模式提取借助貝葉斯擴展或張量/矩陣分解[14]增強表達能力，但往往忽略了路徑攜帶的語義信息，經典模型如RESCAL[15]、TransE[16]、DistMult[17]和ConvE[18]。上述模型大多忽略路徑攜帶的語義信息。

在知識推理中，實體對間的多條關系路徑所攜帶的語義信息有助于判定三元組的有效性[19-20]。Neelakantan 等[21]和Das 等[22]使用循環神經網絡(recurrent neural networks,RNN)進行關系路徑嵌入以減小計算開銷。由于常規RNN 無法學習到長序列的語義依賴，Hochreiter 等[23]提出了LSTM(long short-term memory)，引入門控結構計算遺忘和更新的信息。Xu 等[24]將注意力機制引入圖像物體識別；目前該機制已應用到機器翻譯和知識補全。Xiong 等[25]結合嵌入模型和路徑模型的優點，使用強化學習框架，在TransE 的基礎上將智能體編碼至連續空間中，通過最優關系采樣和路徑擴展進行推理，同時設計了自定義的獎勵函數,兼顧局部模式提取和語義關聯識別[26-28]。

本文設計了PKICLA 方案(path-based knowledge inference with CNN,LSTM and attention mechanism)，結合卷積神經網絡(convolutional neural networks,CNN)和雙向LSTM 實現基于關系路徑嵌入的局部特征提取和向量序列合并，同時借助注意力機制實現多路徑權重分配，集成關系語義評分，在NELL995 和FB15k-237 數據集上進行鏈路預測，比較PKICLA 與其他主流模型的性能。

1 相關研究

1.1 嵌入模型

KGC 中，嵌入模型的基本思路是學習節點和關系的低維矢量表示，保留原有結構信息和知識約束，如TransE 將關系映射為平移向量，認為若三元組成立，則平移后的頭部向量應靠近尾部向量，即vh+vr≈vt，其中vh、vr、vt是實體和關系的嵌入向量表示。三元組局部特征在各向量同一維度的映射中得以保留。許多模型對TransE 進行了優化，TransH[29]為關系分配超平面wr以體現實體的角色差異，TransR[30]使用投影矩陣Wr替換wr以提高表達能力。

1.2 神經網絡模型

近年來，在自然語言處理(natural language processing,NLP) 領域，最初用于計算機視覺的CNN 大放光彩[31]，其參數規模和計算開銷遠少于全連接神經網絡。ConvE 在ComplEx[32]的基礎上引入CNN，將vh、vr轉化并拼接后作為卷積層輸入，過濾器提取特征映射張量后，將其向量化并與vt計算點積，得到三元組評分。ConvE 的二維卷積被證實能加強實體/關系間的交互，更好地提取關系屬性用于學習嵌入表示[33]。

1.3 附加語義模型

上述模型大多只考慮直接關聯，忽略了關系路徑蘊含的語義信息[34-35]。Zhang 等[36]認為，在復雜現實場景中進行推理，集成關系路徑的豐富語義信息很有必要；Xiong 等[37]則認為知識庫的持續動態增長和稀疏性決定了few-shot、one-shot 甚至是zero-shot 的推理需求，而語義信息等輔助知識有助于實現這類推理。Lao 等[19-20]驗證了關系路徑對知識補全的輔助作用：使用深度優先的隨機游走算法生成路徑，使用邏輯回歸或決策樹等二分類方法訓練并預測鏈路。關系路徑后續也有許多改進研究[38-39]，如Das 等[40]提出MINERVA方案，在知識圖遍歷中使用歷史路徑信息，Lin 等[41]在其基礎上改進了獎勵函數。此外，Lin 等[42]和Luo 等[43]將關系路徑與TransE 結合，進一步提升知識表達能力。然而，多數相關研究將路徑視為原子性特征，導致特征矩陣的規模龐大，計算開銷高[44-45]。

1.4 融合模型

RNN 原本用于處理序列數據，在語音識別、NLP 和連續圖像處理等領域取得成功，因此Neelakantan 等[21]提出Path-RNN，將路徑分解為關系序列，用作RNN 的輸入，通過層內的參數共享降低計算開銷，選擇得分最高的路徑(Max 運算)以補全缺失三元組。然而，單一路徑可能無法提供足夠的語義參照，因此Das 等[22]使用Mean和LogSumExp 等指標集成多路徑信息，但忽略了不同路徑與候選關系的語義關聯程度存在差異。

由于常規RNN 存在梯度消失問題，難以學習到長距離的語義依賴關系，因此LSTM 模型[23]引入門控結構計算遺忘和更新的信息，后續產生了許多變種[46]。

近來用于調整資源分配的注意力機制也在NLP 領域得到應用[47]，Bahdanau 等[48]和Vaswani等[49]將之用于機器翻譯的解碼器設計；Jiang 等[27]提出了基于注意力機制的知識推理方案，根據路徑的語義匹配程度為其分配不同的權重。Nathani 等[34]使用注意力機制提取知識圖中的近鄰信息，用于發現近似關系簇，以及同一實體的角色差異。

Wang 等[50]和Zhang 等[36]認為，長距離的多跳推理有助于發掘實體關聯，從而提高知識推理模型在現實場景中的性能，但注意力機制在長序列上的分配機制有待優化，有研究嘗試集成上述框架以取長補短，Zhou 等[26]提出Att-BLSTM 用于關系分類，詞級嵌入后使用雙向LSTM[51]合并句級信息并結合注意力機制評分；Chiu 等[52]使用LSTM 和CNN 的混合模型識別命名實體，降低特征工程的計算量。

由于基于嵌入特征提取的模型和基于關系路徑語義的模型各有優點，因此本文在前人工作基礎上將嵌入表示與語義提取結合，提出PKICLA模型，首先使用自定義的CNN 框架編碼完整路徑；其次將前、后向LSTM 的隱藏狀態拼接，合并關系序列特征，實體對的多條路徑相當于在多個整句級別上并行映射；最后使用基于注意力機制的方法集成不同路徑與候選關系的語義關聯信息，計算關系與實體對的概率得分，用于判定三元組是否成立。

2 PKICLA

PKICLA 模型框架如圖1 所示。在給定實體對和候選關系的前提下，利用CNN 將通過隨機游走得到的實體間多條路徑分別依據其關系序列編碼為低維表示，將變長路徑映射到定長的向量序列，保留其局部結構；使用雙向LSTM 將路徑的特征序列合并為單一向量，減少計算開銷；由于不同路徑與候選關系的語義關聯程度不同，結合注意力機制計算各路徑的相關性并分配權重，加權計算關系的狀態向量，通過該關系與相應實體對的概率得分判定三元組是否有效。

圖1 PKICLA 模型框架Fig.1 Model framework of PKICLA

2.1 路徑關系序列的向量嵌入

給定KG 包括實體集E和關系集R。三元組(h,r,t)中，h∈E表示頭實體或源實體，t∈E表示尾實體或目標實體，r∈R表示關系。三元組的向量表示為(es,r,et)，體現實體和關系的有序鏈接。實體對間可能存在多條路徑，因此將路徑視作原子性特征會導致特征矩陣隨數據規模上升迅速膨脹。ConvE 使用CNN 提取三元組的局部特征，大大降低了參數規模；本文采用自定義的CNN 框架將路徑嵌入低維表示。首先使用PRA(path ranking algorithm)算法得到與候選三元組(es,r,et) 的頭/尾實體es、et對應且概率較高的路徑。PRA 通過Random Walk，在全圖范圍內從源實體開始尋找并一一列舉到達目標實體的長度符合要求的n條路徑，記錄每條路徑上的關系和中間實體，完整路徑 π 可表示為{es,r1,e1,r2,e2,···,ei?1,ri,ei,···,rt,et}∈Π，其關系序列可表示為{r1,r2,···,rt}，其中(ei?1,ri,ei)表示路徑中的第i個三元組。記錄不同路徑到達目標實體的概率，根據預設閾值進行篩選。Π 表示篩選后的路徑集合。不同路徑的關系數不同，取最長的路徑，其關系數或關系序列的長度用t表示；將所有路徑設為相同長度t，長度不足的使用零填充。

本文使用實體類型對應的向量表示[22]，進一步減小參數規模，同時解決測試集中部分實體在訓練集中未出現的問題。將頭/尾實體對和候選關系通過嵌入矩陣轉化為k維向量，即es,et,r∈Rk，作為路徑卷積編碼的輸入。過濾器 ω 的尺寸(size)和步長(stride)對特征提取和計算開銷影響較大，本文使用統一的ω ∈Rk×3提取特征，步長為2，避免抽取無意義的局部特征。使用多個卷積核遍歷路徑，令?和 τ 分別表示卷積核和核數，即τ=|?|。以路徑上所有三元組為單位/窗口，逐個提取其局部模式。拼接所有卷積核提取的特征，路徑第i個特征向量可表示為ci=[ci1,ci2,···,ciτ],ci∈Rτ,ciτ=f(ωτ[ei?1,ri,ei]+b)，其中f表示ReLU非線性激活函數(優于線性函數[21-22])，b為偏置系數。卷積處理路徑后，得到其向量序列表示{c1,c2,···,ct}，作為雙向LSTM 的輸入。

2.2 雙向LSTM 提取路徑特征

常規RNN 存在梯度消失問題，難以學習長序列的語義信息；Zhou 等[26]使用雙向LSTM(BLSTM)并通過peephole connections 查看當前神經節點/細胞的狀態，增加CEC(constant error carousel)到各門的雙向關聯；Lu 等[53]使用的雙向GRU(bidirectional gated recurrent unit)則通過類似耦合門控的設計簡化了細胞結構和參數規模，保留了近似性能[54]；其中重置門rt對維度信息進行調整，更新門zt以及 (1?zt) 可視作對應原始忘記門和輸入門(后者也可遺忘部分信息)。本文使用雙向LSTM 將路徑的向量序列表示合并為單一向量。

將卷積層輸出序列的每個向量視作LSTM 中的一個時間步，每個時間步將一個 τ 維的向量ci饋送到LSTM 細胞。雙向LSTM 分別由前向和后向的相反方向讀取數據，其輸出分別表示為和即前向從左向右，后向從右向左。雙向處理路徑后，得到兩組不同的隱藏狀態，即對于向量序列{c1,c2,···,ct}，前向LSTM 網絡得到狀態序列后向網絡則是為降低參數規模，本文將前向網絡序列的最后隱藏狀態和后向網絡序列的最前隱藏狀態拼接，生成完整路徑 π 的向量表示從而保留關系序列的秩序信息。為便于拼接，以及與候選關系匹配，將細胞的隱藏狀態數設為本文在Keras 的Time Distributed 層使用相同編碼器并行處理所有n條路徑，得到其向量表示集合P={p1,p2,···,pn},P∈Rk×n。雙向LSTM 的輸出作為注意力層的輸入。

2.3 基于注意力機制的路徑集成

主流PRA 常使用Max 或Mean 運算，忽略了不同路徑提供的推理證據存在差異，因此本文使用Bahdanau 等[48]提出的基于累加性注意力機制(additive attention)的路徑信息集成，該方法對于不同區間數值的適應能力優于簡單的點積計算語義相關度得分[22,49]。將候選關系的向量表示r與頭/尾實體對的多條路徑編碼分別匹配，計算每條路徑的語義相關度得分 score(pi,r)(式(1))，進而為其分配獨立權重 αi(式(2))，加權計算得到候選關系的狀態向量c(式(3))，并以之計算候選關系與對應頭/尾實體對的概率得分P(r|es,et)(式(4))，用于判定三元組是否有效。

式中：Ws∈Rk×k,Wp∈Rkf為權重參數；表示非線性激活函數，本文使用sigmoid。通過權重分配，與候選關系語義關聯程度不同的路徑得以區分。

本文使用Adam 優化器[55]訓練PKICLA 以優化結果，損失函數定義如式(5)所示：

目標函數中N為訓練樣本總數；T+、T?分別表示有效三元組和無效三元組的集合；Θ 表示所有需要學習的參數，隨機初始化；使用L2 正則化防止過擬合。

3 實驗與分析

3.1 任務與評價指標

鏈路預測從已知信息中推理新的事實，用于知識補全，方法是計算給定頭/尾實體與特定關系連接的概率得分，判定三元組是否有效。度量指標通常為原始正確實體在所有候選項中的排序，如：查詢(Joe Biden,isPresidentOf,?)，期望實驗結果中，“the U.S.”或“America”應得分較高，或排序較前。

實驗使用平均精度均值(mean average precision,MAP)、正確三元組的平均倒數排名(mean reciprocal rank,MRR)、Hits@1(排名在第1 位的有效實體的比例)、Hits@3(取前3 位)、Hits@5(取前5 位)和F1等指標進行評估。MAP 取頭/尾實體預測排序的均值；Hits@1 和Hits@3 將頭/尾預測視為同一任務，合并計算hit rate。

3.2 數據集

本文在FB15k-237 和NELL995 這兩個常規數據集，FC17 大型數據集(模擬現實復雜場景)[27,36]和NELL-One 稀疏數據集[37]上進行鏈路預測，其統計信息如表1 所示。從NELL995 中刪除無推理價值的generalizations 和haswikipediaurl 關系，保留頻率最高的Top 200 關系的三元組。Toutanova 等[39]在FB15k 基礎上刪除可逆三元組，生成FB15k-237，防止算法高分漏洞。FC17 的主要數據來自Freebase，同時集成了ClueWeb 中對應實體鏈接；選擇其中頻率最高的46 個關系用于實驗。NELL-One 是NELL 數據集中三元組實例數∈[50,500]的關系集合。表1NELL-One 中 Train Set、Dev.Set 和 Test Set 使用關系數而非實例三元組數。

表1 數據集統計信息Table 1 Dataset Statistics

對于上述數據集中的每一個關系，確保Train Set 和Dev.Set/Test Set 中無重復三元組(含反向)。將無對應關系路徑的實體對刪除。將路徑長度限制設定為4，相應的元素個數最多為9(含中間實體，含填充)。將Random Walk 的概率閾值設置為0.1。

參考Bordes 等[16]的實驗，使用Bernoulli 方法[29]隨機替換實體創建無效三元組，具體如下：給定有效三元組 (h,r,t)，ηh和 ηt分別是每個尾部對應頭實體和每個頭部對應尾實體的平均數量，使用分別表示生成新三元組 (h′,r,t) 和(h,r,t′)的概率。

3.3 模型與參數設置

實驗中用于比較的基準模型包括：

1)DistMult[17](2015)，使用對角矩陣表示目標關系；

2)DeepPath[25](2017)，基于TransE[16]的強化學習(reinforcement learning,RL)框架；

3)Single-Model[22](2017)，使用RNN 處理關系序列，本文采用原方案推薦的LogSumExp；

4)Att-Model+Type[27](2017)，可視作基于注意力機制的Single-Model，本文重新實現；

5)ConvE[18](2018)，使用2 維卷積處理實體/關系嵌入；

6)G-GAT[34](2019)，使用注意力機制提取近鄰特征，該模型側重復雜數據集上的關系預測；

7)M-walk[28](2018)，同樣使用RL 和RNN 框架，結合隨機抽樣搜索路徑空間；

8)GMH[36](2020)，多跳知識推理框架，結合局部特征和圖結構整體特征，針對復雜現實場景設計；該模型在FC17 數據集上進行預測；

9)Gmatching[37](2018)，針對few-shot 的近似度量推理框架。

GMH 使用ConvE 作為預訓練模型，距離上限設置為6 時性能最優；其他基準模型均使用原方案的最優性能建議參數。

實驗在Dev.Set 上驗證，若最后10 輪(epoch)對應準確率提升<10?2則停止訓練并確定最優參數。超參數池設置如下：minibatch size=64，學習率(Adam 優化器其他參數默認)，γ ∈[10?5,10?4,5×10?4]k∈[50,100,200]，LSTM 中隱藏節點數∈[64,128]，τ∈[50,100]，L2 正則化系數∈[0,0.001,0.01,0.1,0.5]。

3.4 結果與分析

常規數據集上實驗結果如表2 所示，最優表現設置為粗體，次優設置為斜體+下劃線。PKICLA相比Single-Model 和Att-Model+Type 這兩個相似模型有一定的提升，在較大數據集，特別是關系類型分布相比NELL995 復雜得多的FB15k-237數據集上，優勢明顯；在NELL995 上，由于部分實體對的路徑較少，基于關系路徑語義的模型的Hits@1 和Hits@3 得分受到影響，但PKICLA 的表現仍較穩定。基于雙線性乘法運算的DistMult 模型擅長提取實體相似性特征，盡管沒有考慮路徑語義，在兩個數據集上的MRR 得分都較高。在稠密數據集NELL995 上，DeepPath 結合強化學習的路徑擴展有效彌補了平移模型表達能力不足的缺陷，各項指標表現較穩定。ConvE 在NELL995上的表現出色，但在FB15k-237 上性能下滑，可能是因為忽略平移特性導致部分全局特征丟失。G-GAT 針對復雜數據集進行設計，性能表現整體優于DeepPath，略遜于同樣結合注意力機制的Att-Model+Type，可見多跳路徑能提供比單跳近鄰更多的語義信息。M-Walk在NELL995 數據集上取得了最高的hits@1 得分；但模型受到無效路徑的干擾，在FB15k-237 數據集上性能不算突出。G-GAT 原文沒有給出具體超參設置，本文實現與原文結果差異較大，因此引用原文在 FB15k-237 上的實驗數據。

表2 NELL995 和FB15k-237 上的性能比較Table 2 Performance comparison on NELL995 and FB15k-237

進一步選取部分整體表現較好的模型，比較其在NELL995 數據集不同任務/關系上的MAP得分，如圖2 所示。DeepPath 僅考慮了局部特征，Single-Model 則缺少對不同語義關聯的關系路徑的權重分配，PKICLA 彌補了這兩種模型的不足，在10 種主要關系上的表現都有所提升。相比Att-Model+Type，PKICLA 在7 種關系上也具有優勢，特別在athletePlaysForTeam 和bornLocation 復雜關系上，PKICLA 有較明顯提升(約2.7%)，說明卷積特征提取+雙向LSTM 的路徑合并有助于提取局部模式。

圖2 NELL995 不同關系上的MAP 得分Fig.2 Comparison of MAP scores on various relations of NELL995

FC17 數據集上的實驗結果如表3 所示，相比Att-Model+Type，GMH 結合了圖結構的整體特征，一定程度上緩解了長距離推理帶來的無效關系偏離效應；但對循環次數依賴較重。在3 個指標上，PKICLA 都取得了最高分，但PKICLA 的路徑長度是手動設置的，而GMH 框架可自適應的調整，在路徑長度可變的推理任務中可能表現較好。

表3 FC17 上的性能比較Table 3 Performance comparison on FC17

NELL-One 數據集上的實驗結果如表4 所示，在沒有應用Gmatching 框架時，PKICLA 的fewshot 預測能力明顯強于TransE 和DistMult。應用框架后，3 個模型的性能都有所上升，PKICLA 的性能仍然是最優，但相對TransE(94.0%)和Dist-Mult(65.7%)，PKICLA 的提升較小(6.2%)。

表4 NELL-One 上的性能比較Table 4 Performance comparison on NELL-One

此外，本文比較了不同實體類型覆蓋率、不同路徑長度和不同LSTM 模型對PKICLA 在NELL995 上性能表現的影響，如表5 所示。數據集中絕大多數實體攜帶類型信息，反之實驗中使用實體自身的嵌入表達，因此比較不同實體類型覆蓋率對模型性能的影響，發現差異極小；當覆蓋率較低時，性能有輕微下降，因為測試集中含有訓練集中未出現的實體。當路徑長度設置為4 時，性能表現有一定上升，可能是因為閾值較小時，測試數據中部分實體對無法生成足夠的路徑；但差異不大，說明短路徑提供了大部分的推理信息。與實體類型覆蓋率類似，不同LSTM 模型對性能造成的影響微弱。

表5 NELL995 數據集上不同實體類型覆蓋率、路徑長度和LSTM 模型的比較Table 5 Comparison between different coverages,path lengths,and LSTM models on NELL995

最后，選取表現較好的Single-Model 和Att-Model+Type 模型為基準，比較其與PKICLA 在NELL995 上的Precision、Recall 和F1得分，結果如圖3、圖4 所示，PKICLA 較為平衡，F1得分高于另外兩個模型；隨著Recall 率增長，Precision 下滑也較平緩，說明基于注意力機制的語義集成能更好地匹配候選關系，以及卷積操作在提取局部特征上的優勢。

圖3 NELL995 上的Precision/Recall/F1 比較Fig.3 Comparison of Precision/Recall/F1 on NELL995

圖4 NELL995 上的Precision-Recall 曲線比較Fig.4 Comparison of Precision-Recall Curve on NELL995

4 結束語

本文通過自定義的CNN 框架和雙向LSTM提取三元組局部特征，合并關系序列為單一向量，并使用基于注意力機制的方法集成多條路徑的語義信息，用于計算候選三元組的概率得分。鏈路預測結果證明本文模型可在常規和大型數據集上進行知識推理，復雜關系的學習能力較強，Precision、Recall 和F1 指標的整體表現也高于主流模型。PKICLA 亦可用于few-shot 的推理任務，但在無法生成足夠路徑的數據集上仍有提升空間，因此未來工作考慮引入強化學習框架、帶置信度的規則體系、知識層次結構或多源信息融合模型以擴大方案的適用范圍。此外，本文使用單一實體類型進行嵌入表達，但實體往往具有多類型[22]，因此計劃優化嵌入方案。最后，為適應現實場景任務，針對知識的不確定性建模[56]，以及重塑特征維度以優化信息提取也是工作方向。