圖神經(jīng)網(wǎng)絡應用于知識圖譜推理的研究綜述

孫水發(fā)，李小龍，李偉生，雷大江，李思慧，楊 柳，吳義熔

1.智慧醫(yī)療宜昌市重點實驗室，湖北宜昌443002

2.三峽大學計算機與信息學院，湖北宜昌443002

3.三峽大學經(jīng)濟與管理學院，湖北宜昌443002

4.重慶郵電大學計算機科學與技術學院，重慶400065

5.北京師范大學心理學部，廣東珠海519087

6.北京師范大學人文和社會科學高等研究院，廣東珠海519087

知識圖譜（knowledge graph，KG）最早可以追溯到Richens[1]在1956 年提出的以圖結構進行知識表示的語義網(wǎng)絡（semantic net）。隨后，語義網(wǎng)絡經(jīng)過了本體論（ontology）、萬維網(wǎng)（Web）、語義網(wǎng)（semantic Web）、鏈接數(shù)據(jù)（linked data）等一系列發(fā)展[2]。直到2012 年，谷歌正式提出知識圖譜，并將知識圖譜的知識定義為由實體、關系和語義描述組成的結構化三元組事實，其中實體代表現(xiàn)實世界中的對象或者是抽象的概念，關系是定義的類型或者屬性，用來表示實體之間的關聯(lián)或者實體屬性。知識圖譜技術已迅速成為數(shù)據(jù)挖掘、數(shù)據(jù)庫和人工智能等領域的研究熱點[3]。

知識圖譜推理（下述簡稱“知識推理”，knowledge graph reasoning）即面向知識圖譜的知識推理，它是從已有的知識出發(fā)，推斷出新的或未知的知識，從而拓展、補充和豐富知識庫，最早可以追溯到1959年Newell 等人[4]提出的一般問題解決庫（general problem solver）。隨著知識圖譜構建技術的不斷發(fā)展、規(guī)模的不斷擴大、應用場景的不斷推廣以及深度學習和自然語言處理技術的不斷成熟，知識推理技術也在不斷演變創(chuàng)新，學術界和工業(yè)界對知識推理領域進行了大量深入研究，也有較多關于知識推理的綜述文獻。相關綜述文獻可以歸納為三類（如表1）：第一類是關于知識推理任務類的綜述文獻，包括“知識圖譜補全任務[2,5-9]”“知識推理問答任務[10-11]”和“知識圖譜推薦系統(tǒng)任務[12-16]”等，該類綜述側重利用知識推理方法解決某一類具體任務；第二類是關于知識圖譜領域應用類的綜述文獻，包括從臨床醫(yī)療[17-19]、風險管理[20]、智能制造[21]、安全情報[22]等方面的應用進行綜述，側重討論將知識推理方法應用于某一類領域的研究綜述；第三類是知識推理方法類的綜述文獻[3,23-29]等，該類綜述側重對知識推理原理的分析，以及方法的解讀、分類和改進。

表1 知識圖譜推理綜述文獻分類（近三年）Table 1 Classification of knowledge graph reasoning survey articles(the latest three years)

綜上所述，關于知識推理的綜述文獻要么是基于知識推理某一類任務或某領域應用類的綜述，要么是基于知識圖譜推理方法類的綜述。這些綜述主要是基于傳統(tǒng)算法、深度學習或強化學習算法的知識圖譜綜述，而基于最新相關研究方法的知識推理類綜述文章還相當缺乏。

近年來，圖神經(jīng)網(wǎng)絡（graph neural network，GNN）因其對圖結構數(shù)據(jù)強大的編碼能力，被廣泛用于知識圖譜的構建。知識圖譜以節(jié)點和邊的圖結構存儲數(shù)據(jù)，圖神經(jīng)網(wǎng)絡可以有效整合知識圖譜結構特征及屬性特征[30]，通過節(jié)點的鄰域信息聚合并更新節(jié)點，利用其強大的信息傳播能力學習數(shù)據(jù)間的語義關系和潛在信息[16]，使其可以很好地學習知識圖譜中的節(jié)點信息、節(jié)點間關系信息以及全局結構信息。由于準確地學習知識圖譜中有效的語義信息和結構信息是開展知識推理的關鍵[31]，圖神經(jīng)網(wǎng)絡在知識圖譜數(shù)據(jù)加載、數(shù)據(jù)處理，特別是在知識推理上都具有明顯的優(yōu)勢。盡管已有諸多的知識推理方法類綜述文獻，但仍缺乏對將知識推理和圖神經(jīng)網(wǎng)絡相結合的研究進行系統(tǒng)梳理和總結的文獻。與現(xiàn)有綜述類工作相比，本文的創(chuàng)新主要體現(xiàn)在以下三方面：

（1）對知識推理文獻進行了系統(tǒng)的分類整理，類別包括基于邏輯規(guī)則、基于表示學習、基于神經(jīng)網(wǎng)絡和基于圖神經(jīng)網(wǎng)絡的推理，闡述并比較了不同知識推理方法的原理及優(yōu)缺點。

（2）調研了基于圖神經(jīng)網(wǎng)絡的知識推理相關文獻，總結了基于圖神經(jīng)網(wǎng)絡的知識推理的最新研究進展，首次將基于圖自編碼網(wǎng)絡和基于時空圖神經(jīng)網(wǎng)絡的知識推理進行了綜述分析。

（3）總結了基于圖神經(jīng)網(wǎng)絡的知識推理方法在理論、算法和應用方面的現(xiàn)狀、問題和未來發(fā)展前景。

1 知識推理研究進展

1.1 知識圖譜

知識圖譜是一種比較通用的語義知識的形式化描述框架，用節(jié)點表示語義符號，用邊表示符號之間的語義關系，形式化的表述用事實三元組（頭實體，關系，尾實體）來記錄[32]。相比傳統(tǒng)的語義網(wǎng)絡，知識圖譜因為簡易的數(shù)據(jù)表征方式、多樣化的知識表示和多層次的語義表達等優(yōu)點，使得其能夠在數(shù)據(jù)量大、場景復雜的情況下有效運用于挖掘關聯(lián)知識和復雜關系。

然而，由于結構化的知識僅僅在特定的時間段內成立，時序信息是非常重要的，而事實的演化也會遵循一個時間序列。時序知識圖譜除了描述語義關系外，還需要考慮與時間關系的描述。它不單單是一個“增強型”的開放域知識圖譜，而是需要結合業(yè)務場景和領域知識，并針對時序知識自身的特點，對知識的概念、實體和關系進行語義化和時空化拓展。因此，把提供了關于事實何時成立的時序信息嵌入在事實三元組中，將三元組拓展成時序四元組（頭實體，關系，尾實體，時序），這種帶有時序信息的知識圖譜被稱為“時序知識圖譜（temporal knowledge graph，TKG）[33]”。而現(xiàn)有的知識圖譜研究大多數(shù)都關注的是靜態(tài)知識圖譜。

1.2 知識推理

知識推理就是根據(jù)初步構建的知識圖譜中實體和關系所蘊含的信息，利用相關算法，推理出知識圖譜中缺失的實體或者缺失的關系。本質上就是利用已經(jīng)存在的知識推出未知的或者新知識的過程[26]，其核心都是針對三元組中的實體和關系進行預測，具體可分為實體預測和關系預測。實體預測是指利用已有事實的關系及一個實體，推理出另一個實體并由此構成完整三元組；關系預測是推理給定的頭尾實體之間的關系[34]。無論實體預測還是關系預測，最后都轉化為選擇與給定元素更有可能形成有效三元組的實體或關系，并將其作為推理預測結果，這種有效性可以通過規(guī)則的方式推理或通過基于特定假設的得分函數(shù)計算得到[35]。從結構上講，知識推理工作主要包括局部任務和全局任務。局部任務即節(jié)點分類、鏈接預測、知識補全等任務；全局任務即子圖匹配、子圖分類、圖趨勢預測等[36]。子圖匹配簡單來說就是給定一個查詢圖Q，在數(shù)據(jù)圖G 中找到與圖Q 結構相同的圖；子圖分類是指給定多張圖以及每張圖對應的標簽，通過學習得出一個由圖到相應標簽的圖分類模型；圖趨勢預測是通過現(xiàn)有圖譜，有效挖掘、預測數(shù)據(jù)中的規(guī)律和知識[37]。

目前，關于知識推理方法類的綜述較多（如表1），但大多都只包括了部分推理方法和有限的文獻調研，尤其是對于近年興起的基于圖神經(jīng)網(wǎng)絡的知識推理內容缺少梳理，還沒有專門基于圖神經(jīng)網(wǎng)絡的知識推理的綜述。因此，本文總結了當前與知識圖譜和圖神經(jīng)網(wǎng)絡相關的研究，在Chen 等人[23]提出的框架和基礎上，將知識推理方法分為基于邏輯規(guī)則、基于表示學習、基于神經(jīng)網(wǎng)絡和基于圖神經(jīng)網(wǎng)絡四大類（如表2），并對各類知識推理方法進行簡明闡述和對比，在此基礎上重點總結了基于圖神經(jīng)網(wǎng)絡的知識推理的最新研究進展。

表2 知識推理方法分類和典型算法Table 2 Classification of KG reasoning methods and their typical algorithms

（1）基于邏輯規(guī)則的推理。早期的知識推理主要是基于邏輯規(guī)則的推理，其基本思想是借鑒傳統(tǒng)知識推理中的規(guī)則推理方法，在知識圖譜上運用簡單規(guī)則或統(tǒng)計特征進行推理。主要包括基于一階謂詞邏輯[38-40]、基于規(guī)則[41-46]、基于本體[47-49]和基于隨機游走算法[50-52]。基于邏輯規(guī)則的推理算法優(yōu)點是：有堅實的數(shù)學基礎，可解釋性強；當結合大規(guī)模解析語料庫和背景知識時，可模擬人類的推理能力，捕捉知識圖譜中隱藏的語義信息，這使得結合先驗知識來輔助推理成為可能。然而，知識圖譜中的節(jié)點往往服從長尾分布，即只有少數(shù)實體和關系的出現(xiàn)頻率較高，而大多數(shù)實體和關系出現(xiàn)的頻率較低，故基于邏輯規(guī)則的推理無法解決數(shù)據(jù)稀疏性問題，無法很好處理多跳推理問題，也嚴重影響推理性能；加之基于邏輯規(guī)則的推理對邏輯背景知識和規(guī)則定義的依賴度較高，因此泛化能力十分有限，并不適用于包含大量潛在推理模式的大規(guī)模知識圖譜（表3）。

（2）基于表示學習的推理。基于表示學習推理算法的中心思想是找到一種映射函數(shù)，將語義網(wǎng)絡中的實體、關系和屬性映射到低維實值向量空間以獲得分布式表示，進而捕獲實體和關系之間的隱式關聯(lián)。研究人員提出了大量基于表示學習的推理方法，包括基于張量分解[53-56]、距離模型[57-66]、語義匹配[67-70]和多元信息模型[71-74]。表示學習發(fā)展迅速，在大規(guī)模知識圖的知識表示和推理中顯示出巨大的潛力。該算法可以解決基于邏輯規(guī)則算法無法解決的數(shù)據(jù)稀疏性問題，具有較強的泛化能力，且能在大規(guī)模知識圖譜上取得一定的效果。但也存在實體和關系向量值缺乏明確的物理意義及可解釋性較差的問題。另外，基于表示學習的推理只考慮滿足知識圖譜事實的約束，沒有考慮更深層次的成分信息，限制了其推理能力（表3）。

（3）基于神經(jīng)網(wǎng)絡的推理。深度學習模型的構建一定程度上參考了人類大腦多層生物神經(jīng)網(wǎng)絡的結構，模擬人腦通過對低層特征進行組合以形成更加抽象的高層特征。基于神經(jīng)網(wǎng)絡的推理具備更強的泛化能力和學習能力，將前文所述的表示學習方法通過多個非線性表示層組合起來，再對其深度特征進行表示，進而開展知識推理。主要包括基于卷積神經(jīng)網(wǎng)絡[75-79]、基于循環(huán)神經(jīng)網(wǎng)絡[80-82]和基于強化學習[83-87]的神經(jīng)網(wǎng)絡。基于神經(jīng)網(wǎng)絡的知識圖譜推理可以把已有的知識圖譜中存在的關系保存到神經(jīng)網(wǎng)絡中。因此，基于神經(jīng)網(wǎng)絡的方法具備更高的學習能力、推理能力和泛化能力，不僅能夠學習海量的文本語料，緩解大規(guī)模知識圖譜帶來的數(shù)據(jù)爆炸問題，并且可以直接建模知識圖譜事實元組，降低了計算難度，甚至還能通過合理設計和使用輔助存儲單元，在一定程度上模擬人腦推理和思考問題的過程。但隨著模型復雜度相對較高，也導致了可解釋性較差的問題（表3）。

表3 各類知識圖譜推理方法的原理、優(yōu)勢及不足Table 3 Principles,advantages and disadvantages of KG reasoning methods

（4）基于圖神經(jīng)網(wǎng)絡的推理。隨著知識圖譜規(guī)模的不斷擴大和應用場景的不斷深化，傳統(tǒng)的基于邏輯規(guī)則、基于表示學習的模型始終存在效率低下、規(guī)則覆蓋率低的問題，無法滿足對大規(guī)模知識圖譜進行推理的要求；基于傳統(tǒng)神經(jīng)網(wǎng)絡的推理技術則欠缺解釋性。以上大多數(shù)模型的核心都在提高圖譜語義信息獲取能力，較少考慮圖譜的結構信息。

圖神經(jīng)網(wǎng)絡的優(yōu)勢在于：一是圖神經(jīng)網(wǎng)絡采用圖數(shù)據(jù)的表征方式，這與知識圖譜圖數(shù)據(jù)結構相契合；二是圖神經(jīng)網(wǎng)絡在信息傳播和計算過程中是在已有圖的節(jié)點和關系上進行優(yōu)化計算，不再添加新的信息節(jié)點；三是雖然圖上的計算量也較大，但是相比線性神經(jīng)網(wǎng)絡中的計算傳導，這使得計算的傳播更具針對性；四是節(jié)點上的信息計算方式考慮了該節(jié)點的隱層信息和鄰節(jié)點信息及圖數(shù)據(jù)所攜帶的結構信息，在預測過程中也更具解釋性（表3）。因此，基于圖神經(jīng)網(wǎng)絡的知識推理，可以較好地將知識圖譜語義信息和結構信息同時考慮，尤其是能夠捕捉知識圖譜的結構信息，已逐漸成為當下主流的研究方法。

2 基于圖神經(jīng)網(wǎng)絡的知識推理研究

近年來，人們對深度學習方法在圖上的擴展越來越感興趣。在多方因素的成功推動下，研究人員借鑒了卷積網(wǎng)絡、循環(huán)網(wǎng)絡和深度自動編碼器的思想，定義和設計了用于處理圖數(shù)據(jù)的神經(jīng)網(wǎng)絡結構——圖神經(jīng)網(wǎng)絡（GNN）。圖神經(jīng)網(wǎng)絡是一組復雜的神經(jīng)網(wǎng)絡模型，可用于多類任務[37]。圖1 為圖神經(jīng)網(wǎng)絡基本模型，主要包括輸入層、圖卷積層、激活函數(shù)層和輸出層。圖卷積層通過聚合相鄰節(jié)點的特征信息得到每個節(jié)點的隱藏表示，然后通過激活函數(shù)層進行非線性變換，得到新的圖的表示，通過多次圖卷積層和激活函數(shù)層，得到每個節(jié)點的最終表示。基于圖神經(jīng)網(wǎng)絡的知識推理，可以較好地將知識圖譜語義信息和結構信息同時考慮，尤其是能夠捕捉知識圖譜的結構信息，已逐漸成為知識推理熱門研究方法。在輸入上，基于圖神經(jīng)網(wǎng)絡的知識推理模型將圖形結構和節(jié)點內容信息作為輸入。在訓練框架上，可以在端到端學習框架內以（半）監(jiān)督或無監(jiān)督的方式訓練，具體取決于學習任務和可用的標簽信息。在輸出上，可以根據(jù)不同推理任務來制定輸出機制，通過激活函數(shù)將知識圖譜節(jié)點的表示作為輸出，可以執(zhí)行知識推理的節(jié)點分類、節(jié)點標簽預測等節(jié)點級任務（如圖1）。同理，將GNN 中兩個節(jié)點的隱藏表示作為輸出，可利用相似性函數(shù)或神經(jīng)網(wǎng)絡來預測邊的標簽或連接強度等，執(zhí)行邊分類和鏈接預測等任務（如圖2）。通過在模型中加入多層感知器和Softmax 層，可處理圖分類、子圖匹配、圖趨勢預測等知識推理全局任務（如圖3）。

圖1 圖神經(jīng)網(wǎng)絡模型Fig.1 Graph neural network model

圖2 基于圖神經(jīng)網(wǎng)絡的知識推理模型（邊級任務）Fig.2 GNN based KG reasoning model(side-level task)

圖3 基于圖神經(jīng)網(wǎng)絡的知識推理模型（全局任務）Fig.3 GNN based KG reasoning model(global task)

現(xiàn)有的基于圖神經(jīng)網(wǎng)絡的知識推理文獻較少，且一般只概述了遞歸圖神經(jīng)網(wǎng)絡（recurrent graph neural networks，RecGNN）和卷積圖神經(jīng)網(wǎng)絡（convolutional graph neural networks，ConvGNN）相關內容，缺少對圖自編碼網(wǎng)絡（graph auto-encoders，GAE）和時空圖神經(jīng)網(wǎng)絡（spatial-temporal graph neural network，STGNN）在知識推理中應用的歸納。圖自編碼網(wǎng)絡和時空圖神經(jīng)網(wǎng)絡已廣泛用于知識推理任務中，故本文結合最新的算法更新和領域應用，在Wu等人[37]對圖神經(jīng)網(wǎng)絡分類的基礎上，將基于圖神經(jīng)網(wǎng)絡的知識推理分為基于遞歸圖神經(jīng)網(wǎng)絡[88-91]、卷積圖神經(jīng)網(wǎng)絡[92-100]、圖自編碼網(wǎng)絡[101-107]和時空圖神經(jīng)網(wǎng)絡[108-112]的知識推理，全面總結了基于圖神經(jīng)網(wǎng)絡的知識推理最新進展。表4 為各類基于圖神經(jīng)網(wǎng)絡的知識圖譜推理方法的原理、優(yōu)勢及不足。本文也是首次嘗試將基于圖自編碼網(wǎng)絡和基于時空圖神經(jīng)網(wǎng)絡納入知識推理中進行綜述。

表4 各類基于圖神經(jīng)網(wǎng)絡的知識推理方法對比Table 4 Comparison of GNN based KG reasoning methods

2.1 基于遞歸圖神經(jīng)網(wǎng)絡RecGNN 的知識推理

遞歸圖神經(jīng)網(wǎng)絡（RecGNN）是圖神經(jīng)網(wǎng)絡的先驅（如表5）。RecGNN 的目標是學習遞歸神經(jīng)架構的節(jié)點表示，通過圖中節(jié)點不斷地與其鄰接交換信息，直到達到穩(wěn)定的平衡。遞歸圖神經(jīng)網(wǎng)絡的概念最早由Gori 等人[113]于2005 年提出，Scarselli 等人[88]對此模型進行了更詳細的闡述，每個節(jié)點的定義是由該節(jié)點的屬性特征（或標簽特征）以及鄰接節(jié)點來共同表示（如圖4），參數(shù)函數(shù)fw稱為局部變換函數(shù)，描述了頂點n和其鄰域頂點的依賴性。gw稱為局部輸出函數(shù)，刻畫了輸出值的生成過程。

表5 基于遞歸圖神經(jīng)網(wǎng)絡的知識推理算法歸納Table 5 RecGNN based KG reasoning algorithms

圖4 圖和節(jié)點的鄰域Fig.4 Domains of graphs and nodes

其中，ln、lco[n]、xne[n]、lne[n]分別表示頂點n的屬性、關聯(lián)邊的屬性、所有鄰接節(jié)點的狀態(tài)和屬性，因此，每個節(jié)點n的狀態(tài)xn∈Rs，該狀態(tài)xn包含節(jié)點n的鄰域所包含的信息。RecGNN 的目標是通過不斷迭代傳播鄰接節(jié)點信息fw，直到模型達到穩(wěn)定狀態(tài)，進而得到節(jié)點的最終表示gw[114]。

Scarselli 等人[88]提到GNN 可以直接處理大多數(shù)現(xiàn)實世界中的圖問題，包括有向、無向、循環(huán)和非循環(huán)的圖，且成功實現(xiàn)了將圖數(shù)據(jù)映射到幾何空間，并開展了子圖匹配、化合物誘變活性分析和網(wǎng)頁排序等任務，這是首次利用圖神經(jīng)網(wǎng)絡處理圖數(shù)據(jù)推理任務——子圖匹配。其實驗結果表明GNN 對于結構化數(shù)據(jù)的建模十分有效，但也存在著數(shù)據(jù)計算量大、迭代效率低等諸多的不足。Li 等人[90]提出了GGNN（gated graph neural network），GGNN 是基于GRU（gated recurrent unit）的經(jīng)典空間域模型，可以理解為GNN+Gate。相比GNN，GGNN 的特點在于使用了GRU 單元更新節(jié)點狀態(tài)，解決了過深層的圖神經(jīng)網(wǎng)絡導致過度平滑的問題。但由于在每個時間步都需要展開圖中所有的節(jié)點，每個節(jié)點還需要使用向量進行表示，當圖很大且向量表示維度很高時，模型的效率會出現(xiàn)較大問題。GGNN 實際上是以損失圖中較長路徑信息的代價換取了模型可建模的問題空間。

在此基礎上，Dai 等人[91]提出了SSE（stochastic steady-state embedding）算法。SSE 算法提出了一種隨機學習框架，可有效利用學習算法中的模型參數(shù)，其主要思想是隨機采樣一批節(jié)點用于狀態(tài)更新，隨機采樣一批節(jié)點用于梯度計算，以隨機和異步的方式周期性更新節(jié)點隱藏狀態(tài)。由于算法是隨機訓練的，在收斂速度和執(zhí)行時間方面對于大規(guī)模圖是非常有效的，且在多個知識推理任務中得到了驗證。

綜上所述，RecGNN 旨在學習具有遞歸神經(jīng)架構的節(jié)點表示。它們假設圖中的節(jié)點不斷與其鄰接（包括鄰接節(jié)點和關聯(lián)邊）交換信息，直到達到穩(wěn)態(tài)。RecGNN 在理論上很重要，它啟發(fā)了后來學者們對卷積圖神經(jīng)網(wǎng)絡的研究，基于空間的卷積圖神經(jīng)網(wǎng)絡繼承了信息傳遞的思想。

2.2 基于卷積圖神經(jīng)網(wǎng)絡ConvGNN 的知識推理

卷積圖神經(jīng)網(wǎng)絡（ConvGNN）將卷積運算從網(wǎng)格數(shù)據(jù)（歐幾里德數(shù)據(jù)，如圖像數(shù)據(jù)）推廣到了圖形數(shù)據(jù)（非歐幾里德數(shù)據(jù)，如知識圖譜）。2013 年，Bruna等人[92]提出了基于譜域的圖卷積網(wǎng)絡（spectral-based GCN）和基于空間域的圖卷積網(wǎng)絡（spatial-based GCN）兩種模型，開創(chuàng)性地引入傅里葉變換，將圖結構信息由拉普拉斯矩陣特征向量表示，可以理解為第一代卷積圖神經(jīng)網(wǎng)絡。表6 對上述兩類卷積神經(jīng)圖網(wǎng)絡進行了比較分析。基于空間域的圖卷積網(wǎng)絡直接對圖的鄰接節(jié)點進行聚合，可以較好反映圖數(shù)據(jù)的結構關系，更適合處理有向圖和大型圖數(shù)據(jù)。因此，目前利用卷積圖神經(jīng)網(wǎng)絡的知識推理方法都是基于空間域方法進行研究。

與RecGNN 不同，基于空間的ConvGNN 通過多層卷積來得到高階節(jié)點表示，進而通過這些表示特征對圖數(shù)據(jù)進行節(jié)點分類、鏈接預測、圖分類等任務。Henaff 等人[115]在文獻[92]的基礎上定義了核，利用局部連接來減少學習參數(shù)，將卷積圖神經(jīng)網(wǎng)絡擴展到大規(guī)模圖數(shù)據(jù)分類問題上。Defferrard 等人[116]設計了圖的快速局部卷積濾波器，其大大降低了計算復雜度和學習復雜度，可以被運用到任何圖結構數(shù)據(jù)，可以理解為第二代卷積圖神經(jīng)網(wǎng)絡。在此基礎上，Levie 等人[117]設計了更高效的卷積濾波器。為了減少計算量并提高性能，研究者們探索出了不同的鄰域聚合方法，如均勻鄰接采樣[93]、頂點重要性采樣[118]和基于隨機行走的重要性采樣[119]。Kipf 和Welling[120]提出的GCN（graph convolutional network）利用Chebyshev 多項式擬合卷積核，可以學習圖上局部結構特征并進行編碼，較好地解決半監(jiān)督任務，可理解為第三代卷積圖神經(jīng)網(wǎng)絡（如圖5）。圖5（a）是用于半監(jiān)督學習的多層卷積圖神經(jīng)網(wǎng)絡（GCN）示意圖，輸入通道為C，輸出層為F特征圖。圖結構（邊顯示為黑線）在層上共享，標簽用Yi表示。圖5（b）為兩層GCN 在Cora 數(shù)據(jù)集上訓練的隱藏層激活的可視化，不同顏色表示不同標簽類型。

圖5 卷積圖神經(jīng)網(wǎng)絡（ConvGNN）Fig.5 Convolutional graph neural networks(ConvGNN)

卷積圖神經(jīng)網(wǎng)絡傳播規(guī)則可表示為：

2.2.1 基于空間域的卷積圖神經(jīng)網(wǎng)絡

基于空間域的ConvGNN 的知識推理，將知識圖譜視作無向圖，利用ConvGNN 分析拓撲結構，實現(xiàn)鄰域向中心實體的語義聚合，典型方法包括Graph-SAGE（graph sample and aggregate）[93]、R-GCN（relational graph convolutional network）[94]、SACN（structureaware convolutional networks）[96]、RGHAT（relational graph neural network with hierarchical attention）[15]、HGCN（hierarchical graph convolutional network）[122]等（如表7）。

表7 基于空間域的卷積圖神經(jīng)網(wǎng)絡的知識推理算法Table 7 Spatial domain based GCN network KG reasoning algorithms

GCN[120]的基本思想是把圖數(shù)據(jù)中節(jié)點的高維鄰接信息降維到低維的向量表示，其本質是“直推式（transductive learning）”，即需要知道圖數(shù)據(jù)的全部信息進行訓練，且模型無法快速得到新節(jié)點的表示。GraphSAGE[93]提出了一種新的方法，相比GCN 捕捉圖的全局信息、保存映射結果的方法，該算法屬于“歸納式（inductive learning）”，即聚合鄰接信息得到圖數(shù)據(jù)表示的映射函數(shù)，因此也可以對圖譜中新增的節(jié)點進行表示（如圖6）。因此，GraphSAGE 更具有泛化能力，也解決了GCN 模型訓練節(jié)點時必須知道全部數(shù)據(jù)且訓練出來的表示唯一的短板。Graph-SAGE 實現(xiàn)了在大型圖數(shù)據(jù)上的歸納表示學習，可擴展性更強，對于節(jié)點分類和鏈接預測問題的表現(xiàn)也比較突出。

圖6 GraphSAGE 核心思想Fig.6 Core idea of GraphSAGE

在知識圖譜實體分類或鏈接預測任務中，許多丟失的信息都可能存在于鄰域結構編碼的圖中，即可以通過三元組中的任意兩個推測出第三個元素。據(jù)此，Schlichtkrull 等[94]提出了R-GCN，R-GCN 為圖譜中的實體生成隱性特征表示，可理解為知識圖譜中的實體屬性標簽，并將其應用于兩個任務中。對于實體分類任務，R-GCN 參考GCN[120]算法，對圖中的每個節(jié)點使用Softmax 分類器進行節(jié)點分類；對于關系預測任務，R-GCN 提取每個節(jié)點的表示，通過兩個節(jié)點的表示來預測節(jié)點間關系。R-GCN 的主要貢獻在于：顯示了GCN 的框架可以應用于關系數(shù)據(jù)建模，特別是關系預測和實體分類任務；引入了參數(shù)共享和實現(xiàn)稀疏約束的技術，并將其應用于具有大量關系的多圖分析中。

Vashishth 等人[95]設計了一種針對多關系有向圖的圖神經(jīng)網(wǎng)絡CompGCN（composition-based multirelational graph convolutional networks）來同時學習節(jié)點和關系的表示。另外，為了降低大量不同類型關系帶來的大量參數(shù)的影響，設計了一種分解操作，將所有關系都用一組基的加權組合來表示。模型在多個數(shù)據(jù)集上進行了鏈路預測、節(jié)點分類、子圖分類等實驗，驗證了CompGCN 的有效性。為解決知識圖譜中三元組不完整問題，Shang 等人[96]結合加權卷積圖神經(jīng)網(wǎng)絡（weighted graph convolutional neural network，WGCN）和Conv-TransE 兩個模塊，提出了SACN（structure-aware convolutional network）模型。模型使用WGCN 作為編碼器，將節(jié)點結構、節(jié)點屬性、關系類型作為輸入，WGCN 中的可學習權值有助于從相鄰圖節(jié)點中收集自適應量的信息；將Conv-TransE作為解碼器，在Conv-TransE 的節(jié)點嵌入表示保留了實體和關系之間屬性信息，并可以較好用于知識圖譜補全任務。SACN 通過WGCN 來建模KG 中的實體和關系，提取實體特征，然后輸入至Conv-TransE中使實體滿足KG 三元組約束，得到實體的嵌入表示，進而開展知識圖譜補全任務（如圖7）。

圖7 知識推理局部任務（SACN）Fig.7 Knowledge reasoning local task(SACN)

2.2.2 基于圖注意力機制的卷積圖神經(jīng)網(wǎng)絡

2017 年，Veli?kovi? 等人[97]提出了GAT（graph attention network），GAT 是一種基于空間結構的圖神經(jīng)網(wǎng)絡，在聚合鄰域特征信息時，通過注意力機制確定采樣節(jié)點權重信息，比GCN多了一個自適應的邊權重系數(shù)[123]，從而實現(xiàn)鄰域對中心貢獻程度的自適應調節(jié)。GAT 無需提前知道整個網(wǎng)絡的結構，即可通過局部信息獲取到網(wǎng)絡的整體信息，避免了大量矩陣運算。本質上，GAT 是將原本GCN 的標準化函數(shù)替換為使用注意力權重的鄰接節(jié)點特征聚合函數(shù)。因此模型可以直接應用到歸納推理的問題中，包括知識圖譜的節(jié)點分類、鏈接預測等任務。典型方法包括MGAT（multi-view graph attention network）[124]、TGAT（temporal graph attention）[125]、NAKGR（neighborhood attention knowledge graph reasoning）[100]等，圖8 為利用MGAT算法開展鏈接預測和節(jié)點分類模型框架圖。

圖8 MGAT 模型框架圖Fig.8 Framework of MGAT model

2019 年Nathani 等人[126]提出了基于圖注意力網(wǎng)絡（GAT）的知識圖譜關系推理模型KBGAT（knowledge bases GAT），該模型使用多頭注意力機制來進行目標節(jié)點周圍信息的收集，以解決隱藏信息獲取困難的問題，提升了關系預測的準確率。Zhang 等人[98]提出了基于門控注意力機制的GaAN（gated attention networks）模型，不同于傳統(tǒng)的多頭注意機制（均衡地消耗所有的注意頭），門控注意機制可以通過引入的門控單元來調節(jié)參與內容的數(shù)量，使用一個卷積子網(wǎng)絡來控制每個注意頭的重要性。由于在門控單元的構造中只引入了一個簡單的、輕量級的子網(wǎng)，計算開銷可以忽略不計，而且模型易于訓練。Zhang等人[7]提出了一個用于知識圖譜補全任務的具有分層注意的關系圖神經(jīng)網(wǎng)絡Encoder-Decoder 框架。Xu 等人[127]提出DPMPN（dynamically pruned message passing networks）模型，以同時編碼完整的圖數(shù)據(jù)表示和由注意力模塊學習的局部圖數(shù)據(jù)表示，實現(xiàn)推理過程中子圖的動態(tài)構建。Xie 等人[128]提出ReInceptionE（relation-aware inception network with joint localglobal structural information for knowledge graph embedding）模型，結合ConvE 和KBGAT[127]，利用關系感知注意力（relation-aware attention，RAATT）機制實現(xiàn)對圖譜結構信息的深入理解。康世澤等人[129]提出HE-GAN（heterogeneous information network embedding framework via graph attention network）模型，通過堆疊圖注意力網(wǎng)絡，有效學習實體的高階鄰接特征，實現(xiàn)對知識圖譜語義的完整表達[130]。已有較多的模型較好地將基于GAT 的圖神經(jīng)網(wǎng)絡引入到知識圖譜領域，并開展節(jié)點分類、關系預測等推理任務[131-133]（表8）。

表8 基于GAT 的卷積圖神經(jīng)網(wǎng)絡的知識推理算法Table 8 Graph attention mechanism based GCN reasoning algorithms

2.3 基于圖自動編碼GAE 的知識推理

圖自動編碼神經(jīng)網(wǎng)絡是一種無監(jiān)督的學習框架，它將節(jié)點/圖編碼到潛在向量空間中，并從編碼的信息中重建圖數(shù)據(jù)。GAE[103]用于學習網(wǎng)絡嵌入和生成新的圖形（如圖9）。編碼器使用圖卷積層來獲得每個節(jié)點的網(wǎng)絡嵌入表示，解碼器計算給定網(wǎng)絡嵌入的成對距離。在應用非線性激活函數(shù)后，解碼器重建圖鄰接矩陣。網(wǎng)絡通過真實鄰接矩陣與重構鄰接矩陣之間的最小化差異來訓練。圖自動編碼網(wǎng)絡又分為基于網(wǎng)絡嵌入的圖自動編碼方法和基于圖生成的圖自動編碼方法。基于網(wǎng)絡嵌入的圖自編碼方法利用神經(jīng)網(wǎng)絡結構將圖的頂點表示為低維向量，可以用于知識圖譜節(jié)點分類或鏈接預測任務[104]；基于圖生成的圖自動編碼方法是在給定一組觀察到的圖的情況下生成新的圖，可以很好地應用到知識推理的知識補全任務中。

圖9 GAE 模型Fig.9 GAE model

2.3.1 基于網(wǎng)絡嵌入的圖自編碼方法

基于網(wǎng)絡嵌入的圖自動編碼方法的目的是利用神經(jīng)網(wǎng)絡結構將圖的節(jié)點映射到潛在空間特征表示為低維向量，并從潛在的表示中解碼圖形信息，進而開展節(jié)點分類、鏈接預測等任務。在網(wǎng)絡嵌入方法中，GAE 通過重構鄰接矩陣等圖結構信息來學習潛在節(jié)點表示，它保留了節(jié)點的結構信息。圖自編碼器的挑戰(zhàn)是鄰接矩陣的稀疏性，這使得解碼器的正條目數(shù)遠遠小于負條目數(shù)。典型的解決方案是利用多層感知機作為編碼器來獲取節(jié)點嵌入，利用解碼器重建節(jié)點的鄰域統(tǒng)計信息[134-135]。利用網(wǎng)絡嵌入的圖自編碼方法開展知識推理的典型方法包括DNGR（deep neural networks for learning graph representation）[101]、SDNE（structural deep network embedding）[102]、VGAE（variational graph auto-encoder）[103]和ARVGA（adversarially regularized variational graph autoencoder）[104]等（表9）。

表9 基于網(wǎng)絡嵌入的圖自編碼網(wǎng)絡知識推理算法Table 9 Network embedding based graph auto-encoders network KG reasoning algorithms

DNGR 用深度神經(jīng)網(wǎng)絡的隨機沖浪（random surfing model）替代采樣（conventional sampling）的方式為每個頂點生成一個低維向量表示，方便更準確、快速獲取圖的結構信息，進而開展下游任務。SDNE用一階、二階相似度有效捕獲高度非線性網(wǎng)絡局部特征和全局特征，實驗表明，所得到的表示可以有效地作用于節(jié)點分類等下游任務。但DNGR 和SDNE只考慮節(jié)點結構信息，即節(jié)點之間的連通性，忽略了節(jié)點可能包含描述節(jié)點本身屬性的特征信息。Kipf等人[103]結合圖數(shù)據(jù)結構的特點，參考自編碼器（autoencoders，AE）和變分自動編碼器（variational autoencoders，VAE），提出了圖自動編碼器（GAE）和變分圖自動編碼器VGAE。VGAE 是基于VAE 的無監(jiān)督學習圖結構數(shù)據(jù)的框架，該模型利用了潛在變量學習無向圖的潛在表示，在鏈接預測任務上取得了較好的效果。Pan 等人[104]提出的ARGA（adversarially regularized graph autoencoder）和ARVGA 算法將生成對抗網(wǎng)絡（generative adversarial network，GAN）加入到GAT 中。網(wǎng)絡主要分為三部分：編碼器（生成）、解碼器和判定器。判定器的任務就是訓練一個二分類器，使它能夠判別模型的輸入到底是真實分布還是虛假分布。而編碼部分則作為生成，其目的是要騙過判定器，由此循環(huán)迭代，就使得編碼器的輸出能夠盡可能地接近真實分布。

2.3.2 基于圖生成的圖自編碼方法

基于圖生成的圖自動編碼方法是在給定一組觀察到的圖的情況下，使用圖神經(jīng)網(wǎng)絡來表示圖的節(jié)點和邊之間的依賴關系生成新的圖，構建圖生成模型。在自然語言處理中，生成語義圖或知識圖譜通常以給定的句子為條件，生成新的圖。通過將給定條件下的新生成圖與原圖進行對比，即可開展知識推理的知識補全任務，如實體分類、關系預測等。通過設計合理的推薦條件或問答條件，新生成的圖可用于開展知識推理的知識推薦和知識問答任務[136]。利用網(wǎng)絡嵌入的圖自編碼方法開展知識推理的典型方法包括DGMG（deep generative models of graphs）[105]、GraphRNN（graph recurrent neural network）[137]、NetGAN（generating graphs via random walk）[106]和M2GNN（mixed-curvature multi-relational graph neural network）[107]等（表10）。

表10 基于圖生成的圖自編碼網(wǎng)絡的知識推理算法Table 10 Graph generation based graph auto-encoders networks KG reasoning algorithms

Li 等人[105]提出了DGMG，利用基于空間的卷積圖神經(jīng)網(wǎng)絡來實現(xiàn)對現(xiàn)有圖的隱藏表示。DGMG 生成節(jié)點和邊的決策過程是以整個圖的表示為基礎的，具體取決于由RecGNN 更新的生長圖的節(jié)點狀態(tài)和圖狀態(tài)。DGMG 遞歸地在一個圖中產(chǎn)生一個節(jié)點，在添加新節(jié)點后的每一步，DGMG 通過做出一系列決策來生成圖，即是否添加節(jié)點、添加哪個節(jié)點、是否添加邊以及哪個節(jié)點連接到新節(jié)點，因此，可以利用DGMG 模型開展知識圖譜的節(jié)點分類和鏈接預測任務。You 等人[137]提出的GraphRNN 是兩級（圖級和邊級）循環(huán)神經(jīng)網(wǎng)絡的深度圖生成模型。圖級的RNN 每次向節(jié)點序列添加一個新節(jié)點，而邊級的RNN 生成一個二進制序列，為新添加的節(jié)點生成邊。Bojchevski等人[106]提出的NetGAN將LSTM（long short-term memory network）與Wasserstein-GAN 結合在一起，使用基于隨機行走的方法來捕獲圖的拓撲結構（如圖10）。GAN 框架由兩個模塊組成，一個生成器和一個鑒別器。生成器盡最大努力在LSTM 網(wǎng)絡中生成合理的隨機行走序列，而鑒別器則試圖區(qū)分偽造的隨機行走序列和真實的隨機行走序列。訓練完成后，對一組隨機行走中節(jié)點的共現(xiàn)矩陣進行正則化，可以得到一個新的圖，可以用于知識圖譜的鏈接預測任務。

圖10 NetGAN 模型Fig.10 NetGAN model

2.4 基于時空圖神經(jīng)網(wǎng)絡STGNN的知識推理

一般的GCN 方法可以較好地捕捉知識圖譜中節(jié)點之間的連接關系，保留網(wǎng)絡中的空間關系的信息，但缺乏捕捉時間關系的能力。時空圖神經(jīng)網(wǎng)絡（STGNN）[109]將卷積圖神經(jīng)網(wǎng)絡擴展到時空圖模型，旨在從時空圖中學習隱藏模式，其基本假設是節(jié)點的未來信息取決于其歷史信息及其鄰接的歷史信息，其核心思想是同時考慮空間依賴和時間依賴。時空圖神經(jīng)網(wǎng)絡中的空間依賴關系即對應知識圖譜的拓撲結構信息，時間依賴即對應知識圖譜的時序信息，節(jié)點的信息即為實體屬性信息。例如，在交通網(wǎng)絡中，每個傳感器連續(xù)記錄道路的交通速度作為頂點，傳感器對之間的距離作為交通網(wǎng)絡的邊。將交通網(wǎng)絡看作一個時序知識圖譜，節(jié)點的屬性即為路口的交通速度，邊即表示不同路口的距離信息，節(jié)點的屬性隨時間的變化而變化，也會受其他節(jié)點和邊的影響。

傳統(tǒng)時序知識圖譜推理往往是對一般知識推理模型的擴展，將時間信息嵌入到關系信息中，這些方法往往很難捕獲遠距離依賴關系，對潛在實體和關系的表現(xiàn)較差，也難以有效編碼時序知識圖譜復雜的時空關系。基于時空圖神經(jīng)網(wǎng)絡的時空預測方法，通過將節(jié)點在圖結構上進行時空關系的模擬，較好地保留了圖數(shù)據(jù)的空間關系（拓撲結構）和時間關系，與時序知識圖譜的知識推理任務不謀而合，在復雜的空間關系中，能取得比傳統(tǒng)方法更好的預測效果。

圖11 描述了一種時空圖神經(jīng)網(wǎng)絡模型，圖卷積層后是一維CNN 層。圖卷積層對時序知識圖譜A進行運算捕捉知識的空間相關性（圖數(shù)據(jù)的拓撲結構關系），一維CNN 層沿著時間軸變化來捕捉知識的時間相關性。輸出層通過多層感知機的線性變換，為每一個節(jié)點生成預測，比如下個時間步長內的節(jié)點值，進而可以有效開展時序知識圖譜的知識推理任務。目前，利用時空圖神經(jīng)網(wǎng)絡主要集中在開展知識發(fā)現(xiàn)相關任務，較多的時序知識圖譜推理任務主要集中在基于時空圖神經(jīng)網(wǎng)絡的交通流預測以及軍事領域，未來也一定會擴展到更多領域。

圖11 時空圖神經(jīng)網(wǎng)絡模型Fig.11 Spatial-temporal graph neural networks model

基于時空圖神經(jīng)網(wǎng)絡開展知識推理的典型方法包括DCRNN（diffusion convolutional recurrent neural network）[108]、ST-GCN（spatio-temporal graph convolutional network）[109]、GWN（graph wavenet）[110]、T-GCN（temporal graph convolutional network）[138]、GCRN（graph convolutional recurrent network）[139]、ASTGCN（attention based spatial-temporal graph convolutional network）[140]、MTGNN（multivariate time series forecasting with graph neural network）[141]和TFGAN（traffic forecasting using generative adversarial network）[112]等（表11）。Wu 等人[110]提出了一種新的用于時空圖建模的圖神經(jīng)網(wǎng)絡結構GWN。它可以自適應依賴矩陣并通過節(jié)點嵌入進行學習，故可以捕獲數(shù)據(jù)中隱藏的空間依賴。GWN 具有一個堆疊的可擴展的一維卷積組件，整個框架以端到端的方式學習，其感受野隨著層數(shù)的增加呈指數(shù)增長，能夠有效處理大型時序知識圖譜。T-GCN 圖形卷積網(wǎng)絡除了能夠捕獲交通信息和屬性之間的知識結構和語義關系之外，還能夠捕獲交通的時空特征。

表11 基于時空圖神經(jīng)網(wǎng)絡的知識推理算法Table 11 Spatial-temporal graph neural networks based KG reasoning algorithms

圖卷積網(wǎng)絡用于捕獲道路網(wǎng)絡的拓撲結構，以對空間依賴性進行建模。門控遞歸單元用于捕獲道路上交通數(shù)據(jù)的動態(tài)變化，以模擬時間相關性。受最近生成對抗網(wǎng)絡（GAN）和圖卷積網(wǎng)絡（GCN）在處理非歐數(shù)據(jù)方面發(fā)展的啟發(fā)，Khaled 等人[112]提出了一種對抗多卷積圖神經(jīng)網(wǎng)絡模型，命名為TFGAN（如圖12）。圖12（a）為TFGAN 生成器結構，圖12（b）為TFGAN 判別器結構，圖12（c）為TFGAN 模型框架。TFGAN 模型將非監(jiān)督模型的彈性優(yōu)勢與監(jiān)督訓練提供的監(jiān)督優(yōu)勢相結合，以幫助GAN 生成器模型生成準確的流量預測。為了改進表示并有效地對隱式相關性建模，在生成器內構建多個GCN。同時，在每個圖之后應用GRU 和自我注意力機制來捕獲跨節(jié)點的動態(tài)時間依賴性。該算法對六個真實世界的交通數(shù)據(jù)集的三個交通變量（交通流量、速度和旅行時間）進行實驗，結果表明，TFGAN 優(yōu)于相關的最新模型，并取得了顯著的推理效果。

圖12 TFGAN 網(wǎng)絡模型Fig.12 TFGAN network model

3 基于圖神經(jīng)網(wǎng)絡知識推理的應用

描述常識和事實的知識圖譜是學術界和工業(yè)界廣泛使用的知識表示方式，采用圖構建知識和數(shù)據(jù)之間的關聯(lián)，是一種直接且有效的將知識和數(shù)據(jù)結合的方式。受益于圖神經(jīng)網(wǎng)絡技術在信息傳播和推理上的優(yōu)勢，知識圖譜中的先驗知識被有效地引入到應用任務中。知識圖譜是互聯(lián)網(wǎng)世界的數(shù)據(jù)基石，其高效的數(shù)據(jù)整合能力和數(shù)據(jù)關聯(lián)能力使其在眾多領域展示出越來越豐富的實際應用價值。目前，基于圖神經(jīng)網(wǎng)絡的知識推理技術主要集中在常用的FB15K、YAGO、WN18、NELL-995、Cora、Citeseer、Pubmed、BlogCatalog 等知識圖譜數(shù)據(jù)集上開展，但也逐漸應用于醫(yī)療、智能制造、軍事、交通、金融風險等眾多生產(chǎn)生活實際領域中。

3.1 醫(yī)學領域

在醫(yī)學領域，隨著醫(yī)學信息系統(tǒng)和醫(yī)學大數(shù)據(jù)的發(fā)展，醫(yī)院積累了海量的醫(yī)療數(shù)據(jù)，如何從這些異構數(shù)據(jù)中篩選提煉信息，并加以整合、共享及應用，是推進智能醫(yī)療的關鍵問題。Vretinaris 等人[142]對圖神經(jīng)網(wǎng)絡（GNN）模型進行了改進，將來自醫(yī)學知識庫的領域知識引入到查詢圖中，并在負采樣過程引入了生成對抗網(wǎng)絡（GAN），以避免梯度消失的問題，從而獲得更好的性能，有效解決了醫(yī)學領域的實體分類和實體消岐問題；Agrawal 等人[143]利用R-GCN[94]模型作為編碼器，并使用張量分解作為解碼器，使用知識圖譜推理的方法來推斷藥物-蛋白質、蛋白質-蛋白質、藥物-藥物、藥物-副作用等方面的相互作用；Ioannidis等人[144]將蛋白質函數(shù)預測看作多關系圖上的半監(jiān)督學習任務，并采用圖神經(jīng)網(wǎng)絡（GNN）方法進行求解，利用圖神經(jīng)網(wǎng)絡實現(xiàn)了蛋白質功能預測任務。

目前，基于圖神經(jīng)網(wǎng)絡的知識圖譜推理在醫(yī)學領域的探索和工作還不夠深入。文獻[7]總結了醫(yī)學知識推理目前面對的一些挑戰(zhàn)和重要問題，并展望了其發(fā)展前景和研究趨勢，推進知識圖譜、知識推理在醫(yī)療領域尤其是臨床決策支持[5]、醫(yī)療智能語義檢索[6]、醫(yī)療推薦[145]等方面的應用已成為了人們迫切的需求。

3.2 智能制造領域

在智能制造領域，數(shù)據(jù)和知識是實現(xiàn)制造業(yè)與新一代信息技術融合的基礎，是實現(xiàn)智能制造的保障。知識圖譜本質上是基于語義網(wǎng)絡的思想，可以實現(xiàn)對現(xiàn)實世界的事物及其相互關系的形式化描述。該技術為智能制造領域數(shù)據(jù)及知識的關聯(lián)性表達和相關性搜索推理問題的解決帶來了可能性[9]。由于知識圖譜具有強大的知識表示和推理能力，知識推理作為流程工業(yè)知識處理的重要環(huán)節(jié)一直備受關注[146]。黃超[147]利用Graph SAGE 結合多頭注意力機制方法開展知識推理任務，完成了石墨烯知識圖譜補全和關系預測等任務。Ma等人[148]探索了電子自動化設計（electronic design automation，EDA）中應用R-GCN[94]的場景，利用知識圖譜推理技術提升智能化管理水平。基于圖時空神經(jīng)網(wǎng)絡的知識推理對于智能制造的人機協(xié)同交互、物流配送、在線監(jiān)控等方面也有較好的契合，未來定將在智能制造中扮演著越來越重要的角色。

3.3 軍事領域

構建基于軍事信息庫的知識圖譜，可以為作戰(zhàn)指揮人員提供更加精確的情報，極大地提高部隊作戰(zhàn)效率。基于軍事知識圖譜，建立軍事武器問答系統(tǒng)和聯(lián)合作戰(zhàn)信息服務系統(tǒng)，可以實現(xiàn)軍事輔助決策[149]。張清輝等人[150]定義了模型中概念之間的語義關系和時序關系，提出了軍事信息服務知識推理方法，為任務驅動的軍事信息服務領域知識的推理提供了理論基礎。隨著信息化戰(zhàn)爭加速向智能化戰(zhàn)爭演化，如何系統(tǒng)規(guī)范地存儲和表示作戰(zhàn)知識，使無人系統(tǒng)能夠根據(jù)高層任務指令自主完成任務規(guī)劃，并基于不斷更新的戰(zhàn)場知識進行重規(guī)劃和智能決策，也是一個新的研究領域[151]。未來，軍事知識圖譜以及高效能的知識推理技術能夠提供大規(guī)模自主知識約束空間內的解決方案及智慧指揮決策解決方案，在虛擬情報參謀、隱含知識發(fā)現(xiàn)、情報智能關聯(lián)等場景中發(fā)揮重要作用，提升部隊作戰(zhàn)能力。

3.4 交通領域

隨著時空圖神經(jīng)網(wǎng)絡（STGNN）的快速發(fā)展，將圖卷積網(wǎng)絡擴展到時空圖模型，能從時空圖中學習隱藏模式[109-110,141]。交通知識圖譜可以實現(xiàn)交通流量分析建模、航空交通管理以及公共場景挖掘等。交通知識圖譜可以實現(xiàn)同乘人員識別提取、公交站點群出行量和運力挖掘、最大公交客流提取識別、線路站點上下車客流提取等，為公共交通領域提供了有效的決策和參考。基于時序知識圖譜和時空模型，有學者提出了動態(tài)時空圖神經(jīng)網(wǎng)絡的知識推理。例如，文獻[152]設計了一個動態(tài)圖遞歸卷積神經(jīng)網(wǎng)絡（dynamic graph recurrent convolutional neural network，Dynamic-GRCNN）用于城市交通客流量的預測任務。動態(tài)自我注意力網(wǎng)絡（dynamic self-attention network，DySAT）[153]在結構鄰域和時間動力學兩個維度聯(lián)合自我注意力來生成動態(tài)節(jié)點表示，實現(xiàn)了鏈路預測的功能。基于動態(tài)時空圖神經(jīng)演化的圖卷積網(wǎng)絡（evolving graph convolutional network，EvolveGCN）[154]模型，使用RNN 演化GNN 參數(shù)來捕獲圖序列的動態(tài)性。其將時間信息引入交通領域知識圖譜[111-112,142]，并融合深度學習技術，整合多源數(shù)據(jù)的語義相關性，實現(xiàn)更貼合需求的智能化知識服務模型，在交通預測時空知識推理上將大有可為。

3.5 其他領域

除此以外，知識圖譜在教育、通信等領域也有廣泛應用，比如學科問答機器人、通信故障定位分析、網(wǎng)絡安全監(jiān)測等。趙振兵等人[155]運用基于門控圖神經(jīng)網(wǎng)絡（GGNN）[90]的知識圖譜推理，完成了輸電線路螺栓缺陷分類任務。Wang 等人[156]將知識推理與圖像識別相結合，探討了一個有趣的社交關系推理問題。該方法訓練了一個圖推理模型（graph reasoning model，GRM），該模型結合GGNN[90]可以對照片中人物的社會關系進行推理。另外，一種新的模型SRGNN（session-based recommendation with graph neural networks）[157]將會話序列建模為有向會話圖，通過門控圖神經(jīng)網(wǎng)絡獲得每個圖中所有節(jié)點的潛在向量。接著，每個會話用一個注意力網(wǎng)絡表示為全局偏好和當前興趣的組合，最后預測每個項目在一次會話中成為下次點擊的概率。從知識圖譜應用發(fā)展趨勢來看，當前正值通用知識圖譜應用轉向領域知識圖譜應用的階段。目前，大規(guī)模知識圖譜在智能語義搜索、知識問答、演化分析、對話理解等方面的應用處于初級階段，潛在應用領域廣泛，推廣前景廣闊[130]。

4 總結與展望

4.1 總結

知識圖譜推理的核心是針對三元組中的實體和關系進行預測，因此，需要對圖數(shù)據(jù)的結構信息以及實體的屬性信息進行表示，進而開展推理任務。GNN 依靠其強大的點和邊來對非歐幾里德數(shù)據(jù)建模，高效地解決了在實際應用中遇到的圖結構數(shù)據(jù)問題。圖神經(jīng)網(wǎng)絡可以很好地學習知識圖譜中的節(jié)點信息、節(jié)點間關系信息以及全局結構信息，本文分別從遞歸圖神經(jīng)網(wǎng)絡、卷積圖神經(jīng)網(wǎng)絡、圖自編碼網(wǎng)絡和時空圖神經(jīng)網(wǎng)絡等方面對基于圖神經(jīng)網(wǎng)絡的知識推理的研究進行了綜述，介紹了各類圖神經(jīng)網(wǎng)絡的原理、特點及優(yōu)勢，并就基于圖神經(jīng)網(wǎng)絡的知識推理在醫(yī)學、智能制造、軍事、交通等領域的應用進行了歸納。

基于RecGNN 的知識推理通過不斷地迭代傳播鄰接節(jié)點信息，得到圖譜中節(jié)點的最終表示，進而開展知識推理。相比傳統(tǒng)算法，模型同時考慮知識圖譜的語義信息和結構信息，具備更好的可解釋性和更強的推理能力；但由于在每個時間步都需要展開圖中所有的節(jié)點，使得模型的收斂速度和效率較差。基于ConvGNN 的知識推理通過中心節(jié)點與鄰接節(jié)點之間的卷積來表示節(jié)點間信息。模型可以通過節(jié)點采樣技術提高效率；通過注意力機制可實現(xiàn)鄰域對中心貢獻程度的自適應調節(jié)，實現(xiàn)了在大型知識圖譜上開展推理任務；但淺層的網(wǎng)絡結構往往使得推理的能力受到限制，不同模型的泛化能力也相對較差。基于GAE 的知識推理利用多層感知機作為編碼器，以獲得節(jié)點的低維表示，然后利用解碼器重構節(jié)點的鄰域信息，進而開展知識推理任務；但受限于無監(jiān)督學習的應用場景，整體性能有待提升。基于STGNN 的知識推理引入了時間序列特征，同時考慮知識圖譜的空間信息（結構信息）和時序信息，可用于開展時序知識圖譜推理任務。但模型復雜程度較高，且在時間序列中的應用效果有待提升。

總體而言，基于圖神經(jīng)網(wǎng)絡的知識推理可以較好地將知識圖譜語義信息和結構信息同時考慮，尤其是能夠捕捉知識圖譜的結構信息。圖神經(jīng)網(wǎng)絡的信息傳播機制相較傳統(tǒng)深度學習模型更具有可解釋性，利用圖神經(jīng)網(wǎng)絡模型在知識圖譜中實現(xiàn)知識推理，從而顯式地生成基于知識圖譜的推理路徑，或許可以期待打開深度學習的黑盒。

4.2 展望

未來面向圖神經(jīng)網(wǎng)絡的知識推理方法仍將以各類知識圖譜下游任務作為依托，可應用到眾多場景中。與此同時，知識推理需要向自動化、智能化發(fā)展，需要關注大規(guī)模（時序）知識圖譜中知識推理的可擴展性，大數(shù)據(jù)流處理中的推理效率、自動或半自動的推理實現(xiàn)。最后從以下幾個重點技術展望未來基于圖神經(jīng)網(wǎng)絡的知識推理的發(fā)展前景。

一是融合多源信息和多種方法的知識推理技術。隨著文本、視頻、音頻數(shù)據(jù)的大量出現(xiàn)，眾多知識以不同的形式被表達，因此基于多模態(tài)的知識推理技術將應運而生。從不同類型的數(shù)據(jù)中推理獲得關聯(lián)更符合客觀世界規(guī)律的模型，也更容易被各類工業(yè)任務所應用。融合基于圖神經(jīng)網(wǎng)絡的知識推理與其他方法的知識推理，通過在更深層次混合，實現(xiàn)優(yōu)勢互補，提升推理性能將成為未來研究的熱點。

二是動態(tài)知識推理技術。目前，GNN 處理的圖結構基本上都是靜態(tài)圖，基于時空圖神經(jīng)網(wǎng)絡模型雖然能處理時序知識圖譜，目前針對GNN 處理動態(tài)圖結構的研究還比較少。傳統(tǒng)基于靜態(tài)圖譜的推理技術不能很好地表達時序信息，在眾多工業(yè)應用場景中無法進行動態(tài)建模，也無法對時序信息進行處理。隨著算力水平的提升，利用圖時空神經(jīng)網(wǎng)絡，將時序信息加入知識推理技術將逐漸成為未來研究方向之一。

三是面向大規(guī)模知識圖譜的快速推理。信息時代，隨著數(shù)據(jù)的增長，知識圖譜的規(guī)模越來越大將成為未來的發(fā)展趨勢，致使圖中的節(jié)點數(shù)量變得巨大，這就給圖神經(jīng)網(wǎng)絡的計算帶來了不小的挑戰(zhàn)。因此，如何充分發(fā)揮圖神經(jīng)網(wǎng)絡在知識推理中快速捕捉語義和結構信息的優(yōu)勢，優(yōu)化推理模型，提高推理速度，擴展到大規(guī)模知識圖譜，保證推理的時效性，將成為未來需要致力解決的問題。針對將圖神經(jīng)網(wǎng)絡應用到大規(guī)模圖上的研究同樣是將來研究的熱點問題，在這方面，引入摘要數(shù)據(jù)結構，構造局部圖數(shù)據(jù)，并能適當?shù)厝诤暇植繄D結構，形成整體圖神經(jīng)網(wǎng)絡的表示是可能的途徑之一。

四是開發(fā)有效的深度圖神經(jīng)網(wǎng)絡。GNN 的本質是通過聚合鄰接節(jié)點信息來表征中心節(jié)點，現(xiàn)有的圖神經(jīng)網(wǎng)絡模型大多還是只限于淺層的結構。一般來講，深度圖神經(jīng)網(wǎng)絡能更加捕獲知識圖譜的全局信息和結構信息，但當構造多層的神經(jīng)網(wǎng)絡之后，中心節(jié)點和鄰接節(jié)點的差異就會變得微乎其微，實驗結果反而變差，這是由過平滑現(xiàn)象造成的。如何解決深度圖神經(jīng)網(wǎng)絡過平滑現(xiàn)象，使圖神經(jīng)網(wǎng)絡能夠應用于更多層的結構，從而發(fā)揮出深度學習與圖神經(jīng)網(wǎng)絡的強大優(yōu)勢，構建更深的圖神經(jīng)網(wǎng)絡模型仍是值得深入研究的問題。

五是挖掘和探索知識圖譜中更多有用的信息。在當前對于圖神經(jīng)網(wǎng)絡模型的研究中，諸多學者將較多的精力放在了圖數(shù)據(jù)中節(jié)點之間有無連接這一拓撲結構信息（即知識圖譜關系信息）。但知識圖譜除了節(jié)點間關系信息，里面還涉及較多的實體信息、實體屬性信息，以及距離中心節(jié)點的遠近不同的關系信息對中心節(jié)點的影響程度等。如果能夠探索出知識圖譜中更多有用信息的表示和利用，必會將基于圖神經(jīng)網(wǎng)絡的知識推理性能提升一個層次。

六是圖神經(jīng)網(wǎng)絡的工業(yè)落地。當前基于圖神經(jīng)網(wǎng)絡的知識圖譜研究大多還只停留在理論層面，亦或者在實驗數(shù)據(jù)集、公開知識圖譜數(shù)據(jù)等進行測試驗證，實際應用還非常有限。雖然基于圖神經(jīng)網(wǎng)絡的知識推理在部分領域（如醫(yī)學領域、智能制造領域、軍事領域、交通領域等）已有一小部分的實際應用，但遠沒有達到大規(guī)模應用的程度。任何研究只有真正地在工業(yè)界落地，才能發(fā)揮它的應用價值，反之也會促進其進一步的研究發(fā)展。盡快將圖神經(jīng)網(wǎng)絡應用到實際的工業(yè)場景中是一個亟需解決的問題。