面向知識圖譜的知識推理綜述①

封皓君,段 立,張碧瑩

（海軍工程大學(xué) 電子工程學(xué)院,武漢 430033）

1 引言

在信息化時代背景下,隨時都會產(chǎn)生大量的新知識,如何完成海量知識的高效管理和利用成為亟待解決的問題之一,知識圖譜（Knowledge Graph,KG）為我們提供了一種手段.隨著計算能力的進步,依賴人工構(gòu)建的知識圖譜無法滿足智能性、即時性的需求,知識推理技術(shù)應(yīng)運而生.面向知識圖譜的知識推理技術(shù)則是知識圖譜下游任務(wù)中重要的一部分,同時也是實體鏈接、智能問答等任務(wù)的基礎(chǔ),對于知識圖譜的補全以及知識清洗（提升知識庫糾錯能力）有重要意義.

1.1 知識圖譜

知識圖譜是谷歌公司于2012年提出的概念,被看作是一種反映客觀世界的語義網(wǎng)絡(luò),其中蘊含豐富的關(guān)系模式,最初被用來完善谷歌自身的搜索引擎.知識圖譜往往被表述為<實體-關(guān)系-實體>或<實體-屬性-屬性值>的三元組形式,以<16艦-搭載-殲15>和<16艦-完工時間-2011年>為例,在第1個三元組中,頭實體是“16 艦”,尾實體是“殲 15”,他們之間關(guān)系是“搭載”; 第2個三元組中,實體是“16 艦”,屬性是“完工時間”,值為“2011年”.傳統(tǒng)依賴人工的知識圖譜構(gòu)建方法不能很好地包含所有知識,同時存在噪聲信息,導(dǎo)致圖譜稀疏,并且可能存在錯誤三元組,大規(guī)模知識圖譜YAGO通過抽樣宣布其存在大約5%的錯誤三元組,這就需要對知識推理技術(shù)進行研究.與傳統(tǒng)推理方法不同的是,面向知識圖譜的知識推理需要遵循開放世界假設(shè)（open world assumption）,未聲明的三元組無法判斷真假,同時所包含的謂詞也幾乎都是二元的.隨著計算能力的進步,人們寄希望于用計算機來解決圖譜的推理問題.然而計算機的優(yōu)勢在于計算能力,對于人類能做到的邏輯推理它卻并不擅長,如何將計算機的計算優(yōu)勢展現(xiàn)在推理能力當(dāng)中是目前挑戰(zhàn)之一.

1.2 面向知識圖譜的知識推理

針對知識圖譜特有的三元組存儲形式,面向知識圖譜的知識推理被定義為對三元組缺失部分的預(yù)測,更主要的是對實體和關(guān)系進行的預(yù)測,一般在<實體-關(guān)系-實體>三元組中進行.實體預(yù)測指通過已知的實體和關(guān)系預(yù)測另一個實體的過程,關(guān)系預(yù)測則是給定頭尾兩實體,預(yù)測兩者之間的關(guān)系.文獻[1,2]將面向知識圖譜的知識推理歸納為以下幾類:（1）基于圖結(jié)構(gòu)和統(tǒng)計規(guī)則挖掘的推理;（2）基于知識圖譜表示學(xué)習(xí)的推理;（3）基于神經(jīng)網(wǎng)絡(luò)的推理;（4）混合推理.除此之外,還有學(xué)者認為存在基于傳統(tǒng)方式的推理,例如基于描述邏輯和概率邏輯的推理等.每種類別下均存在多種推理方法.以下對每類推理方法進行說明,同時對知識推理應(yīng)用前景、未來研究方向進行展望.

2 面向知識圖譜的知識推理方法綜述

2.1 基于描述邏輯和概率邏輯的推理

在知識推理技術(shù)發(fā)展伊始,眾多學(xué)者研究方向是將傳統(tǒng)的推理方式移植到知識圖譜當(dāng)中,基于描述邏輯和概率邏輯的推理方法應(yīng)運而生.傳統(tǒng)推理方式雖然有著較高的準(zhǔn)確率,但移植到圖譜中仍存在困難.針對這些問題,專家學(xué)者開始對描述邏輯與概率邏輯進行改進,使其作為本體論的一種延伸,運用到知識推理當(dāng)中.

2.1.1 基于描述邏輯的推理

描述邏輯是一階謂詞邏輯的可判定子集,是知識圖譜本體論的基礎(chǔ).與傳統(tǒng)的知識表示學(xué)習(xí)相比,其最大的優(yōu)勢在于可以完成知識的自動推理.在描述邏輯之下又可劃分為基于表結(jié)構(gòu)的方法、基于產(chǎn)生式規(guī)則的方法以及基于本體數(shù)據(jù)訪問的方法.

基于表結(jié)構(gòu)方法中比較具有代表性的是Haarslev等[3]提出的RACER,Tsarkov等[4]提出的FaCT++以及Sirin等[5,6]提出的Pellet工具等.這些方法主要通過構(gòu)建具體的斷言信息,檢驗?zāi)硨嵗欠翊嬖谟谀掣拍町?dāng)中,從而實現(xiàn)自動化知識推理.

基于產(chǎn)生式規(guī)則的方法以Jena工具[7]與Sesame框架[8]為代表.Jena是一種基于Java開發(fā)的語義推理工具,目前版本已更新到Jena3.17,可對多種本體進行建模[9,10].其結(jié)構(gòu)主要由視圖層、視圖加強層和模型層組成,視圖層用來存儲三元組,視圖加強層用于生成多種視圖,模型層用于輸入數(shù)據(jù),同時提供給用戶多個API接口.Sesame是一種處理RDF數(shù)據(jù)的開源框架,擁有關(guān)聯(lián)絕大部分RDF庫的能力,因此可以用來遠程訪問其他RDF存儲.基于此框架,張永娟等[11]提出一種基于Sesame及Rdfizer擴展工具的關(guān)聯(lián)數(shù)據(jù)應(yīng)用平臺,該平臺可將非結(jié)構(gòu)化數(shù)據(jù)進行XML結(jié)構(gòu)化并轉(zhuǎn)化為RDF數(shù)據(jù),從而實現(xiàn)存儲、推理等功能.

基于本體數(shù)據(jù)訪問的方法以Datalog語言為載體,通過Datalog語言將SPARQL語言重寫為SQL,以完成推理等工作,例如利用Neo4j進行查詢重寫完成本體推理等.張金登等[12]提出一種通用的數(shù)據(jù)訪問方法,可有效解決異構(gòu)數(shù)據(jù)的使用問題.

總體而言,基于描述邏輯的推理仍然屬于本體推理方法中的一種,無法定義推理過程,仍存在解釋性上的不足,同時僅支持本體公理上的推理,泛化能力較弱.

2.1.2 基于概率邏輯的推理

基于概率邏輯的推理主要解決不確定性推理問題,這里面比較有代表性的是基于統(tǒng)計關(guān)系學(xué)習(xí)（Statistical Relational Learning,SRL）[13]的推理方法.統(tǒng)計關(guān)系學(xué)習(xí)是一種機器學(xué)習(xí)方法,通過拓展傳統(tǒng)的圖模型來對實體之間的相關(guān)性進行建模,幾種比較典型的模型包括關(guān)系型貝葉斯網(wǎng)絡(luò)模型[14]、關(guān)系型馬爾可夫網(wǎng)絡(luò)模型[15]和關(guān)系型依賴網(wǎng)絡(luò)模型等.而基于SRL的知識推理方法則是將關(guān)系信息代入機器學(xué)習(xí)模型當(dāng)中進行特征表示,再利用傳統(tǒng)的學(xué)習(xí)算法進行分類,存在復(fù)雜度高、實用性不強等問題,因此常與其他種類方法聯(lián)合使用以提升模型性能.

2.2 基于圖結(jié)構(gòu)和統(tǒng)計規(guī)則挖掘的推理

雖然針對傳統(tǒng)推理方法的改進在知識圖譜中獲得了一定的效果,但仍無法徹底解決其特有的圖結(jié)構(gòu)下特征挖掘問題.據(jù)此學(xué)者們開始研究基于圖結(jié)構(gòu)和統(tǒng)計規(guī)則挖掘的知識推理方法,其中比較有啟蒙意義的是Lao等[16]提出的路徑排序算法（Path Ranking Algorithm,PRA）.在知識推理當(dāng)中,PRA是一種基于圖結(jié)構(gòu)的全局算法,通過隨機游走或遍歷的方式獲取實體之間的關(guān)系路徑作為特征,計算樣例的特征值并加入分類器進行訓(xùn)練,從而預(yù)測實體間潛在關(guān)系.此后,一些基于PRA的改進算法逐漸提出.Gardner等[17]提出一種高效且表達能力更強的子圖特征提取模型（Subgraph Feature Extraction,SFE）,可有效降低PRA算法復(fù)雜度; Wang等[18]提出一種耦合路徑排序算法（Coupled Path Ranking Algorithm,CPRA）,利用逐層聚合的思想,通過多任務(wù)學(xué)習(xí)獲得聚合后的潛在關(guān)聯(lián); 劉嶠等[19]提出基于雙層隨機游走的關(guān)系推理算法,改進PRA的關(guān)系單向性假設(shè),提出逆向關(guān)系語義從而進行推理; Mazumder等[20]針對PRA可擴展性差等缺陷,借鑒隨機路徑探索策略提出上下文感知路徑排序方法（Context-aware Path Ranking,C-PR）,該方法通過詞嵌入學(xué)習(xí)全局語義,并利用雙向隨機游走列舉實體間相關(guān)路徑; Xiong等[21]提出DeepPath算法,使用強化學(xué)習(xí)框架設(shè)計一種圖譜連續(xù)狀態(tài)嵌入策略,旨在解決多跳路徑問題; Yang等[22]提出神經(jīng)邏輯規(guī)劃框架,利用可微矩陣序列對推理任務(wù)進行表達從而完成對規(guī)則的學(xué)習(xí),改變了傳統(tǒng)對實體和關(guān)系進行建模的思路; 張美玉等[23]等以產(chǎn)品知識圖譜為基礎(chǔ),在STEP平臺上利用路徑排序算法完成知識推理,最終構(gòu)建可視化知識推理平臺.

從圖結(jié)構(gòu)獲得特征后,學(xué)者們思考利用傳統(tǒng)關(guān)聯(lián)規(guī)則挖掘方法來進行知識推理,以不完備知識庫的關(guān)聯(lián)規(guī)則挖掘算法（Association rule Mining under Incomplete Evidence,AMIE）[24]為代表,其支持從不完備知識庫中挖掘閉式規(guī)則.該算法依次通過添加懸掛邊、實例邊、閉合邊的方式針對每種關(guān)系進行規(guī)則挖掘,并以支持度和置信度作為評估標(biāo)準(zhǔn); 任詩雅[25]提出一種基于非結(jié)構(gòu)文本的增強關(guān)聯(lián)規(guī)則知識推理方法,該方法從自然文本中獲得三元組知識以完善知識圖譜并通過實驗證明有效性; 隨著基于開放信息抽取的知識推理愈發(fā)重要,陳澤東等[26]針對基于開放信息抽取的知識推理問題提出一種基于概率軟邏輯模型的推理方法,通過建立規(guī)則自動學(xué)習(xí)機制完成知識的推理與驗證.

隨著知識圖譜規(guī)模的不斷擴大,基于圖結(jié)構(gòu)和統(tǒng)計規(guī)則的推理方法面臨復(fù)雜度提升、計算量增大等問題.目前的研究往往不單獨考慮基于此的推理方法,常對基于該方法的混合推理進行研究.

2.3 基于知識圖譜表示學(xué)習(xí)的推理

基于知識圖譜表示學(xué)習(xí)的方法往往先對知識圖譜中的實體和關(guān)系進行特征表示,再利用表示后的結(jié)果進行知識推理.其隨著知識圖譜表示學(xué)習(xí)技術(shù)的不斷進步而逐漸獲得完善,目前成為常用方式之一.知識表示中比較有代表性的是TransE方法[27],其旨在解決大規(guī)模知識圖譜關(guān)系數(shù)據(jù)處理問題.該方法將每個三元組的關(guān)系看作頭實體到尾實體的翻譯過程,通過學(xué)習(xí)調(diào)整三者之間的向量關(guān)系,使頭實體與關(guān)系之間的向量和盡可能接近尾實體的向量,從而完成對所有實體和關(guān)系的表示.雖然TransE原理簡單易擴展,但仍然存在復(fù)雜關(guān)系建模效果差、無法利用知識庫外部信息等缺陷.后續(xù)很多方法都是在TransE上的改進,TransH[28]針對TransE無法解決的復(fù)雜關(guān)系建模問題提出解決思路,將關(guān)系由超平面的法向量和超平面的翻譯向量進行表示; Lin等[29]提出的TransR模型構(gòu)建實體空間和多個關(guān)系空間,分別在不同空間內(nèi)進行建模并轉(zhuǎn)換,從而使實體不同關(guān)系的關(guān)注點有所側(cè)重; CTransR[29]是TransR模型的變體,是一種基于聚類的TransR,主要思想是通過對不同的實體進行聚類分組,并對每組的關(guān)系向量進行學(xué)習(xí); TransD模型[30]主要針對知識圖譜中的鏈接預(yù)測問題,將實體的法向量看作頭、尾實體在關(guān)系向量上的投影表示.由于模型只涉及向量相乘,有效減少了計算復(fù)雜度; TransA模型[31]主要解決傳統(tǒng)知識表示模型對損失函數(shù)過于簡化的問題,提出一種新的基于圖像的損失函數(shù),關(guān)注向量表示的不同維度,在復(fù)雜關(guān)系問題中取得不錯的效果; TransG模型[32]主要針對同一關(guān)系語義在客觀世界含義不同的問題,通過貝葉斯非參數(shù)無限混合模型對某個關(guān)系進行多種翻譯,并利用三元組確定最佳關(guān)系; He等[33]提出的KG2E模型通過高斯分布的協(xié)方差表示實體和關(guān)系的不確定度,在多種任務(wù)下獲得不錯的效果; Xiao等[34]提出的ManifoldE模型旨在解決不適定代數(shù)以及過于嚴格的幾何形式問題,提出使用流形函數(shù)進行訓(xùn)練,從而較好地完成鏈接預(yù)測等任務(wù); Feng等[35]提出的TransF模型與ManifoldE模型類似,改變TransE的訓(xùn)練函數(shù),通過不同維度的向量表達關(guān)系特征; Ji等[36]提出TranSparse模型將關(guān)系進行難度分級,對不同難度的關(guān)系用不同數(shù)量的參數(shù)表示,關(guān)系的難易程度用包含該關(guān)系的三元組數(shù)目衡量.

近年來,一些基于新技術(shù)的表示學(xué)習(xí)方法被提出.康世澤等[37]提出一種基于圖注意力網(wǎng)絡(luò)的表示學(xué)習(xí)框架可以運用到知識圖譜當(dāng)中,該框架在初始向量表示后利用多個注意力層疊加獲得范圍內(nèi)的鄰居信息,以適應(yīng)不同的應(yīng)用場景,最終在幾個子任務(wù)中獲得了不錯的效果; 劉藤等[38]以IterE 框架為出發(fā)點,提出一種基于聯(lián)合FOL規(guī)則的圖譜表示學(xué)習(xí)方法,主要思想是改進三元組得分函數(shù)從而使其適用大多數(shù)表示學(xué)習(xí)算法,以提升模型可解釋性; 熊輝[39]提出一種聯(lián)合嵌入的表示方法,可以完成動態(tài)知識背景下的實時推理; 孟小艷等[40]提出一種自適應(yīng)的圖譜表示方法TransAD,仍然受到TransE和TransD的啟發(fā),通過在得分函數(shù)中加入權(quán)重矩陣的方式提升模型處理復(fù)雜關(guān)系的能力,取得一定的效果; 周航等[41]針對知識圖譜的多語義性,提出TransC方法,該方法以每種關(guān)系可能存在的多種語義為出發(fā)點并構(gòu)建高斯混合模型,同時通過關(guān)系權(quán)重改進得分函數(shù)從而完成圖譜的表示.

總體而言,隨著表示學(xué)習(xí)技術(shù)的逐步發(fā)展,基于表示學(xué)習(xí)的知識推理逐漸成為主流方式之一.然而其也存在先天劣勢,由于基于表示學(xué)習(xí)的推理往往是一個“黑盒”模型,我們可以獲得推理后的結(jié)果但并不清楚具體的推理過程,導(dǎo)致可解釋性較弱.

2.4 基于神經(jīng)網(wǎng)絡(luò)的推理

基于神經(jīng)網(wǎng)絡(luò)的推理方法一般指利用神經(jīng)網(wǎng)絡(luò)某些特性所進行的推理[42].例如預(yù)測三元組中的缺失元素,或是預(yù)測多跳路徑下首尾兩實體之間的關(guān)系等.就廣義而言,部分基于圖譜表示學(xué)習(xí)的方法也屬于神經(jīng)網(wǎng)絡(luò)方法的一種,在此為區(qū)分清楚,不再繼續(xù)對表示學(xué)習(xí)推理方法進行表述.

Socher等[43]提出一種全新的神經(jīng)張量網(wǎng)絡(luò)（Neural Tensor Network,NTN）,該網(wǎng)絡(luò)將實體表示為實體內(nèi)部詞向量的平均,經(jīng)實驗驗證優(yōu)于單一詞向量的表示方法; Shi等[44]提出一種簡化的投影模型ProjE,該模型將推理當(dāng)中的實體預(yù)測定義為排序問題,從實體集中選擇最合適的實體補充三元組.該方法簡單易理解、參數(shù)較少,但沒有用到圖譜中的語義信息,可解釋性較差; Lukovnikov等[45]提出一種神經(jīng)匹配模型HNM,該模型通過對主、謂詞進行排序完成對簡單問題進行解答的任務(wù); Kampffmeyer等[46]考慮利用時下流行的圖神經(jīng)網(wǎng)絡(luò)解決推理問題,為了將知識傳播到遠端節(jié)點,該文設(shè)計一個稠密圖傳播模塊,允許通過額外連接來利用知識層次結(jié)構(gòu),經(jīng)驗證該模型可有效改善圖中的信息傳播; Schlichtkrull等[47]提出一種R-GCNs模型,該模型將知識圖譜看作有向的多標(biāo)簽圖,并通過圖卷積模型對知識圖譜中的關(guān)系進行建模,較好地完成了鏈接預(yù)測和實體分類等任務(wù),為知識圖譜補全打下基礎(chǔ); Wang等[48]以推薦系統(tǒng)為切入點,提出一種路徑知識遞歸網(wǎng)絡(luò)KPRN,該網(wǎng)絡(luò)通過對實體與關(guān)系進行學(xué)習(xí)從而生成特征向量,再通過顯示推理方法推斷用戶的喜好; Zhang等[49]提出一種基于強化學(xué)習(xí)的知識推理框架,該框架將三元組的推理問題轉(zhuǎn)化為序列化決策過程,由決策網(wǎng)絡(luò)和價值網(wǎng)絡(luò)構(gòu)成,以分別學(xué)習(xí)決策過程和價值功能,最終獲得不錯的效果; Chen等[50]提出一種基于開放世界的知識推理框架,該框架考慮了實體類型中的層次信息,通過詞袋模型和卷積神經(jīng)網(wǎng)絡(luò)對實體進行編碼表示,并通過遞歸層次編碼器和加權(quán)層次編碼器來構(gòu)造層次類型的投影矩陣,最終實現(xiàn)實體特征的精確表達,從而更好地完成知識推理; 孫建強等[51]提出一種基于可微神經(jīng)計算機和貝葉斯網(wǎng)絡(luò)的知識推理方法,將長短期記憶網(wǎng)絡(luò)作為控制器加權(quán)獲得新的實體向量,利用概率模型對實體之間的關(guān)系進行推理.

文獻[42]還指出可以利用神經(jīng)網(wǎng)絡(luò)存儲能力完成知識推理任務(wù),例如Shen等[52]提出的IRN模型、Graves等[53]提出的DNC模型等,這些模型主要是模擬人類思考的過程,將知識的存儲和讀取形象化展示從而完成快速推理過程.

基于神經(jīng)網(wǎng)絡(luò)的推理憑借其良好的特性在近些年取得了長足的進步,但仍存在解釋性不足等問題,同時其往往聚焦于知識圖譜單個層面的信息,不能全局考慮語義、路徑等多種影響因素,泛化能力有待提升.

2.5 混合推理

上述知識推理方法各自存在優(yōu)勢與天然缺陷,為了彌補單一類別推理方法的不足,眾多學(xué)者開始考慮利用多種方法建模,混合推理方法逐漸被提出.

傳統(tǒng)基于路徑的方法往往需要大量數(shù)據(jù)獲取路徑特征,隨著知識圖譜規(guī)模的不斷擴大,傳統(tǒng)方法復(fù)雜度高,計算困難,但仍有較好的可解釋性; 基于神經(jīng)網(wǎng)絡(luò)/表示學(xué)習(xí)的推理方法具有良好的計算性能,但可解釋性不足,多數(shù)混合推理逐漸將二者結(jié)合,形成多種多樣的推理方法.Neelakantan等[54]提出一種基于RNN的關(guān)系推理模型,該模型借鑒PRA方法思路先獲取特征路徑,再利用RNN模型對其進行向量化表示,最終完成關(guān)系推理任務(wù); Das等[55]將邏輯推理與神經(jīng)網(wǎng)絡(luò)結(jié)合,利用注意力機制對多條關(guān)系路徑進行推理,以獲得所有路徑加權(quán)后的信息,經(jīng)驗證該算法可以有效降低PRA算法的參數(shù)規(guī)模,同時允許共享參數(shù)的推理; Wang等[56]為了解決傳統(tǒng)基于路徑的推理方法存在的無法有效記憶走過的路徑以及訓(xùn)練容易中斷的缺陷,提出一種基于路徑的深度學(xué)習(xí)模型,該模型利用LSTM網(wǎng)絡(luò)和注意力機制的記憶功能實現(xiàn)過往路徑的記憶,同時利用增強學(xué)習(xí)機制有效解決訓(xùn)練中斷問題; 韓雨婷[57]提出一種語義路徑組合推理算法,該算法先將知識圖譜嵌入到低維空間當(dāng)中以提高計算效率,再利用基于強化學(xué)習(xí)的路徑發(fā)現(xiàn)模型獲得實體之間的有效連接,組后通過RNN獲得組合路徑向量以確定隱含關(guān)系; 陳海旭等[58]同樣提出一種基于嵌入和路徑組合的PSTransE模型,該模型利用路徑和關(guān)系的向量相似程度確定各類關(guān)系的出現(xiàn)概率,經(jīng)驗證較傳統(tǒng)推理算法有較大提升.

與此同時,還有混合統(tǒng)計規(guī)則與神經(jīng)網(wǎng)絡(luò)/表示學(xué)習(xí)的知識推理方法,同樣可以解決神經(jīng)網(wǎng)絡(luò)可解釋性較差的問題.Wang等[59]將規(guī)則加入到表示學(xué)習(xí)模型中,將推理問題轉(zhuǎn)化為整數(shù)線性規(guī)劃問題從而產(chǎn)生一系列的事實; Demeester等[60]在表示學(xué)習(xí)中加入正則后的一階約束方法,可以有效挖掘偏序關(guān)系; Yang等[61]借鑒TensorLog[62]的靈感,提出一種端到端的可微模型,該模型結(jié)合了一階邏輯規(guī)則學(xué)習(xí)過程以及神經(jīng)邏輯規(guī)劃過程,將推理過程轉(zhuǎn)化為可微操作序列.

混合推理將不同類型的推理方法相結(jié)合,有效彌補了單一類型方法存在的缺陷,但建模過程往往比較復(fù)雜.隨著科技領(lǐng)域的發(fā)展,算力瓶頸逐漸被打破,混合推理方法也逐漸成為目前主流方法之一,是眾多學(xué)者的研究方向.

3 知識推理應(yīng)用前景

通過知識推理技術(shù)可以對知識圖譜進行補全,同時也可以檢測已存在的錯誤三元組,對知識圖譜質(zhì)量的提升有重要意義.一方面,目前的知識圖譜構(gòu)建過程仍存在不規(guī)范等問題,導(dǎo)致一部分知識無法被歸納到知識圖譜中; 同時還有研究表示,目前的知識圖譜本身仍存在屬性缺失等問題[63],使得整個知識圖譜較為稀疏,難以滿足部分子任務(wù)要求.另一方面,在構(gòu)建圖譜過程中由于外部信息獲取參差不齊,導(dǎo)致可能存在錯誤的知識被添加至圖譜當(dāng)中,這些噪聲信息同樣會對部分子任務(wù)造成影響.

目前經(jīng)知識推理后獲得的更高質(zhì)量的知識圖譜可用于實體鏈接、智能問答、類型檢測、推薦系統(tǒng)等多個知識圖譜下游任務(wù)中,結(jié)合具體場景的推理任務(wù)包括但不限于沖突故障診斷、領(lǐng)域圖譜構(gòu)建、軍事輔助決策、智能醫(yī)學(xué)診療等.例如劉瑞宏等[64]以電信領(lǐng)域知識圖譜為對象,用知識推理技術(shù)對網(wǎng)絡(luò)故障進行診斷; 張春霞等[65]通過知識推理技術(shù)實現(xiàn)課程類知識圖譜的構(gòu)建; 張清輝等[66]將知識推理技術(shù)運用到軍事信息服務(wù)中,以獲得戰(zhàn)場中的信息優(yōu)勢; 韋昌法等[67]通過基于表示學(xué)習(xí)的推理技術(shù)探討中醫(yī)辨證發(fā)展、翟姍姍等[68]提出基于知識圖譜和病人畫像的智能診療推薦系統(tǒng)等.

3.1 實體鏈接

實體鏈接（entity linking）指將文本中提及的指稱與知識庫中的實體對應(yīng)起來,大部分的方法針對的是開放域?qū)嶓w連接任務(wù).一般來說,實體鏈接與知識圖譜是相互促進、相互關(guān)聯(lián)的[69],通過實體鏈接我們可以查詢知識庫中對應(yīng)的實體,通過知識圖譜可以更好地完成實體鏈接任務(wù).實體鏈接分為候選實體生成和命名實體消歧[70,71]兩個步驟,候選實體生成旨在利用指稱生成可能與之鏈接的候選實體集,主要有基于字典、基于人工標(biāo)注、基于搜索引擎等方法,目前框架體系已臻于完善,學(xué)者們的研究重點往往放在命名實體消歧步驟中.目前比較常用的實體消歧方法需要利用知識圖譜中豐富的實體和關(guān)系信息,例如Parravicini等[72]在知識圖譜上利用圖嵌入技術(shù)來進行消歧,該框架在不需要任何監(jiān)督訓(xùn)練的情況下就能在數(shù)據(jù)集上提供最先進的準(zhǔn)確性.正因如此,知識圖譜的質(zhì)量往往決定了實體鏈接的效率,通過知識推理任務(wù)提升知識圖譜質(zhì)量可更高效地完成實體鏈接任務(wù).

3.2 類型檢測

實體類型檢測（entity type inference）指對實體屬性進行推斷,是知識圖譜構(gòu)建的基礎(chǔ)任務(wù)之一.傳統(tǒng)依賴于人工的方法成本高,難以符合信息化時代的需求,目前比較簡單的方法是利用一些規(guī)則在知識圖譜中進行搜索,針對符合該規(guī)則的實體進行類型的推斷.然而知識圖譜的優(yōu)劣、推理規(guī)則的好壞仍然成為制約模型的瓶頸之一.鄭路也[73]提出一種多任務(wù)屬性分類體系,借助已知的實體類型的層級信息,構(gòu)建了實體類型的嵌入式表達作為訓(xùn)練數(shù)據(jù),并利用元學(xué)習(xí)技術(shù)在新任務(wù)上進行訓(xùn)練測試,取得了一定的效果; 張政等[74]以推測城市交通用地類型為例,將公共交通出行數(shù)據(jù)與行測和數(shù)據(jù)用作知識信息,利用卷積神經(jīng)網(wǎng)絡(luò)進行類型判斷.總體而言,將推理后的知識圖譜作為先驗知識加入到類型檢測任務(wù)中、或是將知識推理技術(shù)進行改進使其具備類型/屬性推理能力逐漸成為目前研究方向之一.

3.3 智能問答

智能問答（intelligent question-answering）是自然語言處理領(lǐng)域基礎(chǔ)任務(wù)之一,隨著知識圖譜的不斷完善,智能問答可依賴的知識源也更加符合客觀實際.知識圖譜構(gòu)建的初衷即是讓知識可以更好地被用戶搜索與查詢,而過去的搜索引擎是靜態(tài)的,通過對網(wǎng)頁中存儲好的信息進行搜索從而完成知識的展示,擴展能力不佳; 利用基于知識圖譜的知識推理技術(shù)可以動態(tài)完成知識的查詢,使整個系統(tǒng)更加靈活[75].Zhang等[76]為了解決智能問答中關(guān)鍵實體識別等問題,提出一種變分學(xué)習(xí)算法,該算法通過變分推斷實現(xiàn)多跳推理并找到答案,且在推理過程中不需要對整個知識圖譜進行表示學(xué)習(xí),只需要在每次查詢時對子圖進行表示學(xué)習(xí)即可; Lin等[77]為了縮小問答系統(tǒng)中機器與人之間的差距,使機器也具備常識推理能力,設(shè)計一個知識感知型圖神經(jīng)網(wǎng)絡(luò)框架KagNet,該框架以問答數(shù)據(jù)集Commonsense QA為基礎(chǔ),通過基礎(chǔ)圖的構(gòu)建和基于圖模型的推理兩部分構(gòu)成,框架中加入圖卷積神經(jīng)網(wǎng)絡(luò)以及注意力機制,可有效提升推理過程的可解釋性.

有關(guān)智能問答的應(yīng)用在工業(yè)界還有很多,隨著智能問答技術(shù)的發(fā)展,知識推理逐漸成為其內(nèi)在驅(qū)動力之一,兩者之間的融合創(chuàng)新將成為未來的研究熱點.

3.4 推薦系統(tǒng)

推薦系統(tǒng)（recommendation system）被定義為一種自動化信息檢索工具,它將用戶和商品信息融合,從而為每名用戶推薦其感興趣的內(nèi)容.近年來有學(xué)者提出可以將面向知識圖譜的推理技術(shù)應(yīng)用到推薦系統(tǒng)當(dāng)中[78],例如對用戶感興趣的商品的預(yù)測可以看作對知識圖譜中關(guān)系的補全.Catherine等[79]利用基于圖的知識推理方法挖掘用戶與商品之間的隱含關(guān)系路徑,通過關(guān)聯(lián)規(guī)則挖掘預(yù)測用戶感興趣的信息; Cao等[80]將知識圖譜補全技術(shù)與推進系統(tǒng)相結(jié)合,推測用戶感興趣的結(jié)果; 許智宏等[81]提出一種視頻推薦模型PtransE_CF模型,該模型主要解決圖譜數(shù)據(jù)稀疏的問題,核心思想是通過表示學(xué)習(xí)計算視頻之間的相似程度,再將其與用戶行為相似度進行對比,最終完成推薦任務(wù).

目前的推薦系統(tǒng)同樣面臨關(guān)系稀疏等缺陷,利用知識推理技術(shù)可以有效解決這類問題,為更高效準(zhǔn)確的推薦打下基礎(chǔ).

4 知識推理總結(jié)與展望

4.1 面向知識圖譜的知識推理總結(jié)

知識圖譜作為結(jié)構(gòu)化知識表示的工具之一,順應(yīng)智能化時代的需求,也是目前的研究熱點之一.眾多基于知識圖譜的下游任務(wù)需要更完備的知識信息,因此知識圖譜的完善成為目前亟待解決的問題,也促進著知識推理技術(shù)的不斷發(fā)展進步.近些年,國內(nèi)外眾多專家學(xué)者對知識推理技術(shù)進行了多個層面的研究,也提出了多種技術(shù)框架,取得了良好的效果.但總體而言,知識圖譜仍然存在關(guān)系稀疏、噪聲數(shù)據(jù)繁雜等問題,難以覆蓋客觀世界的大部分知識,仍需要繼續(xù)對這一技術(shù)進行鉆研.

4.2 知識推理展望

未來面向知識圖譜的知識推理方法仍將以各類知識圖譜下游任務(wù)作為依托,可應(yīng)用到眾多場景中.與此同時,知識推理需要向自動化、智能化發(fā)展,需要關(guān)注大規(guī)模時序知識圖譜中知識推理的可擴展性,大數(shù)據(jù)流處理中的推理效率、自動或半自動的規(guī)則推理實現(xiàn).最后從以下幾個重點技術(shù)展望未來知識推理的發(fā)展前景.

一是多模態(tài)知識推理技術(shù).隨著文本、視頻、音頻數(shù)據(jù)的大量出現(xiàn),眾多知識以不同的形式被表達,如何將這些知識進行表示對齊成為目前亟待解決的問題之一,因此基于多模態(tài)的知識推理技術(shù)應(yīng)運而生.從不同類型的數(shù)據(jù)中推理獲得關(guān)聯(lián)更符合客觀世界模型,也更容易被各類工業(yè)任務(wù)所應(yīng)用.

二是動態(tài)知識推理技術(shù).人類每天都在與知識圖譜進行交互,每時每刻也會產(chǎn)生大量的知識信息.因此傳統(tǒng)基于靜態(tài)圖譜的推理技術(shù)不能很好地表達時序信息,在眾多工業(yè)應(yīng)用場景中無法進行動態(tài)建模,也無法對工序信息進行處理.動態(tài)知識推理技術(shù)逐漸被學(xué)者研究,例如邵心玥[82]將時間信息加入到表示學(xué)習(xí)中,在部分測試集中取得一定的效果.隨著算力水平的提升,將時序信息加入知識推理技術(shù)將逐漸成為未來研究方向之一.

三是基于小樣本的知識推理技術(shù).人類具備通過已有知識積累和少量案例進行知識推理的能力,但機器解決這類問題還存在困難,目前眾多的知識推理方法難以在小樣本下獲得高階規(guī)則以及知識信息,導(dǎo)致推理效果差.近年來提出的小樣本學(xué)習(xí)方法（few-shot learning）為我們提供了解決問題的思路,如何將小樣本學(xué)習(xí)與知識推理結(jié)合起來值得被進一步研究.

四是碎片化知識推理技術(shù).隨著科技的進步與智能化水平的提高,碎片化知識信息大量出現(xiàn),現(xiàn)有的知識推理技術(shù)難以處理這些非結(jié)構(gòu)復(fù)雜碎片信息,導(dǎo)致信息利用率低,各類算法總結(jié)歸納能力不強.賈麗麗[83]提出基于粒計算的關(guān)聯(lián)規(guī)則挖掘算法以挖掘碎片化知識信息,取得了一定效果,但效率仍有待進一步提升.