單樣本條件下鄰域選擇聚合零次知識圖譜鏈接預測方法

摘 要：為了解決支持樣本有限條件下零次知識圖譜鏈接預測模型性能下降的問題，提出了一種單樣本條件下鄰域選擇聚合零次知識圖譜鏈接預測方法（NSALP）。該方法主要由特征提取器、生成器、判別器三個模塊實現。借鑒圖同構網絡的思想對特征提取器模塊進行改進，在聚合頭尾鄰域時為每個鄰域節點分配一個可學習的參數，進而過濾無關特征，凸顯有效特征；以頭節點嵌入與關系文本描述的組合作為生成器學習過程的引導，使生成器生成的新組合特征更加接近真實的知識三元組結構特征。在NELL-ZS和Wiki-ZS兩個零次知識圖譜數據集上，所提模型的性能對比基線模型分別提升了2.5和0.7百分點。在NELL-ZS進行的消融實驗中，所提extractor+和generator+模塊的性能表現均優于未做改進的模型，佐證了改進方法的有效性。

關鍵詞：知識圖譜；鏈接預測；零樣本

中圖分類號：TP391.1"" 文獻標志碼：A"" 文章編號：1001-3695（2025）01-009-0065-06

doi： 10.19734/j.issn.1001-3695.2024.06.0198

Neighborhood selective aggregation zero-shot knowledge graph link prediction method with single sample support

Abstract： In order to solve the problem of performance degradation of zero-shot knowledge graph link prediction model under the condition of limited support samples， this paper proposed a neighborhood selective aggregation zero-shot knowledge graph link prediction method with single sample support （NSALP）. The method contained three modules， such as feature extractor， generator and discriminator. It improved the feature extractor module by referring to the idea of graph isomorphic network， and assigned a learnable parameter to each neighborhood node when aggregating head and tail neighborhoods， so as to filter irrelevant features and highlight effective features. The combination of head node embedding and relation text description was used as the guide of the learning process of the generator， so that the new combination features generated by the generator were clo-ser to the real knowledge triple structure features. On NELL-ZS and Wiki-ZS zero-shot knowledge graph datasets， the perfor-mance of the proposed model is improved by 2.5 and 0.7 percentage points respectively compared with the baseline model. In the ablation experiments conducted on NELL-ZS， the performance of the proposed extractor+and generator+modules is better than that of the model without improvement， which proves the effectiveness of the proposed improved method.

Key words：knowledge graph; link prediction; zero-shot

0 引言

隨著信息技術的迅速發展，知識圖譜［1］的規模也變得越來越龐大。從問答系統、搜索引擎到大規模的推薦系統，這些應用背后都顯現出復雜知識圖譜的重要影響。盡管如今的大規模知識圖譜［2］非常復雜，但它們仍然存在高度的不完整性［3］。這種不完整性主要體現在信息的缺失和新知識的更新兩個方面。在信息的缺失方面，大規模知識圖譜通常由機器基于特定的語言模型自動提取文本中的關鍵詞或關鍵短語，再通過一定的方法組合為三元組，即生成一條知識［4］。由于模型的準確率限制，所生成的三元組可能存在錯誤或實體缺失，例如缺失頭實體或尾實體。在新知識的更新方面，每時每刻都有新的知識三元組需要加入到已存在的知識圖譜中。機械式地逐條添加顯然是低效的方法，因此如何從舊實體中啟發性地挖掘出新的知識組合也成為一個難題。知識圖譜鏈接預測方法［5］可以有效地解決知識圖譜高度不完整的問題，其包含多個子任務，如可見尾實體預測、可見關系預測和未知關系預測。可見性預測可以用于在已存在的知識中挖掘新的知識組合，或預測缺失的實體，即給定頭實體和關系，預測尾實體，或者給定頭尾實體，預測它們的關系，可見性預測能夠解決信息缺失問題［6］。而未知關系預測則是針對知識圖譜中新出現的實體，基于一定的方法將其與舊的實體組合，生成一條新的知識，并將其加入到圖譜中。這既解決了新知識更新的問題，又能夠實現知識圖譜擴充的目標。

早期的知識圖譜鏈接預測工作集中在靜態知識圖譜領域，其研究對象是已見的關系和實體，通過已知的實體關系對來學習實體的嵌入表示，進而挖掘更多的實體組合，發現更多的知識。例如TransE［7］、DistMult［8］、RESCAL［9］、ComplEx［10］等，這些都是基于嵌入表示學習的研究方法，通過構造評分函數，學習實體在連續向量空間的嵌入表示，使同一知識組合中的實體在向量空間中的嵌入表示接近，不同知識組合的實體嵌入表示距離較遠。雖然這些模型在處理復雜動態知識圖譜的能力已經捉襟見肘，但仍有很多動態知識圖譜鏈接預測使用這些模型學習到的嵌入作為預訓練階段的嵌入，如DistMult嵌入被廣泛使用到下面所提到的少樣本知識圖譜鏈接預測方法中，本文模型使用的預訓練嵌入也是由DistMult預訓練得到的。

知識圖譜存在長尾效應，當一條知識的可參考對象較少時（少于5個或更少），知識圖譜鏈接預測的準確率往往較低。如何提高這種情況下知識圖譜鏈接預測的準確率成為一個難題，而由此引發的研究分支被稱為少樣本知識圖譜鏈接預測問題。然而，機遇往往伴隨著風險，關系的訓練三元組越少，知識圖譜鏈接預測方法的研究價值就越大。現有研究通常假設所有關系都有足夠的訓練三元組，這限制了它們在受長尾效應影響的知識圖譜上的適用性［11］。如果一個模型只需少量的支持樣本就能夠預測新的三元組，那么可以認為該模型具備少樣本表示學習的能力，即能夠挖掘樣本間更深層次的聯系。現實世界的知識圖譜通常是動態的，每當獲得新知識時，就需要向圖譜中添加新的關系。為了預測新關系與舊實體的組合，以前方法通常依賴于這些關系的良好表示學習。然而，在訓練實例有限的動態場景中，新關系的隱含表示不能得到充分的學習，因此模型適應新關系的能力也受到限制。如果一條新的關系或者實體要加入到圖譜中，對于新的實體，沒有可以參考的知識對象，對其進行知識鏈接預測將會非常困難，此即零次知識圖譜鏈接預測問題。

在少樣本知識圖譜的研究領域，目前主流的研究有one-shot、few-shot知識圖譜鏈接預測兩個方面。Xiong等人［12］最早提出從少樣本支持角度研究知識圖譜鏈接預測問題，以使模型能夠擺脫知識圖譜長尾效應的影響，開拓性地提出了一個少樣本知識圖譜鏈接預測研究的基線模型，并開源了兩個用于少樣本知識圖譜鏈接預測問題研究的數據集。文獻［12］極大地促進了少樣本知識圖譜鏈接預測領域的研究發展，后期很多少樣本知識圖譜鏈接預測研究多基于此基線模型開展。Zhang等人［13］提出了使用關系感知注意力編碼器來編碼異構鄰節點嵌入，能夠有效地獲取異構鄰居信息。Chen等人［14］提出了一個元關系學習框架，通過傳遞特定于關系的關系元和梯度元來解決少樣本鏈接預測問題。Yao等人［15］提出用數據增強技術來解決少樣本知識圖譜鏈接預測問題。Wu等人［16］提出了一種分層關系表示學習方法來解決少樣本知識圖譜鏈接預測問題。Niu等人［17］提出一種新的門控注意力鄰居聚合器來聚合鄰居的精確嵌入。雖然上述方法已經將研究集中于少樣本角度，但都沒有將研究擴展到零次知識圖譜鏈接預測問題，即不能用來處理零次問題。

當實體或關系未曾在訓練集中出現過，無法通過索引得到其嵌入表示，此時的知識圖譜鏈接預測也被稱為零次知識圖譜鏈接預測問題，傳統的嵌入方法已經無法適用于零次預測，因為對于新的關系與知識，其嵌入是未知項。隨著自然語言處理領域研究的迅速發展，模型可以從關系的文本描述中提取出豐富的語義特征［18］。在這種條件下，零次知識圖譜鏈接預測的過程可以描述為，利用新關系的屬性信息（如文本描述）和舊實體的嵌入表示來學習新關系到新知識三元組的映射，從而根據新關系的屬性來為其預測實體對。Qin等人［19］最早將零次學習擴展到知識圖譜鏈接預測研究中，其開創性地提出使用生成對抗框架來解決零次問題，并且為零次知識圖譜鏈接預測問題研究提供了一個基線模型和兩個公開數據集。Geng等人［20］首次將本體知識的概念引用到零次知識圖譜鏈接預測任務中。雖然上述工作已經將研究重點轉移到了零次知識圖譜鏈接預測上，但都假設在模型的特征提取器預訓練過程中具有足夠的訓練樣例，這種假設在訓練樣例不足的情況下會限制生成對抗模型的適用性，并且直接使用關系文本描述嵌入向由三元組組成的知識嵌入映射也不具備足夠的可解釋性，因為這樣未能考慮兩者之間的異構性。因此本文提出了一種結構感知的零次知識圖譜鏈接預測方法，在訓練樣例不足的假設前提下，對上述工作進行改進。

本文基于一個生成對抗框架（ZSGAN）［19］，該框架假設在預訓練階段，有足夠的訓練實例來訓練特征提取器，以提取出良好的知識嵌入。但本文研究條件更加嚴苛，假設在預訓練階段，針對每個關系，特征提取器只有一個可供參考的訓練實例，即一個關系只有一個支持的樣本，在此條件下，原框架模型的性能明顯下降，因為ZSGAN存在兩個主要問題：特征提取器在聚合頭尾節點鄰域特征時適用于平均聚合的方法，平均聚合的優點在于計算速度快，缺點則是會引入過多的無關特征，本文只希望聚合同該條知識相關的特征；生成器在根據關系描述嵌入生成知識特征時未考慮知識特征的結構特性，強行地映射在直覺上不可解釋。

所以，出于嚴謹的考慮，本文主要包含針對生成對抗框架［19］的兩項改進：a）對于平均聚合問題，在預訓練的特征提取器部分，受圖同構網絡［21］方法的啟發，在聚合頭尾實體的一階鄰域信息時，為每個鄰節點分配了一個可學習的權重，以捕獲不同鄰節點對實體的不同程度影響，以凸顯有效鄰域特征，過濾無關鄰域特征；b）對于生成器的強行映射問題，本文將新關系文本嵌入和頭實體嵌入串接，同時再串接一個可學習的向量。嵌入組合在結構上與知識三元組相同，從一種組合嵌入映射到目標組合嵌入，模型在直覺上具備可解釋性。所提模型在兩個基準數據集上對比原模型取得了更好的性能表現。

1 相關定義與問題描述

1.1 知識圖譜的定義

知識圖譜G表示為三元組集合{（h，r，t）}E×R×E，其中Ε、R為實體集、關系集。知識圖譜鏈接預測的任務是預測兩個現有實體之間不可見的關系，或者在給定頭部實體和查詢關系的情況下預測尾部實體。目標是使真正的尾部實體排名高于其他候選實體t∈Ch，r（候選集）。本文效仿文獻［22］使用實體類型約束構建候選集。在預測的過程中，本文只考慮一個封閉的實體集，即在測試期間沒有未出現過的實體。

1.2 少樣本知識圖譜鏈接預測任務

在對三元組中的某一元進行預測時，如果僅依賴一個或者少量的訓練樣例，此時的預測過程即是one-shot或few-shot知識圖譜鏈接預測任務。因為本文的特征提取器預訓練過程遵循的是one-shot原則，所以此處有必要對one-shot知識圖譜鏈接預測任務進行詳細闡述［23］。one-shot知識圖譜鏈接預測的目標是學習一個僅依賴單支持樣例來預測缺失實體的度量模型。假設擁有一組訓練任務，每個訓練任務和知識圖譜中的一種關系r∈R相關聯，每個訓練任務有其獨立的訓練和測試三元組集{Dtrain，r，Dtest，r}。為了模擬評估時的單次預測，在每個關系訓練集Dtrain中僅有一個三元組（h0，r，t0）。對于每個查詢query（hi，r），關于r的測試集Dtest，r={（hi，r，ti，Chi，r）}包含r的測試三元組、尾實體真值ti和由知識圖譜G中實體組成的尾實體候選集Chi，r={tij}。度量模型在這個集合上進行測試，給定query（hi，r）和Dtrain，r中的標記三元組，根據度量模型的輸出對候選集Chi，r進行排序。設置好損失函數，經過訓練，給定新關系r′∈R′，即可以使用訓練好的度量模型對三元組中的缺失項進行預測。被用來測試的關系r′不同于訓練過程中的r，即R′∩R=。與訓練過程中的架構相同，每個測試關系r′也擁有自己的單支持訓練數據Dtrain，r′和測試數據Dtest，r′。

1.3 零次知識圖譜鏈接預測任務

在對三元組中的某一元進行預測時，如果沒有可依賴的訓練樣例，此時的預測過程即是zero-shot知識圖譜鏈接預測任務。對于每個query（hi，r），有一個真尾實體ti和一個候選集Chi，r，zero-shot模型計算ti的排名。根據zero-shot設置，有兩個不同的關系集，即可見關系集R、不可見關系集R′，R′∩R=。根據圖G，本文可以為每個已知的關系r構建一個訓練集Dtrain，r。在測試階段，模型的目標是為新關系（未知或未見的）r′預測實體，或稱為補全實體，候選的實體來自于圖G，是已知的。為了集中研究的視角，本文并不涉及未知實體，僅測試階段的關系是未知的。針對所有的關系，本文擁有其文本描述，包括未知的新關系，因為如果對于未知的新關系，本文不掌握任何信息，模型將無法學習。zero-shot的測試階段基本和one-shot相同，也是根據模型的輸出，對候選集Chi，r進行排序，取排名最高的候選實體作為預測的尾實體。

1.4 生成對抗框架

本文同樣基于一個生成對抗框架［24］，由于生成對抗框架的具體實現才是學者們研究的重點，故本節將對生成對抗框架進行簡要的介紹，模型的具體實現將放在下一章進行詳細的講解。生成對抗網絡通常由生成器、判別器和復雜的損失函數［25］三部分組成。生成器的實現有很多種方法，但其目標都是將輸入嵌入向量轉換成合理的偽嵌入向量，通過標準化和多次訓練，使偽嵌入向量的數據分布與真實嵌入向量的數據分布接近。鑒別器通常是一個分類器，其目標是將生成的嵌入向量和其真值區分開。經過生成器和判別器的不斷博弈，最終的理想狀態是判別器無法將生成器生成的偽嵌入向量和其真值區分開。如何訓練生成對抗網絡，避免不穩定的訓練行為和模式崩潰，是生成對抗框架研究的困難點。這一困難點可以通過設計復雜的損失函數來克服，不過這并不是本文的研究重點。在損失函數的設計部分，本文延續了文獻［19］中的設定，使用Wasserstein距離［26］作為評分函數，加入梯度懲罰策略［27］來進一步優化模型的訓練過程。

2 改進方法

本文提出了一種結構感知的零次知識圖譜鏈接預測方法，模型的具體實現包括預訓練特征提取器、結構感知的生成器和簡單判別器三個部分，模型框架如圖1所示。假設模型各個組成部分都是經過訓練的，給定一個測試樣例（h，r，t），其中t有多個候選實體，ti∈Ch，r。每一個候選實體ti都可以和（h，r）組成三元組（h，r，ti），將（h，r）輸入到生成器中得到相似樣本表示xfake，將（h，r，ti）輸入到預訓練特征提取器中得到候選表示xi，計算xfake、xi的余弦相似度作為（h，r，t）與（h，r，ti）接近程度的評分，對評分進行排名，取排名最靠前的xi對應的ti作為（h，r，t）的預測尾實體。下面將具體介紹如何計算相似表示xfake、候選表示xi。

2.1 預訓練特征提取器

通常情況下，一個知識圖譜中的實體數量遠多于關系數量。例如，在數據集NELL-ZS中，包含65 567個實體，共有188 392個三元組用來表示知識，但只有181種關系，實體數是關系數的362倍。因此知識圖譜中的關系與實體之間存在著一對多的映射關系。為了捕獲三元組中關系和頭尾實體的特征，本文需要計算關系基于結構的表示［28］，即使用聚合頭尾實體一階鄰域后的結果作為關系的特征表示，具體可分為三個步驟：首先是聚合頭鄰域和尾鄰域特征，然后聚合頭實體和尾實體特征，最后將聚合后的特征進行拼接作為關系的特征表示。

以聚合頭鄰域特征為例，文獻［12］使用鄰域節點嵌入的均值來表示鄰域特征，即平均聚合策略。平均聚合的優點是計算結構簡單，所訓練的模型具有較好的魯棒性。缺點是受噪聲影響較大，鄰域中的噪聲節點和有效節點享有一樣的聚合權重，導致有效特征被湮沒。受圖同構神經網絡（GIN）［21］的啟發，本文在聚合頭實體的一階鄰域信息時，為每個鄰節點分配了一個可學習的權重，以捕獲不同鄰節點對實體的不同程度影響，即

ueh=σ（parameter（ue1，ue2，…，uen））（1）

其中：parameter表示一組可學習的參數，維度為［50，1］;σ表示激活函數（下文相同）。

通過對關系的頭尾實體進行鄰域聚合，可以得到聚合后的頭鄰域特征ueh、尾鄰域特征uet。

下一步是聚合頭尾實體的特征uep，使用全連接網絡將原來實體特征ve的維度縮短為原來的一半，以進行下一步的特征拼接操作：

最后，三元組（h，r，t）中的關系r可用ueh、uet、uep的串接來表示：

預訓練特征提取器的訓練是一個自監督學習過程，具體策略如下：

針對某一關系r，在其支持集中隨機抽取一個樣本三元組（hsupport，r，tsupport），在訓練集中抽取正樣本（h+，r，t+），污染尾實體后得到負樣本（h+，r，t－），將三個樣本輸入預訓練特征提取器得到xsupport、x+、x－，計算xsupport與x+的余弦相似度得到score+，計算xsupport與x－的余弦相似度得到score－，尋找最優的參數組合ω={parameter，W1，b1}使計算得到的score+最大，同時score－最小，損失函數如下：

Lω=γ－score+ω+score－ω（5）

其中：ω是要學習的參數集；γ是邊界超參數，設置為10。

2.2 結構感知的生成器和判別器

在新關系生成器部分，原模型是純粹地從文本嵌入生成新知識的相似嵌入，但這種方法在直覺上不具備可解釋性，模型也很難訓練。由此本文提出一個新方法，即將新關系文本嵌入和頭實體嵌入串接，同時再串接一個可學習的向量。對于一個尾實體鏈接預測任務（h，r，？），頭實體嵌入veh和關于關系r的描述Tr是已知項，仿照預訓練特征提取器的結構樣式，關系r的特征表示設為

尾實體是需要預測的實體項，此時vet是未知的，所以此處通過為頭實體訓練一個新的嵌入來作為尾實體嵌入的近似：

vet=embedding（eh）（7）

將關系r的假設嵌入表示輸入到生成器中，生成器包含兩個全連接層，經過層歸一化操作，生成關系r的近似特征表示：

xfake=Gθ（ur）（8）

同時將關系r對應的真實三元組（h，r，t）輸入到預訓練特征提取器中得到x+。將xfake、x+輸入判別器，經過全連接層、層歸一化處理，最后經過線性分類器得出分類結果，同時輸出分類的評分。

生成器和判別器的訓練同樣是自監督學習過程，具體策略如下：

針對某一關系r，在訓練集中隨機抽取一個樣本三元組（hsupport，r，tsupport），在訓練集中抽取正樣本（h+，r，t+），污染尾實體后得到負樣本（h+，r，t－），將三個樣本輸入預訓練特征提取器得到xsupport、x+、x－，將（h+，r）輸入到生成器中得到xfake，將（xsupport，x+）、（xfake，xsupport）、（x－，xsupport）分別輸入到判別器中，判別器由一個分類層和一個相似性評分層組成，分類層得到相對應的分類結果，相似性評分層得到分類評分，訓練的總目標是最大化類間損失（對錯）同時最小化類內評分損失，生成器的損失函數如下：

LGθ=－E（D（xfake，xsupport））+

Lc（D（xfake，x－，xsupport））+LP（9）

其中：θ表示生成器的學習參數集；E表示類間損失項；Lc表示類內損失項；LP是懲罰項。

判別器的損失函數如下：

其中：表示判別器器的學習參數集；LGP是梯度懲罰項。

經過復雜的訓練過程，如果判別器輸出xfake、x+屬同一類別，即表明xfake可近似x+，生成器具備由關系r的假設結構特征向真實結構特征映射的能力。因為真實結構特征在本質上是三個嵌入的組合，那么改進生成器模型的工作即是從一種組合嵌入映射到目標組合嵌入，模型在直覺上具備足夠的可解釋性。

2.3 預測

假設模型各個組成部分都是經過訓練的，給定一個測試樣例（h，r，t），其中t有多個候選實體，ti∈Ch，r。每一個候選實體ti都可以和（h，r）組成三元組（h，r，ti），將（h，r）輸入到生成器中得到xfake，將（h，r，ti）輸入到預訓練特征提取器中得到xi，計算xfake、xi的相似度作為（h，r，t）與（h，r，ti）接近程度的評分，對評分進行排名，取排名最靠前的xi對應的ti作為（h，r，t）的預測尾實體。

3 實驗

3.1 數據集與評價指標

使用文獻［19］中提出的公開數據集驗證所提方法的有效性，在模型的預訓練階段，可參考的支持樣本數量均設置為1，以模擬支持樣本有限場景；在測試階段，生成器和特征提取器均沒有支持樣本做參考，以模擬零樣本預測。NELL-ZS選自NELL［29］，其包含65 567個實體，有188 392個三元組，共有181種關系，是一個小規模數據集。Wiki-ZS選自Wikidata，其包含605 812個實體，有724 967個三元組，共有537種關系，是一個中等規模數據集，訓練集、驗證集、測試集的劃分如表1所示。對于知識圖譜鏈接預測實驗的評估，一般使用平均倒數排名（mean reciprocal rank，MRR）和前N名正確結果百分比hits@N）兩個指標。較高的MRR或較高的hits@N表示被評估的方法具有較好的性能。

3.2 對比方法

本文研究所選取的對比方法分別是TransE、DistMult、ComplEx、ZSGAN［19］、OntoZSL［20］。前面三個都是基于嵌入表示學習的研究方法，通過構造評分函數，學習實體在連續向量空間的嵌入表示，使同一知識組合中的實體在向量空間中的嵌入表示接近，不同知識組合的實體嵌入表示距離較遠。其中，TransE將關系建模為實體低階嵌入的平移變換，DistMult是基于雙線性模型學習的神經網絡嵌入，ComplEx使用復數嵌入來解決鏈接預測問題，負數嵌入可以有效地模擬對稱關系和反對稱關系。從理論上思考，三種嵌入方法不適用于處理零樣本鏈接預測任務，因為零樣本預測任務中的關系從未在訓練集中出現，直接使用TransE、DistMult、ComplEx方法進行零樣本鏈接預測的性能表現一定非常不理想。但為了將本文所提出的模型和傳統的方法進行對比，在實驗過程中，三種方法不考慮關系的作用，直接選擇評分高的候選實體作為預測實體，對比實驗結果也佐證了本文的判斷。ZSGAN首次提出知識圖譜零樣本鏈接預測問題，并提出了一個與模型無關的生成對抗框架來解決零樣本預測問題，其性能表現遠超過傳統方法，該方法是本文的主要對比基線。OntoZSL首次將本體知識的概念引用到零次知識圖譜鏈接預測任務中，但由于代碼原因，本文未能在Wiki-ZS數據集上成功復現，所以本節僅在NELL-ZS的實驗中加入了對比。在對比實驗過程中，將ZSGAN、OntoZSL訓練時支持樣本數限制為1，以模擬支持樣本有限的條件。

3.3 參數設置與實驗環境

本文所使用的生成對抗框架的大部分參數與ZSGAN相同，詳細可參考ZSGAN。細節方面，對于NELL-ZS，本文將嵌入大小設置為100。對于Wiki-ZS，嵌入大小設置為50。TransE［7］、DistMult［8］、ComplEx［10］是基于開源知識嵌入工具包OpenKE7［30］實現的。模型基于PyTorch深度學習框架，使用Adam算法進行參數更新，操作系統為Windows 10，CPU為Intel i5-12400F，GPU為NVIDIA 3090Ti。

3.4 效果分析

表2 給出了本文方法與對比基線在兩個零樣本學習的知識圖譜數據集上的實驗結果，可以看出，本文方法在兩個數據集上的表現均達到了最優。從模型的角度分析，TransE、DistMult、ComplEx并不適用于零樣本鏈接預測問題，因為新關系是未知項，其嵌入尚不存在，此時零次鏈接預測的本質是根據頭尾實體的相似度預測尾實體，其結果指標表現一定很不理想。在單樣本支持的條件下，模型可參考的支持樣本數較少，ZSGAN的零次預測能力出現了較大的下降，原因在于ZSGAN的特征提取器在聚合頭尾節點鄰域特征時引入過多的無關特征；生成器在根據關系描述嵌入生成知識特征時未考慮知識特征的結構特性，強行地映射在直覺上不可解釋。OntoZSL的主體結構與ZSGAN相同，從理論上可以推測，在單樣本支持的條件下，OntoZSL的性能一定也會下降，但由于其引入了本體論的知識，性能表現要比ZSGAN優秀，實驗結果也正符合本文判斷。那么可以推測將本文方法加入到OntoZSL當中，一定也能提高在單樣本條件下OntoZSL的性能，這也是接下來的研究方向之一。NSALP在支持樣本有限的條件下，其性能超出了以上所有方法，MRR相較于基線ZSGAN分別提升2.5和0.7百分點。究其原因在于改進后的特征提取器能夠有效地提取實體鄰域特征以生成更合理的結構嵌入，同時改進的生成器能夠生成更加真實的結構嵌入，在兩個模塊的共同作用下，改進后的模型才有了良好的性能表現。

表3選舉了測試集中預測結果有明顯提升的關系（這里僅選取了提升較大的，不代表其他關系沒有提升），預測指標均為hits@1，因為這個指標表示首位命中的比例，更加能夠反映模型預測正確與否的能力。從表3可以了解到，部分關系的指標出現了翻倍的提升，如airportincity、airportincity、ceoof、producedby等。更難能可貴的是，部分關系的預測結果實現了從0到1的質變，如crimeorchargeofperson、crimeorchargeofperson等，這表明了本文NSALP有效地聚合了鄰域特征，避免了特征湮沒，從而才能預測對的結果。

消融實驗為了驗證本文在特征提取器和生成器兩個模塊所做改進的有效性，本文還進行了消融實驗，結果如表4所示，其中without any表示未改進的方法，with generator+表示僅使用了改進的生成器，相較于基線提升1.5百分點，僅使用改進后的生成器，模型的預測能力有所提高，這能夠佐證改進后的生成器模塊確實能夠根據輸入的結構特征生成更加接近真實結構嵌入的結果，表明生成帶結構的知識嵌入對預測結果至關重要。with extractor+表示僅使用了類圖同構網絡的提取器，相較于基線提升0.1百分點，如果只改進特征提取器，模型的預測性能很難提高。但是當兩個模塊共同發生作用，卻實現了1+1gt;2的效果，整體提升達到了2.5百分點。NSALP的整體性能表現最優則能夠證明，改進的特征提取器對模型整體的性能也是有很大貢獻的，改進后的特征提取器能夠有效地提取實體鄰域特征以生成更合理的結構嵌入。

4 結束語

本文提出了一個單樣本條件下鄰域選擇聚合零次知識圖譜鏈接預測方法，以解決當支持樣本有限時，零次知識圖譜鏈預測模型性能差的問題。方法主要由特征提取器、生成器、判別器三個模塊實現。通過對特征提取器模塊鄰域聚合方式的改進使其能夠為知識三元組的未知關系生成更加合理的結構特征，使用頭實體特征對生成器的學習過程進行引導，使生成器生成的新關系特征更加接近真實的知識三元組結構特征。在兩個數據集上的實驗結果也表明了所提模型的有效性，在NELL進行的消融實驗中，所提extractor+和generator+模塊性能表現均優于未做改進的模型，佐證了所提方法的有效性。但僅僅依賴關系文本描述來生成結構嵌入的方法所依賴的信息源稍顯單一，同時本文所依賴的主要學習框架——生成對抗網絡，其訓練過程十分之復雜，后續的研究將繼續圍繞零次知識圖譜鏈接預測問題開展，對如何將更多的信息源（如路徑推理、圖像、本體論）納入嵌入生成的過程進行研究，并思考提出一個能夠進行端到端訓練的神經網絡模型。

參考文獻：

［1］陳燁， 周剛， 盧記倉. 多模態知識圖譜構建與應用研究綜述［J］. 計算機應用研究， 2021， 38（12）： 3535-3543. （Chen Ye， Zhou Gang， Lu Jicang. Survey on construction and application research for multi-modal knowledge graphs［J］. Application Research of Computers， 2021， 38（12）： 3535-3543.）

［2］王傳慶， 李陽陽， 費超群， 等. 知識圖譜平臺綜述［J］. 計算機應用研究， 2022， 39（11）： 3201-3210. （Wang Chuanqing， Li Yang-yang， Fei Chaoqun， et al. Survey of knowledge graph platform［J］. Application Research of Computers， 2022， 39（11）： 3201-3210.）

［3］Bonan M， Ralph G， Li W， et al. Distant supervision for relation extraction with an incomplete knowledge base［C］// Proc of North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2013： 777-782.

［4］劉嶠， 李楊， 段宏， 等. 知識圖譜構建技術綜述［J］. 計算機研究與發展， 2016， 53（3）： 582-600. （Liu Qiao， Li Yang， Duan Hong， et al. Knowledge graph construction techniques［J］. Journal of Computer Research and Development， 2016， 53（3）： 582-600.）

［5］王碩， 杜志娟， 孟小峰. 大規模知識圖譜補全技術的研究進展［J］. 中國科學： 信息科學， 2020， 50（4）： 551-575. （Wang Shuo， Du Zhijuan， Meng Xiaofeng. Research progress of large-scale knowledge graph completion technology［J］. Science China Information Sciences， 2020， 50（4）： 551-575.）

［6］韓路， 尹子都， 王鈺杰， 等. 基于貝葉斯網的知識圖譜鏈接預測［J］. 計算機科學與探索， 2017， 11（5）： 742-751. （Han Lu， Yin Zidu， Wang Yujie， et al. Link prediction of knowledge graph based on Bayesian network［J］. Journal of Frontiers of Computer Science and Technology， 2017， 11（5）： 742-751.）

［7］Bordes A， Usunier N， García-Durán A， et al. Translating embeddings for modeling multi-relational data［C］// Proc of the 27th Annual Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 2787-2795.

［8］Yang Bishan， Yih W T， He Xiaodong， et al. Embedding entities and relations for learning and inference in knowledge bases ［EB/OL］. （2015-08-29）. https：//arxiv.org/abs/1412.6575.

［9］Nickel M， Tresp V， Kriegel H. A three-way model for collective learning on multi-relational data［C］// Proc of the 28th International Conference on Machine Learning. Madison： Omnipress， 2011： 809-816.

［10］Trouillon T， Welbl J， Riedel S， et al. Complex embeddings for simple link prediction［C］// Proc of the 33nd International Conference on Machine Learning. ［S.l.］： JMLR. org， 2016： 2071-2080.

［11］張寧豫， 謝辛， 陳想， 等. 基于知識協同微調的低資源知識圖譜補全方法［J］. 軟件學報， 2022， 33（10）： 3531-3545. （Zhang Ningyu， Xie Xin， Chen Xiang， et al. Knowledge collaborative fine-tuning for low-resource knowledge graph completion［J］. Journal of Software， 2022， 33（10）： 3531-3545.）

［12］Xiong Wenhan， Yu Mo， Chang Shiyu， et al. One-shot relational learning for knowledge graphs［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2018： 1980-1990.

［13］Zhang Chuxu， Yao Huaxiu， Huang Chao， et al. Few-shot knowledge graph completion［C］// Proc of the 32nd Innovative Applications of Artificial Intelligence Conference. Palo Alto： AAAI Press， 2020： 3041-3048.

［14］Chen Mingyang， Zhang Wen， Zhang Wei， et al. Meta relational learning for few-shot link prediction in knowledge graphs［C］// Proc of Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4217-4226.

［15］Yao Yuanzhou， Zhang Zhao， Xu Yongjun， et al. Data augmentation for few-shot knowledge graph completion from hierarchical perspective［C］// Proc of the 29th International Conference on Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2022： 2494-2503.

［16］Wu Han， Yin Jie， Rajaratnam B， et al. Hierarchical relational lear-ning for few-shot knowledge graph completion ［EB/OL］. （2022-09-16）. https：//arxiv.org/abs/2209.01205.

［17］Niu Guanglin， Li Yang， Tang Chengguang， et al. Relational learning with gated and attentive neighbor aggregator for few-shot knowledge graph completion［C］// Proc of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM Press， 2021： 213-222.

［18］Shi Baoxu， Weninger T. Open-world knowledge graph completion［C］// Proc of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 1957-1964.

［19］Qin Pengda， Wang Xin， Chen Wenhu， et al. Generative adversarial zero-shot relational learning for knowledge graphs［C］// Proc of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 8673-8680.

［20］Geng Yuxia， Chen Jiaoyan， Chen Zhuo， et al. OntoZSL： ontology-enhanced zero-shot learning［C］// Proc of Web Conference. New York： ACM Press， 2021： 3325-3336.

［21］Xu K， Hu Weihua， Leskovec J， et al. How powerful are graph neural networks？［EB/OL］ （2018-10-01）. https：//arxiv.org/abs/1810.00826.

［22］Toutanova K， Chen D， Pantel P， et al. Representing text for joint embedding of text and knowledge bases［C］// Proc of Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1499-1509.

［23］Ravi S， Larochelle H. Optimization as a model for few-shot learning［C］// Proc of International Conference on Learning Representations. 2016.

［24］王坤峰， 茍超， 段艷杰， 等. 生成式對抗網絡GAN的研究進展與展望［J］. 自動化學報， 2017， 43（3）： 321-332. （Wang Kunfeng， Gou Chao， Duan Yanjie， et al. Generative adversarial networks： the state of the art and beyond［J］. Acta Automatica Sinica， 2017， 43（3）： 321-332.）

［25］林懿倫， 戴星原， 李力， 等. 人工智能研究的新前線： 生成式對抗網絡［J］. 自動化學報， 2018， 44（5）： 775-792. （Lin Yilun， Dai Xingyuan， Li Li， et al. The new frontier of AI research： generative adversarial networks［J］. Acta Automatica Sinica， 2018， 44（5）： 775-792.）

［26］Arjovsky M， Soumith C， Bottou L. Wasserstein generative adversarial networks［C］// Proc of the 34th International Conference on Machine Learning. ［S.l.］： JMLR. org， 2017， 70： 214-223.

［27］Gulrajani I， Ahmed F， Arjovsky M， et al. Improved training of Wasserstein GANs［C］// Proc of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5769-5779.

［28］Schlichtkrull M， Kipf T N， Bloem P， et al. Modeling relational data with graph convolutional networks［C］// Proc of the 15th Internatio-nal Conference on Semantic Web. Berlin： Springer-Verlag， 2018： 593-607.

［29］Carlson A， Betteridge J， Kisiel B， et al. Toward an architecture for never-ending language learning［C］// Proc of the 24th AAAI Confe-rence on Artificial Intelligence. Palo Alto： AAAI Press，2010：1306-1313.

［30］Han Xu， Cao Shulin， Lyu Xin， et al. OpenKE： an open toolkit for knowledge embedding［C］// Proc of Conference on Empirical Methods in Natural Language Processing： System Demonstrations. Stroudsburg， PA： Association for Computational Linguistics， 2018： 139-144.