融合子圖結構的知識圖譜嵌入對抗性攻擊方法

張玉瀟,杜曉敬,陳慶鋒

(廣西大學 計算機與電子信息學院,南寧 530004)

0 引 言

近年來,作為人類結構化知識的一種形式,知識圖譜(Knowledge Graph,KG)得到越來越多來自學術界和工業界的關注和研究.知識圖譜最早由谷歌提出,其初衷是為了提升搜索引擎返回答案的質量以及用戶查詢的效率.在知識圖譜的輔助下,搜索引擎能夠掌握用戶查詢背后的語義信息,然后返回更為精準的結構化信息,從而提高用戶的搜索質量以及搜索體驗.知識圖譜又被稱作知識庫,能夠將互聯網中大量存儲的結構分散、內容多元的碎片信息以結構化的方式組織和利用起來.從物理結構上看,知識圖譜是由包括實體、關系以及它們的語義描述在內的事實三元組組成.其中,實體可以是現實世界中的具體對象或者抽象概念,關系代表兩個實體之間的相互聯系,語義描述則包含實體和關系的類型定義和屬性說明.知識圖譜其中知識可以通過事實三元組以(頭實體,關系,尾實體)形式表示,例如:三元組(史蒂夫.喬布斯,發明者,iPhone)表示“史蒂夫.喬布斯是iPhone的發明者”.從組織結構上看,知識圖譜是由節點-實體和邊-關系組成的網狀結構,可以看作一個有向圖,它的節點代表頭實體和尾實體,有向連邊代表頭實體和尾實體之間的關系.正是由于在知識存儲和管理上的優點,知識圖譜被廣泛應用于聊天機器人[1]、智能問答系統[2]和智能推薦系統[3]等人工智能相關的應用,并取得了巨大的成功.因此,許多大型開源知識圖譜包括Freebase[4]、Dbpedia[5]、YAGO[6]和NELL[7]等得到了開發和應用.

在知識圖譜相關研究中,知識表示是知識圖譜應用的基礎.一方面,雖然知識圖譜能夠有效記錄大量的知識,但是它們底層的符號特性使得它們不能直接應用于機器學習模型中.另一方面,當前最先進的知識圖譜也仍存在三元組缺失等問題,因此進行知識圖譜的鏈接預測任務至關重要.知識圖譜的知識表示學習(Knowledge Representation Learning,KRL)也稱為知識圖譜嵌入[8](Knowledge Graph Embedding,KGE),同詞嵌入方法捕獲單詞的語義信息類似,通過將實體和關系映射到低維向量中,捕獲它們的語義信息.知識圖譜嵌入相較于one-hot 編碼,能夠提高計算效率,并且能夠緩解數據稀疏問題,達到融合異構信息的目的.同時,知識圖譜嵌入還保留實體和關系原有的結構信息,可有效應用于包括鏈接預測和關系推理等相關下游任務.

盡管知識圖譜嵌入越來越普及并取得了越來越好的效果,但是同其他機器學習模型一樣,知識圖譜嵌入極易受到對抗性擾動樣本(Adversarial Perturbation Samples)的干擾.所謂的對抗性擾動樣本是指在原始的干凈樣本數據集上進行的修改(如在原知識圖譜上刪除或者添加三元組),微小的擾動對于整體知識圖譜而言是微不可查的,但是卻能誘導知識圖譜嵌入的輸出發生偏差.例如Zhang等人[9]在WN18數據集上僅僅通過刪除1條相關三元組便使得知識圖譜嵌入模型在目標三元組上的前十命中率從0.7降到0.26,這個過程也就是對知識圖譜嵌入進行對抗性攻擊.目前知識圖譜嵌入對抗性攻擊的相關研究[10]表明,針對目標三元組,在訓練集中刪除或者添加少量精心設計的擾動樣本就能夠對訓練后的嵌入模型造成極大的傷害,甚至能夠使得嵌入模型對目標三元組產生完全錯誤的預測結果.事實上,目前許多知識圖譜都是建立在不可靠甚至公共數據源之上,如著名的Freebase知識圖譜從包括個人以及維基用戶提交等來源獲取數據,這類數據的開放性會使得知識圖譜嵌入模型很容易受到惡意的攻擊.當受到攻擊時,知識圖譜嵌入模型會產生大量不可靠甚至有偏差的嵌入結果,對相關下游任務和應用造成損害.例如,在反詐騙應用中,嫌疑賬戶通過在財務關系知識圖譜中與其他正常賬戶進行交易產生聯系,從而規避檢測模型[11];垃圾郵件發送者通過創建虛擬的關注者,以增加虛假信息被推薦和傳播的機會[12]等.知識圖譜嵌入技術被廣泛應用到各種相關人工智能應用當中,如果在現實生活中知識圖譜嵌入不能有效防御對抗性攻擊,惡意的攻擊就將會給普通民眾帶來金錢損失和人身傷害,特別是對于許多安全敏感的應用,這甚至會對社會安全造成嚴重的威脅.因此,知識圖譜嵌入的健壯性以及對抗性攻擊的研究具有重要的意義與價值,也可為防御對策提供參考.

1 相關工作

1.1 知識圖譜嵌入

作為人類結構化知識的一種形式,知識圖譜是事實的結構化表示,由實體、關系和語義描述組成.知識圖譜嵌入將知識圖譜的實體和關系轉化為連續的低維向量空間,這樣既方便了知識圖譜的操作同時保留了知識圖譜原有的結構和語義.對于知識圖譜嵌入的研究主要集中在以下4個部分:表示空間、評分函數、編碼模型和知識圖譜輔助信息.

表示空間的關鍵問題是學習實體和關系的低維分布式嵌入,現有的知識圖譜嵌入的表示空間主要有實值點集空間(包括向量、矩陣和張量空間)、復數向量空間、高斯空間和流形空間等.點集歐式空間被廣泛應用于表示實體和關系,在向量或矩陣空間中投影關系和實體的嵌入.其中,TransE模型[13]在d維向量空間中表示實體和關系即h,r,t∈d,并使嵌入遵循平移原理h+r≈t.為了解決實體和關系在單一空間不足的問題(在處理一對多、多對一和多對多復雜關系時的局限性),TransR[14]進一步引入了實體和關系的分離空間,使用投影矩陣Mr∈k×d將實體(h,t∈k)投影到關系(r∈d)空間.NTN模型通過雙線性張量神經層對實體進行多維度建模,頭實體和尾實體之間的關系被捕獲為一個張量,表示為在復數向量空間中,實體和關系不再使用實值空間,而是在復數空間中表示,其中h,r,t∈d.以頭實體為例,h有一個實部Re(h)和一個虛部Im(h),即h=Re(h)+iIm(h).在歐拉等式eiθ=cosθ+isinθ的啟發下,RotatE[15]提出了一種旋轉模型,該模型以關系作為復數空間中從頭實體到尾實體的旋轉,如t=h°r.其中° 表示元素哈達瑪積.高斯空間中,基于密度的KG2E嵌入模型引入高斯分布來處理實體和關系的(不)確定性,將實體和關系嵌入到多維高斯分布H～N(μh,∑h)和T～N(μt,∑t)中.

得分函數用于衡量事實三元組的合理性,有兩種典型的評分函數,基于距離的評分函數和基于相似性的評分函數.基于距離的評分函數通過計算實體之間距離來衡量事實三元組的合理性,其中具有h+r∈t關系的Trans系列模型被廣泛使用.基于語義相似性的評分函數通過語義匹配來衡量事實三元組的合理性,語義匹配通常采用乘法公式,即hTMr≈tT.編碼模型包括線性/雙線性模型、因式分解模型和神經網絡模型.線性模型通過將頭部實體投影到接近尾部實體的表示空間中,將關系表示為線性/雙線性映射.因式分解旨在將關系數據分解成低秩矩陣進行表示學習.神經網絡模型用非線性神經激活和更復雜的網絡結構編碼關系數據.為了便于更有效的知識表示,一些嵌入模型結合了外部輔助信息,如文本描述、類型約束、關系路徑和視覺信息以及知識圖譜本身等.

1.2 對抗性攻擊

研究者們很早之前就已經開始研究在圖像、圖數據以及知識圖譜上的機器學習模型的健壯性(或魯棒性),最早可以追溯到圖像分類任務上的對抗性攻擊研究.2014年,Szegedy等人[16]首次發現了圖像上存在的少量人類難以察覺的改動(也稱為擾動)能夠導致深度學習模型輸出完全錯誤的分類結果,他們進而嘗試通過方程求解使深度神經網絡分類錯誤的最小擾動解.但是由于計算難度很高,他們提出基于盒約束的L_BFGS方法,將問題轉化為凸優化過程,尋找最小的損失函數添加項,從而使得深度神經網絡分類錯誤.受圖像分類對抗性攻擊的啟發,圖數據上的圖表示學習的健壯性也相繼得到研究,并取得不錯的效果.圖表示學習主要分為圖神經網絡(Graph Neural Network)、網絡嵌入(Network Embedding)和知識圖譜嵌入等.2018年,Zügner等人[17]首次提出圖神經網絡的對抗性攻擊方法.他們提出的NETTACK方法,利用節點的特征和圖的結構,構建評估函數進而篩選出攻擊效果最佳的連邊.實驗表明,即使只進行少量的擾動攻擊,節點分類的準確性也會顯著降低,且這種圖神經網絡攻擊方法具有可轉移性.隨著對抗性攻擊工作的日益積累,許多不同角度的攻擊方法得到研究.

通常對抗性攻擊根據攻擊者的知識背景可以分為白盒攻擊、黑盒攻擊和灰盒攻擊.1) 白盒攻擊:目標模型的相關參數、訓練數據、標簽和預測輸出等所有信息均可獲知,攻擊者根據這些信息進行相應攻擊策略的選擇,例如利用模型的損失函數的梯度進行攻擊.然而在實際攻擊場景中,攻擊者通常無法全部掌握所有信息,因此白盒攻擊常用于評估目標模型在極端不利情況下的魯棒性;2) 灰盒攻擊:白盒攻擊設定攻擊者可以通過模型參數來計算梯度等方式直接進行攻擊,這在現實場景中并不總是可行的.大部分情況下攻擊者并不能完全獲知目標模型的結構,通過帶標記的數據訓練一個目標模型結構類似的替代模型,對替代模型進行白盒攻擊,實現對目標模型的攻擊;3) 黑盒攻擊:黑盒攻擊設定攻擊者對于目標模型的相關參數以及訓練數據等完全不可知,攻擊者只能通過目標模型的輸入信息和輸出信息進行攻擊,因此黑盒攻擊最難以實施.

通常對抗性攻擊可以發生在模型訓練和模型測試兩個階段,攻擊者的攻擊能力意味著對抗性攻擊發生的階段,分為中毒攻擊和逃逸攻擊兩類.中毒攻擊(Poisoning attack)作用在目標模型的訓練階段,攻擊者通過在訓練數據集中添加擾動樣本來影響訓練后的目標模型的性能.逃逸攻擊(Evasion attack)發生于目標模型已經訓練好之后或者發生在目標模型的測試階段.此時目標模型已經固定,攻擊者無法通過任何手段修改模型的參數或者結構.逃逸攻擊的目標是在測試階段添加對抗樣本,使得目標模型對測試階段中的對抗樣本做出錯誤判斷.

1.3 知識圖譜嵌入對抗性攻擊

隨著圖神經網絡上的對抗性攻擊研究不斷取得進展,知識圖譜嵌入的對抗性攻擊也逐漸取得關注.2019年,Zhang等人[9]首次提出對知識圖譜嵌入模型的對抗性攻擊方法.由于知識圖譜的異構特性,圖神經網絡上的攻擊方法不能直接應用到知識圖譜嵌入中,作者提出一系列包括直接刪除攻擊(Direct Deleting Attack)、直接添加攻擊(Direct Adding Attack)、間接刪除攻擊(Indirect Deleting Attack)與間接添加攻擊(Indirect Adding Attack)等方法,有效操縱了知識圖譜中任意目標事實的合理性.2021年,Bhardwaj等人[10]利用知識圖譜的關系模式,通過推理模式包括對稱模式、反轉模式與組成模式提高知識圖譜嵌入模型對于虛假三元組的預測置信度.如圖1所示,該知識圖譜由個人和銀行賬戶兩種類型的實體組成,最初的知識圖譜嵌入模型對目標三元組(Karl,affiliated_with,Joe_the_mobster)的預測為真.但是當惡意攻擊者添加了兩條虛假的對抗性三元組后,這兩條三元組通過組合模式將Karl和一個并不可疑的人Bob關聯起來.此時,重新訓練后的知識圖譜嵌入模型將目標的三元組預測為假.目前已有的知識圖譜嵌入攻擊都是從嵌入模型的損失函數出發,通過構建目標三元組相關的攻擊得分函數進行攻擊,缺少對于知識圖譜圖結構信息的掌握,往往難以得到最佳的攻擊樣本.同時,已有的知識圖譜嵌入攻擊均屬于白盒攻擊,在實際的攻擊中,攻擊者往往無法完全掌握嵌入模型的全部信息,一旦相關嵌入模型對評分函數和訓練過程等進行優化,原先的攻擊就有可能失去效果.針對上述已有的對抗性攻擊存在的問題,本文從子圖結構出發,通過修正的余弦相似度進行輔助攻擊.

圖1 知識圖譜嵌入對抗性攻擊示例[10]Fig.1 Example of adversarial attack on knowledge graph[10]

2 DLOSSAA知識圖譜嵌入攻擊方法

2.1 問題定義

為了便于后續的描述和方便理解,本節首先對相關問題進行定義和說明.

定義1.(知識圖譜)對于一個給定的知識圖譜,本文用G=(V,E)表示,其中V代表所有的實體節點,E代表實體之間的真實連邊,其中E分為兩個部分:可觀測到的鏈接EO和未知鏈接ET,EO∪E,EO∩ET=?.這里,由于本文基于目標三元組的子圖結構,不同于其他知識圖譜定義的是,G被定義為無向圖.

定義3.(代理模型)根據灰盒攻擊的定義,攻擊者根據掌握的目標模型的部分信息,利用標記的訓練數據訓練一個代理模型近似目標模型,然后生成擾動樣本進行攻擊.

根據上述的定義,本文采用基于圖結構的鏈接預測任務訓練代理模型,通過代理模型生成擾動樣本對目標知識圖譜嵌入模型進行灰盒攻擊.

2.2 DLOSSAA子圖結構深度學習框架

子圖結構深度學習模型的框架如圖2所示,以知識圖譜中目標三元組原始的相關子圖作為輸入,并在相同節點上輸出一個帶有新的鏈路權值的圖,鏈路權重的大小代表對子圖以及目標三元組的重要程度.如圖2中左邊原始子圖所示,為了提高子圖結構的學習能力,采用目標三元組的三階及低階鄰接矩陣作為輸入來學習子圖結構.如圖2中右邊生成的新的帶有鏈路權值的子圖所示(高權值鏈接用粗線條表示),對目標三元組以及子圖重要性高的鏈接的權值在訓練中得到增強.

圖2 圖結構深度學習框架Fig.2 Graph structure of deep learning framework

Z*=λ(λXTX+I)-1XTX

(1)

其中,I表示單位矩陣.這樣權值鄰接矩陣可以計算為:X*=XZ*,因此圖結構深度學習模型的更新過程可以表示為:

(2)

X*=φ(X,n,λ)

(3)

為了更好地捕獲圖的結構信息,學習框架還考慮了二階及三階鄰接矩陣,這樣最終的輸出定義為:

O*=φ(X,n,λ1)+αφ(X2,n,λ2)+βφ(X3,n,λ3)

(4)

其中,X,X2與X3為線性編碼的輸入,λ1,λ2與λ3為參數,α與β為正則化參數,鄰接矩陣O*中的所有元素都可能為非0值,代表相關鏈接在圖結構中對于目標三元組的影響力.圖結構深度學習的過程如算法1所示.

算法1.子圖結構深度學習

輸入：目標三元組相關子圖的鄰接矩陣X,迭代層數n,參數λ1,λ2與λ3以及正則化參數α與β

輸出：優化鄰接矩陣O*

1.分別獲取二階及三階鄰接矩陣X2,X3

2.基于公式(4)學習第n層鄰接矩陣

3.計算最終優化鄰接矩陣O*

2.3 修正的余弦相似度方法

由上節可知,圖結構學習模塊最終學習的優化鄰接矩陣中的元素的值均可能非0,其權值大小代表對目標三元組鏈接相關子圖的影響程度.一般情況下,可以直接通過優化鄰接矩陣O*篩選擾動樣本進行攻擊,對抗性刪除攻擊情況下可以根據O*選出EO中權值最大的鏈接作為擾動樣本進行刪除.然而對于添加攻擊,考慮到知識圖譜不同關系的存在,也就是在將ET中的權值最小鏈接添加到知識圖譜的訓練集中時,僅確定兩個實體間存在鏈接并不夠,還需要確定中間關系.顯然,通過窮舉每個實體對與關系的組合作為擾動樣本分別進行攻擊選出最優的組合并不可行,這樣每次攻擊都需要重新訓練知識圖譜嵌入模型,計算量過大.另外,通過隨機選取一個關系與實體對組合成擾動樣本的方法難以得到最優的擾動樣本,攻擊效果也不穩定.

為了解決上述問題,本文采用修正的余弦相似度[18](Adjusted Cosine Similarity)輔助攻擊.需要注意的是,利用修正的余弦相似度衡量擾動樣本與目標三元組之間的影響力,此時的攻擊屬于白盒攻擊,需要掌握目標嵌入模型包括嵌入表示在內的全部信息.給定兩個向量a,b∈d,它們之間的余弦相似度可以定義為:其中:=顯然,余弦相似度側重于通過特征向量之間的角度來衡量兩個向量之間的相似程度.直觀上,兩個三元組的嵌入向量之間的相似度越高,代表這兩個三元組彼此間的影響力越強,修改其中的一條三元組對于剩下的三元組的干擾越高.

余弦相似度致力于從方向上區分差異,但是卻對絕對數值并不敏感,這容易出現在位置上差距很大但是相似度卻很高的情況,例如真實性度量相差較大的兩個三元組,它們的嵌入向量間的余弦相似度反而較高.為了解決余弦相似度對絕對數值的不敏感性導致結果的誤差,修正的余弦相似度先對向量a,b∈d進行修正,即在所有維度上的數值減去它們的均值:然后再對修正后的向量a′,b′計算余弦相似度.

對于知識圖譜嵌入來說,一個三元組的嵌入表示(h,r,t)包含了h,r,t∈k共3個嵌入向量,為了能夠利用修正的余弦相似度來分析擾動樣本三元組Z與目標三元組X之間的相似程度φ(Z,X),首先將三元組的實體和關系的嵌入組合起來,這里本文采用點積的形式:這里hZ表示三元組Z的頭實體嵌入向量.然后計算fZ與fX的修正向量f′Z與f′X,最后得到三元組Z和X間修正的余弦相似度:

φ(Z,X):=cos(f′Z,f′X)

(5)

2.4 對抗性攻擊

在前面兩節中,對于本文使用到的模型和方法進行了介紹,本節將前兩節生成的擾動樣本進行知識圖譜嵌入對抗性攻擊.

本文為了降低計算難度以方便計算,同時為了同其他知識圖譜嵌入對抗性攻擊設定保持一致,將對抗性攻擊分為對抗性刪除和對抗性添加攻擊兩個部分分開進行研究.事實上,知識圖譜嵌入的對抗性添加攻擊的難度比刪除攻擊的難度高很多,這是因為刪除攻擊只需要在訓練集中存在的真實三元組中篩選擾動樣本即可,而添加攻擊卻需要在訓練集中添加并不存在的三元組,考慮到知識圖譜的規模,添加攻擊的搜索空間往往非常龐大,這也是本文分開進行刪除和添加攻擊研究的原因.

根據定義4,本文分別從對抗性刪除攻擊和添加攻擊進行知識圖譜嵌入的攻擊,首先介紹對抗性刪除攻擊.如圖3所示,其中3(a)表示利用目標三元組子圖結構深度學習得到的帶權值的子圖,其中加粗線條表示的鏈接對于目標三元組具有較高的影響力.直觀上,刪除權值最高的鏈接能夠最大程度上降低目標三元組的可信度,如圖3(b)中虛線所示.考慮到攻擊預算Δ(刪除或者添加三元組的個數),基于子圖的優化鄰接矩陣O*獲取擾動樣本,如算法2所示,這種刪除攻擊屬于灰盒攻擊.為了進步提升刪除攻擊的效果,可以根據修正的余弦相似度輔助篩選,只需計算EO中鏈接對應的三元組與目標三元組T的相似度,再根據Δ選取相似度最高的三元組作為刪除擾動樣本集即可.

圖3 基于子圖結構深度學習的對抗性攻擊示例Fig.3 Example of adversarial attack based on sub-graph structure deep learning

算法2.對抗性刪除攻擊

輸入：原知識圖譜G=(V,E),目標三元組T,攻擊預算Δ

1.獲取目標三元組的相關子圖

2.利用算法1計算相關子圖的優化鄰接矩陣O*

3.根據相關子圖得到EO

4.按照O*降序排列EO

5.基于Δ獲取刪除攻擊擾動樣本Eattack-

算法3.對抗性添加攻擊

輸入：原知識圖譜G=(V,E),目標三元組T,攻擊預算Δ

1.獲取目標三元組的相關子圖

2.利用算法1計算相關子圖的優化鄰接矩陣O*

3.根據相關子圖得到ET

4.按照O*升序排列ET

5.基于Δ獲取添加攻擊擾動樣本的頭尾實體對

6.將頭尾實體對于所有關系組合得到候選擾動樣本集

7.根據公式(3)～公式(5),計算候選樣本三元組與T的相似度φ

8.對于每個頭尾實體對,篩選出φ最低的擾動三元組

9.根據篩選出的擾動樣本生成Eattack+

本文的對抗性添加攻擊如算法3所示,首先需要對目標三元組的相關子圖進行圖結構深度學習得到優化鄰接矩陣O*.根據2.3節,在進行添加攻擊時,不僅要考慮到需要實體對E×E,還需要考慮實體對之間的實體.如果僅僅考慮實體對,那么通過優化鄰接矩陣O*選取鏈接權值最小的實體對,然后隨機選取關系組成擾動樣本三元組,最后添加到訓練數據集中,這樣盡可能對目標三元組的真實性造成影響.本文通過修正的余弦相似度對實體對與關系的所有組合進行篩選,進一步篩選出與目標三元組相似度最低的組合,如圖3(c)所示,圖中的虛線線條代表的三元組便是經過篩選后的擾動樣本.

3 實驗結果分析

3.1 數據集

本文采用兩個通用的知識圖譜數據集:FB15K-237和WN18RR驗證和評估對抗性攻擊方法的效果.完成知識圖譜嵌入的鏈接預測,并與其他對抗性攻擊方法進行對比分析.FB15K237源于Freebase,是一個由大量關于電影、演員、獎項、體育和運動隊等真實事實組成的知識圖譜.WN18RR屬于WordNet,是一個大型詞匯知識圖譜.FB15K-237和WN18RR的統計信息如表1所示.

表1 WN18RR與FB15K-237統計Table 1 Statistics of WN18RR and FB15K-237

為了驗證子圖結構攻擊方法降低鏈接預測性能的效果,本文采取了篩選措施:從基準數據集的測試三元組集中選取子圖結構較為復雜度排名較高的三元組子集,這樣可以過濾掉知識圖譜稀疏的部分,從而更好地研究知識圖譜的子圖結構.

3.2 對比模型

本文選取3個最具代表性的知識圖譜嵌入模型:TransE、DistMult和ComplEx作為目標模型,它們的評分函數及相關參數在第1節有詳細介紹.本文將提出的基于子圖結構深度學習的對抗性攻擊方法在這些目標模型上與目前已有的對抗性攻擊方法進行對比.在這些對抗性攻擊方法中,Random_d方法隨機從基準數據集的訓練集中隨機選取三元組作為擾動樣本進行刪除攻擊;Randon_a方法則隨機生成不存在于訓練集中的三元組作為擾動樣本進行添加攻擊.Random_d和Randon_a方法都是采用完全隨機的方法進行攻擊,用來研究嵌入模型在隨機攻擊情況下的性能表現,同時作為其他對抗性攻擊方法的參照.Direct_Del和Direct_Add是由Zhang等人[9]提出的利用目標嵌入模型評分函數以及梯度進行對抗性刪除和添加攻擊;CRIAGE方法是由Pezeshkpour等人[19]提出的通過構造自動編碼器在潛在空間中重建實體和關系來進行對抗性攻擊.需要注意的是,該方法僅針對DistMult模型,由于構造的自動編碼器的原因無法適用到TransE模型和ComplEx模型.Bhardwaj等人[20]先后提出了RIP(Relation Inference Pattern)方法和IA(Instance Attribution)方法進行知識圖譜嵌入對抗性攻擊.其中,RIP方法包括對稱模式、翻轉模式和組合模式3種攻擊模式,這里本文采取這3種攻擊模式攻擊結果的平均值作為對比結果;IA方法則采用相似性度量作為衡量指標生成擾動樣本.

為了便于進行試驗和統一比較,本文隨機從基準數據集的測試集中選取100條三元組作為目標三元組,并統一作為這些對抗性攻擊方法的目標三元組,其他攻擊設置均保持一致.

3.3 評價指標和實驗設置

同之前的知識圖譜嵌入對抗性攻擊工作一樣,本文采用MRR和Hit@10作為實驗的評估指標,這兩個指標也是知識圖譜嵌入模型在鏈接預測上的常用評估指標.MRR是指所有真實三元組的平均倒數排名,Hit@10是指正確三元組排名前十的比例.MRR和Hit@10值越大代表知識圖譜嵌入模型在鏈接預測上的性能越好,而對抗性攻擊后它們的值越低則代表對抗性攻擊方法的效果越好.

由于計算資源的限制,試驗中知識圖譜嵌入模型的維度均設置為k=50,訓練迭代次數設置為500次.為了統一標準,知識圖譜嵌入模型的訓練使用THUNLP-OpenKE提供的代碼實現[21],其他參數采用默認設定.對于本文提出的DLOSSAA模型,實驗中λ1,λ2與λ3均設置為0.12,正則化參數α與β分別設置為0.1和0.005,模型迭代層數n設置為4.同時,對于對抗性攻擊的攻擊預算(attack budget,添加干擾樣本的數量)統一設置為1.這些攻擊方法基于Pytorch和Python 3實現,相關代碼在配有RTX 2080 Ti GPU 的服務器上運行.

3.4 實驗結果與分析

本節將對相關實驗結果進行詳細展示和說明,并對本文提出的基于子圖結構深度學習的知識圖譜嵌入對抗性攻擊方法的攻擊效果進行分析和討論.表2與表3顯示的是在不同知識圖譜數據集上對抗性刪除攻擊的結果,表4與表5則是在對抗性添加攻擊的實驗結果.這幾個表都按照行中的內容分為了4個區域塊,并用邊框線進行分割.第1個區域塊中的內容為3個目標知識圖譜嵌入模型以及分別對應的評價指標,第2個區域為在原始的知識圖譜數據集上相關嵌入模型的結果,其中*表示該數據來源于Dettmers[22]中的數據結果,這些結果將與嵌入模型在攻擊后的知識圖譜上得到的實驗結果進行對比.第3個區域為已有的的對抗性攻擊方法在不同知識圖譜數據集上對不同的知識圖譜嵌入模型攻擊后嵌入模型的結果,顯然,攻擊后的結果越低表明攻擊方法越有效.第4個區域是本論文提出的對抗性攻擊方法的實驗結果,其中DLOSSAA(Deep Learning of Subgraph Structure Adversarial Attack)表示基于子圖結構深度學習進行對抗性攻擊,DLOSSAA_Cosine則表示在子圖結構深度學習的基礎上利用修正的余弦相似度輔助攻擊.

表2 對抗性刪除攻擊在FB15K-237上的結果Table 2 Adversarial deleting attack on FB15K-237

表3 對抗性刪除攻擊在WN18RR上的結果Table 3 Adversarial adding attack on WN18RR

表4 對抗性添加攻擊在FB15K-237上的結果Table 4 Adversarial deleting attack on FB15K-237

表5 對抗性添加攻擊在WN18RR上的結果Table 5 Adversarial deleting attack on WN18RR

對抗性刪除攻擊:對抗性攻擊刪除攻擊的實驗結果如表2與表3所示,其中表2為在FB15K-237知識圖譜數據集上的攻擊結果,表3為在WN18RR上的攻擊結果.首先對比Random_d和Randon_a攻擊方法攻擊前后的實驗結果,可以發現通過隨機選取三元組作為擾動樣本進行刪除或者添加攻擊對于目標三元組的真實性影響微乎其微,這是因為知識圖譜的規模比較龐大,通過隨機選取的方法得到對于目標三元組有影響的三元組的概率可以忽略不計.對比目前提出的對抗性攻擊方法的結果,可以發現IA方法對ComplEx模型和DistMult模型的攻擊表現突出,而Direct_Del方法對TransE模型的攻擊效果較優.最后對比本文提出的攻擊方法與上述方法的結果,可以發現基于子圖結構深度學習的對抗性攻擊DLOSSAA方法在所有的攻擊方法中對TransE模型的攻擊效果最佳,例如在FB15K-237上MRR能夠從原來的0.26降到0.18.不過SAA方法對于ComplEx模型和DistMult模型的攻擊效果則要稍弱于IA方法,但是比其他方法的攻擊要好.而可以發現,在修正的余弦相似度的輔助下,DLOSSAA_Cosine方法在FB15K-237和WN18RR上對于3個嵌入模型的攻擊效果都表現最佳,驗證了本方法提出的對抗性攻擊方法的有效性.

對抗性添加攻擊:對抗性添加攻擊的實驗結果如表4與5所示,其中表4為對抗性添加攻擊在FB15K-237上的實驗結果,表5為對抗性添加攻擊在WN18RR上的結果.首先對比刪除攻擊和添加攻擊的實驗結果,顯然添加攻擊的攻擊效果比刪除攻擊的效果整體上要差一些.這是因為相較于刪除攻擊,添加攻擊更難也更復雜一些.刪除攻擊只需要考慮在訓練數據集中篩選出擾動樣本三元組,而添加攻擊則需要考慮添加訓練數據集中并不存在的三元組,導致添加攻擊需要在遠大于刪除攻擊搜索空間的由實體對與關系組合的搜索空間進行篩選.對比已有的對抗性攻擊方法的實驗結果,可以發現Direct_Add方法的表現相對最為欠佳,因為Direct_Add方法在通過擾動收益得分函數的梯度進行攻擊前對搜索空間通過下采樣方式進行縮斂.而RIP方法與IA方法通過關系推理與相似性度量的方法在一定程度上緩解了搜索空間過大的問題.對比本文提出的對抗性添加攻擊方法與其他攻擊方法,可以發現基于子圖結構深度學習的DLOSSAA方法表現并未達到預期,攻擊效果僅比Direct_Add方法的效果稍好一些.不過通過修正的余弦相似度對子圖深度學習生成的添加擾動攻擊樣本進行篩選后,DLOSSAA_Cosine添加攻擊方法表現同樣好于上述攻擊方法,在WN18RR上將DistMult模型的MRR從0.43降到0.22.

灰盒攻擊:通過2.1節中的的介紹可知,本文提出的DLOSSAA方法屬于灰盒攻擊,也就是說攻擊者僅能獲取攻擊模型的訓練數據等部分信息,通過訓練代理模型近似目標模型展開攻擊,而結合Consine相似度輔助攻擊的DLOSSAA_Cosine方法則屬于白盒攻擊.目前已有的知識圖譜嵌入對抗性攻擊均屬于白盒攻擊,本文首次探索了有限條件下的灰盒攻擊場景.根據上述的攻擊實驗結果可以發現灰盒攻擊的效果與目前已有的其他白盒攻擊效果相當.

子圖結構分析:上述的實驗驗證了通過子圖結構深度學習對知識圖譜嵌入進行對抗性攻擊的有效性,本文進一步分析子圖結構,研究不同的子圖輸入的學習效果,在WN18RR上的實驗結果如表6所示.其中,DLOSSAA_1表示僅考慮目標三元組相關子圖的一階鄰接矩陣,即在學習優化鄰接矩陣O*時僅計算一階鄰接矩陣,此時α與β均為0;DLOSSAA_2表示僅計算相關子圖的一階和二階鄰接矩陣,此時β設置為0;DLOSSAA_3表示學習相關子圖的一階、二階和三階鄰接矩陣結構信息,此時的實驗結果即為上述DLOSSAA方法的實驗結果.通過對比可以看到,融合多階鄰接矩陣結構信息進行對抗性攻擊的攻擊效果更好,DLOSSAA_3無論是刪除攻擊還是添加攻擊的結果均優于DLOSSAA_1和DLOSSAA_2.另外,與其他已有的攻擊方法的結果比較可以發現,DLOSSAA_1與已有的Direct_Del和Direct_Add攻擊方法的效果比較接近.這可能是因為Direct_Del和Direct_Add方法生成的擾動樣本直接與目標三元組相關,這正包含在目標三元組的一階鄰接矩陣結構信息當中.

表6 子圖結構分析實驗結果Table 6 Results of subgraph structre analysis

4 總 結

本章提出了一種基于子圖結構深度學習的知識圖譜嵌入對抗性攻擊方法(DLOSSAA),通過對目標三元組的相關子圖結構進行學習并利用修正的余弦相似度來篩選生成擾動樣本.實驗結果表明,DLOSSAA_Cosine的攻擊效果優于目前已有的對抗性攻擊方法,在FB15K-237和WN18RR數據集上,無論是刪除攻擊還是添加攻擊的攻擊效果.同時,本文還首次研究了灰盒攻擊設定下的知識圖譜嵌入對抗性攻擊.實驗結果顯示灰盒攻擊場景下DLOSSAA的對抗性攻擊效果達到白盒攻擊中一般攻擊方法的水平,可為后續更多場景下的知識圖譜嵌入對抗性攻擊研究提供參照.本研究對于知識圖譜嵌入的健壯性研究具有重要的意義,也可為防御對策提供參考.