基于圖神經網絡的不平衡欺詐檢測研究

陳安琪，陳 睿，鄺祝芳，黃華軍

（1.中南林業科技大學 計算機與信息工程學院，長沙 410004；2.湖南財政經濟學院 信息技術與管理學院，長沙 410205）

0 概述

欺詐檢測是一種尋找具有虛假行為的數據點的過程，它以欺詐偵測［1］、網絡監控［2］、公共安全和保安［3］、入侵檢測［4］、醫療問題［5］、金融欺詐［6］等形式在人們身邊發生。因此，欺詐檢測是保證網絡用戶安全的一項重要任務。由于圖可以對現實世界中的關系進行良好建模［7］，隨著圖形數據變得無處不在，基于圖形的欺詐檢測［8］已經成為當前研究的焦點。

基于圖的欺詐檢測可以幫助用戶找到垃圾郵件發送者［9］、惡意信息的擴散［10］、虛假評論［11］或惡意活動［12］。通過分析大型圖形來發現異常也可以得到關于圖形結構的重要和有趣的信息，基于圖的欺詐檢測旨在區分圖數據中的欺詐者和普通用戶，本質上是圖上的半監督二元節點分類問題。與傳統的基于圖的模型相比，基于圖神經網絡（Graph Neural Network，GNN）的方法可以以端到端和半監督的方式進行訓練，這節省了大量的特征工程和數據標注成本，被廣泛用于檢測欺詐者。文獻［13］致力于調查基于圖的欺詐檢測中的上下文、特征和關系不一致問題。為了增強 GNN 中的聚合過程，根據預定義的閾值過濾節點的不同鄰居。文獻［14］通過強化學習對每個節點的一跳鄰域進行自適應采樣選擇與中心節點更相似的鄰居節點聚合。然而，在欺詐檢測任務中，欺詐者的人數可能遠遠少于良性用戶，這些模型并未考慮圖數據存在不平衡的問題。

文獻［15］提出一個以類為條件的對抗正則化器和一個潛在分布對齊正則化器，但不能擴展到大圖。文獻［16］通過對多數類進行欠采樣，對少數類進行過采樣來解決類不平衡問題，但它無法自適應更新采樣節點的數量，可能會將多數類節點錯分為少數類節點。文獻［17］提出不平衡導向分類模塊檢測，通過最小化每個類中誤分類錯誤率的平均值緩解類別不平衡，但時間復雜度過高，且實驗效果不明顯。

針對圖上的類不平衡問題，將其細分為鄰域不平衡和中心不平衡。根據節點類型和關系類型可以將圖劃分為同質圖和異質圖，同質圖表示圖中的節點類型和關系類型僅有一種，而異質圖表示圖中的節點類型和關系類型多于一種。對于同質圖上的類不平衡問題，鄰域不平衡和圖的拓撲結構有關，主要是指中心節點的鄰域存在局部的數量不平衡；而中心不平衡是指圖中節點的數量不平衡。對于異質圖上的類不平衡問題，將異質圖轉化為多關系圖，多關系圖中節點類型僅有一種，每對節點可以有不同關系類型的邊，鄰域不平衡是指每一個關系下中心節點的鄰域存在不平衡，中心不平衡是指圖節點的數量不平衡。中心不平衡是一定存在的，而鄰域不平衡由于圖的拓撲結構不一定存在于每個中心節點的鄰域中。由于GNN 聚合機制的局限性，GNN 的性能與鄰域信息的數量和質量高度相關。在多關系圖類不平衡的設置中，中心節點的大多數鄰居屬于多數類。這也是GNN 模型在類不平衡問題中性能較差的原因。例如，對欺詐中心節點，為了不被欺詐檢測器發現，往往會將自己隱藏在良性節點中，此時，欺詐中心節點的鄰域大部分都是良性節點，僅有少數為欺詐節點。

為了解決上述的兩類不平衡問題，本文提出一種基于GNN 的鄰域與中心不平衡欺詐檢測模型（NCI-GNN）。在鄰域不平衡中，結合文獻［14］提出的CARE-GNN 模型的自適應策略，提出一種多層自適應鄰域平衡器，通過一個可學習的權重參數衡量中心節點與其鄰居的相似度，考慮到權重參數的誤差，使用多層網絡實現欠采樣過程；在中心不平衡中，優化其訓練過程，使用加權交叉熵損失函數為每個中心節點的損失賦予動態權重以此達到中心平衡。

1 理論研究

1.1 定義

1）異質圖

2）訓練集和測試集

訓練集Dk={vk,xk,Yk}，其中，0

1.2 問題描述

基于異質圖的欺詐檢測可以描述為不平衡節點的二分類問題。與傳統的不平衡二分類問題不同，節點之間是相互獨立的，圖上的二分類問題需要考慮節點之間的依賴關系和拓撲結構。本文所研究的問題是如何從海量的圖形化數據中尋找異常數據。

2 NCI-GNN 模型框架

2.1 框架描述

NCI-GNN 模型主要包含鄰域平衡模塊和中心優化模塊。鄰域平衡模塊用于解決鄰域不平衡問題，中心優化模塊用于解決中心不平衡問題。模型框架如圖1 所示，輸入為具有關系1 和關系2 的多關系圖，大寫字母為訓練集中心節點，標簽已知，小寫字母為測試集節點，標簽未知，節點U、V為欺詐中心節點，節點B、C、D、E為良性中心節點。中心節點的標簽是已知的，而鄰域節點標簽可能是未知的（當中心節點作為鄰域節點時標簽已知），xU為節點U的原始特征為節點V在第0 層的隱藏嵌入，也可以表述為表示節點U和節點V在第一層的相似性分數。在鄰域平衡模塊中，以中心節點V為例，在每一層中做衡量相似度、自適應欠采樣、關系內聚合、關系間聚合操作，以此達到鄰域平衡。在關系內聚合和關系間聚合時，每一層都是聚合原始特征，每一層的隱藏嵌入為當前層的關系間聚合加上前一層隱藏嵌入；在中心優化模塊中，包含兩部分損失，即衡量相似度損失Lossmlp和圖神經網絡損失Lossgnn。

圖1 NCI-GNN 模型框架Fig.1 NCI-GNN model framework

2.2 鄰域平衡模塊

在鄰域平衡模塊中使用多層自適應鄰域平衡器對中心節點的鄰域進行欠采樣，主要包含相似性度量、自適應欠采樣和鄰居聚合3 個步驟。

步驟1為每個中心節點選擇與其最相似的鄰居節點。文獻［18］提出使用核函數衡量節點相似度，從而把相似性量化到0 和1 之間，中心節點與鄰居節點越相似，它們的距離趨近于0，則高斯核函數的值趨近于1，反之則趨近于0。由于存在鄰域不平衡問題，欺詐節點通常隱藏在良性節點中，不易區分，使用原始特征的歐氏距離衡量相似度，誤差較大，本文將多層感知機（Multilayer Perceptron，MLP）和高斯核函數相結合，提出一種可學習的適用于圖結構數據的相似性度量，節點vi和它的鄰域節點uj在l層關系r的相似性分數如下：

步驟2自適應欠采樣，通過步驟1 的操作，得到為了解決鄰域不平衡問題，僅進行一次采樣操作是不夠的，對中心節點的鄰域進行多層自適應欠采樣，在訓練過程中，通過增加層數進行多次采樣來增加模型的選擇能力，為每個節點找到最相似的鄰居節點。CARE-GNN 使用強化學習中的多臂老虎機算法為每個關系找到一個過濾閾值，但它的獎勵為確定性獎勵，無法精確地更新閾值，且根據兩個epoch 之間的鄰居平均距離來確定每個節點的過濾閾值，誤差較大。本文基于CAREGNN 的強化學習算法，提出使用馬爾可夫決策來為每個節點找到最佳的采樣鄰居。馬爾可夫決策過程可以表述為一個四元組決策過程為A0,S0,R1,S1,…，使用即時獎勵來更新動作和狀態，其 中，A為動作空間，即為采 樣閾值為狀態 空間，表示每個batch 中的節點的鄰居平均距離。

步驟3鄰居聚合。GNN 通過消息傳遞聚合鄰域信息，異質圖的聚合包括關系內聚合和關系間聚合。GNN 模型由于存在過平滑問題一般無法拓展到多層，本文提出的NCI-GNN 是一個多層欺詐檢測模型，這里的多層并不是GNN 傳統意義上使用每一層的隱藏嵌入聚合多跳鄰居。NCI-GNN 在每一層聚合操作都是針對其原始鄰域和原始特征而言的，多層的目的是衡量相似度，減少MLP 層帶來的誤差，以此來增加模型的選擇能力。在l層對中心節點vi，首先進行關系內聚合。本文使用注意力機制進行聚合：

其中：⊕表示合并操作符。在關系內聚合中，每一層聚合都是對原始特征而言的，而不是上一層的隱藏嵌入。如果在每一層中都使用上一層的隱藏嵌入來聚合鄰居，必然會造成比較大的偏差，這個偏差是由于上一層的隱藏嵌入可能聚集了不相似鄰居造成的。得到了節點vi在關系r下l層關系內聚合的隱藏嵌入后進行關系間聚合，依然使用注意力機制進行聚合。模型是一層一層訓練的，每一層都會糾正前一層所犯的錯誤。此外，每一層的輸入包括原始特征，這一事實使每一層能夠對采樣鄰居做出更好的選擇，但僅通過原始特征聚合無法覆蓋足夠多的節點信息，上一層的隱藏嵌入仍然蘊含著豐富的信息。因此，本文的目標嵌入融合了原始特征及上一層的隱藏嵌入，并將在自適應欠采樣中學習的采樣閾值作為關系間注意力權重。針對多層NCI-GNN，節點vi的最終嵌入如下：

2.3 中心優化模塊

中心優化模塊為每個中心節點的損失進行動態加權是為了解決中心不平衡問題，這里的中心不平衡就是樣本不均衡現象，現有的不平衡解決方法可分為兩組，即數據采樣和代價敏感學習，數據采樣在一定程度上解決了正負樣本比例的失衡，但其默認錯誤分類代價是對稱的，即沒有考慮分類代價的不平衡。代價敏感學習通過將不同樣本的誤分代價體現在學習過程中，對樣本進行加權，使錯誤分類的總代價最低，解決比例失衡問題。在訓練過程中將錯分代價與損失函數相結合，通過將不同類別的錯分代價加權到損失函數上，對損失函數進行優化，給一個非代價敏感分類算法添加代價敏感因子，得到一個具有傾向性的算法［19］。本文的損失L 包含MLP損失和GNN 損失。

其中：Lmlp為MLP損失函數；Lgnn為GNN損失函數；λ為超參數。通過重寫交叉熵損失函數，并對其進行加權來訓練MLP 和GNN 的參數以最小化損失。二分類交叉熵損失函數如下：

其中：p為真實標簽集；q為預測標簽集。

本文將二分類交叉熵損失函數重寫為：

其中：p(x)表示x元素的真實標簽；q(x,p(x))表示x元素的標簽為真實標簽p(x)的預測概率。對L 使用該損失函數，計算總損失。MLP 損失如下：

其中：ci表示節點vi的真實標簽表示節點vi的標簽為真實標簽ci的預測概率，通過softmax 函數歸一化得到。對MLP 僅考慮節點的原始特征，不考慮其拓撲結構，因此節點之間是相互獨立的。在相互獨立的節點中考慮到中心節點不平衡問題，在Lmlp中添加了兩個權重參數α和β，其中，α表示易分錯樣本的參數，β表示數量不平衡樣本參數，即：

其中：γ為超參數，一般取為2；|Vb|表示一個batch 的節點集的數目；Vc表示一個batch中標簽為c的節點集，c?{0,1}；參數α主要針對難分類樣本，當趨近于1 時，α趨近于0，說明該節點是易分樣本，被正確分類，對損失貢獻較小，相反當很小時，樣本被錯誤分類，α趨近于1，損失函數幾乎不受影響；對參數β，本文欺詐節點數目遠小于良性節點，需要給欺詐節點賦予更高的權重。MLP 的損失函數如下：

在GNN 中，通過節點之間的依賴關系得到節點的最終嵌入，使得欺詐節點中難分樣本較于MLP 層減少，而參數α是針對難分樣本的，對GNN 的優化并不大，所以對GNN 計算損失時，不考慮易分錯樣本的參數α，僅考慮數量不平衡參數β。GNN 的損失函數如下：

NCI-GNN 的訓練過程如算法1 所示。

算法1NCI-GNN 算法

3 實驗結果與分析

本節評估NCI-GNN 模型在兩大真實的數據集上欺詐檢測的有效性，介紹實驗設置在數據集中的展示結果，并對NCI-GNN 進行消融實驗和敏感性分析。

3.1 數據集

Yelp 數據集［15］：Yelp 數據集是美國最大的評論網站Yelp 的公開內部數據集，涵蓋業務、評論、用戶信息等。實驗中使用評論來構建包含45 954 個節點（14.5%是欺詐評論）和3 846 979 條邊的圖。圖中的節點之間存在3 種類型的關系：

1）R-U-R：同一用戶發表的評論；

2）R-S-R：同一產品在同一星級下的評論；

3）R-T-R：同一個月發布的同一產品的評論。

Amazon 數據集［20］：是由Amazon 平臺創建的開源數據集，包含24 個產品類別下的超過1.4 億條評論和產品元數據。使用樂器下的評論，并將用戶作為圖的節點，圖中包括11 944 個節點（9.5%是欺詐者）和4 398 392 條邊。圖中的節點之間存在3 種類型的關系：

1）U-P-U：至少評論過同一產品的用戶；

2）U-S-U：在一周內打過相同星級的用戶；

3）U-V-U：評論在TF-IDF 相似度方面排名前5%的用戶。

3.2 實驗設置及實施

實驗將數據集中40%的數據作為訓練集，60%的數據作為測試集。在模型優化中，選擇一種Adam優化算法并將學習率設置為0.01。利用小批量訓練技巧來提高訓練效率［21］，批量大小設置為256（Amazon）和1 024（Yelp）。節點的最終嵌入維度為16，NCI-GNN 模型層數為3 層。

3.3 評價標準

本文研究的問題是圖上不平衡節點的欺詐檢測，采用曲線下面積（Area Under Curve，AUC）、召回率（Recall）和F1 值作為評估指標。AUC 表示分類模型正確判斷欺詐節點的值高于良性節點的概率。Recall 表示分類模型正確分類的欺詐節點與真實數據集中欺詐節點的比值。F1 值可以看作是分類模型準確率和召回率的一種加權平均。3 個指標的值越大，模型效果越好。

3.4 圖不平衡分析

鄰域不平衡：使用鄰域節點的標簽信息表征鄰域不平衡。在不同關系中，和CARE-GNN 類似，計算相鄰節點對的平均標簽相似度：

其中：I(u,v)?{0,1}為指示函數；Er為邊的集合。數據集統計分析結果如表1 所示。在Yelp 數據集中的R-T-R、R-S-R 和Yelp-ALL 關系中，相鄰節點之間的標簽相似度不足10%，在Amazon 數據集的所有關系中相鄰節點之間的標簽相似度不足20%，這意味欺詐中心節點在這些關系中連接大量的良性節點導致其鄰域不平衡。

表1 數據集統計分析Table 1 Statistical analysis of data sets

中心不平衡：在Yelp 和Amazon 數據集中僅有14.5%和9.5%的欺詐節點，剩余為良性節點，存在數量不平衡。

3.5 基準模型

基準模型如下 ：

GCN［22］：該模型通過在譜域中擴展圖卷積來表示節點。

GAT［23］：該模型采用注意機制并構建圖注意網絡以提高嵌入性能。

GraphSAGE［21］：是一種空間GNN 方法，提出了4 種聚合機制，并從固定數量的采樣節點聚合信息來表示節點。

GEM［24］：該模型是一個異質圖神經網絡模型，用于在支付寶中檢測惡意賬戶。

FdGars［25］：該模型基于圖卷積神經網絡（Graph Convolutional Network，GCN）的模型，專用于檢測垃圾郵件。

Player2Vec［26］：與GEM 類似，Player2Vec 也是基于GCN 的模型，專用于檢測地下論壇的非法交易。

GraphConsis［13］：該模型 考慮了 圖的不 一致性，并通過基于固定閾值過濾節點的不同鄰居來實現。

CARE-GNN［14］：該模型考慮了圖中節點的偽裝行為，通過自適應閾值過濾節點的鄰居。

PC-GNN［16］：該模型提出對少數類節點的鄰域使用過采樣，對多數類節點的鄰域使用欠采樣來解決圖類不平衡問題。

NCI-GNN-N：本文所提出的模型的變體。在NCI-GNN-N 中使用固定閾值過濾鄰域節點。

NCI-GNN-C：本文所提出的模型的變體。在NCI-GNN-C 中不考慮中心不平衡問題，使用標準的交叉熵損失函數進行訓練

3.6 結果分析

表2 和 表3 展示了100 個epoch 中NCI-GNN 模 型以及基準模型在兩個數據集最好的測試數據，其中，加粗字體為最優值。表2 和表3 可以看出，NCI-GNN模型的性能優于11 個基準模型。對實驗結果進行分析如下：

表2 100 個epoch 中Yelp 數據集欺詐檢測模型的性能Table 2 Performance of the fraud detection model in the Yelp dataset in 100 epochs %

表3 100個epoch中Amazon數據集欺詐檢測模型的性能Table 3 Performance of the fraud detection model in the Amazon dataset in 100 epochs %

1）GCN、GAT、GraphSAGE 為GNN 的經典模型，將這些模型直接應用于欺詐檢測問題時，并未考慮現實世界中欺詐者遠遠少于正常用戶的問題，導致性能較差，在這3 種模型中，GAT 的效果最好，這是由于GAT 使用注意力機制為不同的鄰居分配不同的聚合權重，使得不相似鄰居的聚合權重非常小，在一定程度上緩解了類不平衡問題。

2）GEM、FdGars、Player2Vec、GraphConsis 和CARE-GNN 都是基于圖的欺詐檢測模型。GraphConsis 和 CARE-GNN 分別研究了圖不一致和圖節點的偽裝問題，其中CARE-GNN 是目前基于圖的欺詐檢測中最先進的模型。NCI-GNN 同樣研究圖的欺詐檢測，但更關注圖類不平衡問題。實驗結果表明，在Yelp 數據集中，NCI-GNN 模型在3 個評價指標上 分別提升了8.16%、6.79% 和7.19%。在Amazon 數據集中，NCI-GNN 模型在3 個評價指標上分別提升了4.33%、6.46%和2.06%。

3）PC-GNN 是目前基于圖類不平衡的欺詐檢測中最先進的模型。在Yelp 數據集中，NCI-GNN 模型在3 個評價指標上分別提升了5.52%、5.42% 和4.98%。在Amazon 數據集中，NCI-GNN 模型在AUC和Recall 評價指標中分別提升了1.57%、4.31%，F1 值與PC-GNN 基本持平。

3.7 消融實驗

為了證明NCI-GNN 模型的有效性，本文進行了消融實驗。

1）模塊有效性。為了證明鄰域平衡模塊和中心優化模塊的有效性，提出了兩個變體模型：NCIGNN-C 和NCI-GNN-N。在表2 和表3 中，NCI-GNN相比兩個變體模型，在兩個數據集中的AUC 和Recall 指標上都取得了較好的性能，這說明了鄰域平衡模塊和中心優化模塊在基于圖的欺詐檢測類不平衡問題的有效性。

2）采樣方法有效性。NCI-GNN 使用馬爾可夫決策進行自適應欠采樣，為了證明采樣方法的有效性，設計NCI-GNN-M1 模型，該模型使用CARE-GNN 的采樣方法進行自適應欠采樣。不同采樣方法有效性分析如圖2 所示。

圖2 不同采樣方法有效性分析Fig.2 Effectiveness analysis of different sampling methods

從圖2 的Yelp 數據集中可以看出，本文使用的采樣方法在AUC 上取得了更好的結果，在Recall 指標上提升效果不明顯，而Recall 指標是AUC 的縱坐標，這說明了NCI-GNN 減少了將良性節點分類為欺詐節點的概率。從Amazon 數據集中可以看出，本文使用的采樣方法在Recall 上取得了更好的結果，性能也更穩定，在AUC 指標上提升效果不明顯，這是由于Amazon 數據集數據量較少，節點之間聯系較為密切，NCI-GNN 的采樣方法能獲取更精確的采樣閾值，提升正確分類欺詐節點的概率。

3）層數有效性。NCI-GNN 模型是一個三層模型，為了證明三層模型的性能，將NCI-GNN-1、NCI-GNN-2和NCI-GNN-4 分別表示一層、二層和四層模型，在圖3 中的Yelp 數據集中，可以看出將一層NCI-GNN模型拓展到多層對模型性能有較大提升，但多層NCI-GNN 模型之間性能差異受層數影響較小，二層模型已經擁有了較好的選擇能力，四層模型效率較低且穩定性較差。在Amazon 數據集中，一層模型較為穩定，但性能相對較差，將其拓展到多層時會降低穩定性，這是因為Amazon 數據集中數量較少且每個中心節點都有許多鄰域節點，多層模型會導致過擬合現象，圖中四層模型的AUC 和Recall 不如二層和三層模型，三層模型在AUC 指標上表現最好，在Recall 指標中表現也相對穩定，綜合兩個數據集考慮，選定NCI-GNN 模型為三層，這也說明了本文模型在大數據集中表現更好。

圖3 層數有效性分析Fig.3 Effectiveness analysis of layer number

4）聚合方法有效性。NCI-GNN 在每一層隱藏嵌入都是用原始特征聚合加上前一層隱藏嵌入，為了證明聚合方法的有效性，設計NCI-GNN-M2、NCIGNN-M3 模型。NCI-GNN-M2 使用傳統的聚合方式，僅使用前一層的隱藏嵌入作為下一層的輸入特征；NCI-GNN-M3 在每一層中僅使用原始特征聚合。從圖4 的Yelp 數據集中可以看出，在42 次epoch 之后，3 個模型性能趨于穩定，NCI-GNN 的性能明顯優于另外2 個模型的性能，NCI-GNN-M2 模型優于NCI-GNN-M3，這是因為原始特征聚合不足以辨別節點屬性，而NCI-GNN-M2 使用前一層的隱藏嵌入作為下一層的輸入特征會造成比較大的偏差，這個偏差是由于前一層的隱藏嵌入可能聚集了不相似鄰居造成的，而在Amazon 數據集中，NCI-GNN 在42 次epoch 之前的AUC 和Recall 中表現最好，但 在42 次epoch 之后，3 種聚合方式的性能總體來說差異并不大，這是因為Amazon 數據集節點之間聯系較為緊密，通過中心優化模塊和自適應欠采樣操作就足以達到目前最優的性能，聚合方式不再是主要影響因素。

3.8 敏感性分析

本文研究NCI-GNN 的不同嵌入維度對模型性能的影響，NCI-GNN 最終嵌入維度為16，將其修改為32、64、128，并分別在Yelp 數據集和Amazon 數據集上進行實驗，實驗結果如圖5 所示。從圖5 可以看出，NCI-GNN 模型具有魯棒性，在嵌入維度為16時具有很好的性能，但太大的嵌入維度會給內存和計算帶來負擔。

圖5 不同維度對模型性能的影響Fig.5 Influence of different dimensions on model performance

4 結束語

本文提出NCI-GNN 模型來解決基于圖的欺詐檢測的兩個不平衡問題，在鄰域不平衡中，對中心節點鄰域進行多層自適應欠采樣平衡鄰域，在中心不平衡中，采用動態加權交叉熵損失函數平衡中心節點。在Yelp 和Amazon 兩個欺詐數據集上的實驗結果證明了NCI-GNN 模型的有效性。下一步將研究圖的拓撲結構對圖不平衡的影響，并把NCI-GNN 模型擴展到圖神經網絡的更多應用領域，提高該模型的泛化能力。