集成層級圖注意力網絡檢測非均衡虛假評論

趙 敏，張月琴，竇英通，張澤華+

1.太原理工大學 信息與計算機學院，太原030024

2.Department of Computer Science,University of Illinois at Chicago,Chicago 60607,USA

隨著智能推薦系統、機器在線問答等數據挖掘技術與應用的深入發展，用戶網絡評論已成為互聯網大數據不可忽視的組成部分。但在巨大經濟利益的推動下，虛假評論和網絡水軍（paid posters）已成為當前的一大頑疾。針對產品或服務的欺詐評論會誤導用戶的消費決策，從而降低用戶消費體驗，影響商家信譽，給商家造成經濟損失[1]。因此，檢測并及時過濾虛假評論已成數據挖掘應用的痛點問題。

雖然當前互聯網中的虛假評論數量逐年遞增，但總體仍呈現出類別不均衡[1]。基于傳統機器學習的欺詐評論識別方法從類別分布不均衡的數據中學習的模型會偏向多數類，因此在識別少數不實評論時難免產生有偏差的分類結果。針對這一現實存在的問題，Yuan 等人提出兩階段檢測方法TM-DRD（deceptive review detection algorithm based on target product identification and calculation of metapath feature weight）[2]，首先利用核密度估計分析欺詐者的評分模式得到頻繁受攻擊的商品集合，將識別范圍縮小到目標商品的評論后數據類別傾斜程度降低，再采用元路徑特征權重計算得到最終的識別結果。周黎宇從算法改進入手，提出了基于支持向量取樣的非均衡數據分類方法，并依此構建了虛假評論檢測模型[3]。ISRD（spam review detection with imbalanced data distributions）方法結合降采樣與集成學習，在多個平衡數據集上訓練不同的決策樹分類器，最后通過多數投票算法（majority vote）檢測欺詐評論[4]。這些方法在一定程度上提升了不均衡虛假評論檢測的性能，但大多基于傳統的統計方法改進，高代價的特征工程會限制其靈活性。

圖神經網絡[5]是一類專門處理網絡結構數據的深度學習模型，可以聚合鄰居信息為中心節點學習高維非線性的向量表示，應用于下游的分類、聚類等任務。近年來，有些欺詐檢測方法基于GNN（graph neural networks）相關模型構建，Zhang 等人從地下論壇抽取有效的關系構建異構用戶網絡，結合圖卷積神經網絡（graph convolutional neural networks，GCN）[6]和注意力機制（attention mechanism）[7]提出player2vec方法檢測非法利益鏈上的關鍵用戶[8]。Wang 等人提出基于雙層結構GCN 的FdGars 方法對手機應用商店的評論進行欺詐檢測[9]。不同于傳統機器學習方法的多步處理過程，GNN-based 方法以端到端的方式檢測欺詐，但這類方法同樣受到類別不均衡的影響，在淺層神經網絡的反向傳播過程中，多數類主導著用于更新模型權重的梯度，這使得類別失衡的數據訓練得到的神經網絡偏向多數類，與更關注少數異常的欺詐檢測任務相違背[10]。

為了避免大量的特征工程，降低類別傾斜的影響，本文結合集成學習框架提出了一種面向非均衡類數據的集成層級圖注意力網絡虛假評論檢測方法（ensemble hierarchical graph attention network，En-HGAN），其總體識別過程如圖1。本文主要工作內容如下：

圖1 En-HGAN 識別欺詐評論的總體過程Fig.1 Overall process of detecting fake reviews using En-HGAN

（1）為了充分學習評論網絡中各種形式異構的信息，En-HGAN 采用雙層注意力計算為混合領域的評論生成更加細致的向量表征。

（2）利用隨機欠采樣（random under sampling，RUS）對原始傾斜數據做預處理，再融合Bagging 框架集成多個“好而不同”的HGAN 子模型來緩解類別不均衡問題。

（3）通過選擇數據傾斜分布時適用的評價指標，進而可反映En-HGAN 方法真實的欺詐檢測效果。

1 相關工作

傳統機器學習檢測虛假評論的方法可分為有監督、半監督和無監督三類，大多依賴于反映不實評論與可信評價間差異的欺詐特征，如針對文本的有詞袋（bag of word，BoW）、心理語言學（linguistic inquiry and word count，LIWC）、評論長度、發布日期、評分等文本屬性及元數據；關注評論行為的包括最大評論內容相似度（maximum content similarity）、最大評論數量（maximum number of reviews）、極端評分（extreme rating behavior）等統計信息[11]。

監督方法通常把檢測不實評論當作二分類任務，從評論文本及元數據中抽取欺詐特征，利用有標記數據來訓練機器學習分類算法。Shojaee 等人采用反映寫作風格的詞匯和句法特征（lexical and syntactic features），通過支持向量機和樸素貝葉斯算法在酒店評論語料庫上實施了欺詐檢測任務[12]。由于標記數據難以準確構建，不依賴類別標簽的無監督方法為檢測不實評論提供了新思路。任亞峰等人充分研究了欺詐者的心理狀態，認為虛假評論在語言結構和情感極性上必然與真實評論存在較大差異，從評論文本中抽取相關特征后，通過聚類算法檢測虛假評論[13]。半監督方法大都通過協同訓練（co-training）、正例-無標記學習（PU-learning）等半監督學習框架，利用少量有標記數據以及大量無標記數據來訓練機器學習分類器，達到檢測目的。例如先用全監督的分類算法在少量標記數據上選擇最優的混合欺詐特征，再利用半監督的協同訓練、三元訓練（tri-training）和協同隨機森林（co-forest）算法以及大量無標記數據提升識別虛假評論的性能[14]。但是隨著評論數據規模的不斷增加，大量費時費力的特征抽取、特征選擇工作無法避免，同時這些“精心設計”的統計模型容易受到攻擊且面臨領域遷移的問題。

隨著欺詐與反欺詐檢測的博弈過程，欺詐者會有規避檢測的進階行為，導致根據專家經驗設計的欺詐特征失效。鑒于評論系統中實體間關系難以改變和隱藏，基于網絡的虛假評論檢測方法出現。基于概率圖模型的URSM（unified review spamming model）方法將評論建模為隱變量，并以無監督的方式對其欺詐程度進行排序[15]。NetSpam 方法將評論網絡建模為異構信息網絡，并利用元路徑特征權重計算對評論進行分類[16]。

2 層級圖注意力網絡虛假評論檢測方法HGAN

HGAN（hierarchical graph attention network）是實施在異構信息網絡上，利用節點嵌入來檢測欺詐評論的GNN-based 方法，下面介紹相關定義。

2.1 相關概念

定義1異構信息網絡（heterogeneous information network，HIN）[17]可以表示為無向圖G=(V,E,X)，其中代表a類型節點，Xa是a類型節點的初始特征矩陣，網絡中共有A種不同類型的節點，Eb代表b類型的邊，網絡中共有B種不同類型的邊，且A+B>2；當A=B=1 時，異構網絡G演變成同構網絡g。

定義2（異構信息網絡節點表征學習[17]）給定一個異構信息網絡G=(V,E,X)，節點表征學習的目標是訓練一個函數f:Va→Rd，將目標節點映射到d維向量空間，其中d?|Va|。

定義3圖神經網絡（GNN）[5]遵循層間信息傳遞機制，能夠同時學習網絡結構與節點屬性信息為節點生成向量表示，總層數可用L表示，l層接收并聚合l-1 層的信息，1 ≤l≤L，通過堆疊多層GNN，目標節點最終可以接收來自較遠鄰居的信息。圖神經網絡模型的一般框架可以表示成為，其中是中心節點v在l層的向量表示，Nv是節點v的one-hop 鄰接節點集合，l層的聚合函數AGG(l)(?)可將鄰居信息映射為向量，⊕代表鄰居信息與節點v屬性的結合操作。

2.2 異構評論網絡的構建

根據評論系統中天然存在的關系構建異構評論網絡G=(V,E,X)，其中V={VU,VR,VP}，E={Epost,Ebelongs-to}，X={XU,XR,XP}，VU、XU分別代表用戶（User，U）節點及其特征矩陣，VR、XR分別代表評論（Review，R）節點及其特征矩陣，VP、XP分別代表商品（Product，P）節點及其特征矩陣，Epost代表用戶與評論間的發表關系，Ebelongs-to代表評論與商品間的屬于關系。圖2（a）給出構建一個異構評論網絡的例子，虛假評論檢測可以視為其中的節點二分類問題，利用網絡表征學習把評論節點VR映射到輸出向量空間Rd，接著訓練分類器C:Rd→{0,1}檢測評論節點的可信性，1 代表不實，0 代表可信。

2.3 異構評論網絡中關系的選擇

異構評論網絡包含豐富各異的關系信息，要從中選出對欺詐檢測有意義的，能反映虛假評論間相似性的關系。

Xu 等人的研究表明群組欺詐評論，即有組織的水軍團體有目的地攻擊某些特定商品，以群組的方式發布虛假評論的行為，是現在非法操縱評論的主要形式，其危害性遠大于單個欺詐用戶[18]。群組虛假評論在發表者、商品、評分和發表時間上緊密關聯[19]。

基于上述研究，形成圖上的跡（trail），即圖上兩個互異節點間不經過重復邊的一條路徑，選擇評論節點間的三種復合關系，如圖2（b）所示。

圖2 通過評論間的關系映射異構評論網絡到同構網絡Fig.2 Mapping HIN to homogeneous networks via several trails

2.4 HGAN 的整體結構

如圖3，層級圖注意力網絡HGAN 檢測方法整體由三部分組成：首先是基于圖注意力網絡（graph attention network，GAT）[20]的GAT-layer，其中包含節點級別的注意力計算；接著是語義融合層（semanticfusion-layer），其中包含關系級別的注意力計算；最后是輸出分類結果的線性層（linear-layer）。

圖3 HGAN 的整體框架Fig.3 Overview framework of HGAN

（1）處理同構評論網絡的GAT-layer 評論數據通常涉及多個領域，由不同用戶撰寫，特征呈現多樣性[21]。GAT-layer在信息聚合階段采用自注意力（self-attention）機制，依賴網絡結構與節點特征為中心評論的鄰居學習不同的相對重要性，一定程度上提高整體分類性能。

三個平行的單層GAT-layer分別學習評論在三個同構網絡下的向量表征，下面以g1為例介紹關系RUR 下評論表示的學習過程，其他兩種關系下的節點表征學習可由此類推。

式（2）用Softmax 函數計算評論i、j間歸一化的注意力系數，保證i所有鄰居的注意力系數之和為1，Ni是i的一階鄰居集合。相比GCN[6]不考慮相鄰評論之間互相影響程度的差異，通過計算節點連接度deg(?)為鄰居分配的對稱性權重αij這樣非對稱的相鄰評論間重要性更具現實意義。

式（3）結合評論i與其鄰居信息生成向量表示。結合操作⊕選擇加和，鄰居信息聚合操作選擇鄰居特征與其對應注意力系數的線性組合，σ是激活函數。

為增強自注意力學習過程的穩定性，采用式（4）的多頭注意力（multi-head attention）機制，即實施自注意力機制P次，把得到的評論向量連接。其中是第p個注意力機制計算得到的鄰居權重，這樣評論的輸出表征的維數是Pd2。

（2）融合異構關系語義的semantic-fusion-layer這一部分融合不同關系下的評論向量表示，學習更全面統一的評論表征。semantic-fusion-layer 的輸入是評論表征集合，輸出評論表征，l是向量維數，⊕是融合操作。不同關系下的表征對評論分類任務的貢獻各異，在融合時采用注意力機制自動計算各個關系的權重，具體如下。

式（5）計算關系ρk的注意力權重。首先對ρk下的評論表征實施非線性變換，M是可訓練的權重矩陣，b是偏置；接著用語義級別的注意力權重向量q與非線性變換后的評論表征做點積，最后取均值作為，是對特定關系下所有評論表征重要性的平均。

式（6）利用Softmax 函數計算關系ρk歸一化后的注意力權重，表示關系ρk下評論表示的重要性。

式（7）輸出融合評論表征ZR，融合操作⊕選定為特定關系的注意力權重與相應評論表征的線性組合。

（3）輸出分類結果的linear-layer

式（8）將融合全部語義的評論表征ZR輸入到單層的神經網絡分類器中，輸出評論的類別，W1和b1分別代表權重矩陣與偏置。

因此，可最小化式（9）的二分類交叉熵損失來指導模型的訓練，其中yR代表評論的真實標簽，代表HGAN 方法計算的分類結果。

3 非均衡虛假評論檢測方法En-HGAN

傳統機器學習方法和深度學習模型多廣泛使用數據預處理來解決非均衡監督學習問題，這類方法不需對模型做修改，主要通過在訓練數據集上實施隨機過采樣、隨機欠采樣或其他動態采樣方法減輕訓練集的傾斜程度[22]。

利用隨機降采樣對訓練集做預平衡，可以簡單地解決HGAN 方法面臨的評論數據類別傾斜問題，但單一的欠采樣處理會丟失一些對評論分類任務有意義的負例樣本信息，因此融合Bagging[23]集成框架提出En-HGAN 方法，盡量減少欠采樣帶來的信息損失，En-HGAN 集成模型的整體學習過程如圖4。

圖4 En-HGAN 的學習過程Fig.4 Learning procedure of En-HGAN

利用集成模型En-HGAN 判斷評論是否欺詐節點時，輸入用于測試的評論樣本集Dtest；首先利用集合ε={HGAN1,HGAN2,…,HGANk} 中所有訓練好的基礎檢測模型為Dtest中的測試評論樣本生成二分類結果；之后將基礎檢測模型HGANi對測試評論實例j∈Dtest給出的分類結果記作cij，對集合ε中所有基礎學習器的分類結果取算數平均值作為評論j最終的集成檢測結果，即En-HGAN(j)=。

由于不同的訓練子集存在差異，且基學習器HGAN 作為一種神經網絡模型，其學習結果容易受到樣本擾動的影響，在一定程度上可以保證集成學習結果的多樣性。

在En-HGAN 檢測方法中，基學習器的個數k等于均衡訓練子集的數量，依照Lee[24]提出的式（10）選取k值，該式通過提供足夠多的訓練子集，盡可能利用所有實例的信息。

4 實驗與結果

在內存為640 GB DDR2 的浪潮異構機群GPU:12X 32 GB Tesla V100s 實驗環境下，分別測試基學習器HGAN 與集成方法En-HGAN 的虛假評論識別效果并且對參數設置進行討論，又與其他基線方法進行對比。

4.1 實驗數據與評價指標

在數據類別分布非均衡的情況下，本文利用En-HGAN 欺詐檢測方法在YelpChi[25]評論數據集上實施虛假評論識別任務，在Amazon[26]評論數據集上實施欺詐用戶檢測任務，二者都可歸結為異構網絡上的節點二分類問題。

YelpChi 數據來自Rayana 等人[25]從商業點評網站Yelp.com 上采集的經網站自身過濾算法標記的用戶評論數據，涵蓋了酒店與飯店兩個領域，預處理后YelpChi數據集的統計信息如表1。

表1 YelpChi數據集的統計信息Table 1 Statistics of YelpChi dataset

Amazon 數據包含樂器類產品的用戶評論，來自Mcauley 等人[26]從電子商務網站Amazon.com 上爬取并公開的無標記用戶評論數據，預處理后Amazon 欺詐用戶數據集的統計信息如表2。

表2 Amazon 數據集的統計信息Table 2 Statistics of Amazon dataset

為了利用En-HGAN 方法在Amazon 數據上對欺詐用戶進行識別，與Zhang 等人[27]的做法相似，將獲得有用投票（helpful votes）超過80%的用戶標記為良性實體，將有用投票低于20%的用戶標記為不可信實體；Amazon 評論數據集上同構用戶網絡的構造與Dou 等人[28]的做法類似，基于關系UPU 為針對至少一個相同產品發表過評論的用戶建立直接關聯，基于關系UsU 為一周時間內至少給出過一次相同評分的用戶建立直接關聯，基于關系URU 利用TF-IDF（term frequency-inverse document frequency）衡量所有用戶的評論文本相似度，并為前5%的用戶建立直接關聯；最后得到三種不同關系下的Amazon 同構用戶網絡gUPU、gUsU和gURU。

圖5 給出YelpChi 數據下根據評論間關系構造的網絡gRUR、gRsPsR、gRtPtR的度分布情況，橫軸代表節點連接度，縱軸代表頻次，可以看出通過時間戳、評分連接的評論網絡比用戶連接的評論網絡更加稠密。

圖5 YelpChi評論網絡的度分布Fig.5 Degree distribution of YelpChi review networks

圖6 給出Amazon 數據下根據用戶間關系構造的網絡gUPU、gUsU、gURU的度分布情況，不難看出通過評分與評論文本相似度連接的用戶網絡比通過產品連接的用戶網絡更稠密。

圖6 Amazon 用戶網絡的度分布Fig.6 Degree distribution of Amazon user networks

本文選擇F1 值評價模型的整體分類性能，選擇ROC-AUC（receiver operating characteristic-area under the curve）值評價模型對欺詐節點的檢測能力。

4.2 對比方法

（1）LR，傳統的機器學習分類算法，實驗中采用Rayana 等人論文中的離散欺詐屬性[25]作為YelpChi評論數據初始特征。

（2）Player2Vec[8]，該方法使用GCN 對每個關系中的信息進行編碼，并使用注意力機制匯總來自不同關系的信息。

（3）FdGars[9]，基于GCN 的欺詐檢測方法，實驗中用該方法分別為多個同構評論（用戶）網絡生成節點表征，并報告多種關系下最優的檢測性能。

（4）HGANnd，HGAN方法的一個變體，去除GAT-layer 中的self-attention 計算模塊，在信息聚合時為中心評論的鄰居分配相同的權重。

（5）HGANsem，HGAN 方法的另一變體，僅去除語義融合層的注意力權重計算，并為每種關系分配相同的權重。

（6）graphconsis[29]，基于空間域的GNN模型graphsage[30]改進，通過解決鄰居信息聚合時的不一致問題緩解類別傾斜的影響。

4.3 實驗設置

實驗中所有GNN-based 模型的可訓練參數采用隨機方法初始化，并基于交叉熵損失采用Adam 算法進行優化訓練。YelpChi評論網絡中節點的初始特征XR采用100維的Word2Vec 嵌入表征，Amazon 用戶網絡中節點的初始輸入特征采用Zhang 等人[27]論文里25 維的離散屬性。

在HGAN 模型結構的設置上，對每個YelpChi 評論網絡（Amazon 用戶網絡），GAT-layer 均設置為1層，即只考慮距中心評論（用戶）1-hop 的鄰居，其中多頭注意力機制實施次數P設置為8，輸出空間維度d2設置為8，即輸出特征維數為64，激活函數采用LeakyReLU；semantic-fusion-layer 中學習語義注意力系數的向量q的維數設置為128，最終每個YelpChi 評論（Amazon用戶）節點學習到的嵌入表征的維度l是64。

在En-HGAN方法的實驗中，根據式（10）與參數實驗為YelpChi 數據集將基學習器個數k設置為9，為Amazon 數據集將基學習器數量k設置為12，每個裝袋中正負樣本的比例為1∶1，為保證學習結果的可信性，獨立實驗5 次，對評價指標取平均值。

4.4 實驗結果

（1）保持測試集中的正樣本比例等于原始數據集中的類別不均衡比率（YelpChi 數據中為14.5%，Amazon 數據中為9.5%），En-HGAN 方法以及基線方法在兩個數據集上進行欺詐節點檢測的F1 值與AUC 值分別如圖7、圖8 所示。

圖7 YelpChi與Amazon 數據集上的F1 值結果Fig.7 F1 result on YelpChi and Amazon datasets

圖8 YelpChi與Amazon 數據集上的AUC 值結果Fig.8 AUC result on YelpChi and Amazon datasets

圖7（a）中，基于欺詐特征的LR 方法對YelpChi評論的整體分類效果最優，說明根據專家經驗設計的特征的有效性。圖7 中，集成方法En-HGAN 在YelpChi 數據集上的F1 值基本與先進的graphconsis方法相近，在Amazon 數據集上的F1 值稍低于graphconsis 方法，總體優于其他兩個GNN-based 檢測方法，這表明在HGAN 模型中引入集成思想解決圖結構數據的不均衡分類在一定程度上是有效的；兩個數據集上，Player2Vec 在整體分類性能上始終優于FdGars，這表明融合異構語義信息的評論（用戶）表征比單一關系下學習到的節點向量表示更具分辨力。

圖8（a）中，En-HGAN 方法在YelpChi 數據集上的AUC 值與先進的欺詐檢測方法graphconsis 很相近，稍優于傳統的LR 方法，且總是優于其他GNNbased 方法；圖8（b）中，En-HGAN 方法在Amazon 數據集上的AUC 值相比graphconsis 方法稍低，且總是優于另兩個GNN-based 方法。這表明基本的GNNbased 欺詐檢測方法確實會受到非均衡數據分布的不良影響，同時也說明集成多個存在差異的HGAN 模型來檢測網絡中少量的不實評論（欺詐用戶）是可行的。

（2）在兩個數據集上，基學習器HGAN 與變體方法實驗結果的F1 值與AUC值分別如圖9、圖10所示。

從圖9、圖10 中不難看出，兩個不同數據集上，HGAN 在檢測性能上始終優于兩個變體方法，這表明雙層注意力機制能夠從異構的語義關系中學習到表達力更強、對欺詐檢測任務更加有效的節點嵌入；HGANsem 的表現總是好于HGANnd 則說明，相比關系級別的注意力計算，在節點級別對鄰居信息進行有區別的融合更有益于欺詐節點檢測任務。

圖10 HGAN 與其變體方法在YelpChi與Amazon 數據集上的AUC 值結果Fig.10 AUC result of HGAN and its variant methods on YelpChi and Amazon datasets

4.5 參數討論

本節基于兩個數據集上的實驗，分別討論了一些重要的超參數對基檢測方法HGAN 以及集成檢測方法En-HGAN 的影響。

（1）圖11、圖12 和圖13 分別給出兩個不同數據集的實驗結果下網絡中節點最終輸出向量的維度l，語義融合層的注意力向量q的維數，以及GAT-layer中多頭自注意力機制實施次數P這3 個參數對HGAN 識別虛假評論效果的影響。

圖11 l 對HGAN 方法的影響Fig.11 Effect of l on HGAN

圖12 q 對HGAN 方法的影響Fig.12 Effect of q on HGAN

圖13 P 對HGAN 方法的影響Fig.13 Effect of P on HGAN

圖11（a）中，隨著YelpChi 評論最終向量表示維度的增加，HGAN 的檢測性能首先隨之提升，然后開始緩慢下降；圖11（b）中隨著Amazon 用戶輸出表征維度的增加，HGAN 的檢測性能也呈現先緩慢提升再下降的趨勢，但總體變化并不明顯。這表明一個合適的表征維數更有益于HGAN 編碼多樣的語義，維度過大的節點向量表示可能引入冗余信息。

圖12 顯示HGAN 對欺詐評論（用戶）的檢測效果隨著語義層次注意力向量維度的增加而提升，并且在q的維數等于128 時達到最優，之后可能因為維度過大導致了過擬合使得模型性能逐漸降低。

圖13 的結果顯示多頭注意力機制中P的值越大，HGAN 的性能會隨之輕微波動著增長。

（2）將少數類樣本設定為正例（positive），多數類樣本設定為負例（negative）。圖14 和圖15 給出兩個數據集的實驗下基學習器個數k以及訓練子集中正負樣本比例（pos∶neg）對En-HGAN 檢測性能的影響。

圖14 k 對En-HGAN 方法的影響Fig.14 Effect of k on En-HGAN

圖15 pos∶neg 對En-HGAN 方法的影響Fig.15 Effect of pos∶neg on En-HGAN

圖14（a）中，隨著子模型個數k不斷增大，直到等于9，En-HGAN 對YelpChi 數據集中不實評論的檢測效果逐漸優化，但繼續增加基學習器數量，模型性能沒有進一步提升；圖14（b）中，隨著基學習器個數的增加，En-HGAN 對Amazon 數據集中欺詐用戶的識別效果逐漸提升，并在k等于12 時達到最優，但k的值繼續增大后檢測性能沒有明顯變化。

圖15 的結果顯示訓練子集中正例占比變大，En-HGAN 的檢測效果卻沒有更優。pos∶neg 為1∶0.2、1∶0.5時可能由于子訓練集中樣本量較少和過擬合問題造成方法性能降低。

5 結束語

本文的集成層級圖注意力網絡En-HGAN 識別方法一方面利用層次化的注意力機制從異構網絡中為評論（用戶）節點學習語義更加豐富的向量表征，另一方面利用輸入樣本擾動集成多個差異化的HGAN 模型，實驗結果表明傳統的數據采樣結合集成學習用于圖神經網絡模型做類別不均衡的節點分類任務是可行的。由于En-HGAN 方法沒有進一步考慮數據子集中各類樣本的質量，單純地使用隨機欠采樣解決不同類實例在數量上的不均衡，未來可以采取更加靈活的動態采樣方法構建更優質的均衡子訓練集。另外，也可根據問題背景和數據分布等選擇其他集成框架，比如Boosting 來挖掘異常特征和均衡檢測結果。