絕對不平衡樣本分類的集成遷移學習算法*

么素素，王寶亮，侯永宏

1.天津大學 電氣自動化與信息工程學院，天津 300072

2.天津大學 信息與網(wǎng)絡(luò)中心，天津 300072

1 引言

實際數(shù)據(jù)挖掘與機器學習中訓練數(shù)據(jù)絕對不平衡的問題普遍存在。數(shù)據(jù)絕對不平衡是指數(shù)據(jù)集不僅存在類別不平衡問題，同時少數(shù)類樣本數(shù)量極少，不足以訓練分類模型。例如疾病診斷中樣本數(shù)量極少且存在不平衡[1]，文本分類、圖像分類[2]中數(shù)據(jù)維數(shù)過高且存在不平衡。數(shù)據(jù)絕對不平衡要同時解決兩個問題[2]：（1）訓練數(shù)據(jù)類別不平衡問題，弱分類器對少數(shù)類有較高的分類錯誤率，分類結(jié)果傾向多數(shù)類；（2）訓練數(shù)據(jù)不充分問題，少數(shù)類樣本中包含的信息不足以訓練模型。因此尋找恰當?shù)奶幚矸椒?，提高訓練?shù)據(jù)絕對不平衡情況下分類器性能以及分類器對少數(shù)類數(shù)據(jù)識別能力具有非常重要的意義。

目前針對不平衡問題研究，主要包含兩種方法[3]：一種是從數(shù)據(jù)層面平衡數(shù)據(jù)集；另一種是設(shè)計或改進學習算法，降低算法對類別不平衡度的敏感度，從而增強算法的魯棒性。但是當訓練數(shù)據(jù)絕對不平衡時，直接訓練分類器或者利用抽樣方法平衡訓練集都不能達到理想的分類效果。增加訓練數(shù)據(jù)是解決絕對不平衡問題的有效方法[4]，但是新樣本的標注需要花費大量的時間與人力。因此有學者提出引入相似領(lǐng)域數(shù)據(jù)補充少數(shù)類訓練集，利用遷移學習思想解決數(shù)據(jù)絕對不平衡問題[2，5-8]。遷移學習[9]打破了傳統(tǒng)機器學習算法中訓練數(shù)據(jù)集與測試數(shù)據(jù)集獨立同分布的假設(shè)，可以有效利用過期數(shù)據(jù)進行學習。但是依然存在一些問題，如輔助領(lǐng)域類別不平衡條件下的樣本選擇問題[2]以及領(lǐng)域間類別不平衡度不一致的問題[10]。

為解決上述問題，本文融合級聯(lián)模型與集成遷移學習思想，提出了基于級聯(lián)模型的集成遷移學習算法（ensemble transfer learning algorithm based on cascade structure，CETLA）。首先，對TrAdaBoost[10]算法進行改進，通過引入權(quán)重恢復因子，動態(tài)調(diào)整輔助領(lǐng)域樣本權(quán)重，解決輔助領(lǐng)域樣本權(quán)重不可恢復問題。隨后，將改進的TrAdaBoost算法作為級聯(lián)結(jié)構(gòu)各節(jié)點分類器基分類器，利用級聯(lián)結(jié)構(gòu)對輔助領(lǐng)域數(shù)據(jù)進行樣本選擇。最終集成各節(jié)點分類器作為最終分類器。在真實數(shù)據(jù)集上進行驗證，證明本文算法能有效提高在測試集上的F-measure值以及G-mean值。

本文組織結(jié)構(gòu)如下：第2章簡要介紹基于Ada-Boost的集成遷移學習算法TrAdaBoost，并優(yōu)化其權(quán)重更新策略；第3章主要介紹基于級聯(lián)結(jié)構(gòu)的集成遷移學習算法；第4章對本文算法進行實驗仿真與結(jié)果分析；第5章對全文進行總結(jié)。

2 TrAdaBoost算法及改進

2.1 TrAdaBoost算法簡介

TrAdaBoost算法是首個基于boosting技術(shù)的實例遷移算法，該算法假設(shè)輔助領(lǐng)域與目標領(lǐng)域具有共同的特征空間、標記空間，領(lǐng)域差異僅在于數(shù)據(jù)分布不同。領(lǐng)域間數(shù)據(jù)分布差異導致輔助領(lǐng)域中存在一部分“壞”樣本，這些“壞”樣本的引入會降低分類器性能。TrAdaBoost算法利用AdaBoost更新目標領(lǐng)域權(quán)重，利用Hedge（β）[11]算法更新輔助領(lǐng)域權(quán)重。在迭代過程中降低錯分樣本權(quán)重，減弱該樣本對下一次分類器訓練的影響力，從而實現(xiàn)領(lǐng)域知識遷移。

根據(jù)TrAdaBoost算法權(quán)重更新策略可知，在樣本權(quán)重歸一化之后，輔助領(lǐng)域樣本權(quán)重和單調(diào)下降，目標領(lǐng)域樣本權(quán)重和單調(diào)上升，領(lǐng)域間權(quán)重差異逐漸增加，輔助領(lǐng)域權(quán)重快速收斂。同時算法缺少權(quán)重恢復機制，在之后的迭代過程中，即使輔助樣本對目標領(lǐng)域?qū)W習有幫助，其權(quán)重也沒辦法恢復。

2.2 基于權(quán)重恢復因子的TrAdaBoost算法

在TrAdaBoost算法中，弱分類器對少數(shù)類樣本有較高的分類錯誤率，導致輔助領(lǐng)域少數(shù)類樣本權(quán)重收斂更快。TrAdaBoost算法僅集成后半部分分類器，而輔助領(lǐng)域少數(shù)類樣本很可能已經(jīng)收斂了，這些樣本將不會對目標領(lǐng)域模型訓練有影響。輔助領(lǐng)域的引入反而加重了訓練集的不平衡度。

針對TrAdaBoost算法輔助領(lǐng)域權(quán)重收斂過快問題，DTrAdaBoost[12]通過引入動態(tài)因子防止輔助領(lǐng)域發(fā)生權(quán)重轉(zhuǎn)移，但算法收斂慢，計算代價較高。Al-Stouhi等人[2]利用“標簽依賴因子”限制輔助領(lǐng)域權(quán)重收斂速度，對輔助領(lǐng)域中少數(shù)類樣本賦予更高的標準化權(quán)重，使得弱分類器具有更平衡的假設(shè)分類面。但是該算法沒能解決領(lǐng)域間類別平衡度不一致問題。

針對上述缺陷，假設(shè)不平衡樣本分類中輔助領(lǐng)域小類樣本有助于提升分類器性能，本文提出了一種基于動態(tài)權(quán)重恢復因子的實例遷移算法，用于級聯(lián)模型中各節(jié)點分類器的訓練。

基于權(quán)重恢復因子的TrAdaBoost算法（weight recovery factor based TrAdaBoost，WR-TrAdaBoost）流程如下。

輸入：輔助領(lǐng)域數(shù)據(jù)Ds；目標領(lǐng)域數(shù)據(jù)Dt；將Ds與Dt混合成訓練集D，前ns個樣本屬于Ds，剩余nt個樣本屬于Dt，其中xi∈X是樣本特征集，yi∈{0,1}為樣本標簽；最大迭代次數(shù)m；弱分類器h(x)。

1.權(quán)向量歸一化：

2.訓練弱分類器：

3.計算弱分類器ht(x)在目標領(lǐng)域數(shù)據(jù)的錯誤率：

4.計算ht(x)對目標領(lǐng)域各類別分類錯誤率：

式中，ns+1≤j≤ns+nt，mp與mn分別為目標領(lǐng)域少數(shù)類與多數(shù)類樣本數(shù)量。

5.計算權(quán)重更新因子：

6.權(quán)向量更新：

針對TrAdaBoost算法中輔助領(lǐng)域權(quán)重不可恢復問題，引入動態(tài)權(quán)重修復因子σ，動態(tài)調(diào)整輔助領(lǐng)域少數(shù)類權(quán)重。算法針對不平衡數(shù)據(jù)進行分類，目標領(lǐng)域少數(shù)類樣本分類準確率可能為0。加入一個較小的正則項值之后，既不會影響模型性能，也避免σ計算過程中出現(xiàn)分母為0的情況。

如算法第4～5步所示，根據(jù)權(quán)重恢復因子的計算方式可知，利用目標領(lǐng)域中不同類別樣本分類正確率之間的相對大小動態(tài)調(diào)節(jié)權(quán)重恢復因子，可以減弱算法對樣本不平衡度的敏感度。當目標領(lǐng)域類別準確度一致度較高時，σ≈1；當少數(shù)類樣本權(quán)重過高導致模型偏向少數(shù)時，σ＜1；當目標領(lǐng)域中少數(shù)類樣本錯誤率較高時，σ＞1。

3 基于級聯(lián)模型的集成遷移學習算法

BalancedCascade[13]利用人臉識別中的級聯(lián)模型思想實現(xiàn)不平衡分類。算法主要通過3個要素解決數(shù)據(jù)不平衡問題：（1）利用級聯(lián)模型逐步刪除多數(shù)類樣本，使得級聯(lián)結(jié)構(gòu)后面節(jié)點數(shù)據(jù)集更平衡；（2）在各個節(jié)點對數(shù)據(jù)集下采樣，平衡數(shù)據(jù)集；（3）利用集成機制，提升系統(tǒng)泛化能力。

3.1 CETLA算法設(shè)計思路

針對不平衡問題，BalancedCascade算法在每個節(jié)點利用下采樣方法平衡訓練數(shù)據(jù)，但當數(shù)據(jù)絕對不平衡時，少數(shù)類數(shù)據(jù)不充分導致下采樣得到的數(shù)據(jù)不足，分類器對訓練樣本過擬合。本文通過引入輔助領(lǐng)域數(shù)據(jù)，很好地解決不平衡數(shù)據(jù)分類中少數(shù)類樣本不充分問題。

Fig.1 Block diagram of CETLAalgorithm圖1 CETLA算法步驟框圖

針對節(jié)點t，由上一節(jié)點得到的分類器與權(quán)向量對數(shù)據(jù)集進行處理。利用Ht-1與對輔助領(lǐng)域進行樣本選擇，得到；利用對目標領(lǐng)域樣本進行過采樣，得到將與作為訓練集，根據(jù)WR-TrAdaBoost算法訓練得到Ht。經(jīng)過n個節(jié)點訓練，得到一個分類器組{H1,H2,…,Hn}，最終得到的分類器根據(jù)加權(quán)投票策略產(chǎn)生。

3.2 CETLA算法描述

3.2.1 目標領(lǐng)域過采樣策略

CETLA算法利用遷移學習思想引入輔助領(lǐng)域數(shù)據(jù)補充目標領(lǐng)域訓練集，由于目標領(lǐng)域數(shù)據(jù)量相對較少，容易導致領(lǐng)域間權(quán)重不匹配，從而需要對目標領(lǐng)域樣本進行過采樣。

目前主流的過采樣方法是合成少數(shù)類過采樣技術(shù)[14]，但是該算法沒有考慮樣本的重要程度。本文利用級聯(lián)模型，提出一種基于樣本權(quán)重的過采樣策略，除初始節(jié)點之外，各節(jié)點輸入的目標領(lǐng)域訓練樣本需要根據(jù)上一節(jié)點的目標領(lǐng)域樣本權(quán)向量進行過采樣。

級聯(lián)結(jié)構(gòu)中各節(jié)點利用WR-TraAdaboost算法訓練分類器，經(jīng)過m次迭代，被錯分的樣本權(quán)重增加，因此根據(jù)上一節(jié)點得到的權(quán)重進行過采樣可以有效保證重要樣本在之后訓練中能保持足夠影響力。

3.2.2 輔助領(lǐng)域樣本選擇策略

利用與目標領(lǐng)域相似的輔助領(lǐng)域數(shù)據(jù)解決目標領(lǐng)域訓練集不充分問題。由于輔助領(lǐng)域中不僅存在與目標領(lǐng)域相似的樣本，同時存在大量不相關(guān)樣本，這些樣本的引入會導致模型性能下降，引起“負遷移”。

CETLA算法利用級聯(lián)結(jié)構(gòu)對輔助領(lǐng)域進行樣本選擇。在各節(jié)點利用WR-TraAdaboost算法，經(jīng)過m次迭代，輔助領(lǐng)域中與目標分類器假設(shè)不一致的樣本權(quán)重收斂。對于不平衡分類，多數(shù)類樣本數(shù)量占優(yōu)，被錯分的幾率較小，因此當經(jīng)過m輪迭代之后，多數(shù)類樣本中權(quán)重較小的樣本可以視為噪聲樣本。將這些樣本剔除，使其不再出現(xiàn)在下一節(jié)點。

經(jīng)過N次迭代之后權(quán)重較高的樣本，視為與目標領(lǐng)域相似度較高，若該類樣本被上一節(jié)點訓練好的模型正確分類，則說明該樣本信息被有效利用，可以將其刪除。

輔助領(lǐng)域樣本選擇階段主要流程如下：（1）移除輔助領(lǐng)域中樣本權(quán)重較小的樣本（噪聲樣本）；（2）對于輔助領(lǐng)域權(quán)重較高的多數(shù)類樣本Ns，用分類器進行分類，從中移除被正確分類的樣本（冗余樣本，信息已被利用的樣本），從而保證目標領(lǐng)域樣本逐漸占優(yōu)。為提高算法的普適性，不用具體數(shù)值作為閾值，而是采用自適應(yīng)閾值。本文利用輔助領(lǐng)域樣本權(quán)重均值作為冗余樣本選擇閾值，參數(shù)設(shè)置的合理性將在4.2節(jié)參數(shù)設(shè)置階段進行實驗說明。

3.3 CETLA算法流程

利用集成遷移學習算法解決絕對不平衡樣本分類問題，CETLA算法流程如下所示。

輸入：輔助領(lǐng)域數(shù)據(jù)Ds；目標領(lǐng)域數(shù)據(jù)Dt；混合為數(shù)據(jù)集D={(x1,y1),(x2,y2),…,(xN,yN)}，大小為N；級聯(lián)節(jié)點個數(shù)n；WR-TrAdaBoost迭代次數(shù)m；弱分類器h(x)。

1.應(yīng)用上文提到的基于樣本權(quán)重的過采樣策略對目標領(lǐng)域進行過采樣，過采樣比例為r=|Ps|/|Pt|，形成新的樣本集

3.調(diào)整分類器閾值，使得分類器對目標領(lǐng)域樣本誤警率為a，a略高于0.5。

4.輔助領(lǐng)域樣本選擇：

式中，wmin為輔助領(lǐng)域樣本權(quán)重最小值；wt為冗余樣本篩選閾值。

輸出：

4 實驗結(jié)果分析

4.1 實驗數(shù)據(jù)

為了驗證算法可靠性，在兩個數(shù)據(jù)集進行實驗。首先利用20 Newsgroups數(shù)據(jù)集構(gòu)造3個跨領(lǐng)域分類任務(wù)，分別為Data1：REC-VS-TALK，Data2：RECVS-SCI，Data3：SCI-VS-TALK。如表1所示，針對上述3個任務(wù)分別構(gòu)造不平衡度為10%、5%、2%的數(shù)據(jù)集。同時利用Multi-Domain Sentiment Dataset[15]構(gòu)造兩個跨領(lǐng)域分類任務(wù)，分別為Data4：books-VS-dvd，Data5：books-VS-electronics。數(shù)據(jù)集信息如表1所示。

4.2 實驗設(shè)置

針對級聯(lián)結(jié)構(gòu)中節(jié)點個數(shù)n對模型性能的影響進行驗證。由圖2可知，在開始階段模型性能隨著n的增加有所提升，但是n到達4后性能開始下降。因此在之后的對比實驗中，將CETLA與Balanced-Cascade中節(jié)點n的個數(shù)設(shè)置為4，每個節(jié)點分類器訓 練8輪。為保證實驗的相對公平性，其余算法均訓練32輪。

通過圖3結(jié)果可知，將輔助領(lǐng)域樣本權(quán)重均值作為樣本選擇閾值時，模型性能最穩(wěn)定。若取值過小，會導致輔助領(lǐng)域多數(shù)類樣本數(shù)量急劇減少，模型性能下降；若取值過高，則不能實現(xiàn)冗余樣本刪除，模型性能下降。因此本文利用輔助領(lǐng)域樣本權(quán)重均值作為冗余樣本選擇閾值。

4.3 評價指標

對于相對平衡的數(shù)據(jù)集分類學習，通常采取分類精度作為評價指標。但是對不平衡數(shù)據(jù)集而言，利用分類精度作為評價指標通常不能很好地反應(yīng)分類模型的性能。不平衡學習中將少數(shù)類定義為正類（positive），多數(shù)類定義為負類（negative）。二分類混淆矩陣如表2所示。

Table 1 Dataset information表1 數(shù)據(jù)集信息

Fig.2 Influence of the number of nodesnin cascade structure圖2 級聯(lián)結(jié)構(gòu)節(jié)點數(shù)n的影響

Fig.3 G-mean values of different sample selection thresholds圖3 不同樣本選擇閾值下的G-mean值

Table 2 Two-classification confusion matrix表2 二分類混淆矩陣

混淆矩陣相關(guān)評價指標如下：

本文利用由混淆矩陣得到的F-measure、G-mean[16]作為算法性能評價指標。G-mean用于評價分類器在兩個類別上的平均性能。F-measure是查全率與召回率的調(diào)和平均值，其取值與二者較小者較為接近。其中β用于調(diào)節(jié)查準率與召回率的相對重要程度，當β＞1，召回率比較重要，反之，查準率比較重要。這里令β=1。

4.4 實驗結(jié)果及分析

4.4.1 WR-TraAdaboost權(quán)重收斂性驗證

為驗證權(quán)重恢復因子對分類器性能的影響，針對 3 種集成遷移算法 TrAdaBoost[10]、Rare Transfer[2]、WR-TraAdaboost在迭代過程中權(quán)重變化進行測試。

由圖4可知，隨著迭代次數(shù)加深，TrAdaBoost算法輔助領(lǐng)域樣本權(quán)重和占全部訓練樣本權(quán)重的比值呈下降趨勢，且下降速度非?？?。Rare Transfer算法輔助領(lǐng)域樣本權(quán)重變化穩(wěn)定增長，隨著迭代加深，輔助領(lǐng)域權(quán)重逐漸接近1。由于算法僅集成后半部分分類器，目標領(lǐng)域樣本對模型訓練的影響可以忽略。對于WR-TrAdaBoost算法，輔助領(lǐng)域權(quán)重比增長到0.5左右時，權(quán)重不再增長，算法既保證了目標領(lǐng)域樣本的影響力，又平衡了輔助領(lǐng)域訓練集。

Fig.4 Weight ratio of auxiliary domain sample圖4 輔助領(lǐng)域樣本權(quán)值比變化曲線

通過對比圖4、圖5可知，Rare Transfer算法雖然保證了不同類別樣本權(quán)重一致，但是忽略了目標領(lǐng)域數(shù)據(jù)的影響，當輔助領(lǐng)域與目標領(lǐng)域分布差異較大時，容易導致負遷移。而WR-TrAdaBoost算法既保證了不同類別權(quán)重平衡，又保證了領(lǐng)域間權(quán)重一致性。

Fig.5 Weight ratio of minority sample of auxiliary domain圖5 輔助領(lǐng)域少數(shù)類樣本權(quán)值比變化曲線

4.4.2 算法性能比較與分析

實驗方法為10次十折交叉驗證，結(jié)果為10次運行結(jié)果的平均值。每個數(shù)據(jù)集上最好的結(jié)果用粗體標出。

首先對在BalancedCascade（BC）與AdaBoost（Ada）算法中引入輔助領(lǐng)域數(shù)據(jù)前后的分類器性能進行對比，在表3、表4中“t”代表訓練集中只有目標領(lǐng)域數(shù)據(jù)，“s&t”表示訓練集中引入了輔助領(lǐng)域數(shù)據(jù)。由實驗結(jié)果可知，直接引入輔助領(lǐng)域數(shù)據(jù)有時會降低分類器性能，因此利用遷移學習方法對輔助領(lǐng)域?qū)崿F(xiàn)有選擇性的遷移很有必要。

Table 3 Comparison ofG-meanvalues on different algorithms表3 不同算法G-mean值性能比較

Table 4 Comparison ofF-measurevalues on different algorithms表4 不同算法F-measure值性能比較

通過表3、表4數(shù)據(jù)可知，相對于TrAdaBoost算法與Rare Transfer算法，WR-TrAdaBoost算法訓練的分類器在兩個數(shù)據(jù)集上性能相對較好。表明針對絕對不平衡問題，對少數(shù)類樣本增加權(quán)重恢復因子可以在一定程度上提升分類器性能。

通過實驗對比本文算法與不平衡學習算法在不同不平衡度下的F-measure與G-mean。由表3、表4可知，本文CETLA算法針對絕對不平衡問題性能良好。在Data4、Data5上進行驗證，發(fā)現(xiàn)TrAdaBoost算法與未使用輔助數(shù)據(jù)AdaBoost算法相比性能較差，即TrAdaBoost針對不平衡數(shù)據(jù)集可能導致負遷移。

5 結(jié)束語

為了解決數(shù)據(jù)絕對不平衡問題，提高分類模型中少數(shù)類的識別率與準確率，本文將級聯(lián)模型與遷移學習算法相結(jié)合，提出了一種基于集成遷移學習的絕對不平衡數(shù)據(jù)分類算法。本文算法在級聯(lián)結(jié)構(gòu)各節(jié)點模型訓練階段，利用基于權(quán)重恢復因子的TrAdaBoost算法進行樣本權(quán)重更新。之后將遷移學習算法融入級聯(lián)結(jié)構(gòu)，利用級聯(lián)結(jié)構(gòu)逐漸完成輔助領(lǐng)域樣本篩選，并逐漸平衡訓練集。最后將全部節(jié)點的分類器組進行集成，得到最終分類模型。在真實數(shù)據(jù)集上的實驗結(jié)果表明，本文提出的CETLA算法可以有效提高分類模型中受訓練數(shù)據(jù)絕對不平衡影響的學習算法性能。

本文算法未考慮多個輔助領(lǐng)域的遷移學習，當輔助領(lǐng)域樣本與目標領(lǐng)域樣本差異較大時可能會導致負遷移，未來工作可以考慮將本文算法推廣到多輔助領(lǐng)域場景。