基于雙邊采樣對比增強的不平衡圖像分類研究

彭祎祺 林珊玲 林志賢 周雄圖 郭太良

1(福州大學物理與信息工程學院 福建 福州 350116) 2(中國福建光電信息科學與技術創新實驗室 福建 福州 350116) 3(福州大學先進制造學院 福建 晉江 362200)

0 引 言

近年來,深度學習在圖像分類任務中的應用愈加廣泛,并且大多實驗方法都能達到極佳分類效果。現有的圖像分類的數據集通常呈均勻分布,即數據集中各個類別與其相對應樣本的數目大致相同。但實際分類任務中的數據集通常會產生極端不平衡長尾分布現象[1],也就是數據集的頭部類別對應樣本數量較多,而尾部類別對應樣本數目只占據極少部分。數據長尾分布現象使得模型在訓練時,頭部類別數據易產生過擬合并且對尾部數據的建模能力不足,從而使模型預測精度降低,因此尋找一種能夠對長尾分布數據進行有效分類是當前的亟待解決的問題。針對訓練數據不平衡的問題,目前的方法主要是訓練時將樣本采樣進行重新平衡,即過采樣或欠采樣、重新加權。

過采樣方法主要是重復抽取少數類別中樣本,以降低類別不平衡程度;文獻[2]提出使用類平衡采樣,首先對類別標簽采樣,再對包含被采樣類別的圖像進行統一采樣從而達到類別均衡。雖然過采樣方法能夠對數據不足的類別樣本進行較大改進,但在訓練階段容易產生過擬合現象。而欠采樣方法的核心是刪除多數樣本類別中的一些可用訓練數據,達到數據平衡;文獻[3]使用卷積神經網絡(Convolutional Neural Network,CNN)進行目標檢測,訓練過程中隨機選取背景圖像塊的10%進行模型訓練,解決背景圖像塊與目標圖像塊類別樣本不平衡問題。但由于長尾數據中頭部數據和尾部數據不平衡比例較大,重采樣方法會丟失數據的重要信息使深度網絡喪失泛化能力。

重加權法是為不同訓練樣本分配權重,文獻[4]通過類別頻數的倒數和使用平滑的類別頻數的平方根倒數兩種加權法達到數據平衡;在樣本水平進行加權中,文獻[5]通過增加難以判別樣本的權重和減少對應容易區分樣本權重,使神經網絡對誤差敏感;在損失函數改造上,文獻[6]提出Softmax equalization同時應用在樣本水平和類別水平訓練,解決頭部數據訓練的負梯度抑制同期訓練的尾部數據的學習問題,對不同樣本分配不同權值從而有效對長尾數據進行分類。

在特征學習和分類結合方面,文獻[7]將傳統的分類網絡分解為特征學習和分類器學習兩部分,首先使用三種不同采樣策略抽取數據來訓練并提取特征,然后使用類別均衡數據重新訓練線性分類器的參數,對學習到的特征進行KNN分類,利用歸一化分類器的權值來使得權值的尺度使數據更加平衡。文獻[8]引入記憶模塊,由于尾部數據無法利用特征提取器充分提取特征,將每個通過特征提取器的特征從記憶模塊對應類似特征的表示信息,促進長尾數據的分類。這些方法將長尾類別分布問題視為訓練期間批量采樣的不平衡因素,雖然重平衡模型可以正確分類尾部數據,但類內分布更稀疏,而且在一定上損害深度網絡學習的深度特征的表示能力。

對比學習在自監督領域取得很好效果,其通過相似類別樣本和不同類別樣本學習特征,并且無須關注樣本的每個細節,學到特征就能夠與其他樣本進行區分。文獻[9]提出一種基于視覺表示對比框架,計算同一數據示例的不同增強視圖之間潛在空間中的對比損失,在特征和對比損失間引入可學習線性變換達到特征質量提高。文獻[10]在自監督學習基礎上,將每個樣本進行數據增強使同類圖像的特征更接近,實現了同類特征接近、異類特征遠離的效果。

針對上述方法存在的問題以及對比學習的特征學習原理,本文提出一種基于雙邊采樣對比增強的漸進式學習分類網絡。首先將訓練樣本進行均勻采樣和倒置采樣;將均勻采樣后樣本經過兩種隨機增強,生成視圖樣本;之后倒置采樣樣本和對視圖樣本分別送入卷積神經網絡進行特征學習;進一步利用對比學習方法得到高質量的視圖樣本特征,達到聚合同類分散異類的效果;通過漸進式學習累加提取到的兩種特征向量并送入分類器學習,最后計算整個網絡的損失函數,訓練整個模型得到更加精準的分類準確率。

1 相關概念

1.1 ResNet50卷積神經網絡

深度網絡能夠提取豐富特征,但由于梯度消失等原因,訓練數據和測試數據的準確率隨著網絡層增多而降低。正則化和初始化梯度問題的解決方法會使網絡逐漸退化,優化效果更差[11-12]。ResNet是利用殘差塊搭建的深度神經網絡,殘差學習將輸入信息給到輸出,減少信息的損失以保證網絡的整體性能。它由49個卷積層和1個全連接層組成并且有兩種殘差模塊,一種是以兩個3×3的卷積網絡串接的殘差模塊,一種是1×1、3×3、1×1的3個卷積網絡依次串接的殘差模塊。每個殘差模塊首先使用1×1卷積下采樣,高和寬減半削減維度,使分辨率降低,然后用3×3的卷積核下采樣,最后用1×1的卷積恢復維度,能夠避免造成數據損失。利用網絡的殘差函數F(x)=H(x)-x,擬合恒等映射網絡。使用shortcut連接,不會引入額外的參數和增加模型的復雜度。殘差塊將輸入通過shortcut通道直接給到輸出,再與經過卷積后的輸出相加。這種跳躍結構,能在網絡訓練到最優,繼續加深層數時,恒等映射理論上保留最優狀態。本文中選用三層殘差塊,能夠降低網絡中參數的數目,且達到充分訓練網絡的效果。

1.2 圖像增強

圖像增強是通過對給定數據樣本做隨機變換,產生相似但與原始圖像不同的訓練樣本,以增多訓練數據集的數量,增強模型對未學習過的數據的分類效果,降低模型對樣本的依賴性,提升模型的泛化能力[13]。

常用的圖像增強主要包括空間變換法、像素變換法和增強對比度法。隨機翻轉的空間變化法是以一定的概率隨機水平或垂直翻轉圖片,翻轉結果不會改變圖像的類別,從而達到圖片增強目的;隨機裁剪的空間變化法則會讓目標隨機出現在圖像的不同位置,生成包含不同信息的目標樣本;通過隨機空間增強,降低模型對目標位置的敏感性。像素變換法是通過增加噪聲、濾波、調整對比度和亮度等生成不同樣本。當訓練過程中經常出現某類圖像時,神經網絡會學習高頻特征,從而導致模型發生過擬合;加入噪聲使高頻特征失真,生成極為有用的圖像以增加有效樣本。圖像亮區與暗區的灰度比值即為對比度,采用增強對比度以更突出目標區域,將暗區變得更加清晰;通過調整亮度、色彩等因素能降低模型對色彩的敏感度。

1.3 對比學習

對比學習主要包括正樣本和負樣本兩個部分,通過潛在空間的對比損失最大限度地提高相同數據樣本的不同擴充視圖間的一致性來學習特征[14]。對比學習的計算流程:首先選取一個批次樣本N個,對每個樣本進行兩次隨機數據增強,得到2N個新圖像數據送入網絡訓練,經過特征提取產生2N個特征向量。對于任意一幅圖像,其余2N-1幅圖像都會存在與該圖像類似的樣本,將同一樣本的兩幅圖像即正樣本和其他樣本的圖像即負樣本的特征分別對比,達到區分樣本特征的目的,極大地提高了學習特征的質量。在沒有標簽的數據的自監督對比學習中,由于無法預知圖像類別,只能讓相同圖像特征彼此接近。對于有圖像類別的監督學習,可以將同類圖像的特征更接近,正樣本對來自同一個訓練樣本,通過數據增強等操作得到的兩個特征向量,使得兩個特征越接近越好,負樣本對來自不同訓練樣本的兩個特征向量,使得兩個特征越遠離越好,實現了同類特征接近、異類特征遠離的效果。

2 基于雙邊采樣對比增強算法

2.1 BBRCL模型結構

模型主要分為特征學習部分、分類器學習部分和對比學習部分。

為解決圖像分類中類別不平衡的問題,通常會對訓練數據進行重采樣或重加權法來調整類別的均衡性以此影響分類器的權重更新,但這種方法在一定程度上破壞學習到的深度特征,使得類別分布更加離散。為改善傳統平衡類別存在的缺陷,本文提出的BBRCL模型,通過均勻采樣和倒置采樣數據訓練網絡提取深層特征訓練分類器,且隨機增強樣本的對比學習能得到更豐富的特征優化分類效果,模型的整體結構如圖1所示。

圖1 BBRCL模型的整體結構

特征學習部分包含均勻采樣特征學習,倒置采樣特征學習,通過神經網絡訓練進行特征學習。當訓練集驗證集收集完成時,訓練樣本輸入該模型,為對應標簽,上部分經過均勻采樣處理,獲得一組樣本(xc,yc),下部分經過倒置采樣處理,獲得一組樣本(xr,yr)。并且兩部分使用相同的殘差網絡結構,除最后一個殘差塊外均共享網絡權重。兩組樣本輸入到上下部分網絡中通過全局平均池化層獲得特征向量fc和fr。其中均勻采樣為每個樣本在一輪訓練中被采樣的概率相同,且僅被采樣一次;倒置采樣為每類被采樣的概率與樣本數量成反比,一個類的樣本越多,該類采樣的概率越小。假設類別i的樣本數為Ni,所有類的最大樣本數為Nmax,權重可表示為wi=Nmax/Ni,因此具體的采樣概率如式(1)所示。

(1)

根據Pi隨機采樣,可得到一批訓練數據。在網絡中共享權重,不僅有利于兩部分的特征學習,而且降低了網絡訓練的復雜度,減少計算量。

分類器學習部分主要采取漸進式學習策略,通過控制主干網絡提取到的特征向量fc、fr和分類損失函數L,來平衡兩部分的學習。

具體過程首先設置自適應參數α,根據訓練的周期以拋物線形式衰減,計算公式如式(2)所示。

(2)

式中:Tmax是總訓練周期;T是當前訓練周期數。再給兩個特征分別加上權重得到對應加權特征αfc,(1-αfr)輸入到各自的分類器中,通過逐元素相加得特征輸出概率分數,如式(3)所示。

z=αWcfc+(1-α)Wrfr

(3)

式中:Wc與Wr為正常采樣倒置采樣分別對應的分類器,最后使用softmax函數,預測樣本的類別。

由式(4)計算兩種采樣bloss,其中E(·)為交叉熵。

(4)

在特征學習和分類器學習的基礎上,加入對比學習策略。輸入的每個樣本經過均勻采樣后,會隨機進行兩種不同的隨機數據增強,生成兩個來源同一個樣本的圖像,輸入到各自不經過全連接層的殘差網絡,通過MLP多層感知器映射到對比損失的空間。將來自同一樣本的圖像對,與其他樣本生成的圖像對使用矩陣相似對比法的對比學習策略,得到高質量的樣本特征。整個模型的損失函數如式(5)和式(6)所示。

(5)

(6)

式中:Nyi是一個批次中數據總量;yi是i圖像的標簽。多層感知器的層與層之間每個神經元都有連接,本模型采用的MLP使用基礎的三層結構,輸入層、一層隱藏層和輸出層,使用ReLU激活函數,隱藏層大小為2 048,輸出向量大小為128維。對該向量進行歸一化,使其位于單位超球面上,從而可以使用內積測量投影空間中的距離。

最后將對比學習部分損失closs加入BBRCL的損失中,理想收斂情況下,可以增加樣本數量,使得同類樣本特征足夠相似,以此優化分類器學習的預測準確率。

因此,整個BBRCL模型的總損失如式(7)所示。

loss=lboss+lcoss

(7)

2.2 模型訓練

訓練數據集數據(xi,yi),i=1,2,…,n,依次進行均勻采樣(xc,yc),倒置采樣(xr,yr),經過均勻采樣的樣本(xc,yc)隨機進行兩種數據增強,得到來自同個樣本兩個的不同視圖(xci,yc),(xcj,yc),倒置采樣的樣本經過隨機數據采樣得到(xri,yr)。將這三組樣本輸入相應的CNN網絡,經過全局平均池化層獲得特征向量fc、fci和fr。fc和fr輸入進行分類器Wc、Wr訓練,分類器的學習主要采取漸進式學習,通過自適應參數α控制權重,輸入特征向量得到概率,從而計算得到兩種采樣的bloss函數。均勻采樣的特征向量fc、fcj,輸入多層感知器MLP映射到投影空間,對比學習計算closs函數。最后,由總的損失函數loss控制網絡訓練,訓練至分類準確率最高,得到最優的分類模型。

3 實驗結果與分析

3.1 數據集介紹

CIFAR-10數據集中包含10個類,每類有6 000幅圖像,總共6 000幅32×32的彩色圖像,其中劃分成50 000幅訓練集和10 000幅測試集[15]。測試集數據取自10類中的每一類,每一類隨機取1 000幅,剩余數據隨機排列組成每批次10 000幅圖像的五批訓練集。這些類完全相互排斥。

為創建不平衡的版本[16],人為減少每個類別的訓練樣本數量,并保持驗證集不變。設計一個不平衡參數η來控制數量最多和數量最少樣本之間的比率,η=maxNi/minNi,調整η可以改變數據不平衡的程度。訓練的過程中訓練集采取隨機裁剪,隨機垂直或水平翻轉,隨機色彩失真,0.2概率轉為灰度圖,驗證集不進行任何隨機變換。

3.2 對比實驗

為了探究BBRCL算法訓練過程,在不平衡系數為20的CIFAR-10,設置訓練輪數200個epoch,初始學習率為0.1,使用隨機梯度下降法,在前5個epoch使用學習率優化策略-線性學習率warm up對學習率進行初步調整,在100和150 epoch學習率各衰減0.01。

圖2為BBRCL在不平衡系數為20的CIFAR-10上訓練集與驗證集準確率。200個epoch訓練過程中,前50個epoch更關注樣本數據大的類別,即頭部數據,訓練精度train_acc不斷增加,而后模型開始提取樣本較少的類別特征,逐漸關注尾部數據,訓練準確率train_acc開始下降。經過學習率的衰減和分類器的訓練,在140個epoch后train_acc急劇上升,訓練集準確率達到98.49%。驗證集valid_acc前期迅速上升,在開始關注少量樣本時,有短暫不穩定的下降,而當訓練穩定,valid_acc一直穩步上升,直到擬合達到最大分類準確率84.64%。

圖2 訓練集與驗證集準確率曲線

圖3為BBRCL在不平衡系數為20的CIFAR-10上訓練集與驗證集的損失函數。train_loss為均勻采樣隨機增強兩個視圖之間的對比closs與兩種采樣間bloss之和,valid_loss為多分類交叉熵softmax計算得到的loss。由圖中可看出,train_loss在前期急速減少,之后平穩減少,valid_loss在關注少量樣本時,有段不穩定的波動變化,而后穩步下降直至擬合。

圖3 訓練集與驗證集loss曲線

為對比不同采樣器對于分類的影響,使用均勻采樣器,平衡采樣器和倒置采樣器。均勻采樣能夠保持數據的原始分布;平衡采樣器使每個類具有相同的采樣概率,構建標簽平衡的分布;倒置采樣使樣本少的數據采樣概率大,使得訓練時更關注數據少的類別[17]。CIFAR-10在不平衡參數設置為20,表1為使用不同采樣器訓練的模型top-1錯誤率。

表1 top-1錯誤率(%)

其中使用均勻采樣器與倒置采樣器結合訓練的模型準確率有較大的提高。由此可見漸進式學習頭部數據與尾部數據的特征有益于分類準確率的提升。

實驗選取三個不同的不平衡參數ratio:20、50、100,分別在CIFAR-10數據集、CIFAR-100數據集上訓練。表2給出不同平衡參數設置下訓練的模型top-1錯誤率。

表2 數據集信息

在均勻采樣使用數據增強每個樣本產生隨機兩個視圖,通過映射到投影空間對比計算類別距離的方法,能夠在兩個數據集訓練中最佳準確率得到較大的提升。

本文選擇四種訓練不平衡數據的方法,與BBRCL進行實驗對比。使用CrossEntropy交叉熵損失函數CE、Focal損失函數[17]、LDAM-DRW邊緣損失函數、BBN算法訓練模型。表3給出五種不平衡分類算法在CIFAR-10數據集,設置不平衡參數為50的模型訓練的模型top-1錯誤率。圖4為五種算法的top-1準確率曲線。

表3 CIFAR-10數據集上ratio 50各算法top-1錯誤率(%)

圖4 不同算法的top-1準確率曲線

CE、Focal、LDAM-DRW采樣訓練樣本的概率均相同,準確率處于不斷上升直到收斂狀態。BBN、BBRCL使用均勻采樣與倒置采樣漸進進行,在關注尾部數據準確率有短周期下降,繼而波動最終穩定上升到收斂。從結果上看,BBRCL模型準確率顯著提升。

改進后的算法不僅能提取圖像更深層的特征有益于模型學習,而且在準確率上比現有最優算法提升2%,相比于傳統方法提升6%～7%,模型的穩定性也高于傳統算法。對比傳統的處理數據不平衡方法,BBRCL算法具有很大的優勢。

4 結 語

本文針對極度不平衡的長尾問題,提出一種基于雙邊采樣增強的漸進式學習分類網絡,同時訓練特征學習器分類器,對訓練樣本分別進行均勻采樣和倒置采樣,使用兩種不同的數據增強方法得到樣本的不同視圖,進行對比學習使得類內距離更近,全面提高模型分類能力。實驗部分在兩個數據集上與其他再平衡方法進行比較,結果表明,本文提出的方法在數據不平衡分類的任務中性能優于其他方法。對于樣本數據極度不平衡的任務,具有一定的參考價值和實用性。本文提出的對比學習方法也可以擴展到無標簽訓練任務中,在自監督領域能夠得以使用。