融合顯著性和非局部模塊的細(xì)粒度圖像分類算法凌晨

關(guān)鍵詞：細(xì)粒度圖像分類；顯著性；數(shù)據(jù)增強(qiáng)；深度學(xué)習(xí)

中圖分類號：TP 183 文獻(xiàn)標(biāo)志碼：A

引言

隨著神經(jīng)網(wǎng)絡(luò)深度和參數(shù)的增加，以及計算設(shè)備功能的日益強(qiáng)大，深度學(xué)習(xí)在許多領(lǐng)域取得了重大的突破。對于圖像分類任務(wù)來說，優(yōu)秀的分類模型以及大量且優(yōu)質(zhì)的訓(xùn)練數(shù)據(jù)集是提升分類準(zhǔn)確率的關(guān)鍵。當(dāng)訓(xùn)練樣本過少時，模型往往會趨于過擬合，模型的泛化性能會降低[1]。特別是對于類內(nèi)差異大，類間差異小的細(xì)粒度圖像分類任務(wù)來說，收集大量帶有強(qiáng)監(jiān)督信息的訓(xùn)練數(shù)據(jù)的成本是高昂的。因此，對原有數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)可在一定程度上解決數(shù)據(jù)量不足的問題。但僅僅進(jìn)行數(shù)據(jù)增強(qiáng)已不能滿足當(dāng)今復(fù)雜的細(xì)粒度圖像分類任務(wù)，將數(shù)據(jù)增強(qiáng)與后續(xù)細(xì)粒度圖像分類算法相結(jié)合則可進(jìn)一步提升相應(yīng)性能。

近年來，多種先進(jìn)的數(shù)據(jù)增強(qiáng)方法和細(xì)粒度圖像分類算法被陸續(xù)提出。Devries等[2]提出了數(shù)據(jù)增強(qiáng)方法Couout，在訓(xùn)練中隨機(jī)選擇訓(xùn)練圖片的一個區(qū)域，并將其裁剪掉，不保留任何信息，進(jìn)而迫使模型學(xué)習(xí)圖像的全局信息，而不是僅僅關(guān)注于局部，這是一種類似于Dropout[3]的正則化方法。Mixup[4]的研究人員則從鄰近風(fēng)險最小化出發(fā)，引入不同類別的關(guān)系，減小了模型對原始樣本分布之外數(shù)據(jù)的不適應(yīng)性，增加了模型對抗的魯棒性。該方法直接將訓(xùn)練樣本中2個隨機(jī)樣本的全部區(qū)域進(jìn)行像素級線性插值，然后將生成的虛擬樣本作為訓(xùn)練樣本，其新標(biāo)簽也使用相同的方法及比例進(jìn)行插值來獲得。但這種方式得到的圖片是模糊且不自然的，在需要關(guān)注局部特征的細(xì)粒度圖像分類場合下是不適用的。Attentive CutMix[5]是一種兩階段的混合方法，它先將一張樣本經(jīng)過預(yù)訓(xùn)練的熱力圖模型，得到樣本的熱力圖，并選出一定數(shù)量的熱力值高的塊，再將其覆蓋到另外一張樣本的相應(yīng)位置。Takahashi等[6]提出的RICAP則沒有局限于1張或2張樣本，而是裁剪訓(xùn)練集中隨機(jī)4張樣本的部分，然后將裁剪得到的部分拼接為一張訓(xùn)練樣本，最終樣本的尺寸與原始樣本的尺寸相同，其標(biāo)簽是與4個樣本的面積成比例的比率混合類標(biāo)簽。與像素點混合的增強(qiáng)方法相比，RICAP有3個不同點：空間上混合圖像，部分使用圖像，不會創(chuàng)建原始數(shù)據(jù)集中不存在的特征。該方法使新樣本里包含的信息更為豐富，其標(biāo)簽也更加平滑，是一種適用于深層次的卷積神經(jīng)網(wǎng)絡(luò)的增強(qiáng)方法，但該方法所裁剪的區(qū)域均為隨機(jī)選擇，會存在所得到的區(qū)域是背景而不包含任何信息的情況，因此該數(shù)據(jù)增強(qiáng)方法也有一定的局限性。

由于帶有強(qiáng)監(jiān)督信息的訓(xùn)練數(shù)據(jù)獲取較困難，因此基于強(qiáng)監(jiān)督信息的細(xì)粒度圖像分類方法在實際中難以應(yīng)用，目前主流的研究方向是基于弱監(jiān)督信息的方法。Lin等[7]提出的B-CNN是一種雙線性模型，使用2個并列的基于卷積的模型作為特征提取器，對局部的對應(yīng)特征進(jìn)行提取并交互，以捕獲細(xì)節(jié)特征。Fu等[8]提出的RACNN將卷積神經(jīng)網(wǎng)絡(luò)與注意力機(jī)制相結(jié)合，用注意力機(jī)制提取局部信息，使網(wǎng)絡(luò)既能關(guān)注到整體也能關(guān)注到局部。Wang等[9]在細(xì)粒度圖像分類中，通過學(xué)習(xí)一組卷積過濾器來捕獲特定類的塊，而不需要額外的部分或邊界框注釋，有效地提升了細(xì)粒度圖像分類效果。但以上方法主要依靠復(fù)雜的網(wǎng)絡(luò)或者流程來捕獲精細(xì)特征，并未對訓(xùn)練數(shù)據(jù)做任何處理。

顯著性圖saliency map[10]為每個像素點對模型分類結(jié)果的影響，是一種數(shù)據(jù)驅(qū)動的注意力機(jī)制，可表示模型對圖像某個區(qū)域感興趣。Li等[11]通過邊界移除機(jī)制優(yōu)化了圖像邊界選擇，然后使用隨機(jī)游走排序來制定像素級顯著性圖。Zhang等[12]認(rèn)為網(wǎng)絡(luò)的淺層無法獲取到全局信息，所以關(guān)注于網(wǎng)絡(luò)中多層特征的提取，引入了空間注意力和通道注意力機(jī)制，將深層次的全局語義信息提供給淺層，提出了一種以漸進(jìn)方式選擇性地整合多層次上下文信息的注意力引導(dǎo)網(wǎng)絡(luò)。得益于神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，顯著性圖的計算僅需要一個反向傳播，對其計算梯度絕對值后，根據(jù)RGB三通道生成的灰度圖得到顯著性圖。

非局部模塊non-local[13]與注意力機(jī)制相似，通過計算各點的相似度來得到權(quán)重，再通過對應(yīng)點的特征值加權(quán)映射輸出就能得到該點與不同位置點的依賴關(guān)系，即全局信息。得益于非局部模塊的殘差連接，該模塊可插入到網(wǎng)絡(luò)的各個結(jié)構(gòu)中而不用調(diào)整其維度大小，在深層和淺層中都可以學(xué)習(xí)到多尺度特征，但非局部模塊對高維特征的學(xué)習(xí)更加有效。劉晶晶等[14]發(fā)現(xiàn)非局部模塊比堆疊的卷積在位置關(guān)系的計算上更有優(yōu)勢，可以直接獲得大范圍的關(guān)系，將其應(yīng)用在音頻處理中，降低模型的誤差。Mei等[15]在單圖像超分辨中提出了一種動態(tài)稀疏的非局部稀疏注意力模式，保留了非局部操作的長程建模能力和稀疏表征的魯棒性和高效性，使模型不再關(guān)注噪聲大，信息少的區(qū)域。

對于細(xì)粒度圖像分類任務(wù)而言，帶有判別性特征的訓(xùn)練數(shù)據(jù)越豐富，模型識別判別性特征越精確，細(xì)粒度圖像分類的準(zhǔn)確率越高。本文提出的融合顯著性和非局部模塊的細(xì)粒度圖像分類算法，將顯著性圖與RICAP數(shù)據(jù)增強(qiáng)算法進(jìn)行了結(jié)合，將圖片的顯著性區(qū)域裁剪保留并拼接，使模型所獲得的訓(xùn)練圖像的內(nèi)容更加豐富，且都是其顯著的帶有判別性特征的區(qū)域，并將非局部模塊插入到ResNet-50[16]的高維特征層中獲得全局信息，使模型將全局特征和局部特征聯(lián)系起來，引導(dǎo)模型同時識別不同類別的特征，解決了所增強(qiáng)圖片信息分布太廣而模型對局部特征獲取能力不足的問題，進(jìn)而提高細(xì)粒度圖像分類的準(zhǔn)確率。

1本文方法

本文提出的細(xì)粒度圖像分類方法融合了顯著性和非局部模塊。首先對數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，即隨機(jī)選擇4張圖片計算其顯著性，再將顯著性部分按照裁剪模板裁剪拼接成一張圖片供模型訓(xùn)練，以保證模型所得到的訓(xùn)練數(shù)據(jù)包含豐富信息的同時又可以引導(dǎo)模型對全局特征的關(guān)注。考慮到訓(xùn)練數(shù)據(jù)可能會存在顯著性區(qū)域分布過于廣泛的情況，容易影響高層語義特征的學(xué)習(xí)，所以將非局部模塊融合到模型中，以構(gòu)建高層全局語義特征的聯(lián)系，實現(xiàn)對圖片中各個尺度、各個位置的特征都能夠識別。

1.2非局部模塊嵌入

細(xì)粒度圖像分類算法的關(guān)鍵在于對判別性特征的識別，卷積操作可以對局部判別性特征進(jìn)行提取，但本文所提的增強(qiáng)方法得到的圖片為顯著性區(qū)域的拼接，其特征豐富且分散。為緩解訓(xùn)練數(shù)據(jù)顯著性區(qū)域分布過大，強(qiáng)化模型對高層語義特征的融合，本方法提出將非局部模塊嵌入到瓶頸模塊之間，在獲取特征圖全局中不同位置的依賴關(guān)系的同時不會引入太多計算量。瓶頸模塊如圖4（a）所示，非局部模塊由圖4（b）所示，ResNet-50網(wǎng)絡(luò)剩余結(jié)構(gòu)如圖4（c）和（d）所示，本文所提網(wǎng)絡(luò)模型架構(gòu)如圖5所示。

模型階段越靠后，其特征圖的尺度越小，語義特征信息越豐富，為了使所嵌入的非局部模塊能聯(lián)合到不同尺度以及不同深度的特征信息，本文模型使用3個非局部模塊來進(jìn)行特征聯(lián)合。同時為保證非局部模塊所處理的特征圖語義信息豐富且尺寸不至于過小，本文模型將非局部模塊嵌入到模型的stage3中。所以模型的前部傾向于對細(xì)節(jié)特征的提取，后部傾向于對所提取特征的聯(lián)合并精煉，從而更適用于細(xì)粒度圖像分類任務(wù)。

2實驗與分析

為驗證本方法的有效性，在Stanford Cars，CUB-200-2011這2個細(xì)粒度圖像分類基準(zhǔn)數(shù)據(jù)集上進(jìn)行了分類準(zhǔn)確率的實驗，并對比了多個細(xì)粒度圖像分類算法與數(shù)據(jù)增強(qiáng)算法，同時還進(jìn)行了消融實驗與熱力圖分析以驗證本方法各模塊的必要性與可解釋性。

2.1實驗數(shù)據(jù)集和評價指標(biāo)

Stanford Cars共有196個類別，包含8144張訓(xùn)練圖片和8041張測試圖片。CUB-200-2011包含200類共11788張圖片。以上數(shù)據(jù)集的圖片均為RGB圖像。實驗中以Top-1準(zhǔn)確率（Top-1 accuracy）為評估指標(biāo)[18]。

2.2實驗設(shè)置與環(huán)境

將所提出的方法與先進(jìn)的數(shù)據(jù)增強(qiáng)方法（以ResNet-50為骨干模型）和細(xì)粒度圖像分類算法作比較，分別為Cutout，Mixup，RICAP，Gridmask，F(xiàn)Mix，SaliencyMix[19]和B-CNN，RA-CNN，MC-Loss[20]，CNL[21]。以上方法的超參數(shù)均設(shè)置為其文獻(xiàn)公布代碼的默認(rèn)值，且在相同基線模型、相同數(shù)據(jù)集上的各項參數(shù)設(shè)置完全相同，均使用SGD作為優(yōu)化器來更新參數(shù)和優(yōu)化模型，對數(shù)據(jù)的預(yù)處理也僅做了隨機(jī)裁剪和隨機(jī)水平翻轉(zhuǎn)及歸一化，未引入其他數(shù)據(jù)增強(qiáng)方法。訓(xùn)練過程中批量大小為32，迭代次數(shù)為200，均在一張顯存為24G的NVIDIA GeForceRTX3090GPU上進(jìn)行，基于PyTorch深度學(xué)習(xí)框架。

2.3實驗結(jié)果與分析

如表1所示，本文所提方法的分類準(zhǔn)確率均優(yōu)于所對比的6種數(shù)據(jù)增強(qiáng)方法及4種細(xì)粒度圖像分類算法，在Stanford Cars和CUB-200-2011上分別達(dá)到了94.01%和85.97%的Top-1分類準(zhǔn)確率。Cutout，Gridmask，RICAP，F(xiàn)Mix，SaliencyMix這5種方法是基于裁剪的增強(qiáng)方法：Cutout，Gridmask會直接使樣本產(chǎn)生無意義區(qū)域；RICAP，F(xiàn)Mix，SaliencyMix產(chǎn)生的樣本雖然全是有意義的區(qū)域，但在拼接圖片時會丟失掉部分原圖，使樣本上下文信息不齊全。Mixup則是進(jìn)行全局的像素級混合，容易使圖片產(chǎn)生混淆區(qū)域，加大了模型對圖片的理解難度，且對關(guān)鍵部位的定位能力也有所損失。B-CNN雖然對2個分支網(wǎng)絡(luò)的信息進(jìn)行了交互，但其缺少不同深度信息的提取與交流。RA-CNN所使用的循環(huán)卷積網(wǎng)絡(luò)能夠不斷聚焦圖像的顯著區(qū)域，但是缺少特征圖層級的語義信息的聚合。MC-Loss則是只改動了Loss函數(shù)，未對網(wǎng)絡(luò)的特征提取能力和理解能力進(jìn)行加強(qiáng)。CNL是對非局部模塊做了修改使其更適應(yīng)細(xì)節(jié)特征識別，但對訓(xùn)練數(shù)據(jù)未做任何處理。而本文所提方法中的增強(qiáng)方式不會出現(xiàn)混淆區(qū)域，其拼接的區(qū)域全是經(jīng)過顯著性定位后的顯著區(qū)域，經(jīng)此增強(qiáng)后，訓(xùn)練數(shù)據(jù)的判別性區(qū)域不再集中，能夠迫使模型對全局進(jìn)行關(guān)注。并且與其他細(xì)粒度圖像分類方法相比，本文提出的將3個非局部模塊嵌入到模型的stage3中的方法簡單有效，既有全局特征的聚合，又有深度信息的相互交流。

2.4消融實驗

為驗證本方法所提出各個模塊的有效性，在CUB-200-2011數(shù)據(jù)上進(jìn)行了消融實驗，結(jié)果見表2。在基線模型中添加本文提出的增強(qiáng)方法后，準(zhǔn)確率提升了1.34%，并且隨著非局部模塊的添加，模型的準(zhǔn)確率進(jìn)一步增加，在stage3添加了3個非局部模塊后，準(zhǔn)確率又提升了0.78%。這說明本文所提出的數(shù)據(jù)增強(qiáng)方法與插入的非局部模塊都是有效且必要的。這是因為經(jīng)本文提出的增強(qiáng)方法處理后，增強(qiáng)后的圖片顯著性區(qū)域分布廣泛，模型可以學(xué)習(xí)到更豐富的信息，非局部模塊又能夠?qū)⑻卣鲌D中各個區(qū)域聯(lián)系起來，使模型對各個區(qū)域的特征都有所關(guān)注，兩者互補(bǔ)。值得注意的是非局部模塊都是從各個階段的右邊開始嵌入并計算個數(shù)，且在ResNet-50的stage3階段添加非局部模塊的性能都優(yōu)于在stage2階段添加，這是因為非局部模塊更適用于對高維特征圖的注意力計算。

2.5樣本可解釋性分析

使用Grad-CAM[22]即類激活圖對本方法進(jìn)行可解釋性分析，如圖6所示，以找出模型對圖像聚焦的區(qū)域[23]。

對激活圖分析可知，經(jīng)過本方法訓(xùn)練后的模型能夠?qū)D片各個區(qū)域的特征進(jìn)行識別。與原始圖片相比，盡管有些顯著區(qū)域所激活的大小發(fā)生了變化，但被激活區(qū)域的形狀與原始圖片相同，高亮區(qū)域的連續(xù)性也沒有被打破，說明模型對所增強(qiáng)圖片的信息仍然能夠正確理解，且特征提取的能力沒有減弱。同時，增強(qiáng)后圖片的4個顯著性區(qū)域都能夠被激活，說明模型對各個顯著性區(qū)域的鑒別不會丟失，并且模型的注意力能夠覆蓋更大的范圍。這也進(jìn)一步證明了本方法的優(yōu)越性。

3結(jié)論

本文將顯著性與非局部模塊相結(jié)合來提升細(xì)粒度圖像的分類準(zhǔn)確率，提出了融合顯著性和非局部模塊的細(xì)粒度圖像分類算法，通過裁剪及拼接4張訓(xùn)練圖片的顯著性區(qū)域為1張圖片，來使訓(xùn)練數(shù)據(jù)包含的信息更加豐富，并在ResNet-50的瓶頸模塊中融合3個非局部模塊，以加強(qiáng)模型對特征圖中所有鑒別性特征區(qū)域的關(guān)注。實驗結(jié)果表明，本方法在Stanford Cars和CUB-200-2011數(shù)據(jù)集上的分類準(zhǔn)確率均高于對比的增強(qiáng)方法與細(xì)粒度圖像算法，證明了該方法的有效性與優(yōu)越性。