基于Xception網絡的弱監督細粒度圖像分類

丁文謙，余鵬飛，李海燕，陸鑫偉

云南大學 信息學院，昆明 650500

近年來，圖像的粗分類己經不能滿足人們在某些應用中的需求，人們希望了解圖像中更細致的信息，比如在識別出一幅圖像中的動物是狗的同時，還能夠識別出狗的具體品種。細粒度圖像[1]與普通圖像相比，可能存在不同種類的個體比同類個體更為相似的情況，即存在同種類間不同個體差異大、不同種類間不同個體差異小的問題，使得細粒度分類的難度更大，使用傳統圖像分類方法不能取得很好的分類效果，研究者們開始將深度學習技術引入到圖像識別研究中[2]。

研究人員針對細粒度圖像分類研究提出了許多算法，這些算法可以分為強監督和弱監督的細粒度圖像分類算法。強監督細粒度圖像分類算法在訓練模型時，除了使用圖像的類別標簽外，還使用了物體標注框、部位標注點等額外標注信息[3]。例如，Wei等人[4]提出的Mask-CNN模型是首個端到端地將深度卷積特征應用到物體檢測的細粒度圖像識別模型，該模型利用細粒度圖像的部分標注來定位目標的頭部、軀干等具有識別度的部位。Lam等人[5]根據細粒度圖像目標部分的注釋和邊界框得到圖像的邊界框和候選框，再利用LSTM網絡將圖像中的邊界框和生成的候選框進行融合形成HSnet網絡進行細粒度圖像識別。雖然這類算法識別率較高，但需要依靠額外的標注信息，而獲取標注的成本較高，并且，因為標注信息的使用，使得神經網絡的運算量變大，訓練時間變長，不利于此類算法的應用。近年來，僅使用類別標簽，不需要額外標注信息的弱監督細粒度圖像分類算法逐步成為研究細粒度圖像分類的主流算法。例如，Lin等人[6]提出了B-CNN網絡，該網絡包括兩個VGG網絡，一個VGG網絡用來檢測圖像的目標區域，另一個VGG網絡對目標區域進行特征提取，最后將兩個網絡提取的特征進行雙線性融合完成識別細粒度圖像的任務。Fu等人[7]提出RA-CNN網絡，利用注意力建議網絡在不同尺度的圖像上生成區域注意力，通過多尺度網絡逐步定位到關鍵區域，利用分類損失進行網絡優化，學習準確的區域關注和細粒度表示。黃偉鋒等人[8]提出基于多視角融合的分類方法，一個分支利用特征圖挖掘圖像的細粒度特征，另一個分支則學習圖像的全局特征。最終，將兩個分支進行融合完成分類任務。Hu等人[9]提出WSDAN模型，基于僅使用圖像標簽信息的前提，在注意力引導下完成訓練數據的增強，引入類中心損失函數和雙線性注意力池化完成網絡訓練和優化。但是，WSDAN模型中用來判斷Attention Cropping（注意力裁剪）和Attention Dropping（注意力丟棄）里有效區域的閾值所屬的區間過大，會由于特征區域標記錯誤而導致分類錯誤。同時，WSDAN模型中使用普通CNN網絡來產生注意力圖，會受制于普通CNN網絡性能的限制，產生不準確的注意力圖而導致分類錯誤，影響分類效果。

為了解決WSDAN模型存在的問題，本文在WSDAN模型的基礎上，提出了一種基于Xception網絡的弱監督細粒度圖像分類方法，使用Xception網絡代替Inception V3作為骨干網絡和特征提取網絡，利用深度可分離卷積代替普通CNN生成注意力圖來引導數據增強，調整Attention Cropping（注意力裁剪）和Attention Dropping（注意力丟棄）操作中使用的閾值區間，在僅使用圖像標簽信息的基礎上完成細粒度圖像分類任務。

1 相關工作

1.1 WSDAN模型

WSDAN模型[9]是典型的弱監督細粒度分類模型，僅使用圖像的標簽信息，通過引入注意力機制完成訓練數據的增強，來提高訓練和測試的正確率。

傳統的數據增強在目標尺寸較小的情況下效率較低，還會引入背景噪聲，利用注意力圖（Attention Map），可以有效地增強數據。所謂注意力圖就是圖像中辨識度高的某個部位，如鳥的頭部、汽車的輪胎、狗的尾巴、飛機的機翼等，在一幅圖像中可能包含多個注意力圖。

從全部注意力圖中隨機選擇一個注意力圖Ak，按照公式（1）歸一化后進行數據增強，包括注意力裁剪（Attention Cropping）和注意力丟棄（Attention Dropping），如圖1所示。

圖1 注意力引導數據增強過程Fig.1 Attention guiding data enhancement process

原始圖像通過弱監督注意力學習得到若干個代表目標識別部分的注意力圖，隨機選擇一個注意力圖Ak，如圖1放大的注意力圖中Ak覆蓋的區域引導原始圖像完成注意力裁剪和注意力丟棄的數據增強操作。所謂注意力裁剪就是將注意力圖中重點關注的區域從原圖對應區域上裁剪下來，而注意力丟棄則是將這部分區域從原圖抹除，使網絡不再關注這塊區域。基于注意力機制的數據增強的目的是有針對性地增加訓練圖像的數量，提高網絡的泛化能力。

利用一個邊界框Bk覆蓋Ck中所有值為1的區域，裁剪原始圖像中Bk覆蓋的區域并放大，由于這部分區域是放大的區域，存在更多細節，可以提取更多的細節特征。

將被標記為0的區域從原始圖像中抹除，可以促使網絡提取圖像中其他具有識別度的區域，進一步增強網絡的泛化性能。

1.2 Xception模型

Xception網絡模型是在Inception V3網絡的基礎上進行改進得來的，引入了深度可分離卷積。Inception網絡的思想是使跨通道相關性和空間相關性充分解耦[10]，在使用中將一個卷積過程分解成一系列獨立的操作，即Inception模塊先處理跨通道相關性（通道卷積），再處理空間相關性（空間卷積）。

在Inception網絡的理論基礎上，把Inception V3中標準的Inception模塊（如圖2所示）簡化為只使用一種規格的卷積核，并且不含平均池化的模塊（如圖3所示）。對圖3中的Inception模塊用一個大的1×1的卷積，在不重疊的通道區塊上進行空間卷積（如圖4所示）。通道區塊的數量越多，跨通道相關性和空間相關性完全解耦的假設會更合理。基于上述發現與假設提出了“極致”Inception模塊（如圖5所示），先使用1×1卷積映射跨通道相關性，然后在每個1×1卷積的輸出通道上有一個獨立的空間卷積來映射空間相關性[3]。普通卷積把所有通道視為一個區塊，Inception模塊將若干個通道劃分成3或4個區塊，“極致”Inception把每個通道當作一個區塊，是一個可分離的卷積。

圖2 標準的Inception模塊Fig.2 Standard Inception module

圖3 簡化的Inception模塊Fig.3 Simplified Inception module

圖4 等效的Inception模塊Fig.4 Equivalent Inception module

圖5 極致的Inception模塊Fig.5 Extreme Inception module

Xception網絡使用深度可分離卷積增加了網絡寬度，同時引入類似Resnet的殘差連接機制加快了網絡收斂速度，不僅提升了分類的正確率，也增強了網絡對細節特征的學習能力。基于上述分析，本文將Xception網絡應用于細粒度圖像分類任務中。

2 本文方法

本文通過對Xception模型和WSDAN模型的分析研究，提出了基于Xception模型的弱監督細粒度圖像分類網絡，整體結構如圖6所示。

圖6 整體結構Fig.6 Overall structure

在訓練過程中，原始圖像I先利用Xception弱監督網絡產生特征圖F，對特征圖F進行深度可分離卷積得到注意力圖A（A中包含M個不同部位的注意力圖）。將特征圖與注意力圖按照元素相乘的方法，按照公式（4）進行特征融合，得到特征矩陣[9]。通過元素相乘的方法可以將注意力集中到局部區域，可以強化網絡從局部區域中學習細微的特征，可以減少網絡對無關特征的學習。特征矩陣包含更少的干擾信息和更準確的特征信息。

再按照公式（5）進行全局平均池化操作得到注意力特征fk，將M個注意力特征進行級聯操作，得到注意力特征矩陣P，再將P的每一列經過分類器即可得到每一類圖像的預測概率Ppre_raw。

M表示注意力圖個數，N表示總類別數。

文獻[10]隨機裁剪像素塊的方法來增強數據，這種方法會引入較多無關信息和噪聲，本文則利用注意力圖引導數據增強，可以獲得噪聲更少、更準確的數據。本文的訓練過程是一個邊訓練邊得到增強圖像的過程。從A中隨機選取一個注意力圖Ak引導數據增強，得到注意力裁剪圖像Ic和注意力丟棄圖像Id，將Ic和Id反饋回網絡與原始圖像一起作為增強后的輸入圖像。增強后的輸入圖像再隨機選取一個注意力圖繼續引導數據增強。在完成整個訓練過程后，所有的注意力圖都會被用到，網絡可以學習到每個注意力圖所表示的不同部位的特征。

將Ic和Id送入訓練網絡后可以得到注意力裁剪預測概率Ppre_crop和注意力丟棄預測概率Ppre_drop。最后，將三個預測概率分別按照公式（7）~（9）得到相應的Loss,yi表示真實值（標簽值），N代表訓練圖像的總數量。按照公式（10）對三個Loss進行加權操作，得到的值通過反向傳播繼續優化網絡的參數。由于在訓練時更加突出數據增強的作用，因而α,β>η。

在識別過程中，原始圖像I先經過Xception弱監督網絡得到特征圖，對特征圖進行深度可分離卷積得到注意力圖A′（A′中包含多個不同部位的注意力圖）。將特征圖與注意力圖按照元素相乘的方法得到特征矩陣，再經過全局平局池化和分類器得到粗分類概率Praw。接下來，對A′進行加法操作得到注意力圖的總和，利用引導數據增強完成注意力裁剪操作，將得到的注意力裁剪圖像反饋回網絡與原始圖像一起作為識別網絡的輸入圖像。將送入識別網絡后可以得到細分類概率Pref。粗分類概率Praw和細分類概率Pref共同決定最終的分類概率。

2.1 特征提取

本文方法應用Xception網絡作為骨干網絡和特征提取網絡。Xception網絡是深度可分離卷積和殘差連接組成的線性堆疊。與Inception V3網絡相比，Xception網絡在不增加網絡復雜度的前提下提高了模型的效率和性能。同時，Xception網絡中加入的殘差連接機制也加快了網絡的收斂速度，可以更快地收斂。

Xception網絡的最大特點就是引入了深度可分離卷積，與圖5不同的是，本文方法所用深度可分離卷積中空間卷積的卷積核是1×1而不是文獻[11]中的3×3，結構如圖7所示，原因是：小卷積核在運算時需要的參數更少，且可以產生更多的特征。先用1×1的卷積核進行通道卷積，然后把每個輸出通道作為一個區塊利用1×1的卷積核進行空間卷積，最后將空間卷積的結果進行拼接。通道卷積和空間卷積獨立進行可以有效地減少參數量并加快收斂速度。

圖7 Xception網絡深度可分離卷積Fig.7 Depth separable convolution of Xception network

同時，在實驗中發現1×1卷積核得到的注意力圖更聚焦于頭部（特征部位），明顯好于3×3卷積核得到的注意力圖，如圖8所示。

圖8 不同卷積核得到的注意力圖Fig.8 Attention maps obtained by different convolution kernels

圖8中，左圖均是1×1卷積核得到的注意力圖，右圖是3×3卷積核得到的注意力圖。從圖中可以清晰地看出，左圖比右圖將注意力更準確地聚焦于鳥的頭部區域，而右圖則相對發散，和分類無關的背景區域較多。

根據所用數據集的特點，本文提出了1×1卷積核代替3×3卷積核，并取得了不錯的效果。但是，不是說卷積核越小越好，對于特別稀疏的數據使用比較小的卷積核可能無法表示其特征，選取適當尺寸的卷積核也是研究的一個重點。

2.2 數據增強

本文方法引入Xception模型的深度可分離卷積代替普通CNN從特征圖中提取注意力圖。在1.1節介紹的基于注意力的數據增強策略，核心和重點都在于注意力圖準確性上，當注意力圖越準確，數據增強的效果越好，最終識別的準確率就會越高。

在圖6（a）所示的訓練過程中，首先由原始圖像通過本文方法產生特征圖，對特征圖進行深度可分離卷積得到注意力圖A，其中A包含的注意力圖個數可以自定義，假定為M個，從M個注意力圖中隨機選出一個注意力圖AF按照公式（1）的方法進行歸一化得到。與原方法不同的是，在進行注意力裁剪和丟棄操作時，為引入了閾值區間[θcmin,θcmax]，0<θcmin<θcmax<1和[θdmin,θdmax]，0<θdmin<θdmax<1，如公式（11）和公式（12）。引入閾值區間的原因是：不同類別的動物形態差異較大，需要對注意力裁剪和丟棄操作中用到的閾值進行調整，目的是避免與較大的閾值比較后產生的誤判而帶來的分類標記誤差。

表示注意力裁剪操作中注意力圖的標記區域，有效內容標記為1，無效內容標記為0。裁剪時利用一個邊界框BF覆蓋中所有值為1的區域，裁剪原始圖像中BF覆蓋的區域并放大，即可得到注意力裁剪圖像Ic。

表示注意力丟棄操作中注意力圖的標記區域，注意力丟棄處理的區域和注意力裁剪相反，有效內容是閾值以外的值，標記為1，而無效內容標記為0。丟棄時，將被0標記的區域從原始圖像中抹除，即可得到注意力丟棄圖像Id。

2.3 評判標準

識別過程如圖6（b）所示，原始圖像先通過本文方法得到特征圖，對特征圖進行深度可分離卷積得到注意力圖A′，將特征圖與注意力圖A′按照元素相乘的方法得到特征矩陣，再經過全局平局池化和分類器得到粗分類概率Praw。另一方面，由于A′中包含多個注意力圖且不同注意力圖代表圖像的不同部位，因此可以對注意力圖進行加法操作，利用公式（13）的方法對注意力圖A′進行求和得到注意力圖總和代表整張圖的注意力圖。由于A′中的注意力圖仍會包含一些無關區域，導致求和以后的也會存在干擾區域，因此就有必要利用注意力圖對原始圖像進行注意力引導數據增強中的注意力裁剪操作，得到更精確的注意力裁剪圖像，再用本文方法對進行識別，得到識別的細分類概率Pref。

由于粗分類概率是原始圖像直接經過特征提取網絡得到的，相對細分類概率具有更高的不確定性，權重相對較小，而細分類概率是對原始圖像進行數據增強后預測的概率，相對粗分類來說具有更高的可靠性，因此在公式中賦予一個相對較大的權重。最終預測概率由公式（14）給出，其中w1

3 實驗及結果

本文所有實驗均在一臺GPU服務器（Ubuntu16.04.6 LTS系統，Intel Core i9-7900處理器，64 GB內存，兩塊GeForce GTX 1080Ti顯卡）上完成。該實驗使用了基于Python語言的Pytorch深度學習框架和Pycharm開發工具。

3.1 數據集與實驗設置

本文使用4個常用的細粒度圖像數據集CUB-200-2011[12]、Stanford Dogs[13]、Stanford Cars[14]、FGVC-Aircraft[15]和額外的NABirds[16]數據集，數據集信息如表1所示。

表1 細粒度圖像數據集信息Table 1 Fine-grained image data set information

實驗中，由于所用數據集中的圖片尺寸不同，為了方便實驗，統一調整為448×448，使用Xception網絡作為骨干網絡和特征提取網絡，僅使用圖像標簽信息，使用隨機梯度下降訓練模型，初始學習率為0.001。其中，在第3章中的權重α=0.35，β=0.35，η=0.3，1.1節中提到的注意力裁剪和丟棄的閾值θc和θd都是0.5，2.2節中的θcmin=θdmin=0.35，θcmax=θcmax=0.65，2.3節中的權重w1=0.4，w2=0.6。

3.2 實驗對比與結果

為驗證本文方法的分類性能，將本文方法與目前主流的細粒度圖像分類算法作比較，比較結果如表2所示。由于本文涉及到的參考文獻資料僅采用準確率作為評價指標，為保證實驗結果對比的有效性，本文也采用由公式（15）定義的準確率作為評價指標，pi表示第i類物種分類正確的圖像數目，numi表示第i類物種圖像的總數目，N表示圖像的類別的總數。

表2 不同細粒度圖像分類算法準確率對比Table 2 Comparison of accuracy of different fine-grained image classification algorithms %

從表2中可以看出，本文方法在常用的細粒度圖像分類數據集上均有較好的分類效果。在FGVC-Aircraft數據集上，本文方法的正確率略低于WSDAN方法，但和其他方法相比有較大的提高，與B-CNN相比提高了8.94個百分點。在Stanford Cars數據集上，本文方法與WSDAN方法基本持平，稍微提高了0.1個百分點的準確率，與B-CNN相比提高了3.17個百分點，和InceptionV3相比提高了3.67個百分點。在CUB-200-2011數據集上，本文方法比WSDAN方法提高了1個百分點，比B-CNN提高了5.18個百分點，比InceptionV3提高了5.58個百分點。在Stanford Dogs數據集上，本文方法比WSDAN方法提高了1.52個百分點，比InceptionV3提高了2.28個百分點。

本文方法在4個常用的細粒度圖像分類數據集上都取得較好的效果，說明本文方法可以很好地完成細粒度圖像分類任務。同時，為了測試本文方法的泛化性能，本文選取了一個更大規模的NABirds數據集進行測試，這是一個新的數據集，包含48 562張北美鳥類的圖像，其中包括23 929張訓練圖像、24 633張測試圖像，有555個類別，也包含部分注釋和邊框。

在NABirds數據集上的測試結果，如表3所示。

表3 不同算法在NABirds數據集準確率Table 3 Accuracy of different algorithms in NABirds dataset

從表3中可以看出，本文方法在NABirds數據集上的表現良好，比WSDAN方法提高了0.8個百分點，比Cross-X方法提高了2個百分點，比API-Net方法提高了0.3個百分點，比PAIRS方法提高了0.5個百分點，體現出本文方法有較好的泛化能力。

為了進一步比較本文方法和WSDAN方法的泛化能力，參考文獻[22]的方法給出了識別誤差增長曲線圖，如圖9所示。從圖9中可以看出，在NABirds數據集上，隨著標簽錯誤率的增加，雖然兩種方法的識別誤差都在增加，但本文方法的泛化誤差要優于WSDAN方法。

圖9 本文方法和WSDAN方法識別誤差對比Fig.9 Comparison of generalization errors between proposed method and WSDAN method

從表4中可以看出，本文方法采用的網絡模型比WSDAN方法所用模型具有更少的參數量，但計算量有所增加。從表5中可以看出，本文方法比WSDAN方法在數據集的訓練時間上增長了6.43%~15.83%。雖然訓練的計算量和訓練時間增加了，但是換來的是識別準確率的提升，在測試數據集上的準確率提高了0.09~1.52個百分點。

表4 本文方法與WSDAN方法計算量對比Table 4 Calculation amount comparison between method in this paper and the WSDAN method

表5 本文方法與WSDAN方法訓練時間與準確率對比Table 5 Comparison of training time and accuracy between methods in this paper and the WSDAN method

3.3 錯誤分類結果分析

盡管本文方法在常用的細粒度圖像分類數據集上取得了較好的分類效果，但也存在著錯誤分類的情況。本文以CUB數據集為例，列出錯誤分類數前5的鳥的種類，如圖10所示。

圖10 錯分類數最多的5種鳥類Fig.10 Five misclassified birds

經過對圖10列出的5種鳥類原始圖片的分析，總結出以下三種錯誤分類原因：

（1）毛色與環境相似

圖11（a）和（c）中目標主體的毛色與環境背景極其相似，且圖11（a）與（b）、（c）與（d）的體態和毛色也極為接近，因此會將北美夜鷹和貝氏沙鹀分類錯誤。在實驗中發現，18張北美夜鷹測試圖片會有5張被錯分類成卡羅萊納夜鷹；30張貝氏沙鹀測試圖片有3張被錯分類成栗肩雀鹀。

圖11 毛色與環境相似的例子Fig.11 Example of feathers’color similar to surroundings

（2）外形相似

圖12（a）與（b）、（c）與（d）都是屬于外形和體態極為相似的類型，同時，由于圖片質量的影響也會導致美洲烏鴉和小壩鹟分類錯誤。在實驗中發現，30張美洲烏鴉測試圖片會有5張被錯分類成魚鴉，30張小壩鹟測試圖片會有4張被錯分類成黃腹紋鹟。

圖12 外形相似的例子Fig.12 Example of similar appearance

（3）運動姿態相似

圖13展示的是長尾賊鷗和中賊鷗，兩種鳥類的外形比較相似，在飛行過程中二者飛行姿態的相似性導致提取的特征也相似，結果就是會把長尾賊鷗錯分類成中賊鷗。在實驗中發現，30張長尾賊鷗測試圖片會有3張被錯分類成中賊鷗。

圖13 運動姿態相似的例子Fig.13 Example of similar movement

4 結束語

本文提出了基于Xception網絡的細粒度圖像分類方法，在5個公開的細粒度圖像分類數據集上進行實驗。實驗結果表明，本文方法在測試的數據集上均取得了較高的準確率，具有很好的泛化能力，可以很好地用來完成細粒度圖像分類任務。接下來的工作，將針對3.3節提出的3種錯誤分類原因繼續改進本文方法。這三種導致錯誤分類的原因，說明本文網絡的特征提取能力還不是特別強，下一步會繼續改進網絡，提升網絡的特征提取能力。同時，考慮為本方法引入卷積特征融合的目標檢測算法[26]，提高網絡的目標檢測能力。