細粒度圖像識別任務的多層和區域特征融合模型*

劉宇澤，孫涵，李明洋，李明心，康巨濤，王恩浩

(1. 南京航空航天大學計算機科學與技術學院，南京市，211100；2. 伊利諾伊大學厄巴納—香檳分校Grainger工程學院，美國伊利諾伊州，61801)

0 引言

在整個十多年的細粒度識別研究中，最根本的目標是解決同一類下不同子類的識別問題，相關的經典數據集有FGVC-Aircraft[1]數據集和CUB-200-2011(CUB)[2]數據集以及Stanford Dogs[3]數據集等。這一識別任務的關鍵問題在于圖片整體相似而局部微小細節不同，在人眼幾乎也很難分辨的情況下，該任務的挑戰性可想而知，從而引起了廣泛的研究與關注。

細粒度圖像識別任務對于判別區域的特征學習至關重要。目前，主流的細粒度識別方法有兩種。一是通過人為標注判別區域邊界框進行學習，這種強監督下的學習方法[4-6]雖然在模型構建以及計算開銷上簡單許多，但是人工標注判別區域的成本太高，不能從根本上完整地解決細粒度圖像識別的問題。二是通過注意力機制自動學習圖像中具有判別特征的區域，這種無監督下模型的自主學習方法[7-10]不需要人為添加邊界框，但是在模型構建中需要引入額外的網絡結構，并且在訓練和推理階段會引入額外的計算開銷。

本文提出了一種基于注意力機制的MRI模型用于細粒度圖像識別任務。本模型不需要人工標注邊界框和注釋等額外的監督信息，即可完成一個端到端的訓練。

1 研究背景

目前在細粒度圖像識別方法整體上是兩種思路。一種是直接從原始的整體圖像中學習圖像的特征信息[11-12]。另一種就是基于部件或者注意力的，學習區域特征信息的學習策略[8-9]，也就是圖像的特征學習對象是整體或者是局部的不同。

一開始基于人工標注邊界框的強監督學習方式，在對于具有判別力的圖像區域的選取中省下了很大的功夫，之后需要的是利用已經標注好的區域和注釋進行特征提取和分類。Zhang等[13]強化對于特征區域的幾何約束并在姿態歸一化的基礎上進行類別預測。Chai等[14]利用強監督信息對圖像前后景進行分割，然后對前景進行處理，減少了無關區域的干擾。從選定好的特定區域的帶有類別和部件注釋的圖像中學習具有高區分度的中間特征，即和部件一對一的特征。但在實際應用以及未來趨勢中，當應用部署時，無論是新增的數據還是龐大的整體數據集，人工標注總是顯得十分麻煩以及耗費成本，因此研究趨勢開始往深度學習靠近[15]。

隨著近段時間深度學習的飛速發展，卷積神經網絡逐漸成為了圖像識別中的主流方法。細粒度識別方法已經從基于手工制作特征的多級框架[16-19]轉變為基于卷積神經網絡的多級框架[20-22]。在沒有人工標注邊界框和注釋的情況下，Jaderberg等[23]提出了空間轉換器網絡來顯示表示網絡內的數據，并預測具有豐富信息的區域位置。

同時大量基于部件或注意力的方法也被提出，Xiao等[21]提出的基于注意力部件的思路認為圖像中物體的部件具有非常重要的意義。Fu等[7]提出了一個強化注意建議網絡，以獲得區分注意區域和多尺度的基于區域的特征。Sun等[24]提出了一個單擠壓多激勵模塊來學習每個輸入圖像的多注意區域特征，然后在度量學習框架中應用多注意多類約束。除了部件以外，從自然語言處理領域逐漸延伸出來的模擬人觀察事物原理的注意力機制也有豐富的研究成果。Zhao等[9]提出了多元化的視覺注意力網絡，明確追求注意力區域的多樣性，更好的收集具有辨別性的信息。Hu等[25]提出了一種強化通道的圖像識別部件，給骨干網絡提取后的特征圖的通道附加注意力權重，這種關注通道特征的思路可以作為部件加在絕大部分的圖像識別模型中。Behera等[26]提出了一種強調上下文關聯的特征融合方法，用注意力權重來強調自主提取的特征區域在內容和空間上的相互關聯。

目前研究中主要存在數據集識別的準確率需要進一步提高的問題、對于人工標注邊界框等等高成本方法的克服問題，以及模型整體過于復雜所帶來的額外計算開銷的問題。

本文提出一種主體基于注意力機制的，全面利用骨干網絡計算結果的細粒度圖像識別框架(圖1)，名為多層和區域特征融合模型(MRI)。主要分為兩個部分，“多層融合”部分在標準分類骨干網絡中進行修改，原骨干網絡僅利用最后一層特征提取結果，本文將骨干網絡的淺層和深層提取結果全部利用，保證數據的全面性，并且添加了特征圖的融合權重。在“區域特征融合”部分自主提取興趣區域并學習各個區域之間的相關性，從而在原區域特征的基礎上對各個區域的特征進一步完善。

圖1 MRI模型的架構細節

2 模型構成方法與原理

模型的總體運行模式為接收一張圖片的輸入并輸出這張圖片的預測類別。為找到一個對應輸入圖片和預測標簽的映射函數F(圖1)，模型整體由3個部分組成：基礎CNNFa(.;θa)，多層融合模塊Fb(.;θb)，區域融合模塊Fc(.;θc)。我們的目標是通過端到端的訓練來學習模型參數θ={θa,θb,θc}。

2.1 帶有注意力權重的多層融合策略

多層融合指的是在最開始的骨干網絡基礎上，對于骨干網絡中不同層輸出的特征圖進行有規律的融合。正如本文引言所說，隨著骨干網絡層數加深，由于卷積核提取特征的原理，越深的特征圖的感受野越大，同時也具有更加豐富的語義信息。相反，淺層的特征圖感受野小，雖然語義信息較少，但是特征圖中包含更多的細節。融合多層的特征圖有利于全面利用模型的計算成果，增強語義信息的表現力和模型的推理能力。

對于“多層融合”部分，一方面，原有的骨干網絡在細粒度圖像識別中總是考慮最深層的特征提取結果，大量的計算和時間成本下網絡絕大部分的計算結果都被丟棄，所以將淺層提取結果融合加以利用。另一方面，在骨干網絡的提取中，隨著每一層卷積核的特征融合，感受野不斷增大，原來的圖像特征逐漸轉移到通道中。這是伴隨著從淺往深，圖像特征從細節到抽象的變化過程。細粒度圖像識別任務中具有判別力的局部細節特征至關重要，因此融合淺層提取結果是具有理論意義的。在采用多層融合的基礎上，同時給每層附加了注意力權重，在模型的不斷學習中，給予其自主調整對于不同層的關注程度的能力。

文章采用的骨干網絡是Resnet-50，這個網絡放在最開始，其中的卷積層訓練得到的可學習參數為θa。同時具有五層特征圖輸出{Oi|i=1,2,3,4,5}，由于第一層輸出過于淺層，感受野太小，對于深度學習計算意義不大，所以僅考慮后四層特征圖。

2.1.1 感受野加強

為擴張特征圖的感受野，使其具有更加豐富的語義信息，對Sun等[27]提出的語義分割領域中的一部分內容進行了復用。

首先，對于{Oi|i=2,3,4,5}，通過1×1卷積將特征圖的通道數轉換為128，將通道數減小并且統一，可減少后續計算的開銷，更加方便后續的多層融合。然后，對{Oi|i=2,3,4}三個特征圖分別采用同樣擴張率的擴張卷積進行操作。為了防止計算量增加，卷積核都固定在3×3這一較小量上進行運算。對于前三層特征圖擴張率設定為1,2,3，但對于最后一張特征圖擴展率為1,3,5。擴張率為1指的是采用原始的3×3卷積核，而擴張率為2指的是3×3卷積核每次采樣2個像素，也就是和5×5卷積核效果相近，從而使感受野擴大。以此類推，擴張率為3和5實際上使卷積核分別擴張到7×7和11×11。隨著擴張率增大，感受野同時也增大。在分別進行獨立的不同擴展率的卷積核卷積后，對具有不同感受野的三張特征圖進行元素相加。最后，經過一個3×3的卷積核進行融合。經過擴展卷積后的特征圖相比于之前具有更多豐富的語義信息，使骨干網絡的輸出結果不再僅僅關注物體的抽象特征，而更容易關注并學習到物體的整體信息。

2.1.2 附著注意力的多層融合

這里同樣的復用了部分Sun等[27]提出的并行融合策略，在復用的基礎上進行了部分截取并進行了創新。對于經過處理后的四層特征圖，因為在相鄰層上特征圖的感受野相近，所以采用相鄰層融合的策略，這樣的融合策略可以避免對特征圖中特征信息的重復融合，減少冗余信息，并且整體融合后可以加強特征圖的特征表現力。因此整體上對相鄰層優先融合，并重新編號，繼續以相鄰層融合。這里的融合就是元素相加并用3×3卷積核進行融合。

本文對{Oi|i=2,3,4,5}四張特征圖在感受野強化前添加注意力權重{Ai|i=2,3,4,5},初始化同為0.25。因為對于特征圖來說，淺層和深層帶來的效益不同，一方面是淺層細節信息，另一方面是深層語義信息，不能顧此失彼，也不能一視同仁。首先所有權重均為1的相加融合對于網絡來說數據還是有重復融合的情況，添加權重后4張特征圖的融合結果也會和典型的細粒度圖像識別領域中利用深層特征圖的數據形式靠齊，其次，對于深淺層不同特征信息不能人為的限制權重分配，若不采用注意力機制，而一次次試驗對于不同數據集的超參數也是很大的工程，因此注意力機制可以給模型更大的自主學習空間。其中所有卷積層訓練得到的參數和注意力權重參數{Ai|i=2,3,4,5}為可學習參數θb。本模塊融合后得到總特征圖O送入區域特征融合模塊。

2.2 區域特征融合模塊

對于“區域特征融合”部分，在特征圖中自由選取區域，這些區域很大程度上會很少或者不會包含重要的局部特征，但總有區域會包含需要的具有判別特征的判別區域，因此對于這些區域進行特征融合操作，將每個區域與其他所有區域的相關性作為基礎進行了一個帶有注意力權重的融合，從而在很大程度上完善了各個區域的特征表現。

2.2.1 提出興趣區域

為了有效率的學習上下文信息，在特征圖O上用不同的比例提取了大量的興趣區域。比例通過矩形的不同大小體現。考慮最小的區域r(O的左下角i行j列，寬Δx，高Δy)，通過不同的寬和高獲取區域集(例如區域R={r(i,j,mΔx,nΔy)};m,n=1,2,3,…，i

圖2 興趣區域選擇方法的可視化呈現

2.2.2 特征區域融合

在這個步驟中，把之前計算出的用來統一所有區域的固定大小的特征向量轉換為有權重的形式。這使得特征區域可以在基于相關性權重的基礎上進行特征融合。這里對Sun等[26]的上下文敏感注意力策略進行了復用。

式中：cr——計算過權重的內容向量；

αr,r′——經過softmax處理后的注意力權重系數；

βr,r′——經過tanh激活函數處理后的矩陣向量；

Wα，Wβ，Wβ′——參數矩陣；

bα，bβ——偏差值；

q，k——對特征向量進行數學處理的函數。

2.3 分類

這里將前一模塊得到的19張融合后的特征區域進行最后的操作。首先在保留通道數的基礎上調整形狀，將19張特征圖通道維以外的數據合成一維，進行平均池化后乘以權重α(這里的α是設定的超參數，默認為0.01)，同時對最開始多層融合模塊的輸出特征圖進行平均池化，然后將兩張特征圖元素加和送入分類器中，根據輸出概率得出最后的預測結果。

2.4 損失函數

MRI模型使用交叉熵損失函數。交叉熵損失函數只關心正確類別的預測概率，只要它的值足夠大，就能保證分類結果的準確性。

式中：L——所有樣本的平均損失；

N——訓練數據集中的樣本個數；

M——類別的數量；

yic——符號函數(1或0)，如果樣本i的正確類別為c，則取1，否則取0；

pic——樣本i屬于類別c的預測概率。

3 試驗結果與分析

文章在FGVC-Aircraft數據集和Oxford Flowers102以及AID數據集上對MRI模型進行了性能上的評估，并得到了試驗數據。在整個試驗過程中，將數據集按照訓練集和測試集進行了劃分，用到了各個圖片類別的標簽，沒有用任何人工標注的邊界框和注釋。

3.1 數據集介紹

MRI模型在Oxford Flowers、FGVC-Aircraft和AID數據集上的訓練準確率如表1、表2、表3所示。所有方法都沒有使用人工標記邊界框和注釋。

3.1.1 Oxford Flowers數據集

Oxford Flowers數據集共102個花卉的類別，選取6 149張圖片作為訓練樣本進行訓練，并選取1 020張同屬于這102個類別中但并未加入訓練樣本的圖片進行測試，樣本圖像如圖3所示。

(a) 測試樣本 (b) 訓練樣本

3.1.2 FGVC-Aircraft數據集

FGVC-Aircraft數據集共71個飛機類別，選取 3 302 張圖片作為訓練樣本進行訓練，并選取3 301張同屬于這71個類別中但并未加入訓練樣本的圖片進行測試，樣本圖像如圖4所示。

(a) 測試樣本 (b) 訓練樣本

3.1.3 AID數據集

AID數據集共30個類別，主要由航拍遙感圖像組成，包括機場、海岸等圖片類別。選取6 679張圖片作為訓練樣本進行訓練，并選取3 321張同屬于這30個類別中但并未加入訓練樣本的圖片進行測試，樣本圖像如圖5所示。

(a) 測試樣本 (b) 訓練樣本

3.2 試驗細節

采用了廣泛使用的Resnet-50作為模型的骨干網絡，使用在Imagenet數據集上訓練的預訓練模型參數。訓練之前將輸入圖像大小調整為224×224，每邊填充4后隨機裁剪，并進行隨機旋轉和水平翻轉用來數據增強。

在興趣區域選擇的過程中，將42×42×128的特征圖的前兩維當作一個14為單位的3×3的二維平面進行區域提取。最小提取大小為1×2，將所有能被1×2和1×3大小的區域覆蓋的區域舍棄后，加上原始的整張特征圖，一共19張特征圖，并采用雙線性插值調整大小為7×7×128，進行特征區域融合。

在訓練過程中，批量大小和迭代次數分別設置為8和100。學習率初始設定為0.005，并且動量參數初始設定為0.5。前十次迭代采用余弦退火算法調整學習率，之后的迭代中采用基于SWA優化的隨機權重平均進行優化。

3.3 結果分析

如表1所示，MRI在Oxford Flowers數據集上的表現優于其他大多數方法，訓練效率也很高。如圖6所示，在30個批次左右基本達到了最高的精度。

表1 在Oxford Flowers數據集上的各方法準確率比較Tab. 1 Comparison of the accuracy of various methods on the Oxford Flowers dataset

(a) 準確率

(b) 平均損失

圖6(a)為準確率圖像，準確率在訓練10批次后基本穩定在95%左右。圖6(b)為平局損失圖像，平均損失同樣在10批次左右基本收斂，并在0.02附近波動，整體訓練速度和準確率都較為優異。

如表2所示，MRI在FGVC-Aircraft數據集上的性能優于大多數其他方法，訓練效率也較高。如圖7所示，在大約50個epoch中基本達到了最高的精度。圖7(a)為準確率圖像，準確率在訓練40～50批次后基本穩定在86%左右。圖7(b)為平均損失圖像，平均損失在30批次左右基本收斂，并在0.08附近波動，相較于已有的識別方法，整體訓練速度和準確率較為優異。

表2 在FGVC-Aircraft數據集上的各方法準確率比較Tab. 2 Comparison of accuracy of various methods on FGVC-Aircraft dataset

(a) 準確率

(b) 平均損失

如表3所示，MRI在AID數據集上的表現非常出色，訓練效率很高。如圖8所示，在20個批次左右基本達到了最高的精度。圖8(a)為準確率圖像，準確率在訓練10批次后基本穩定在96%左右,最高一次接近97%。圖8(b)為平均損失圖像，平均損失在8批次左右基本收斂，并在0.025附近波動，整體訓練速度和準確率優異。

如圖9所示，與原始的骨干網絡相比，可以發現多層特征融合的圖像具有更豐富的局部信息，充分利用了淺層骨干網的計算結果，使得模型在對于圖像類別進行預測時能夠具有更加豐富的推測依據，而非僅關注骨干網絡最后一層下采樣提取出來的深層特征。

表3 在AID數據集上的準確率Tab. 3 Accuracy on the AID dataset

(a) 準確率

圖9 不同模型識別效果圖

Fig. 9 Different model recognition renderings

3.4 消融試驗

如表4所示，創新的權重添加、優化的區域融合策略、多層融合和骨干網絡的適用性都比較好，各模塊在訓練準確率上表現較好，采用較少的批次即可達到最佳準確率。雖然MRI在數據集上不如CAP模型，但是MRI模型的可訓練參數數量約為27.23 M，遠遠少于以Resnet-50為骨干網絡的CAP模型的36.9 M。

表4 消融試驗數據Tab. 4 Ablation study data

模型(最佳準確率以%/epoch為單位)分為Resnet-50(B)卷積神經網絡、添加多層融合(+M)、注意力權重(+W)和區域特征融合(+R)模塊。可以發現準確率趨勢和達到最高準確率的最小批次的模型依次為(B+M+W+R)>(B+M+W)>(B+M)>B。最終MRI模型的(B+M+W+R)可訓練參數(Param)以百萬(M)為單位給出。

MRI模型在Oxford Flowers、FGVC-Aircraft和AID三個數據集上訓練的準確率如表1、表2和表3所示，這里的所有方法都沒有用到人工標注邊界框和注釋。從表中數據可以看出，所提出的MRI模型在三個數據集上的訓練效果均較為優異，綜合考慮FGVC-Aircraft數據集在圖像細節和特征的明顯程度上相較于其他數據集的識別難度更大，可能由于所提出的MRI模型規模上較小，導致對于包含更多細致特征的數據提取中難以通過有限的參數表示出來。與最新的CAP模型比較中，在模型的整體規模上遠小于CAP模型，但是在實際應用中，輕量級模型在移動端上的部署會有更好的適配性。

4 討論

卷積層多層融合模塊:這一部分里面關于感受野加強部分，前三層均采用了1,2,3的擴張率，而最后一層采用的是1,3,5的擴張率。從卷積層的深度來說，擴張率的本質是為了讓深層卷積層感受野擴大，從而獲得更加豐富的語義信息，這里我們采用了直接復用，但是從實驗的角度來分析，一方面擴展率其實作為超參數對于不同數據集可能會有不一樣的參數會更加適合，另一方面此前也有很多其他的融合策略例如U型網絡方法[37]、HED方法[38]和U型網絡和HED混合的方法，將這些不同的融合方法進行實驗是有必要的，可能會有不一樣的效果。

興趣區域選取模塊：這一部分里關于興趣區域的選取規則是按照將前一部分多層融合后的特征圖經過雙線性池化成固定大小的特征圖，并進行單位長度14,3×3的大小進行選取，這里的單位長度決定了特征圖的劃分大小，原則上是可以改變的，因為這與后續興趣區域的選取規則有關，當單位長度較小時，興趣區域的提取會更加細致，每個選取出來的區域可能只會包含少量特征或者沒有，同時帶來的也會有計算量的增大，對于這一點的試驗也是有研究意義的。

圖10為一些本文模型錯誤分類圖像(左)與它們被誤認為的類別圖像(右-從錯誤的子類別中選出):AID (a)，Oxford Flowers (b)，aircraft(c)，可以看出，外觀特征或視角變化極其相似，例如來自同一制造商導致了錯誤的分類(圖10(b)、圖10(c))。此外還注意到，子類別可能具有非常具體的特征，但由于較差的角度或有限的光照條件(圖10(a))，這些特征在圖像中不夠清晰。

在圖10所代表的情況下，其他方法在識別此類圖像時同樣表現不佳，例如CAP方法在一些困難和具有挑戰性的情況下也不能取得很好的效果。認為導致識別失敗的原因之一可能是不相關的背景差異干擾了模型對圖像類別的推測過程。可以采用語義分割領域中能夠分離前后背景的算法來提取主體進行識別，可能會有更好的效果。

(a) 機場和火車站

5 結論

提出一種基于注意力機制的MRI模型，在解決細粒度圖像識別任務中人工標注判別區域的成本太高、模型構建中引入額外的網絡結構，在訓練和推理階段引入額外的計算開銷等問題上做出了一定的優化與改進。和以往的方法相比，本模型可以自主選擇興趣區域，借助注意力機制和區域之間的相關性對模型自主選擇特征區域可能出現的缺失的關鍵信息進行完善，骨干網絡中的多層融合附著了注意力權重，這種弱監督模式下，給予了模型最大的自主學習的可能性，不需要人工標注邊界框和注釋等額外的監督信息，即可完成一個端到端的訓練。模型設計考慮了骨干網絡的多層利用情況以及興趣區域的選取與融合，在計算開銷上沒有涉及到太多過于龐雜的數據運算，優化的區域選取策略使興趣區域個數減少，使模型損失收斂速度明顯加快，兼顧了訓練時間和準確率。討論部分涉及到的問題是未來可能需要改進的一些方向。整體上模型就部分數據集表現優異，同時在模型體量和訓練效率上具有不錯的表現。同時，MRI模型在AID航拍圖像數據集上具有極為優異的表現，對于航拍圖片的識別領域具有一定的實用價值。

1) 提出了一種對于骨干網絡的利用方法，全面利用由大量時間和計算成本產生的數據，在考慮全方面考慮圖像的特征提取結果的同時給予模型自主訓練特征圖關注度的機制。

2) 提出了區域的特征融合補全優化策略，完善由隨機選取區域產生的相比于人工標注判別區域所缺失的準確性和關鍵部位信息，減少了一大部分融合時產生的冗余計算量。

3) 在經典數據集上的訓練均得出了較為優秀的準確率，本文模型對于三種典型數據集的識別準確率如下：Oxford Flowers數據集達到95.70%；FGVC-Aircraft數據集達到86.17%；AID數據集達到96.96%。首次訓練AID數據集取得優異成果，在學習率優化策略固定的同時，損失函數的收斂相比于同類方法較快，這在未來更新數據集時迭代模型參數具有重要的減少時間成本的意義。

4) 與現有的人工標注邊界框的方法相比，MRI僅僅需要圖像及對應類別進行訓練，極大程度上減少了人工成本。