結合前景特征增強與區域掩碼自注意力的細粒度圖像分類

劉萬軍，趙思琪，曲海成，王宇萍

（遼寧工程技術大學 軟件學院，遼寧 葫蘆島 125105）

如何讓機器分辨出不同狗的種類？[1]這是一 個很常見的問題。由于狗的物理結構特征相似，因此要找到每只狗的局部細微特征才能正確區分不同狗的種類。在計算機視覺研究中的細粒度圖像分類就是解決識別不同子類間的類別問題，如分辨鳥的種類[2]和飛機的型號[3]。

細粒度圖像分類的難點歸納為以下幾點：1）類間差異小，屬于不同類別的對象除了一些細微的差別外，可能非常相似；2）類內差異大，屬于同一類別的對象通常呈現不同的姿態；3）具有多尺度特征。由于拍攝距離、角度以及目標不同的姿態，輸入圖像中的目標比例會變化很大。

當前針對細粒度圖像分類方法包括強監督訓練和弱監督訓練。強監督細粒度圖像分類算法是指在訓練模型時，不僅使用了類別標簽，而且還使用了額外的標注信息。早期一些研究工作就是利用額外的人工部件標注點和邊界框直接定位對象的關鍵語義部分（如鳥類的頭部、尾部和軀干等關鍵局部特征）。Zhang 等[4]提出的基于部件算法，通過選擇性搜索[5]產生關鍵部位（整體、頭部和身體區域）的候選框，利用R-CNN（regions with CNN）[6]完成對這些部位的檢測，利用約束條件對提取的關鍵部位信息進行修正，進行卷積特征提取，將不同區域的特征進行連接，最后通過支持向量機（support vector machine，SVM）分類器進行分類訓練。Branson 等[7]提出了姿態歸一化算法，對圖片先局部定位和特征提取，根據局部定位結果剪裁圖片，分別提取多層次的卷積特征，送入SVM 分類器進行分類。但額外的手工標注信息費用昂貴，且容易出現局部語義信息的判斷錯誤，導致分類性能下降，限制了細粒度算法應用的可擴展性[8]。因此在僅利用類別標簽的前提下，用弱監督的方式訓練模型成為近期研究熱點[9]。

弱監督細粒度圖像分類方法是學習輸入圖像和輸出標簽之間的映射。一部分學者利用單階段方法直接學習對象的細粒度特征，Lin 等[10]提出了雙線性模型，使用兩個獨立的卷積神經網絡計算成對的特征交互來捕獲圖像的局部差異，但是雙線性特征表示通常存在高維問題，增加了計算量，需要大量的訓練樣本進行擬合。還有一些學者關注如何定位物體的前景或語義部分，提取可區分性區域的特征。Zheng 等[11]提出了遞歸注意力卷積神經網絡算法（recurrent attention convolutional neural network，RA-CNN），通過多分支的循環網絡逐步定位關鍵性局部區域，同時將該區域進行剪裁放大，然后再在該放大的區域尋找判別性特征，即在重點中尋找重點。但是RA-CNN 只學習到單一的判別性特征，忽略了其他語義特征。Zheng 等[12]提出了多注意力神經網絡算法，通過通道分組損失函數產生用于聚類的多個局部區域。但局部語義區域的數量有限，存在細微且判別性特征丟失的問題。

弱監督細粒度圖像分類方法已經取得很大進展，但是仍存在以下問題有待解決：

1）輸入圖片中的物體尺度變化。當物體只占據輸入圖片的一小塊區域時，在特征學習過程中，目標特征很容易被背景抹去，降低分類準確率。

2）細粒度圖像具有類內差異大、類間差異小的特點，因此只能借助于微小的局部差異才能區分出不同的子類別。

為此，本文提出了一種結合前景特征增強和區域掩碼自注意力的細粒度圖像分類方法。本文的主要工作：

1）提出前景特征增強模塊，消除背景噪音干擾和前景目標多尺度變化對前景特征提取的影響，實現前景目標增強，有效突出前景；

2）提出區域掩碼自注意力模塊，利用掩碼機制的特性，遮擋激活映射圖的高響應特征，從而使網絡關注局部細微特征，充分學習到不同子類間的局部差異性特征，挖掘出更多有用信息；

3）多分支損失函數的協同作用共同約束網絡的特征學習。

1 相關研究

1.1 目標定位

圖像中目標檢測和目標定位是計算機視覺中重要而又具有挑戰性的任務。目標定位大致歸納為3 類：強監督方法、弱監督方法和無監督方法。本文不介紹強監督定位方法。

弱監督物體定位用類別標簽實現目標定位，早期是用類激活映射（class activation mapping，CAM）[13]實現目標定位，CAM 通過全局平均池化生成針對每一張圖片的激活映射圖，這個激活映射圖能反應出物體的大致位置。但是用交叉熵損失函數訓練模型時，通常會使模型關注高響應的局部區域而非整個目標，同時沒有充分利用淺層特征信息。Wei 等[14]對淺層和深層特征圖進行元素相乘生成CAM，可以濾出背景噪音并同時生成更清晰的邊界。Sohn 等[15]提出了一種新穎的殘差細粒度注意方法，此方法通過利用分布在通道和特征圖中的位置信息，結合殘差操作，自動激活對象的較少激活區域，生成目標邊界框。Pan等[16]則充分利用卷積特性中包含的結構信息，利用高階自相關提取模型中保留的固有結構信息，聚合多個模型的高階自相關點實現精確定位。Zhang 等[17]提出了通過訓練兩個對抗互補分類器來發現整個目標的互補學習方法，該分類器可以定位不同目標的部分，發現屬于同一目標的互補區域。

無監督目標定位更具有挑戰性，因為它只需要一張圖片實現前景目標定位，不需要任何輔助信息。一些研究表明，卷積激活圖能夠同時表示空間信息和語義信息，并具有顯著的定位能力。Wei 等[18]提出了一種選擇性卷積描述子聚合方法（selective convolutional descriptor aggregation，SCDA），融合多層卷積特征實現目標定位。然后，采用閾值策略定位細粒度圖像中的目標。但是定位效果不理想，一些重要信息丟失。因此前景特征增強模塊是在SCDA 算法上引入上下文注意力增強像素的空間相關性，提高前景目標的定位能力。

1.2 掩碼注意力

注意力機制是有選擇的關注重點數據，而不是平等對待全部數據。注意力機制是通過神經網絡自動地學習特征的權重分布，并以“動態加權”的方式施加在特征之上進一步強調感興趣的區域，并同時抑制不相關背景區域。

掩碼注意力機制不同于普通的注意力機制，它是對被選擇的重點數據進行遮掩，使網絡關注其他數據信息。通常來講，首先通過通道池化生成注意力圖，然后對注意力圖進行歸一化操作，接近1 的像素點是判別性特征，反之是細微特征。掩碼注意力的應用范圍很廣，在目標定位、行人重識別、圖像分類、3D 點云上都有所應用。

Qiao 等[19]使用掩碼注意力生成注意權重，分配給文本實例。它允許一個圖像中的不同文本實例被分配到不同的特征映射通道上，這些特征映射進一步被分組為一批實例特征。Wang 等[20]通過預訓練好的語義分割模型產生輔助監督信號，即掩碼注意力，實現了判別表示學習。這個掩碼注意力讓分類器過濾掉圖像中不重要的部分。Sun 等[21]利用掩碼注意力弱化高響應區域的特征值，使模型可以挖掘出圖像中更有價值的區域。Li 等[22]通過變形卷積和掩碼注意力，將稀疏的特征映射到目標區域，同時用掩碼注意力突出復雜背景下的目標像素值。Xie 等[23]通過一個可見區域邊界框信息生成一個空間掩碼，同時調節由RoI（region of interest）層生成的多通道特征。這些掩碼有效地強化可見區域特征，隱藏模糊區域特征。Choe 等[24]通過對高響應特征進行掩碼遮擋，強化低響應特征，有助于網絡關注輸出目標的輪廓信息。

1.3 殘差網絡

殘差網絡解決了網絡層數增加引起的梯度彌散或梯度爆炸問題。殘差網絡由一系列殘差塊組成，殘差塊有兩種，分別是恒等映射塊和卷積塊。其中恒等映射塊不改變維度，卷積塊改變特征維度。本文模型使用的是ResNet50。其中，conv2、conv3、conv4、conv5 分別有3、4、6、3 個殘差塊，每個殘差塊有2 個1×1 卷積和1 個3×3 卷積，conv2到conv5 有48 個卷積層，再加上conv1 層的7×7卷積層和3×3 最大池化層，共有50 個卷積層。

2 實驗方法

為了解決網絡在提取特征時，會摻雜背景信息以及無法提取多樣化的局部區域特征等問題，本文提出了結合前景特征增強和區域掩碼自注意力網絡模型（foreground feature reinforcement and region mask attention，FFRMA）。FFRMA 整體框架如圖1 所示。

圖1 FFRMA 整體框架Fig.1 Overall framework of method FFRMA

由圖1 可以看出，FFRMA 框架主要由3 部分組成：1)前景特征增強模塊（foreground feature reinforcement，FFR），定位輸入圖片的前景目標，然后從原圖中剪裁前景目標實現特征增強；2)區域掩碼自注意力模塊（region mask attention，RMA），用來提取更多的多樣化局部細微且重要的特征；3)多分支損失函數約束網絡學習特征的能力。

FFRMA 是多分支網絡結構，使用同一個Res-Net50 作為特征提取網絡，共享ResNet50 網絡的全部參數信息（圖1 中畫了兩個ResNet50 網絡，但其實用的是同一個ResNet50）。首先將原圖送入預訓練的ResNet50 提取全局特征，輸出卷積結果（圖1 分支a）；然后將卷積結果和原圖送入前景特征增強模塊定位前景目標，將前景目標放大到原圖尺寸，生成前景特征增強圖，有效避免背景信息的干擾，接下來把前景特征增強圖送入ResNet50進行特征提取，輸出卷積結果（圖1 分支b）；最后將卷積結果通過區域掩碼自注意力模塊學習到更多的微小但重要的細粒度特征（圖1 分支c）。整個過程以多分支損失函數約束特征學習。

2.1 前景特征增強

在細粒度圖像分類任務中，使用邊界框裁剪目標對象可以減少背景噪音，使目標對象特征加強從而提高分類準確率，但是人工標注的邊界框信息代價過于昂貴。前景特征增強模塊解決的就是在僅有輸入圖片的前提下，利用卷積特征的分布響應定位輸入圖片的前景目標，消除背景噪聲的干擾并同時對前景特征進行增強。FFR 模型結構如圖2 所示。

圖2 前景特征增強模型結構Fig.2 Architecture of FFR

FFR 模塊在SCDA 算法上引入了上下文注意力（context attention,CA）。因為卷積運算會導致局部感受野，前景目標的一些局部細微特征存在一些差異，這種差異會造成類內不一致性，即屬于前景目標的局部細微特征被歸為背景區域，直接影響前景目標的定位性能。因此CA 主要是在特征間建立全局空間的上下文關聯，使用注意力機制捕獲特征圖任意兩個位置之間的空間依賴關系，減少類內不一致性。CA 結構如圖3 所示。

圖3 上下文注意力Fig.3 Context attention

假設F∈RC×H×W表示輸入圖像的最后一個卷積特征圖，其中C表示通道數，空間大小為H×W。然后分別通過3 個1×1 卷積層得到3 個特征圖，對3 個特征圖進行reshape 操作得到{B,C,D}∈RC×N，其中N=H×W，將BT與C進行乘積運算，利用Softmax 函數對結果進行歸一化得到空間相關性矩陣S∈RN×N，表示為

式中：Sji表示i位置對j位置的影響，兩個位置的特征越相似，它們之間的相關性就越強，即屬于同一個目標。

D與空間相關性矩陣S進行乘積運算得到中間矩陣，將中間矩陣的空間形狀恢復到H×W，再與特征圖F∈RC×H×W相加得到上下文注意力矩陣E∈RC×H×W。矩陣E表示了長距離上下文的特征信息，增強了像素點間的空間相關性。E按通道方向進行求和，得到激活圖A，具體為

式中fi表示第i個通道的激活圖。在不同通道維度上，局部特征具有不同激活響應值。每一個通道對應的激活圖學習到的細粒度局部區域特征都有所不同，對應的最高響應的區域也不同。因此，通過對激活圖A沿通道方向進行聚合，將目標出現的位置進行響應累加確定目標的整體輪廓。為了準確地定位物體，設置一個閾值(A的均值)，定義為

不同的卷積特征映射對目標具有不同的激活響應，因此FFR 將融合不同卷積層的特征值實現精確定位。假設layer4_2、layer4_3 分別是Res-Net50 網絡中的conv5 層的特征圖，通過式（4）獲得相應的M(4,2)、M(4,3)。然后對M(4,2)、M(4,3)進行 點乘獲得準確的M。

細粒度物體通常處于M中最大的聯通分量中，因此使用包含最大聯通區域的最小邊界框作為定位對象的結果，再將結果調整為輸入圖像X的大小。

2.2 區域掩碼自注意力

不同于通用圖像分類，細粒度圖像分類不僅需要關注全局語義特征還要關注區別于其他子類的局部細微特征，因此設計了區域掩碼自注意力模塊（region mask attention，RMA）。該模塊的整體結構如圖4 所示。

圖4 區域掩碼自注意力模型結構Fig.4 Structural diagram of RMA

RMA 通過自注意力圖產生兩個作用不同的特征矩陣，即掩碼矩陣Mmask和判別性矩陣Mdis，Mdis學習高響應區域的特征，Mmask通過設置閾值抑制高響應區域，使網絡關注局部細微特征，然后以均勻分布概率p隨機選擇特征矩陣，Mmask和Mdis的相互合作，可以讓網絡學習到不同的特征。

RMA 模塊的設計理念是為了提取所有對細粒度分類有用的特征信息，而不是只提取一些識別能力強的高響應信息。此外，RMA 并沒有引入額外的參數開銷。

具體來講，RMA 首先通過通道平均池化，將輸入特征圖F∈RC×H×W映射到自注意力圖Matt，自注意力圖中每個像素的大小可以有效近似出目標中判別性特征的空間分布。隨后，從自注意力圖中產生兩個分支，圖4 中分支a 通過閾值 γ抑制自注意力圖中的高響應區域，得到掩碼特征矩陣Mmask，使網絡聚焦在除高響應區域之外的局部細微特征。圖4 中分支b 用Sigmoid 函數對自注意力圖進行歸一化得到判別特征矩陣Mdis，Mdis中接近1 的像素點代表判別性特征，通過對分支b 的訓練可以讓網絡關注高響應區域，學習判別性特征。分支a 和分支b 的協同合作，使得輸入圖像的所有有用特征都可以被模型學習。在每次迭代過程中，以均勻概率p隨機選擇分支a 或分支b，大于0.5 的概率選擇分支a，小于0.5 的概率選擇分支b。最后將隨機選擇的特征矩陣與輸入特征圖F進行點乘得到輸出特征圖。圖4 中隨機選擇的是掩碼矩陣Mmask。

RMA 中有一個超參數是閾值 γ。自注意力圖中超過閾值 γ的區域視為高響應區域。Mmask中像素值為0 代表高響應區域，像素值為1 代表其他區域信息，Mmask表示為

2.3 損失函數

為了使FFRMA 模型能夠充分有效地學習通過FFR 和RMA 獲得的圖像特征，設計了多分支損失函數。在訓練階段，FFRMA 是一個由3 個分支組成的網絡結構，不同分支學習到的特征不一樣，圖1 中分支a 關注輸入圖片的整體特征；分支b 借助分支a 中原始圖像的特征映射獲取前景目標的邊界框信息，裁剪邊界框并放大到輸入圖片的大小，實現特征增強。前景特征增強既包括目標的結構特征，又包括細粒度特征；分支c 抑制前景特征圖的判別性特征，使網絡充分學習到不同的局部細微多樣性特征。3 個分支使用交叉熵函數作為分類損失，分別表示為

式中：c表示輸入圖片的類別標簽；Pr、Po、Pd分別代表3 個分支中最后一個Softmax 層輸出的類別概率。總損失函數表示為

總損失函數是3 個分支損失函數之和，用以優化模型在反向傳播時的性能。3 個分支損失函數的協同合作可以加快網絡模型的收斂速度和提高模型的特征學習能力。分支a 輸出原始圖片的粗粒度分類概率；分支b 獲得前景目標的邊界框，從原始圖片裁剪相應的區域并放大到原圖尺寸，將其送入網絡獲得細粒度預測概率。最終分類結果是對粗粒度分類結果和細粒度分類概率取平均值。

3 實驗與結果分析

3.1 實驗細節

3.1.1 細粒度圖像數據集與預處理

為了證明本文方法的有效性，FFRMA 在3 個細粒度圖像數據集CUB-200-2011、FGVC-Aircraft 和Stanford Cars[25]上進行評估。3 個數據集的詳細信息見表1。由于細粒度數據集中每一類樣本數量過少，可能在模型訓練的時候出現欠擬合現象。因此，在訓練FFRMA 模型之前對數據集進行數據增強。具體數據增強方式如圖5 所示，圖(a)為原始圖片、圖(b)為縮放、圖(c)為水平翻轉、圖(d)為垂直翻轉、（e）圖為增強圖片顏色和對比度。其中，圖片的水平翻轉和垂直翻轉都是以概率0.5 進行數據擴充。

表1 數據集信息Table 1 Datasets information

圖5 3 個數據集中訓練樣本的數據增強Fig.5 Data augmentation of training samples in three datasets

3.1.2 實驗環境及參數設置

FFRMA 模型使用預訓練的ResNet50 作為基礎網絡。所有的輸入圖片通過雙線性插值調整到448 ×448 大小，在訓練階段對圖片進行水平和垂直翻轉，測試階段對圖片僅做歸一化操作。在訓練時通過圖1 中3 分支完成提取圖像不同的局部特征和定位輸入圖片的前景物體，測試階段僅由圖1 中分支a 和分支b 完成細粒度圖像分類。在訓練階段使用3 個分支提高模型的魯棒性，3 個分支的作用各不相同，彼此缺一不可，共同完成圖像局部細微且判別性特征的學習。而在測試階段，分支c 主要用于獲得局部細微特征，但是經過訓練階段，網絡能夠很好地學習局部細微特征，因此去除了分支c。分支a 輸出原始圖片的粗粒度分類概率，分支b 獲得前景目標的邊界框，從原始圖片裁剪相應的區域并放大到原圖尺寸，將其輸入網絡獲得細粒度預測概率。最終分類結果是對粗粒度分類預測概率和細粒度分類預測概率取平均值。

參數設置：FFRMA 模型采用隨機梯度下降法（stochastic gradient descent，SGD）優化模型，動量為0.9，權重衰減為0.000 1，epoch 為200，batch 為6，初始學習率為0.001，每經過60 次epoch 學習率乘上0.1[26]。

實驗設備：實驗環境為Ubuntu 18.04.5，Ge-Force RTX 2 080 Ti，運行內存為128 GB，使用1 個顯卡進行訓練。模型訓練平臺為基于開源深度學習框架PyTorch，版本為PyTorch 1.2.0，Python 版本為Python 3.7。

3.1.3 評價指標

在細粒度圖像分類領域中，研究者采用準確率作為評價指標[27]。因此本文方法采用分類準確率作為評估標準，分類準確率為

式中：R為測試集的圖片數量，Ra是測試實驗中正確分類的樣本數量。

3.2 實驗結果及對比

3.2.1 消融實驗

為了證明本文模型的有效性，以CUB-200-2011 數據集為例，驗證FFR 和RMA 的有效性。CAM、SCDA 和FFR 的基礎網絡都為在ImageNet 數據集上預訓練的ResNet50，且參數設置保持一致，數據集中的每一張圖片采用中心裁減，將大小調整為448 ×448。

為了驗證FFR 的定位性能，以目標邊界框定位的準確性（percentage of correctly localized object，PCO）作為評價指標。PCO 是指預測物體邊界框與真值框的交并比值。

FFR 模塊預測的是檢測框與真值框之間的交并比值，將前景目標定位的準確率轉化為檢測框與真值框的交并比大小，更加準確地驗證前景特征放大模塊的定位效果。接下來，從定量的角度分析前景特征放大算法的正確性，在基準網絡ResNet50 中，以數據集CUB-200-2011 為例，分別與CAM、SCDA 和FFR 進行消融對比實驗，以PCO＞0.5 作為FFR 模塊的定量分析指標，實驗結果見表2。

表2 目標定位準確率Table 2 Accuracy of object localization

為了驗證RMA 模塊中掩碼矩陣Mmask和判別性矩陣Mdis對于網絡學習特征能力的影響，在FFR 的基礎上，對每一個特征矩陣進行實驗。實驗結果見表3。

表3 RMA 模塊不同組件的消融實驗對比Table 3 Ablation experiment of different components of the RMA model

以結合FFR 模塊的ResNet50 作為基準網絡，分別測試掩碼矩陣和判別性矩陣的有效性。通過分析表3 中數據可以得知，結合了判別性矩陣Mdis的FFR 模塊的準確率比單獨使用FFR 模塊提高了0.25%，但是結合了掩碼矩陣Mmask的FFR 模塊的準確率只有57.35%，因為掩碼矩陣掩蓋掉大多數的高響應判別性特征（如鳥頭、鳥喙等判別性特征），此時網絡學習到的特征是不具有類針對性，雖然學習到了一些細微特征（如鳥喙的顏色），但是這些細微特征還是要輔以高響應特征才能發揮作用，因此單獨使用掩碼矩陣會導致模型判別能力不足。FFR 和RMA 的結合，精度提高了0.82%，說明RMA 模塊中兩個矩陣對分類精度都做出了貢獻。

3.2.2 RMA 參數敏感性分析

為了確定閾值 γ對RMA 的作用，分別在CUB-200-2011、FGVC-Aircraft 和Stanford Cars 數據集上進行實驗，實驗結果如圖6 所示。

圖6 參數分析Fig.6 Parameter analysis

CUB-200-2011 數據集在閾值 γ=0.9 時取得最大精度，88.0%；FGVC-Aircraft 數據集在閾值 γ=0.8 時取得最大精度，93.6%；Stanford Cars 數據集在閾值 γ=0.8 時取得最大精度，95.3%。觀察圖6中3 條曲線的波動情況，可以得出，閾值 γ對CUB-200-2011 數據集的影響較大，曲線波動較為明顯；閾值 γ對數據集FGVC-Aircraft 和Stanford Cars 的影響較小，曲線波動不明顯。

CUB-200-2011 對 γ的敏感性比較大，原因是CUB-200-2011 中鳥的種類繁多，每種鳥類都有豐富且多樣性的局部特征，通過控制 γ的取值可以有效學習區別于其他子類的局部細微且判別性特征。另外，當γ=1 時3 個數據集的精度都有些下降，因為 γ=1 表示僅抑制特征圖中的峰值，峰值是通用圖像的分類依據（區分大類）。對于細粒度分類而言，只關注峰值是不夠的，也需要關注其他特征區域，這些區域包括更多的子類間差異特征。

3.2.3 對比實驗

為了更進一步分析本文方法的分類性能，將本文方法與其他方法進行比較，實驗結果見表4。其中，FFRMA (Coarse)是原始圖像經過圖1 中分支a 得到的分類精度，FFRMA (Finer)是原始圖像經過圖1 中分支b 得到的分類精度，FFRMA(Ours)是對分支a 和分支b 分類精度的均值。

表4 不同弱監督細粒度圖像分類方法實驗對比Table 4 Experimental comparison of different weakly supervised fine-grained image classification methods %

表4 的實驗數據說明了在與弱監督細粒度分類的主流方法進行對比時，FFRMA 模型在3 個數據集上均取得不錯的分類成績。FFRMA 在Cars數據集的精度最高為95.3%，與性能最好的LAFE模型相比，提高了0.5%；其次，在Aircraft 數據集取得精度為93.6%，與LAFE 在Aircraft 數據集的準確率相同，但是FFRMA 模型在另兩個數據集上的精度均超過了LAFE；FFRMA 在CUB 數據集的精度為88.0%。ELoPE、MBPOL 和本文方法都是基于定位-分類的細粒度圖像分類，但是FFRMA在3 個數據集的準確率均優于ELoPE、MBPOL。

圖7 給出了FFRMA 模型在CUB-200-2011、FGVC-Aircraft 和Stanford Cars 數據集上準確率和損失率的變化趨勢。隨著迭代次數的增多，分類準確率逐漸上升，在125 次迭代后，模型完全收斂，分類準確率也達到最大。網絡剛進行訓練時，測試集隨著訓練次數的增加不斷減少，網絡模型參數在不斷更新優化，在75 次迭代后，模型基本收斂，在125 次迭代后，優化算法找到極值點，損失值幾乎不變，FFRMA 模型的參數基本穩定。

圖7 FFRMA 準確率和損失率的變化趨勢Fig.7 Accuracy and loss trend of FFRMA

對SCDA 和FFR 的定位效果進行可視化，如圖8 所示。其中圖8（a）是卷積算子增強方法(SCDA)可視化的結果，圖8（b）是前景特征增強方法可視化的效果。紅色矩形代表真值框，綠色代表網絡學習到的邊界框。通過圖8 的可視化結果，FFR 模塊的定位性能優于SCDA 方法，邊界框更加貼合真值框，消除了更多的背景噪音，獲得了更純粹的前景目標特征，進一步提高了模型的表征能力。

圖8 目標定位可視化效果對比圖Fig.8 Comparison of object localization visual effect

圖9 給出了3 個數據集經過FFRMA 模型處理后的可視化圖。

對比圖9（a）和圖9（b），圖9（d）和圖9（e），圖9（g）和圖9（h），圖9（b）、（e）、（h）實現了目標增強，消除了背景噪音干擾的同時關注到更多的微小且重要的局部特征信息。

圖9 3 種數據集的可視化圖Fig.9 Visualization of three datasets

從鳥的可視化圖中可以看出，熱力圖深紅色區域主要集中在鳥頭、鳥身子和鳥腳等關鍵局部區域，說明鳥頭、鳥身子和鳥腳對最后分類結果貢獻最大；汽車的熱力圖聚焦在車牌、車標等顯著特征；從飛機的熱力圖看出，網絡關注的特征是方向舵，飛機圖標和機翼。通過以上的可視化效果，FFRMA 模型可以有效地定位前景目標和學習豐富的局部細微特征。

4 結束語

本文提出了將前景特征增強和區域掩碼自注意力相結合的細粒度圖像分類方法，能夠減少背景噪音干擾，提取豐富多樣化的局部判別性特征信息。首先，前景特征增強模塊可以準確定位前景目標，在消除背景噪音干擾的情況下對前景目標進行特征加強；然后，區域掩碼自注意力模塊在前景目標增強的前提下，捕獲更多豐富的且區別于其他子類的局部細微特征。兩個模塊的協同合作使得分類精度明顯提高；最后，在CUB-200-2011、Stanford Cars 和FGVC-Aircraft 三個數據集的實驗結果表明，本文模型均取得了不錯的分類精度，分別為88.0%、95.3%和93.6%，性能優于其他模型。在未來工作中，將致力于針對一些局部小區域的特征提取考慮使用跨層特征融合；將目標檢測算法用在細粒度圖像分類上，提高模型的定位性能；將語義與空間信息聯系起來提取更加豐富且多樣化的特征信息，進一步提高分類性能。