融合注意力機制的網絡監督細粒度識別

范九丹

摘要：在細粒度識別任務中，良好標注的訓練數據難于獲取，現有強注釋的數據集數量少，由于細粒度圖像背景復雜、子類別圖像差異細微等問題，導致現有細粒度識別模型精度不高。為此，使用具有圖像級標簽的免費網絡圖像作為訓練數據，設計了一種融合注意力機制的網絡監督細粒度識別模型。首先引入瓶頸注意力機制有效提高網絡的表征能力，準確聚焦前景識別主體，減少了背景特征的影響。實驗結果表明，提出的模型在Web-Bird（鳥類數據集）、Web-Cars（汽車數據集）、Web-Aircraft（飛機數據集）三個數據集上的ACA指標分別達到82.8%、88.1%和83.1%，在同類型算法中處于領先水平。

關鍵詞：細粒度識別；注意力機制；深度學習；殘差網絡

一、前言

細粒度圖像分類（Fine-grained image categorization）屬于圖像分類范疇[1]，旨在對粗粒度大的圖像進行更細致的子類別的細分。因其在智慧城市、商品識別、公共安全、生態保護等領域具有重要的科學意義和應用價值。不同于普通的圖像分類任務，細粒度子類別受到微小的類間差異[2]和較大的類內差異以及雜亂背景特征的影響。深度學習在圖像中得到的特征具有更強的表達能力，因此在細粒度圖像分類上被廣泛應用。當前基于深度學習的細粒度分類方法可以大致分為三類：強監督方法、弱監督方法和半監督方法。強監督方法首先檢測關鍵零件，然后集成零件特征作為細粒度分類的最終視覺表示。不僅需要圖像級標簽，還需要手動注釋的邊界框或零件注釋。由于細粒度類別的手動注釋耗時且需要專家性意見，實用性和擴展性受到限制。弱監督方法不再使用邊界框和零件標注，只需要在訓練期間使用圖像級別的標簽。例如，朱陽光等[3]提出一種聯合殘差網絡（Residual network，Resnet）和Inception網絡通過優化卷積神經網絡提高捕捉細粒度特征的能力。藍潔等[4]根據Tensor Sketch算法計算出多組來自不同通道卷積層的雙線性特征向量進行融合學習細粒度鳥類的特征信息。盡管如此，弱監督組方法仍然需要大量正確的圖像級別標簽。半監督方法涉及利用網絡圖像訓練細粒度分類模型。例如，Xu等人[5]提出利用詳細的注釋，并將盡可能多的知識從現有的強監督數據集轉移到弱監督網絡圖像，以實現細粒度識別。Niu等人[6]提出了一種新的學習場景，該場景只需要專家標記一些細粒度的子類別，然后借助網絡圖像預測所有剩余的子類別。半監督方法涉及各種形式的人工干預，可擴展性相對有限。

本文使用網絡監督方法解決細粒度問題，利用網絡上的免費數據訓練細粒度的分類模型。網絡圖像標簽通常源于自動標記系統或非專家注釋，存在大量標簽噪聲。標簽噪聲分為“類內噪聲”和“類外噪聲”兩種。類內噪聲圖片的真實標簽包含在訓練數據集的已知子類別中（參見圖1中帶有邊界框的圖像）。類外噪聲圖片與訓練數據集完全無關，它們的真實標簽不屬于所在數據集中任一子類標簽（參見圖1中帶有紫色邊界框的圖像）。為解決樣本圖像中大量標簽噪聲、背景特征干擾導致的識別效果不理想等問題，主要進行了如下工作：①在特征提取階段引入瓶頸注意力模塊，解決由背景特征干擾造成的識別能力弱的問題。②采用基于確定性的可重用樣本選擇和校正方法，利用額外的可重復使用樣本。③在三個流行的基準細粒度數據集Web-Bird（鳥類數據集）、Web-Cars（汽車數據集）、Web-Aircraft（飛機數據集）上進行測試和評估，結果在同類型算法中處于領先水平。

二、模型框架

本文使用的基于瓶頸注意力機制的網絡監督細粒度識別模型如圖2所示。本文選取ResNet-50[7]作為特征提取網絡，引入瓶頸注意力機制，提高網絡的表征能力。首先，特征提取網絡預測每個圖像的標簽，生成標簽預測歷史并計算每個圖像的損失。然后，篩選模塊對圖像損失值排序，選出一部分低損失的圖像。接著，重用模塊對剩下的高損失圖像計算預測確定性并排序，選擇預測確定性大的樣本作為可重用樣本，并且利用預測歷史修改它們的標簽。最后，利用以上步驟得到的兩部分訓練樣本來優化模型。下面將詳細介紹網絡中的各個部分。

（一）瓶頸注意力機制

1.通道注意力分支

2.空間注意力分支

3.注意力分支合并

（二）樣本選擇及校正

1.基于確定性的可用樣本選擇

2.基于預測歷史的標簽修正

三、實驗結果及分析

（一）數據集

Web-Aircraft（飛機數據集）包含100個飛機類型的16，836張圖像：13，503張圖像用于訓練，3，333張圖像用于測試。

Web-Bird（鳥類數據集）涵蓋了200種不同的鳥類子類別，總共包含24，182張圖像：18，388張用于訓練，5794張用于測試。

Web-Cars（汽車數據集）包含196個汽車子類別，包括29，489張圖像：21，448張用于訓練，8，041張用于測試。

（二）實驗條件

本文所有實驗均是在64位的Ubuntu16.04系統中進行，采用的深度學習框架為Pytorch，在訓練過程中利用NVIDIA TESLA V100S顯卡進行加速，并且采用Python3.7編程語言完成代碼的編寫。網絡優化過程采用SGD優化器，動量為0.9。學習率、批量大小和權重衰減分別設置為0.01、64和0.0003。迭代訓練110次，其中預熱時期迭代5次。瓶頸注意力中膨脹值d設為4，衰減率r設為16。

（三）評價指標

本文采用平均分類準確率（Average Classification Accuracy，ACA）作為評價指標，分類準確率表示正確分類的樣本數量占數據集所有樣本數量的比例，計算得出五次實驗的平均分類準確率。

（四）模型有效性驗證

為驗證瓶頸注意力模塊在特征提取過程中發揮的作用，本文在數據集上進行了有無瓶頸注意力模塊的實驗對比，如表1所示。由表1可以看出，BAM在Web-Bird、Web-Cars、Web-Aircraft上的平均分類準確率分別實現了1.3%、0.9%和0.4%的提升，證明BAM模塊可以進一步提高特征提取網絡的表征能力。

（五）模型先進性驗證

為驗證本文改進算法的先進性，與目前最新的3種算法對比結果如表2所示。表2為不同方法在Web-Bird、Web-Cars和Web-Aircraft數據集上的結果比較，本文算法的平均分類準確率ACA指標均高于目前先進的對比算法。

綜上所述，通過兩個方面的實驗分析證明，本文改進算法在三個數據集取得優異的檢測性能，進而證明了本文算法的有效性和先進性。

四、結語

為應對細粒度識別任務中難以獲取良好標記的數據集問題，本文使用網絡監督方法解決細粒度識別問題，通過網絡免費圖像訓練細粒度網絡。為解決網絡監督細粒度識別效果差的問題，本文設計了一種基于瓶頸注意力機制的網絡監督細粒度模型。針對復雜背景導致圖像前景特征提取不準確的問題，引入了瓶頸注意力機制，有效增加特征提取過程中重要特征的權重，強化網絡對于有用特征信息的利用。本文提出的改進算法在各個指標上的結果均較為理想，為后續網絡監督細粒度識別工作奠定了較好的基礎。今后將進一步針對解決數據集標簽噪聲相關工作進行研究，提高標簽糾錯能力，使算法的識別效果得到進一步提升。

參考文獻

[1]羅建豪，吳建鑫.基于深度卷積特征的細粒度圖像分類研究綜述[J].自動化學報，2017，43（8）：1306-1318.

[2]魏秀參.深度學習下細粒度級別圖像的視覺分析研究[D].南京：南京大學，2018.

[3]朱陽光，劉瑞敏，黃瓊桃.基于深度神經網絡的弱監督信息細粒度圖像識別[J].電子測量與儀器學報，2020，34（2）：115-122.

[4]藍潔，周欣，何小海，等.基于跨層精簡雙線性網絡的細粒度鳥類識別[J].科學技術與工程，2019，19（36）：240-246.

[5]Zhe X，Huang S，Zhang Y，et al.Augmenting Strong Supervision Using Web Data for Fine-Grained Categorization[C]//IEEE International Conference on Computer Vision.IEEE，2015.

[6]Niu L，Veeraraghavan A，Sabharwal A.Fine-grained Classification using Heterogeneous Web Data and Auxiliary Categories：10.48550/arXiv.1811.07567[P].2018.

[7]He K，Zhang XY，Ren SQ，et al.Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. Las Vegas： IEEE，2016.

[8]Park J，Woo S， Lee JY，et al.BAM： Bottleneck Attention Module：10.48550/arXiv.1807.06514[P].2018.

[9]Sun Z，Yao Y，Wei XS，et al.Webly Supervised Fine-Grained Recognition： Benchmark Datasets and An Approach：10.48550/arXiv.2108.02399[P].2021.

[10]Liu H，Zhang C，Yao Y，et al.Exploiting Web Images for Fine-Grained Visual Recognition by Eliminating Open-Set Noise and Utilizing Hard Examples[J].IEEE transactions on multimedia，2022（24）：546-557.

[11]Sun Z，Hua XS，Yao Y，et al.Salvage Reusable Samples from Noisy Data for Robust Learning[J].2020.

作者單位：哈爾濱工程大學信息與通信工程學院