基于CAM與雙線性網絡的鳥類圖像識別方法

王 越，馮 振

(重慶理工大學 計算機科學與工程學院， 重慶 400054)

在森林等生態系統中，鳥類識別技術能夠有效幫助相關工作人員實現自動化的鳥類監測，具有重要的研究價值。然而傳統鳥類識別大多依靠專家經驗對鳥類進行識別，該方法雖然能保證較高的精確度，但是需要依靠專家進行人工識別，成本高。圖像分類技術受益于深度學習等技術的發展，目前取得巨大進步[1]。因此，可以利用計算機視覺等技術自動提取圖像特征，實現鳥類識別。目前大部分的圖像分類工作集中在通用分類，用以區分圖像是否屬于特定大類類別[2]。子類別精細化的識別在實際應用中更為廣泛，但存在較大難度。細粒度圖像主要存在以下難點：較大的類內差異，不同種類的鳥類存在非常細微的差異等。

為了能夠更好地克服上面存在的難點，提出一種基于反復CAM網絡、雙線性注意力網絡、嵌入空間的鳥類圖像識別方法。由于使用CAM網絡僅僅能夠提取最具判別性區域特征，缺乏其他輔助判別性區域特征，從而導致不能很好地完成鳥類圖像識別任務。比如：在鳥類識別任務中，鳥類的頭部特征是非常重要的。但是僅僅依靠頭部特征顯然不足以完成最終分類任務。因此為了更好地完成該任務，需要其他額外的補充判別性特征，比如鳥的翅膀、腳等其他判別性區域特征。為此，本文通過RestNet50-CAM網絡提取判別性區域特征，選擇卷積層中的最后一層作為特征提取層，然后設置閾值，將最具判別性區域特征進行抑制，然后將抑制處理后的圖像重新輸入到第二分支網絡，從而強迫網絡學習到其他補充判別性特征。可以理解為通過讓網絡學習到鳥類其他次要部位特征從而更好地進行分類。并且采用一種新穎的方式進行加權特征圖融合，然后分別將融合后的圖像與原始輸入圖像送到注意力雙線性網絡提取高階特征。提出嵌入空間，通過一種新穎的損失函數更加有效地提取判別性特征。最終在CUB-200-2011數據集上，該方法達到了87.3%的準確率。

1 相關研究

在計算機視覺領域，對物體進行分類是計算機視覺的基礎性質任務。而細粒度圖像分類不僅僅是識別一個大類，而是要識別一個大類下面的不同子類。目前細粒度圖像識別研究思路按照是否需要額外強監督標注信息，總體上可以分為2類：第一類主要是基于強監督學習的方法。具體來說就是除了標簽類別信息，而且需要額外標注等信息。第二類則是很少需要標注框，僅僅需要類別標信息[3]。

一類方法是基于強監督學習，需要標注框等額外標注信息才能完成細粒度圖像分類任務。Xiushen等[4]提出的Mask-CNN是首次利用深度卷積神經網絡并將其應用到細粒度圖像分類上面，第一個端到端的使用深度卷積神經網絡并將其應用到細粒度圖像識別任務,取得了一定的成效。Zhang等[5]利用R-CNN算法分別進行部位級的識別與整體物體的識別，需要使用精細化的額外部位級標注信息，因此分類效果較為理想。Branson等[6]首先利用姿態歸一化算法完成局部姿態對齊，然后再完成區域的定位檢測。但是該類算法一般需要強監督標注信息，成本非常高，在實際應用中有很多局限。

另一類在進行細粒度圖像分類時候，僅僅需要圖像類別標簽。因此選擇更具判別性區域的特征對于分類非常重要，找到關鍵區域并定位到這些區域對于算法最終的表現非常關鍵。Xiao等[7]使用二級注意力的算法，引入對象級、部件級特征來進行分類。Simon等[8]利用卷積神經網絡來提取一些關鍵的局部區域信息。Tsung-yu等[9]提出了雙線性CNN網絡，利用2個網絡將其得到的特征進行相乘，然后得到最終的分類結果。Yu等[10]提出HBP模型，通過跨層雙線性池化技術來獲取不同層的特征關系。Yang等[11]提出一種比較新穎的弱監督網絡，從原始圖像選取K個區域，這些區域含有豐富的信息量。Ge等[12]利用Mask R-CNN進行對象檢測，然后使用雙向的LSTM網絡來整合區域的特征信息。Wang等[13]首先提取特征，結合空間加權Sher向量的編碼方式，然后結合Fisher向量得到最終的判別結果。王永雄等[14]提出一種聚焦-識別聯合學習框。Bürgi等[15]提出一種基于GoogleNet的深度遞歸神經網絡。Zheng等[16]提出了一種多級注意力網絡，通過基于部件與特征學習相互增強，從而實現更好的分類效果。

2 本文方法

2.1 基本思路

首先使用ResNe50作為反復CAM特征提取網絡。由于僅僅使用ResNet50只能提取到最具判別性區域特征，從而導致忽視其他具有補充判別性特征的部分，這些區域不應該被忽視。因此，應該將其考慮在內。比如，CAM網絡關注到的最佳判別區域為鳥的頭部，其他補充判別性區域為鳥的其他部位，這些補充判別性區域特征同樣對鳥類識別結果也起著關鍵作用。為此引入第二個網絡分支捕獲其他補充判別性區域特征從而提高方法的準確率。本文方法的總體結構如圖1所示。

圖1 方法總體結構示意圖

首先,本文提出的方法主要包含3個部分：反復CAM特征提取網絡、雙線性注意力網絡、嵌入空間。首先將原始輸入圖像送入到判別性特征提取網絡的CNN1分支提取判別性區域特征，得到最具判別性特征圖，設置閾值將該部分進行抑制，然后將得到后的圖像送入到第二分支網絡CNN2，強迫網絡必須學習到其他補充判別性區域特征。考慮到不同判別性區域特征對最終分類的重要性不同，通過設置不同的權重進行特征融合，從而得到最終的判別性特征。然后將處理后的圖像送到雙線性網絡的其中一個分支CNN3，原始輸入圖像送入到雙線性網絡的第2個注意力模塊分支CNN4得到全局注意力特征表示，通過雙線性注意力網絡得到雙線性高階特征后，再將其送入到嵌入空間。嵌入空間通過引入一種新的損失函數，提高特征的判別性。最后將處理后的圖像特征送入到全連接層，進而得到最終的分類結果。

2.2 反復CAM特征提取網絡

(1)

式中：Mc(x,y)代表不同的特征圖對類別c的加權作用的結果。代表這些區域對圖像的反應最為強烈，對圖像最終的分類結果更為重要。選擇最大聯通區域得到最顯著區域，并通過插值縮放到原始圖像大小。為了得到抑制二進制掩碼圖像，選擇設置閾值為s，s的大小設置為得到特征圖最大值的0.7，將大于s的賦值為0，小于s的賦值為1，得到其抑制二進制掩碼特征圖公式：

s=0.7·max(H*)

(2)

(3)

(4)

(5)

2.3 雙線性注意力網絡

在細粒度圖像識別領域，圖像的高階特征(二階等特征)對細粒度圖像任務非常重要。為此本文引入雙線性卷積神經網絡。全局分支網絡輸入為原始圖像，另一分支輸入圖像為經過反復CAM特征提取網絡融合后的圖像。不同于原始的雙線性卷積神經網絡。通過在其中一個網絡分支加入空間注意力模塊來增強特征提取能力。通過雙線性注意力網絡來獲取圖像的高階圖像特征。

2.4 嵌入空間

在通用物體分類中，大多數算法采取softmax損失函數作為損失函數進行模型訓練，然而softmax損失函數不需要強調類內的差異盡可能小，無法更為精確地學習到判別性特征。為了使提取到的圖像特征更加具有判別性，選擇將圖像特征映射到一個嵌入空間。同時，為了使相同類別的圖像特征之間的距離更小，非相同類別的圖像特征之間的距離更大,采取一種新穎的損失函數公式L。該公式主要由Lc和Lsoftmax組成。同時為了更好地提高本文方法的訓練速度和收斂速度。選擇引入softmax損失函數并進行加權，a代表對應損失函數的權重，用來控制2個損失函數占總損失函數的權重。公式為：

L=aLc+(1-a)Lsoftmax

(6)

Lc=La+Lb

(7)

(8)

式中：La損失函數主要來源于Triplet Loss[17]。輸入是一個三元組〈a,p,n〉，a的含義是一個輸入的基準樣本，p的含義是與a同一個類別的樣本，n的含義是與a不是同一類別的樣本。該損失函數通過學習，使得同一類別內部的樣本距離到不同類別的樣本距離小于λ1。

為了減少類內差異，使同一類別的特征距離盡可能近。選擇在La損失函數基礎上增加損失函數Lb，限制同一個子類別正樣本對之間的距離小于λ2，Lb公式為：

(9)

最終得到的公式Lc如式(10)所示，β1、β2分別代表La、Lb損失函數的對應權重。

(10)

3 實驗設計與分析

3.1 數據集

使用的數據集是國際上公開的數據集CUB-200-2011。實驗中僅使用圖像類別的標簽，沒有借助其他邊界框等額外標注信息。僅依靠圖像類別標簽實現弱監督分類。

CUB-200-2011：主要由200個類別的11 788張鳥類圖像組成(圖2)。由于不同種類個體自身的差異、拍攝光照、拍攝環境等影響，導致該數據集鳥類識別具有很大的難度。數據集不僅僅包含所有圖像類別標簽，同時也提供其他強監督學習需要的部件標注等信息。在數據預處理階段，通過數據增強進行數據擴充，擴充的部分樣本圖片如圖3所示。

圖2 CUB-200-2011中的部分樣本圖

圖3 擴充的部分樣本圖

3.2 實驗環境以及參數設置

實驗采用的GPU顯卡是1080Ti，CPU型號是i5-9400F,內存(RAM)為32 GB。采用Pytorch作為編程框架進行本文方法的具體實現。在實驗過程中，對于要輸入的圖像首先在預處理階段進行圖像處理，圖像大小為448×448。使用數據增強策略，采用預訓練RestNet50作為特征提取器。訓練初始學習速率設定為0.001，每當經歷150次訓練后，將學習速率調整為原先的0.1倍。

3.3 實驗結果可視化

為了證明提出的反復CAM特征提取(反復CAM網絡)網絡能夠捕獲其他輔助判別性區域特征，將CAM網絡與反復CAM網絡得到的類激活圖分別進行可視化。實驗效果如圖4所示。

圖4 CAM可視化實驗效果圖

從圖4中可以明顯看到，僅僅使用單個CAM網絡僅能捕獲單一判別性區域特征,無法捕獲到其他互補的判別性區域特征。而本文中提出的反復CAM特征提取網絡能夠更加有效地捕獲其他互補區域特征，這些互補的區域特征也能更好地提高方法的準確度。

3.4 實驗驗證與分析

3.4.1各類算法結果

為了驗證本文方法的有效性，通過選擇不同方法在CUB-200-2011數據集進行對比試驗。通過與其他算法進行對比，可以明顯看到本文中提出的算法取得了87.3%的精度，具有一定的優越性。本文提出的方法分類準確率比RACNN、MA-CNN分別高了2.0個百分點、1.2個百分點。最終實驗效果如表1所示。

表1 CUB-200-2011數據集上的分類結果

3.4.2消融實驗

為了進一步驗證本文方法各個分支的貢獻度，選擇僅使用RestNet-50作為本文的BaseLine。分別對反復CAM特征提取網絡(反復CAM)、雙線性注意力網絡分支(雙線性網絡)、嵌入空間進行消融實驗。實驗結果如表2所示。

表2 消融實驗結果

從表2可知，提出的反復CAM特征提取網絡、雙線性注意力網絡、嵌入空間在CUB-200-2011數據集上的表現均優于BaseLine的分類結果。由于反復CAM特征提取網絡能捕捉到其他輔助判別性區域特征。雙線性注意力網絡通過2個分支提取高階圖像特征，圖像高階特征非常有利于鳥類圖像識別這一任務，嵌入空間中通過改進的損失函數有效提高特征的判別性。本文中提出的反復CAM特征提取網絡、雙線性注意力網絡、嵌入空間都在不同程度提升了方法的準確率，最終本文方法在CUB-200-2011數據集上的準確率高達87.3%，高出基礎分類方法5.6個百分點，證明了反復CAM特征提取網絡、雙線性注意力網絡、嵌入空間的有效性和互補性。

4 結論

首先利用反復CAM特征提取網絡獲取圖像的不同判別性區域特征,使用加權投票融合不同判別區域特征圖，然后將處理后的圖像送入雙線性注意力網絡提取圖像高階特征，最后引入嵌入空間，通過一種新的混合損失函數來更好地提高特征的判別性。在CUB-200-2011數據集上進行了實驗，方法的準確率為87.3%，具有一定的優越性。并且，本文提出的方法不需要其他額外的標注信息，僅僅需要圖像類別標簽信息。未來將會進一步探索更強大的神經網絡結構以及考慮使用知識蒸餾、NAS等技術來進一步推進該領域的發展。