基于改進Bilinear CNN的細粒度圖像分類方法?

田佳鷺 鄧立國

（沈陽師范大學數學與系統科學學院 沈陽 110034）

1 引言

在目前圖像識別領域中細粒度圖像分類問題是研究的重點課題。細粒度分類是在大類別中進行子類別劃分，由于物體類內差異細微、特征目標不突出因此分類難度大。相對而言粗粒度分類較為簡單，它只對物體作簡單的類別區分特征較為明顯。那么如何精準、高效地挖掘目標物體空間位置及其顯著特征，是細粒度分類任務所要解決的關鍵問題。盡管以往的卷積神經網絡已經能做到有效提取出物體的基本輪廓、細節描述等特征信息，但還不能將其完全應用于細粒度圖像分類任務。雙線性卷積神經網絡（Bilinear CNN）基于它能有效提取較全面的特征信息，成為細粒度分類中的經典模型，其不足之處在于擁有過多的參數量、識別精度不夠高等。因此，該文提出的改進模型著重針對上述問題，以Bilinear CNN作為基礎模型引入注意力機制、分組策略以及新型Relu-and-Softplus激活函數。最終實驗數據顯示，新模型的預測精度更高可達96.869%，涉及的參數量更少，模型性能較優。

2 雙線性卷積神經網絡的改進方法

2.1 DenseNet121

DenseNet121是一種結構密集的卷積神經網絡，由4個Dense Block和3個Transition layer共同組成。其中Dense Block為稠密連接模塊，Transi?tion layer為兩個相鄰的Dense Block模塊的銜接區域［1］。并且DenseNet中每一個Dense Block塊都融合前面所有層的信息，使得信息資源更豐富。其中Dense Block模塊的結構為BN+Relu+（1*1）Conv+BN+Relu+（3*3）Conv，使用維度為1*1的bottleneck卷積層可有效降低特征圖的通道數以減少計算量。Transition layer的 結 構 為BN+Relu+（1*1）Conv+（2*2）AvgPooling，其間使用了1*1維度的卷積層，用于維度的降低。

在DenseNet121神經網絡模型中，任意兩層之間直接相連，網絡前面的每一層輸出信息都會通過合并操作匯集到這一層，相應地該層學習得到的特征圖信息，也會被傳給后面的所有層。這正是與ResNet隔層相連思想最大的不同之處。描述DenseNet每一層的變換的式子如下［2］：

可以看出DenseNet模型結構較為簡潔，它可綜合利用多層復雜度較低的淺層特征來擴增信息量，使其得到一個具有較好泛化性能的決策函數，提高模型的抗過擬合性。

原始的Bilinear CNN模型采用兩路的VGG-16作為特征提取模塊，介于DenseNet121網絡模型具有良好的性能和緊密的結構，將DenseNet121模型的卷積部分到最后一個卷積塊為止，即去掉最后的Global average pool層和Softmax層作為改進模型結構中兩路的特征提取模塊［3］。

2.2 Relu的改進

模型中常用Relu激活函數，當x值小于0時函數值恒等于0；當x值大于0時它是一個線性函數。根據函數的性質，它的優點是大于0時為線性函數，使網絡具有一定的稀疏性，防止模型產生過擬合現象；并且能通過良好的反向傳播，防止梯度彌散現象發生［4］。它的缺點是屏蔽了太多的特征信息，導致模型無法進行有效的學習。并且該函數恒等于0的特點，會導致大部分神經元可能永遠不會被激活。Relu激活函數表達式：

另一個激活函數Softplus，是一個不飽和的函數，與Relu激活函數相比更加平滑，因此Softplus可以稱作ReLu激活函數的平滑版，但它不具有稀疏性這一特點［5］，函數表達式為

該文提出的新激活函數，將Relu函數和Soft?plus函數相結合，取兩者之長補兩者之短，使其既有Relu函數稀疏性和快速收斂的特點，又具有Softplus函數平滑的特點。對于提出的新函數將其命名為Relu-and-Softplus函數，該函數由兩部分組成以x=0為分界點，x≤0的部分用Softplus函數的性質，x＞0部分則用到Relu函數的性質，最后將生成的Relu-and-Softplus函數整體向上平移0.7個單位量，表達式為

如圖1所示是Relu-and-Softplus激活函數。

圖1 Relu-and-Softplus激活函數

2.3 注意力模塊

2.3.1 注意力機制

注意力機制的本質是在原有特征圖的基礎上添加一個權重掩碼，代表特征的重要程度，強化重要的特征，抑制不必要的特征，提升網絡的訓練效率。在運算過程中通常使用軟性注意力機制，即對于輸入的N個信息，通過計算所有輸入信息的加權平均值來確定信息的選取［6］。在該機制下以概率αi選擇第i個信息的可能性表達公式為

其中，xi代表第i個信息的輸入，q是所要查詢的信息，z是一種注意力變量，s(xi，q)是注意力的評分函數。通過計算得到注意力權重αi后，為完成對重要信息的提取工作將αi與特征向量進行融合處理，操作過程如下：

為提高模型分類精度，引入注意力機制即通道注意力模塊和空間注意力模塊，將兩者分別構建在DenseNet121模型中最后一個卷積塊即特征提取模塊的后面，使模型不僅關注到空間中每個重要特征，又能獲取到通道間相互的關聯信息。將圖像特征的整體性與局部性巧妙融合，加深模型對圖像特征的理解［7］。

2.3.2 空間注意力模塊

空間注意力模塊主要于關注特征圖上每個特征位置之間的相關性，注重特征值的局部性?？臻g注意力模塊處理過程為

1）首先，經過兩個連續卷積層的處理實現對輸入特征圖下采樣操作，獲取圖像的特征編碼；

2）接著，利用反卷積操作對特征編碼上采樣，實現特征解碼恢復到輸入特征模塊原有的維度，但通道數變為1；

3）然后，通過激活函數Sigmoid的運算將剛提取的位置信息矩陣轉換為注意力掩碼AS，即每個特征值被映射至0～1之間生成權重值；

4）保證注意力掩碼和DenseNet121特征提取模塊輸出的特征圖大小一致，在這里還要將掩碼部分+1后再與特征圖點乘，消除特征值可能會降低的問題，處理完畢后進行后續的特征圖與對應掩碼的點乘運算使特征獲得權重，相融合后得到空間注意力特征圖XS；

5）最后，將原始特征圖與空間注意力特征圖XS以用類似于ResNet殘差網絡中恒等的連接方式，進行線性相加得到最終的模塊輸出H。

空間注意力模塊處理的整體過程可用如式（7）表示：

H是模塊的最終輸出，下角標i指代第i張圖的輸入，G是DenseNet121特征提取模塊輸出的特征向量，×運算符代表相乘運算。

2.3.3 通道注意力模塊

通道注意力模塊主要用于挖掘每一個特征圖通道之間的相互關聯性，因此它更關注的是圖像特征的整體性。通道注意力模塊的處理過程。

1）首先，利用全局平均池化層（Global Average Pooling，GAP）提取特征圖中每個通道大小為1*1的特征值，以獲得全局通道的特征信息，并把它們拼接成一個特征向量；

2）接著，連接一個全連接層實現對特征向量的下采樣操作，實現信息的壓縮，緊接著再用一個全連接層對壓縮的信息進行上采樣，實現維度的恢復；

3）使用Sigmoid激活函數完成與空間注意力模塊處理方式相同的特征映射操作，生成通道注意力掩碼向量AC；

4）接下來，通過一個分支結構將原始輸入的特征圖快速傳送到網絡后面，直接和通道注意力掩碼向量AC以對應元素相乘的方式，為特征圖的每個通道施予權重值實現特征融合，得到通道注意力特征圖XC；

5）最后，將通道注意力特征圖XC與最初的原始特征圖完成線性相加運算，得到最終的模塊輸出J?？臻g注意力模塊處理的整體過程用公式表示為

J是模塊的最終輸出，下角標i指代第i張圖的輸入，Q是DenseNet121特征提取模塊輸出的特征圖，×運算符表示對應元素相乘運算［8］。

2.4 新增卷積層

DenseNet121模型在兩種注意力模塊的幫助下完成特征提取后，為符合后續分組雙線性卷積策略的要求，在注意力模塊和分組雙線性卷積之間增加一層新的卷積層，使得特征圖的通道維度變為N*M。此外，卷積層的增加能夠有效提高模型的特征提取效果和非線性變換能力，新的卷積核大小為3×3，卷積核數目為N*M，步長為1。其中N為分組的數目即數據集中擁有的類別數，M是每個分組中包含的特征圖數目。經該層的卷積后特征圖的維度被調整為

2.5 分組策略

通常利用雙線性池化操作后，會得到二階甚至高階的特征使其包含更多的信息量，但隨著雙線性特征向量維度的提升，會使后續全連接操作或全局最大池化操作的參數量急劇增加，運算負擔過重，網絡的訓練難度提升［10］。

分組策略是通過對卷積圖進行分組，讓每個組內部進行外積運算，這樣得到的特征維度可極大降低，每個組對應的全局最大池化層的參數量也會因此下降。它的具體操作是對分組后每個類內特征圖分別進行雙線性池化融合，即運用外積運算分別得到各個類別的雙線性特征，最后可以得到N個雙線性特征向量。

對于改進的雙新型卷積網絡進行分組操作，通過新增的卷積層使特征圖維度變為[A1，B1，(M×N)]［11］。表示特征圖被分N個組，并且每組含有M個維度為A1×B1的特征圖，這里設M為4。

若將改進的模型從新增的卷積層處分為兩部分，那么后半部分基于分組策略思想的雙線性卷積模 型 形 似 于 一 個 五 元 函 數Q=F(f A，c，f B，c，M，P，L)，其中，f A，c，f B，c為特征提取函數，A和B為二路卷積神經網絡，c表示第c組卷積圖，M為分組所包含的特征圖數目［12］，P表示池化函數，L表示分類函數，其中f也是一種映射函數，即f:G×I→RS×T，表示為將輸入圖像G和它的原始尺寸I映射到S×T的空間范圍中，S代表生成特征圖的分辨率大小，T是通道數。此外，特征提取函數應與DenseNet121當中的特征提取模塊相對應。

假設γc，λc分別對應特征函數f A，c，f B，c輸出的第c個類別的特征圖矩陣，將相同維度的γc，λc進行外積運算，即通過雙線性池化操作完成特征融合，得到雙線性特征向量Bilinear vector，公式為［13］

其中q表示對雙線性特征值進行外積運算函數，?符號表示外積操作，l為圖像直接對應的空間區域，E表示輸入圖像。池化函數P通過累加每個位置的雙線性特征，進一步完善整體的特征描述信息，計算公式如下：

經過上式計算將雙線性特征轉變為向量xc，接著進行向量規范化操作［14］，即利于向量開平方運算計算得到向量yc，接著再進行L2正則歸一化操作得到zc，公式為

可以發現特征分組后的雙線性特征向量維度減小，有利于減少后續計算的參數量，提高訓練效率。利用分組策略稍微會對模型的精確度有一定的影響，但結合前面提出的注意力模塊可以將這個問題很好的化解。

3 數據集準備

該論文為符合細粒度分類要求選取五類花作為基礎數據集，分別為daisy、dandelion、roses、sun?flowers、tulips五種花。對于數據集合的統一管理，利用TensorFlow中提供的TFRecord格式，將任意數據轉化成能被TensorFlow處理的形式，即以一種二進制文件格式使得圖像中重要信息以及標簽數據被整體的封裝在一起，用于后續模型訓練［15］。將數據集按功能分為包含大量數據的訓練集和小部分數據的測試集，其中測試集由每類中抽取的100張左右圖片組成。訓練集通過壓縮編碼被分為兩個都含有1000張數據的TFRecord文件，少量的測試集則裝成一個TFRecord文件即可［16］。圖像被制作成TFRecord文件后的存儲方式如圖2所示。

圖2 TFRecord文件中的圖片形式

五類花的數據集分配情況如表1所示。

表1 五類花的數據集分配情況

4 實驗結果與分析

4.1 訓練過程

對于改進模型，在訓練過程中我們把模型分成兩個階段來訓練。首先鎖定DenseNet神經網絡的值，使用訓練集重點訓練模型的后半部分，并利用DenseNet曾經訓練好的值對模型后半部分進行指導，因為經過訓練的DenseNet已經包含了一定的信息量；當后面的權值訓練到較穩定狀態時，再解鎖前半部分DenseNet的值，進行整體網絡模型的訓練，直至模型收斂并用測試集檢驗模型的訓練情況。

4.2 實驗結果

該文主要針對細粒度圖像分類任務，基于Bi?linear CNN模型改進其結構優化其性能，基礎數據集選取五類花的數據。為驗證改進的模型能夠有效減少網絡參數和計算量，提升模型訓練效率，提高預測精確度。將改進的模型與Bilinear CNN模型、VGG模型以及ResNet模型在參數量以及預測時間方面進行對比，如表2所示，可以發現新的模型結構所用的參數量較少，并且推理速度較快。

表2 四種模型在參數量和預測時間方面的對比

此外，為了檢驗新模型的分類精確度，令四種模型在以相同的數據集為基礎進行訓練和識別，如表3所示，能夠清晰地觀察出，新模型相比其他三種模型具有較高的分類精確度，可高達96.869%。通過以上檢驗能夠證明，新的模型實現了改進目的，具有較好的性能，能有效應對細粒度圖像分類的問題。

表3 各種模型的分類精確度

5 結語

該改進模型是一種針對細粒度圖像分類問題的模型，為了改進原Bilinear CNN模型訓練參數量過多，預測精度不夠高的問題，提出了相應的改進措施。主要將結構緊密的DenseNet121模型作為雙線性網絡的特征提取模塊；并改進激活函數為新型的Relu-and-Softplus函數；利用注意力機制生成空間注意力模塊和通道注意力模塊，以實現特征的整體性和局部性的完美結合；接著，利用分組策略有效減少模型在GMP運算過程中的參數量，提升訓練速度；并用全局最大池化層提取每個雙線性特征向量的顯著特征以實現最后的分類目的。經驗證，新的模型無論是在訓練效率還是分類精度方面較比其他模型都體現出優良的效果。因此，該模型能夠很好地應對細粒度特征分類差異小的問題。對于今后的研究將在保證精確度的前提下，對模型的層次架構實現進一步的精簡，以達到更好的性能。