基于輕量級分組注意力模塊的圖像分類算法

張盼盼，李其申，楊詞慧

（1. 南昌航空大學信息工程學院，南昌330063； 2. 江西省圖像處理與模式識別重點實驗室（南昌航空大學），南昌330063）

（*通信作者電子郵箱li_qishen@163.com）

0 引言

圖像分類是計算機視覺領域的一個重要研究方向，其主要任務是通過計算機對圖像中的目標進行自動識別，并將其歸屬到對應的類別集合中［1-3］。傳統的圖像分類算法主要包含圖像預處理、圖像特征提取和分類器分類三個步驟，其中，特征提取是圖像分類中最核心的步驟，該步驟所提取的特征優劣直接影響到圖像分類的性能。傳統的圖像分類算法提取的特征具有較大的冗余性，并且不具備較好的泛化性，為此研究者們提出了很多優秀的神經網絡模型［4-8］。

目前，卷積神經網絡因其結構在圖像處理方面有著獨特的優勢，因此被廣泛應用于圖像分類任務。然而，由于圖像經過多層卷積和池化操作，丟失了大量的重要信息，導致卷積神經網絡及其改進模型所提取的特征對目標的表征能力不足。針對此類問題，研究者們提出一系列特征增強模塊，以提高網絡中間特征的健壯性。然而大多數特征增強模塊不僅增加了原始神經網絡模型的計算量，同時對精度的提升效果也不盡人意。

本文提出了一種基于輕量級分組注意力模塊（Lightweight Group-wise Attention Module，LGAM）對現有的神經網絡模型進行增強的算法。該模塊結合輸入特征圖的通道和空間信息對輸入特征圖進行重構，以提高現有神經網絡模型的特征表征能力。通過在Cifar10和Cifar100數據集以及部分ImageNet2012數據集上將LGAM 增強后的網絡模型和增強前的進行對比實驗，證實了本文模塊的通用性和有效性，同時還將本文模塊與其他特征增強模塊進行對比，證實了本文模塊是一種更加輕量級的模塊。

1 相關工作

1.1 注意力機制

近年來，隨著深度學習的廣泛使用，圖像分類研究獲得了快速發展，但圖像分類任務中現有的神經網絡模型仍然存在對分類對象特征表征能力不足等問題。注意力機制通過凸顯特征圖中具有較多有效信息的特征表示，同時抑制無用信息的干擾，有效提高神經網絡模型的分類性能，該機制已成功應用于很多計算機視覺任務［9-12］。文獻［13］提出采用殘差注意力網絡，通過引入沙漏形式的注意力模塊實現跨空間和通道維度的全局重點；但整個操作在3D 特征圖上進行，沒有對特征圖通道和空間維度進行解耦，因此計算量較大。文獻［14］提出的SE（Squeeze-and-Excitation）模塊是一種有效的輕量級門控機制，通過學習通道重要性的方式自適應校準特征圖。然而SE 模塊只關注了特征圖通道方面的影響而忽略了空間維度的重要性。除了采用通道注意力機制之外，文獻［15］提出了SGE（Spatial Group-wise Enhance）模塊，該模塊通過為每個語義組中的每個空間位置生成一個注意因子來調整每個子特征的重要性，其實質是一個空間注意力模塊。文獻［16-17］提出的CBAM（Convolutional Block Attention Module）和BAM（Bottleneck Attention Module）以類似的方式同時引入了通道注意力和空間注意力兩種機制。文獻［18］提出采用GC（Global Context）模塊改善非局部網絡計算量較大的缺點，同時與SE 模塊相結合設計了一個全局上下文模塊。文獻［19］提出一種動態內核選擇機制，主要思想是通過注意力機制實現神經元動態調整感受野。

針對特征圖耦合度較高、計算量較大等問題，本文將特征圖通道和空間維度進行解耦，分別生成對應的注意力權重，即結合通道注意力機制和空間注意力機制，提高神經網絡模型的圖像分類性能。

1.2 分組卷積

目前卷積神經網絡仍存在大量的冗余，因此研究者們設計了一種輕量級的網絡結構，即使用分組卷積以避免冗余對計算和存儲資源造成巨大的浪費。分組卷積將特征圖沿通道方向分成并行的多組結構，以此減少計算量。

傳統卷積結構如圖1 所示，該結構計算量公式為DK×DK×M×N×DI×DI。DK×DK表示卷積核的尺寸，M表示輸入特征圖的通道數，N表示輸出特征圖的通道數，DI×DI表示輸出特征圖的尺寸。分組卷積結構如圖2 所示，該結構計算量公式為DK×DK×M×N×DI×DI/G（組數用G表示）。從該公式中可看出分組卷積的計算量減少為傳統卷積計算量的1/G。

圖1 傳統卷積Fig. 1 Traditional convolution

圖2 分組卷積（G=2）Fig. 2 Group convolution（G=2）

分組卷積首次應用于文獻［4］，由于當時計算條件有限，研究者將卷積操作分成兩組，采用雙GPU 并行運算的方式以提高計算效率。文獻［20］提出基數的概念，即分組卷積的組數，通過大量實驗驗證，研究者們發現分組卷積不僅可以減少計算量，還可以一定程度上提高網絡的識別精度。文獻［21］中引入了深度可分離卷積，該卷積將普通卷積分解為深度卷積和逐點卷積兩部分來減少計算量，其中深度可分離卷積屬于分組卷積的特例。文獻［22-23］提出了交錯分組卷積以解決分組卷積帶來的信息不流通的問題，并開發了許多緊湊模型。

由此，本文將分組卷積與注意力機制相結合提出一種輕量級分組注意力模塊（LGAM），借鑒分組卷積的思想降低模塊的計算量。與其他注意力模塊相比，本文模塊具有更少的參數以及更易解釋的性質。

2 本文算法

現有的神經網絡模型中大部分的計算是卷積操作，而卷積得到的特征圖直接影響著網絡模型的特征表征能力。特征圖由通道和空間信息兩個部分組成，本文探索了一種由通道注意力機制和空間注意力機制融合的注意力模塊，從兩個角度對輸入特征圖進行重構，提高現有神經網絡模型的特征表征能力。

本文所提出的模塊LGAM 如圖3 所示。LGAM 主要由兩部分組成:通道注意力和空間注意力。首先，將特征圖沿通道方向分解成多組，并生成相應的通道注意力權重；然后，將多個分組進行串聯產生新的特征圖，并在其基礎上生成相應的空間注意力權重，兩者進行加權得到重構的特征圖；最后，將重構特征圖和輸入特征圖兩者融合。

圖3中，A表示輸入特征圖，xk表示各分組，yk表示各分組產生的結果，CA（Channel Attention）表示通道注意力操作，SA（Spatial Attention）表示空間注意力操作。⊕表示逐元素相加，?表示逐元素相乘。

圖3 輕量級分組注意力模塊Fig. 3 Lightweight Group-wise Attention Module（LGAM）

2.1 通道注意力（Channel Attention，CA）

假設給定一個輸入特征圖A∈RH×W×C，將特征圖沿通道維 度 分 成G組，用xk∈RH×W×C′表 示 各 個 分 組，k∈{1，2，…，G}，每個xk包含C′ =C/G個通道。然后將分組后的 特 征 圖 轉 換 成 向 量 形 式xk=U=[u1，u2，…，uC′]，ui∈RH×W。由于每個通道都包含特定的功能響應，因此本文利用通道間的相互關系，通過全局平均池化（Global Average Pooling，GAP）聚合每個通道中的特征映射生成對應的權重信息，權重的每個元素都由特征圖的空間維度H×W進行壓縮得到，即對每個通道中的全局信息進行軟編碼。全局平均池化計算如式（1）所示:

其中:schan∈R1×1×C′表示聚合通道得到的權重；H×W表示特征圖空間維度的信息。

為了自適應生成通道間的注意力權重，提高計算效率，使用具有一個隱藏層的多層感知機（MultiLayer Perceptron，MLP），隱含層單元數為C′/r，r為縮放比例。在多層感知機后加入批歸一化（Batch Normalization，BN）層調整輸出比例。使用Sigmoid函數將得到的權重歸一化。公式如下:

其中:δ表示ReLU 函數，σ表示Sigmoid函數，Mchan表示每個分組對應生成的通道注意力權重。

最后將每組的輸出采用殘差結構以避免層數較深導致的深層特征值消失和性能下降等問題。因此每組通道注意力加權公式為:

其中:xk′∈RH×W×C′表示每個分組經過注意力機制處理的輸出結果。⊕表示逐元素相加，?表示逐元素相乘。通道注意力具體操作如圖4所示。

LGAM 的第一個步驟是將輸入特征圖分組，該方式類似分組卷積的思想，分組卷積計算量較少，但不同分組的通道間缺少信息流通。因此本文采用圖3 所示的階梯型結構，改善分組間信息不流通的問題。階梯型結構計算如式（4）所示:

其中:Fchan(·)表示對xk進行一次求通道注意力權重的操作。

最后將各個分組得到的輸出yk串聯成新的特征圖A′∈RH×W×C。

圖4 通道注意力Fig. 4 Channel attention

2.2 空間注意力（Spatial Attention，SA）

由于噪聲的影響，卷積神經網絡模型通常難以獲得良好分布的特征響應，但特征圖空間和通道信息之間有著諸多聯系，因此本文利用通道信息對空間信息進行增強處理，目的是強調和抑制不同空間位置的特征。

本文提出的空間注意力模塊通過對空間信息間的相互關系進行建模，生成相應的空間注意力權重，整個流程可以看作特征選取的操作。空間信息與通道信息互補，為了得到有效的空間注意力圖，將輸入特征圖的通道信息進行壓縮，生成有效的特征描述符，利用特征通道的信息來突出空間信息的方法已被證明是有效的［24］。

通過2.1 節通道注意力計算后得到的新特征圖為A′∈RH×W×C，將該特征圖轉換成向量V=[v1，v2，…，vs]，vi∈RC，s=H×W，對通道信息進行壓縮的計算公式為:其中:cspat表示第s個位置生成的空間信息權重，vs表示第s個位置的視覺特征。

為了防止樣本數據的偏差太大，影響網絡的泛化性，因此對空間信息的權重進行歸一化處理。如式（6）所示:

其中:δ表示ReLU函數，σ表示Sigmoid函數。

最后將重構后的特征圖與輸入特征圖兩者進行融合，公式如下:

其中:A″∈RH×W×C表示LGAM 最后的輸出，A′表示分組通道注意力的輸出結果，Mspat表示生成的空間注意力權重，⊕表示逐元素相加，?表示逐元素相乘。

3 實驗與分析

本文在兩種公共基準的數據集上對LGAM 進行實驗測評，分別為Cifar數據集和部分ImageNet 2012數據集。

對比實驗均在Linux16.04 操作系統，CPU（32 核，2.1 GHz），GPU TITAN Xp（顯存12 GB）下進行。深度學習框架采用Pytorch。

3.1 Cifar數據集

本節采用公共基準的Cifar10數據集和Cifar100數據集來評估算法的有效性，這兩個數據集各包含60 000張彩色圖片，大小均為32×32，其中50 000 張用于訓練，10 000 張用于測試。數據增強采用常規方法:即裁剪和隨機水平翻轉。

為了保證實驗的可比性，設定實驗選擇相同的超參數初始化方法:優化方法采用隨機梯度下降（Stochastic Gradient Descent，SGD）；動量設定為0.9；訓練批次設定為128；測試批次設定為100；權重衰減設定為0.000 5；學習率初始化為0.1，并采用自適應降低學習率算法；迭代次數設定為160 次。最終的結果取5次測試的平均值。

對于ResNet 模型，為使其更適合Cifar 數據集，本文在結構方面作一些細微調整:原有的ResNet 網絡模型設計用于ImageNet 數據集，第一層采用7×7 的卷積核，但Cifar 數據集中的圖片大小均為32×32，因此將第一層卷積核大小調整為3×3，同時去掉最大池化層。3.1 節實驗中涉及到的ResNet框架均以調整后的框架為基準。

3.1.1 模塊泛化性驗證分析

該部分將提出的LGAM置于多個先進的神經網絡模型中用于驗證本文模塊的泛化性。網絡模型選取ResNet18，ResNet34，Wide-ResNet（WRN16-10）和ResNeXt29（32*4d）。數據集采用Cifar100數據集。實驗結果如表1所示，表中顯示信息分別為網絡模型、模型參數量以及模型分類的Top-1錯誤率。

表1 模塊泛化性驗證Tab. 1 Module generalization verification

從表1 中的最后一列數據可以看出，本文提出的LGAM模塊與任意神經網絡模型集成得到的Top-1 錯誤率相較于原神經網絡模型都降低了1%左右。LGAM 從特征圖通道和空間兩個方向應用注意力機制，只增加了較少的參數有效地提升網絡模型的分類性能，上述分析充分證明本文模塊的泛化性。

3.1.2 本文算法與其他注意力模塊對比

對LGAM 模塊與其他的注意力模塊做對比實驗。將各種注意力模塊分別嵌入到ResNet18 網絡框架的每個殘差塊中用于實驗，對比的注意力模塊分別是SE［14］、SGE［15］、CBAM［16］、BAM［17］。數據集采用Cifar10和Cifar100數據集。具體網絡框架見表2，表2 中AM（Attention Module）表示注意力模塊。實驗結果見表3，表3 中顯示信息分別為網絡模型、模型的參數量以及模型分類的Top-1錯誤率。

LGAM與其他注意力模塊的對比結果如表3所示:參數方面，在Cifar100 數據集上，本文提出的LGAM 模塊與RseNet18模型結合后的模型參數量為11.25×106，而原始ResNet18模型參數量為11.22×106，僅增加了0.03×106，而SE、CBAM、BAM三種模塊分別增加了0.09×106、0.09×106、0.07×106，因此得出結論:LGAM 占用的網絡開銷較小，是一種輕量級的模塊。LGAM 將輸入特征圖通道和空間進行解耦，同時采用分組卷積的思想降低模塊的開銷，提升網絡的性能。雖然在模塊的計算量方面略高于SGE 模塊，但LGAM 模塊的分類準確率高于SGE模塊。分類性能方面，SE模塊是通道注意力機制，SGE模塊是空間注意力機制，而本文采用兩種注意力機制相結合的方式，從結果上看出，LGAM 的兩種注意力機制結合方式的分類效果優于SE 和SGE 的單注意力機制算法。上述分析證實，本文將LGAM模塊與ResNet18框架相結合，得到了最低的分類錯誤率，充分證明本文算法的有效性。

表2 注意力模塊+ResNet18網絡框架Tab. 2 Network framework of attention module+ResNet18

表3 不同注意力模塊結果對比（Cifar）Tab. 3 Comparison of different attention module results on Cifar

3.2 ImageNet2012數據集

本節采用ImageNet2012 數據集，該數據集共包含128 萬張訓練圖像，5萬張驗證圖像，共1 000個類別。由于計算時間原因這里隨機抽取20 類用于測試本文的模型。數據增強采用常規方法，即隨機裁剪和隨機水平翻轉，同時采用平均通道減法用于標準化圖像用于訓練和測試。

為保證實驗的可比性，本部分實驗選擇相同的超參數初始化方法:優化方法采用隨機梯度下降（Stochastic Gradient Descent，SGD）；動量設定為0.9；訓練批次設定為64；測試批次設定為100；權重衰減設定為0.000 1；初始化學習率為0.1并且每30 次迭代次數降低10 倍；迭代次數設定為90 次。最終的結果取5次測試的平均值。

3.2.1 本文算法與其他注意力模塊對比

該部分將提出的LGAM 模塊與其他的注意力模塊做對比實驗。對比的注意力模塊分別是SE、SGE、CBAM、BAM。實驗結果見表4，表中顯示信息分別為網絡模型、模型的參數量以及模型分類的Top-1錯誤率。

從表4 中的數據可以看出，本文提出的LGAM 模塊與RseNet18 模型結合后的模型參數量為11.22×106，而原始ResNet18 模型參數量為11.19×106，僅增加了0.03×106，并且都低于SE、CBAM、BAM。因此可以得出LGAM 占用的網絡開銷較小，是一種輕量級的模塊。同時在分類性能方面，LGAM與ResNet18相結合得到了最優的分類效果，與在Cifar 數據集上實驗得到的結論一致，再一次證實本文算法的有效性。

表4 不同注意力模塊結果對比（ImageNet2012）Tab. 4 Comparison of different attention module results on ImageNet2012

3.2.2 不同網絡模型結果可視化

本文為方便定性分析注意力模塊給網絡模型帶來的作用，使用Grad-CAM［25］來可視化ImageNet 2012 驗證集的圖片。Grad-CAM 是一種新型可視化方法，主要利用目標類的梯度，傳播到最終卷積層來生成粗略定位圖，可視化的結果可以清楚地觀察出網絡如何選擇預測類的重要區域，借此來判斷注意力模塊帶來的影響。

本文比較了ResNet18 與SE、SGE、CBAM、BAM、LGAM 分別相結合的可視化效果，并從ImageNet 2012 數據集中隨機挑選了6個種類的圖片分別進行可視化。如圖5所示，從第二列開始直到最后一列，每張圖片上的數據表示相應的輸入圖像在各個網絡框架的預測分數。最后一列中LGAM 模塊集成的網絡可視化的注意力掩膜比其他注意力模塊更好地凸顯目標對象區域。由此可以判斷LGAM 模塊可以幫助神經網絡模型更好地學習目標對象的特征信息，提高目標正確類別的分數。

圖5 Grad-CAM可視化結果Fig. 5 Grad-CAM visualization result

4 結語

本文針對現有神經網絡模型提取的特征表征能力不足導致識別精度不高的問題，提出了一種基于注意力機制的圖像分類算法。通過設計一種輕量級的注意力模塊LGAM 與任意現有的神經網絡模型相結合，該模塊將輸入特征圖的通道信息和空間信息同時用于加權特征圖可以有效提高模型的特征表征能力，并且利用分組的思想設計模塊可以有效地降低模塊的開銷。最后在Cifar10 和Cifar100 數據集以及部分ImageNet 2012數據集上通過實驗證實了LGAM可以提高現有神經網絡模型的識別精度。在后續的研究中，可以通過深度可分離卷積代替普通卷積，進一步減少網絡模型和注意力模塊的開銷。另外，還可以采用將底層特征和高層特征相結合的方式進一步提高網絡的識別精度。