基于改進ResNet 模型的圖像分類方法

蔣博文

（安徽理工大學 計算機科學與工程學院，安徽 淮南 232001）

0 引 言

圖像分類是機器視覺研究熱點之一。顧名思義，圖像分類即給定輸入圖像，卷積神經網絡對輸入進行圖像預處理、特征圖特征提取以及使用分類器進行分類，最終輸出預測類別標簽，其中特征圖的有效信息提取是至關重要的一步。傳統的圖像分類算法提取圖像的色彩、紋理和角點等特征信息，其在早期較為簡單的圖像分類任務中具有較好得表現，但在復雜場景下卻不能滿足要求 。

注意力機制作為捕捉特征圖顯著特征、提高卷積神經網絡特征提取能力的新方法。隨著現代科技的發展，海量復雜的信息不斷地向人們襲來，信息無處不在。然而人類接受信息的能力是有限的，研究發現在人類接受視覺數據的初始，人類的視覺處理系統會快速地將自己的大部分注意力集中在場景中相對重要的區域上，這種選擇處理機制可以極大地減少人類視覺系統需要處理的數據量，并在復雜信息環境中，抑制不重要的視覺刺激，從而將更多的精力分配給現實場景中更重要的部分，提取更重要的信息以便于大腦進行更高層次的決策。接觸人類視覺研究，研究者們提出了注意力機制的思想。對于現實中的事物其所具有的特征是不同的，在卷積神經網絡中反映為每張特征圖的差異性。注意力機制就是通過一系列手段捕捉每張特征圖顯著特征的像素或通道信息，具體反映在將重要的通道或者像素信息的權重增大并抑制不重要的信息權重，

本文以圖像分類任務為載體，通過結合現有的SE 通道注意力機制，將其嵌入到原始的ResNet 網絡中，提高網絡特征提取能力，捕捉特征圖中的顯著特征信息。通過在CIFAR-10 和CIFAR-100 數據集上使用基準網絡進行了實驗，驗證了其有效性。

1 算法描述

1.1 ResNet 算法

深度神經網絡的深度對于網絡性能的提升是最直接的方法，但實踐證明網絡并不是越深越好，這是由于隨著網絡層數的增加，在網絡回歸的過程中梯度消失的現象就會越來越明顯，相應的網絡訓練的效果也會變差。為了解決加深網絡深度帶來的梯度消失和網絡退化問題，ResNet網絡應運而生。

如圖1所示，34 層的ResNet 網絡由一系列的殘差模塊、全連接層和下采樣層組成。殘差模塊分為恒等殘差和非恒等殘差模塊兩種，分別對應著圖中快捷連接（shortcut connections）的實線和虛線兩種。恒等殘差模塊中的實線表示對于本殘差模塊的輸入和輸出特征圖通道數是相同的，可以直接進行相加。非恒等卷積殘差塊中的虛線表示輸入和輸出的特征圖通道數是不同的，需要先通過1×1 的卷積改變通道數，然后再相加。

圖1 ResNet34

如表1所示，本文列出18 層、34 層、50 層、101 層和152 層五種深度的原始ResNe 網絡結構，其中conv代表普通卷積、stride 代表步長、Global average pool 代表全局平均池化、fc 代表全連接層。五種深度的原始ResNet 網絡性能隨著層數的增加而增加，同時計算量也隨之增加。

表1 不同深度的ResNet 網絡結構配置

損失函數用于在訓練過程中的模型反向傳播時計算模型預測值和真實標簽值之間的不一樣程度，以便進行梯度更新。原始ResNet 網絡中使用交叉熵函數（Cross Entropy）作為最終的損失函數值，即將輸入網絡中的每個樣本的交叉熵進行加權平均，具體計算公式為：

1.2 SE 通道注意力機制

SE 通道注意力機制如圖2所示，其中為輸入特征圖，為高，為寬，為通道數，GAP 為全局平均池化操作，fc 為全連接層。先通過Squeeze 操作壓縮特征，沿著×方向進行壓縮特征圖，用1 個實數表示×特征平面，某種程度上該實數具有一定的全局感受野；然后通過全連接層，實現對1×1×特征圖進行跨信道信息交互，充分融合不同信道之間的信息；通過Sigmoid 函數獲得每個通道權重信息的一維向量，其代表著每個通道的重要性；最后使用一維特征向量對原特征圖進行縮放。

圖2 SE 模塊

SE 通道注意力機制的核心思想在于通過全連接層和下采樣層構建壓縮和激勵模塊以便于獲取特征圖通道權重信息，讓網絡學習特征圖中更重要的地方，放大顯著特征的權重的同時縮小不重要特征權重，從而使訓練模型達到更好的效果。SE 通道注意力機制作為一種軟注意力機制，屬于一個即插即用模塊，可以無縫嵌入多種CNN 網絡中并進行端到端訓練，在模型參數和計算復雜度少量增加的前提下，大幅提升網絡性能。

2 實驗與結果分析

2.1 數據集與實驗設置

為了評估不同深度得ResNet 網絡嵌入SE 通道注意力機制之后的效果，本文在CIFAR-100 和CIFAR-10 圖像分類數據集上進行了實驗，CIFAR-10 數據集包含10 個類別，共有60 000張彩色圖片，尺寸大小為32×32 像素，有50 000 張訓練圖像和10 000 驗證圖像，每個類別包含6 000 張圖像。CIFAR-100數據集包含100 個類別，共有60 000 張彩色圖片，尺寸大小為32×32 像素，有50 000 張訓練圖像和10 000 驗證圖像，每個類別包含600 張圖像。本文在CIFAR-100 和CIFAR-10 驗證集上統計Top-1 Error、Top-5 Error 和Top-1 Acc 并作為評價標準。Top-1 Error 是指取概率向量里面最大的作為最終預測結果，且預測結果和真實標簽不同，Top-1 Acc 則是預測結果和真實標簽相同。Top-5 Error 是取概率向量里面最大的前五位作為最終預測結果，且預測結果和真實標簽都不同。

操作系統及環境：Ubuntu18.04、Python3.7、CUDA11.0、PyTorch1.7.1。

框架：PyTorch。

GPU：NVIDIA GeForce RTX 2080 Ti。

具體實驗設置：在訓練的過程中，將SGD 作為優化器，訓練動量設置為0.9，訓練權重衰減設置為5e-4，使用單GPU 進行訓練，批量大小為128，學習率初始值設置為0.1。所有模型均設置200 個epoch 進行訓練，使用等間隔調整學習率，初始學習率在第60、120、160 個epoch 乘以0.2。

2.2 CIFAR-100 和CIFAR-10 數據集上的圖像分類

本文使用ResNet-50 和ResNet-101 網絡為基準，評估了改進的ResNet 算法模型在CIFAR-100 和CIFAR-10 數據集上的表現。

分別比較嵌入SE 通道注意力機制的SE-ResNet 和原始ResNet 在CIFAR-100 數據集上的Top-1 Error、Top-5 Error、參數量，結果如表2所示。可以觀察到，相較于原始的ResNet，添加SE 模塊的ResNet 模型在不同的網絡深度上都有明顯的提升，錯誤率都降低了一個百分點左右，而模型參數只增加了極小。特別的是，SE-ResNet50 Top-1 Error 和Top-5 Error 分別為20.29%和4.89%，相對于ResNet50 降低了8.40%和14.36%，比更深層次的ResNet101 錯誤率還要低。

表2 在CIFAR-100 數據集上SE-ResNet 與原始ResNet比較

CIFAR-10 數據集上，由于CIFAR-10 數據集僅有10 個類別，所以模型之間錯誤率差別不大。本文僅選取SEResNet50 和ResNet50 進行比較，如表3所示。ResNet50的Top-1 Error 為4.88，SE-ResNet50 僅為4.39，相較于原始ResNet50 在Top-1 Error 上降低了10.04%，錯誤率有大幅降低。

表3 在CIFAR-10 數據集上SE-ResNet 與原始ResNet錯誤率比較

對于原始ResNet 網絡提取特征能力的不足，SE-ResNet通過使用下采樣層和池化層構建的壓縮和激勵模塊可以有效地捕捉特征圖通道或像素的顯著信息，提高網絡的特征提取能力，并讓網絡關注更加重要的地方。

3 結 論

為了解決原始ResNet 網絡特征提取能力不足的問題，本文結合現有注意力機制SENet，提出一種基于改進ResNet模型的圖像分類方法。本研究將SE 模塊嵌入到原始ResNet網絡每個殘差結構的末端，通過壓縮和激勵模塊對原始特征圖進行跨通道信息交互，增強網絡特征提取和通道信息融合。實驗結果表明，與原始ResNet 算法相比，嵌入SE 通道注意力機制的SE-ResNet 在CIFAR-100 和CIFAR-10 數據集上以增加少量的模型參數為代價獲得了更高的識別準確率。后續的工作可以從自注意力機制、軟注意力機制和硬注意力機制等其他注意力機制入手，進一步提高ResNet 網絡的精度和泛化能力。