基于改進Res2Net模型的淡水魚類圖像分類研究

趙正偉 朱宏進 楊根滕 王金坤

摘 ?要：針對傳統的淡水魚類圖像識別方法速度慢、需要人工提取特征等問題，提出一種基于改進Res2Net模型的淡水魚類圖像識別算法。提出的改進方案如下：首先使用CELU激活函數代替ReLu激活函數;接著將殘差塊與混合注意力網絡相結合;最后使用三個3×3卷積核替代Res2Net模型中第一個卷積層的7×7卷積核，同時在下采樣的殘差連接中加入平均池化層。實驗結果表明，改進的網絡在淡水魚類圖像分類上達到了96.34%的準確率，比Res2Net的準確率高3.67%，具有更加優異的性能，可為淡水魚類識別提供參考。

關鍵詞：淡水魚;圖像識別;注意力機制

中圖分類號：TP391.4 ? ? 文獻標識碼：A

Research on Classification of Freshwater Fish Images

based on Improved Res2Net Model

ZHAO Zhengwei， ZHU Hongjin， YANG Genteng， WANG Jinkun

（College of Electronic Information， Guangxi Minzu University， Nanning 530006， China）

zzwei@gxun.edu.cn; 1437489585@qq.com; ygt6686@126.com; 1823323212@qq.com

Abstract： Aiming at the slow speed of traditional freshwater fish image recognition methods and the need to manually extract features， this paper proposes an improved freshwater fish image recognition algorithm based on improved Res2Net model. The proposed improvement scheme is as follows： first， CELU activation function is used instead of ReLu. Then， the residual block is combined with the hybrid attention network. Finally， three 3×3 convolution kernels are used to replace the 7×7 convolution kernels of the first convolutional layer in Res2Net model. At the same time， an average pooling layer is added to the down-sampled residual connection. Experimental results show that the improved network achieves 96.34% accuracy in freshwater fish image classification， which is 3.67% higher than that of Res2Net. It has more excellent performance and provides a reference for freshwater fish recognition.

Keywords： freshwater fish; image recognition; attention mechanism

1 ? 引言（Introduction）

中國是一個淡水魚類養殖大國[1]，魚類的快速識別是實現魚類養殖自動化的前提，然而由于不同魚類外形具有高度的相似性，這在很大程度上增加了魚類分類的難度。近年來，卷積神經網絡在計算機視覺領域展現出許多優越性，誕生了許多優秀的深度學習算法，例如GAO等于2019 年在殘差網絡ResNet[2]的基礎上提出了一種新的多尺度特征提取方法Res2Net[3]，通過組合不同數量的卷積核來提取多尺度特征，達到了更佳的性能。ZHANG等在2021 年提出了一種新的注意力機制SANET[4]，通過分組結合通道注意力機制與空間注意力機制，提升模型對重要信息的關注度，可以有效地提高模型的性能。

本研究在分析經典Res2Net模型的基礎上，對模型結構進行改進，并且引入混合注意力機制提高模型特征學習能力，通過構建淡水魚類圖像數據集，實現對10 種淡水魚類圖像的精確識別。

2 ?淡水魚類圖像識別模型構建（Construction of image recognition model for freshwater fish）

2.1 ? 新維度殘差網絡模型

考慮到構建的淡水魚類圖像數據集圖片數量較少，種類數量繁多，而且淡水魚類圖像本身具有類間差異小、背景復雜的特點，同時考慮到算法的時效性，所選網絡模型計算開銷不能過大，因此選用對細粒度圖像分類顯著的Res2Net-50模型作為淡水魚類圖像識別的分類器。由于對輸入特征通道進行了分組處理，使用不同數量的3×3大小的卷積核組合進行分層連接，使得其在未增加計算開銷的情況下，在粒度更細的級別上表示了圖片的特征信息，大幅度增加了網絡對細粒度圖像的特征提取能力。同時，由于使用了殘差連接[2]，解決了深層神經網絡由于網絡層數過深導致梯度消失或者梯度爆炸而出現的不易收斂的問題，可以通過增加神經網絡的深度或者寬度，使網絡學習到淡水魚類圖像更深層次的語義信息。Res2Net-50模型結構總共由七個部分組成，包括開始的卷積層與五個類似的殘差模塊，殘差模塊由不同數量的殘差單元構成，最后使用平均池化層與全連接層作為輸出端，其中殘差單元結構如圖1所示。

每個殘差單元由兩個11卷積層與一組3×3卷積核構成，同時在輸入與輸出之間添加一個恒等映射的殘差連接。每個殘差單元中3×3卷積層進行多尺度特征提取的計算公式如式（1）所示：

（1）

其中，表示輸入特征圖經過Split操作后得到的四個子特征圖;為輸入神經網絡的RGB圖片數量;分別表示特征圖的寬和高;C為輸入特征圖的通道數量;表示使用3×3的卷積核進行卷積操作;為每個子特征圖經過多尺度特征提取后對應的輸出。因此，Res2Net的殘差單元輸出由不同粒度大小的感受野組成，可以很好地提取圖像的全局特征以及局部特征，提高模型的性能。

2.2 ? 改進Res2Net-50模型

本文提出的淡水魚類圖像識別模型是在原始Res2Net-50模型的基礎上進行構建與改進的，包括49 個卷積層、2 個池化層與1 個全連接層。改進后的模型將第一個7×7的卷積層使用3 個3×3的卷積層進行代替，同時將原始模型卷積層后的ReLu激活函數代替為CELU激活函數，最后使用增加了注意力機制與平均池化的改進殘差模塊代替原始殘差模塊，保持模型寬度不變。模型的整體結構如圖2所示。

2.2.1 ? CELU激活函數

傳統Res2net-50模型中使用了ReLu激活函數，具有運算速度快，可以有效緩解過擬合的特點，計算公式如下：

（2）

由式（2）可以看出，當神經元的輸入為負值時，計算的輸出全部為零。在模型反向傳播根據梯度更新參數時，由于梯度被置零，因此該神經元參數可能不會進行激活更新，出現神經元失活現象。為了解決該問題，本文使用CELU[5]激活函數代替ReLu激活函數，其公式如下：

（3）

由式（3）可以看出，當輸入為正值時，函數保留了ReLu激活函數的特點;當輸入為負值時，CELU激活函數可以避免梯度被置零，使參數更新正常進行。實驗設置的值為1。

2.2.2 ? 多尺度融合注意力模塊

為了加強模型對淡水魚類圖像中重要特征信息的提取效率，本研究在殘差單元中的1×1卷積后加入SANET注意力模塊，同時從空間與通道層面加強對魚類圖像關鍵特征的提取[6]。SANET具體流程如圖3所示。

首先將特征圖在通道維度平均分組為多個子特征圖，接著將每個子特征圖平均分成兩部分：其中一部分執行通道注意力操作，首先經過全局平均池化，將特征圖的每一個通道壓縮成一個實數，接著通過一個門機制與Sigmoid函數將每一通道轉化為0—1的權重系數，最后將輸入特征圖逐通道與權重系數相乘得到輸出;另一部分執行空間注意力操作，首先經過分組歸一化操作[7]后，同樣經過一個門機制與Sigmoid函數得到每個通道的權重系數，逐通道相乘后得到輸出，最后將每組的兩部分輸出拼接后經過Channel shuffle操作得到最終的輸出。上述注意力特征提取過程可以表示為：

（4）

（5）

其中，表示一個簡單的門機制，用于對經過全局平均池化與分組歸一化的特征圖進行縮放與平移。

2.2.3 ? 卷積核的替換與平均池化的添加

在經典的Res2Net模型結構中，輸入圖像首先經過7×7大小的卷積核進行大塊的全局特征提取，但是由于在淡水魚類圖像識別中，各種魚類的外形高度相似[8]，需要使用較小的卷積核提取圖像更加細微的局部特征來進行區分[9]，因此將模型第一個卷積層中7×7大小的卷積核利用3 個3×3大小的卷積核進行替換。改進后的模型具有與原始模型相同的感受野大小[10]，并且通過加深網絡，使模型具有更強的非線性擬合能力，同時降低了模型需要訓練的參數數量。

同時，傳統的Res2Net模型中，在執行下采樣操作的殘差單元內，殘差連接通過使用步長為2、大小為1的卷積來進行特征圖的縮小。但是，由于1×1大小的卷積操作一般用于調整特征圖的通道數，并沒有考慮特征圖相鄰像素之間的聯系，會造成部分淡水魚類圖像特征信息的丟失[11]，因此，本文通過在殘差連接中添加步長為2、大小為2的平均池化層來進行特征圖的下采樣，具體如圖4所示。

3 ? 實驗與結果分析（Experiment and result analysis）

3.1 ? 淡水魚類圖像數據集

本研究選取的淡水魚類圖像數據集共有1，382 張圖片，包含10 種淡水水域常見的經濟魚類與入侵魚類，每一類圖片數量為60—175 張，數據通過手動在互聯網上搜集并整理得到，部分圖片如圖5所示。本實驗將淡水魚類圖像數據集的80%劃分為訓練集，20%作為測試集。

由于淡水魚類圖像數據集數據較少，在模型的訓練過程中容易出現過擬合的現象，因此在將原始數據集劃分為訓練集與測試集后，對訓練集的圖像采用數據增強的方式進行擴增。本實驗采用的數據增強方式為垂直水平翻轉、順時針旋轉20°、340°。擴充后淡水魚類數據集總共包含4，715 張圖片，其中訓練集圖像4，442 張，測試集圖像273 張。

3.2 ? 實驗設置

首先，將輸入圖像的尺寸使用Pytorch自帶的函數統一縮放為網絡所需要輸入的標準尺寸224224，并且以0.5的概率進行圖像的隨機水平翻轉，接著為了加速模型的訓練與收斂速度，進行均值方差的歸一化。在模型訓練過程中使用Adam優化器，學習率設置為固定值0.0001，batch_size設置為32，采用交叉熵損失函數（Cross Entropy Loss）作為模型訓練的損失函數，在淡水魚類圖像數據集上訓練100 個輪次。

3.3 ? 實驗環境

本研究使用Pytorch 1.9.1 CUDA深度學習框架搭建淡水魚類圖像識別模型，采用專業的圖形處理工作站，使用Windows 10、64 位操作系統，GPU為適用專業臺式工作站的NVIDIA Quadro p4000 8 GB，CPU為英特爾Xeon（至強）Silver 4210@ 2.00 GHz。

3.4 ? 結果與分析

為了驗證本研究提出算法的有效性，將改進的Res2Net-50模型與傳統的Res2Net-50模型在經過數據增強的淡水魚類圖像數據集上進行對比分析，保證模型在相同的實驗條件下開始訓練直至收斂，模型每訓練一個輪次就進行一次測試，以便更加直觀地查看模型在訓練過程中的性能變換情況。

如圖6所示為兩個模型在淡水魚類圖像數據集上的測試集準確率變換情況。從圖6中可知，兩個模型在前20 個輪次內，測試集的準確率迅速上升;在模型訓練至20 個輪次后，模型的準確率曲線變換幅度逐漸減小，整體上表現為上升趨勢。在模型逐漸收斂以后，兩個模型的準確率曲線存在一個比較明顯的高度差，相差約3.67%。

為了探究高度差產生的原因，接下來對是否使用數據增強，以及提出的三種改進方法對實驗結果的影響進行討論。

3.5 ? 數據增強對實驗結果的影響

利用改進后的Res2Net-50模型分別在經過數據增強與未經過數據增強的淡水魚類圖像數據集上進行實驗，結果如表1所示。從表1的結果可以看出，數據集在經過數據增強后，其訓練集與測試集的準確率均得到了提升，在訓練集上提升了3.8%，在測試集上提升了3.3%。并且經過數據增強后的實驗結果較未進行數據增強的實驗結果，其測試集與訓練集準確率相差更小，這說明在經過垂直翻轉、水平旋轉一定角度等一系列數據增強操作后，增強了模型的泛化能力與魯棒性，并且改善了模型在該淡水魚類圖像數據集上存在的過擬合問題。

3.6 ? 不同網絡模型對實驗結果的影響

為了綜合驗證本文提出的改進方案對淡水魚類圖像分類的影響，同時為了驗證改進Res2Net-50模型的分類效果，本文選取了幾種常用于圖像分類的網絡進行多組對比實驗。對比實驗的軟硬件環境完全相同，且訓練超參數設置、圖像預處理情況完全相同，分類結果如表2所示。從表2的對比結果來看，針對淡水魚類圖像識別，本文提出的改進Res2Net-50模型在測試集上達到了最好的分類效果，準確率為96.34%，相較于AlexNet、SE_Res2Net、DenseNet-121、Xception等模型，準確率分別提高了8.43%、4.76%、6.23%、3.3%，同時模型訓練所需的計算開銷并沒有明顯增加。實驗結果表明：通過替換卷積核加深網絡深度與添加平均池化層減少特征信息的丟失，更改激活函數減少神經元壞死，添加注意力機制增加網絡提取信息的效率與準確性，可以很大程度上提高模型的分類準確率，本文提出的改進Res2Net-50淡水魚類圖像分類模型是一種性能優良的模型。

4 ? 結論（Conclusion）

本文提出了一種改進Res2Net-50模型的方法，即將原始模型中的第一層7×7卷積核使用更小的3×3卷積核進行代替，在加深網絡深度的同時減少網絡參數，并且在下采樣部分添加平均池化層減少特征信息的丟失，接著將模型的ReLu激活函數更改為CELU激活函數，提高模型的表達能力，之后加入SA模塊，從通道層面與空間層面量化特征圖的重要性。將改進的模型應用在淡水魚類圖像數據集上達到了96.34%的準確率，相比于其他模型獲得了更好的效果。實驗結果表明，本文提出的改進Res2Net-50模型可以顯著提高淡水魚類圖像分類準確率，具有更強的魯棒性。

參考文獻（References）

[1] 萬鵬，趙竣威，朱明，等.基于改進ResNet50模型的大宗淡水魚種類識別方法[J].農業工程學報，2021，37（12）：159-168.

[2] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition[C]// CVPR Organizing Committee. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， USA： IEEE Computer Society， 2016：770-778.

[3] GAO S， CHENG M M， ZHAO K， et al. Res2Net： A new multi-scale backbone architecture[J/OL]. （2021-1-27） [2021-12-21]. https：//arixv.org/abs/1904.01169.

[4] ZHANG Q L， YANG Y B. Sa-net： Shuffle attention for deep convolutional neural networks[J/OL]. （2021-1-30） [2021-12-21]. https：//arixv.org/abs/2102.00240.

[5] BARRON J T. Continuously differentiable exponential linear units[J/OL]. （2017-4-16） [2021-12-21]. https：//arixv.org/abs/1704.07483.

[6] 徐沁，梁玉蓮，王冬越，等.基于SE-Res2Net與多尺度空譜融合注意力機制的高光譜圖像分類[J].計算機輔助設計與圖形學學報，2021，33（11）：1726-1734.

[7] WU Y， HE K. Group normalization[J/OL]. （2018-6-11） [2020-12-21]. https：//arixv.org/abs/1803.08494.

[8] 冀中，趙可心，張鎖平，等.基于空間變換雙線性網絡的細粒度魚類圖像分類[J].天津大學學報（自然科學與工程技術版），2019，52（05）：475-482.

[9] 薛永杰，巨志勇.基于改進AlexNet的魚類識別算法[J].電子科技，2021，34（04）：12-17.

[10] SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J/OL]. （2015-4-10） [2021-12-21]. https：//arixv.org/abs/1409.1556.

[11] HE T， ZHANG Z， ZHANG H， et al. Bag of tricks for image classification with convolutional neural networks[C]// CVPR Organizing Committee. Proceedings of the IEEE Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Long Beach， USA： IEEE Computer Society， 2019：558-567.

作者簡介：

趙正偉（1980-），男，碩士，高級實驗師.研究領域：物聯網技術，圖像處理.

朱宏進（1998-），男，碩士生.研究領域：深度學習，圖像處理.

楊根滕（1998-），男，碩士生.研究領域：數據挖掘，深度學習.

王金坤（1997-），男，碩士生.研究領域：物聯網技術，圖像處理.