基于改進ResNet網(wǎng)絡的貓狗圖像識別

李政霖

摘要：動物種類的識別一直是圖像識別領域的重點，為了更好地對圖像中動物進行識別、幫助社會對家庭寵物的管理，本論述提出一種基于ACNet模塊和 CBAM 注意力機制模塊而改進的 ACResNet18模型用來識別貓狗種類，通過非對稱卷積快增強網(wǎng)絡模型的核骨架，實現(xiàn)更有效的特征提取，引入 CBAM 注意力機制加強網(wǎng)絡識別精度，能夠更精確地對圖像中貓狗進行識別和分類。本次實驗使用 Kaggle 競賽中的貓狗數(shù)據(jù)集進行圖像識別，并通過對比實驗，驗證了相比于原模型，改進后的模型準確率有明顯提升，最終提高了模型在圖像分類上的精確度和魯棒性，證實了該模型的可靠性。

關鍵詞：圖像識別；注意力機制；卷積神經(jīng)網(wǎng)絡；ResNet網(wǎng)絡

中圖分類號：TP391.4????????????????????????? 文獻標志碼：A

0引言

動物種類識別一直是計算機視覺領域、人工智能等領域的重點研究之一，無論是珍稀動物保護，還是用于日常寵物管理，都是需要重視的問題。現(xiàn)今很多人想領養(yǎng)寵物，但又因為各種原因和借口從而放棄養(yǎng)寵物，導致流浪貓狗泛濫，產生一系列社會問題，本論述希望通過改進的卷積神經(jīng)網(wǎng)絡來對貓狗圖像進行識別分類[1]以解決該問題，方便社區(qū)和校園管理。

卷積神經(jīng)網(wǎng)絡（Convolutional Neural Network）常用于圖像處理中，相較于傳統(tǒng)的神經(jīng)網(wǎng)絡，不同之處在于全連接網(wǎng)絡前加入了卷積層用來提取特征[2]。為了解決模型處理參數(shù)量過大而導致實驗結果過擬合的問題，使用卷積層和池化層對輸入圖像進行特征提取后，將結果輸送入全連接網(wǎng)絡[3]。

ResNet網(wǎng)絡是卷積神經(jīng)網(wǎng)絡的經(jīng)典模型算法之一，在卷積神經(jīng)網(wǎng)絡的發(fā)展歷程中，出現(xiàn)過許多經(jīng)典的網(wǎng)絡結構模型，例如LeNet、AlexNet、VGGNet和Incep? tionNet等網(wǎng)絡模型，為圖像識別領域起到了極其重要的作用[4]。但在實際的試驗中發(fā)現(xiàn)，隨著網(wǎng)絡模型中的卷積層和池化層疊加到一定數(shù)量后，發(fā)生伴隨著層數(shù)的增加，預測效果越來越低的退化問題。而ResNet網(wǎng)絡中的殘差結構，可以人為地讓神經(jīng)網(wǎng)絡某些層跳過下一層神經(jīng)元的連接，弱化每層之間的強聯(lián)系，減輕退化問題[5]。但基礎的 ResNet18模型仍有進一步改進空間[6]，故而本論述采用基于改進ResNet網(wǎng)絡模型進行圖像識別。

1分析網(wǎng)絡模型

1.1深度殘差網(wǎng)絡

ResNet網(wǎng)絡即深度殘差網(wǎng)絡，通過對殘差結構的運用，ResNet使得訓練數(shù)百層的網(wǎng)絡成為了可能，從而具有非常強大的表征能力[7]。深度殘差網(wǎng)絡沒有使用尺寸大的卷積核的方法，而是更改成了連續(xù)使用幾個尺寸小的卷積核，這樣不僅能達到相同效果的同時減少了模型參數(shù)，還加大了ResNet網(wǎng)絡模型非線性激活函數(shù)的數(shù)量，降低模型的計算量。而濾波器的數(shù)量在特征圖通過卷積層的輸入與輸出相同時不需要改變；但若特征圖大小減半時，就要加倍，池化層步長設置為2[8]，ResNet18網(wǎng)絡結構圖如圖1所示。

ResNet網(wǎng)絡的核心是殘差結構[9]。在殘差結構中，沒有讓下一層擬合底層映射，而是對殘差映射進行擬合[10]。若假設 H（x）是需要學習得到的底層映射，則令堆疊的非線性層擬合另一個相對于 x 殘差的映射 F （x）=H（x）–x，最后將殘差與輸入相加，原有映射變?yōu)?F（x）+x，得到 H（x），殘差結構如圖2所示。在圖2中，曲線代表恒等映射，中間的網(wǎng)絡代表擬合殘差，當兩邊操作結束后所得結果相加再激活。

1.2 ACNet模塊

ACNet模塊替換普通卷積層是一種用以增強卷積核骨架信息從而使模型精確度增加的方法[11]。該方法通過使用非對稱的卷積核組（尺寸為1×k，k×1的卷積核），替換目前 CNN 架構中常用的3×3，5×5，7×7的方形卷積核，以支持網(wǎng)絡對某些非對稱的圖像特征實現(xiàn)更優(yōu)越的特征提取。

本論述將要改進的 ResNet18網(wǎng)絡模型的卷積核都是尺寸為3*3大小的卷積核，用長和寬都為3的卷積核對輸入圖片進行特征提取，將其結果批處理化，再傳入下一層。而ACNet模塊則利用了卷積的可加性，等價地融合到方形卷積核當中，使用3×3，1×3，3×1三個不同尺寸的卷積核來取代原卷積核，并將三個卷積核提取出來的結果進行批處理化并將其權值聚合后再輸出到下一層。與單個卷積核相比，使用ACNet模塊能在水平和垂直方向上增強方形卷積的作用，使得網(wǎng)絡的特征提取效果更為突出且不需要額外的參數(shù)和計算。

1.3注意力機制

注意力機制是深度學習和計算機視覺領域的一種重要思想，最近幾年被廣泛用于自然語言處理、圖像識別等不同領域[12]，其作用主要是為了關注當前任務更為關鍵的信息，提取更多圖像的細節(jié)特征，降低其它信息的關注度，抑制提取不需要的圖像特征的影響。注意力機制有很多種，較為常用的有通道注意力和空間注意力[13]，例如 SE 模塊，CBAM 模塊等。

SE 注意力機制（Squeeze-and-Excitation Networks）是一種典型通道類型的注意力機制，關鍵在于給特征圖中的每個特征通道配置一個注意力權重，從而讓網(wǎng)絡模型更加注意這些特征通道，進而實現(xiàn)對當前任務有用的特征圖的通道，并抑制對當前任務用處不大的特征通道。

CBAM 注意力機制是由通道注意力機制（chan? nel）和空間注意力機制（spatial）組成。空間注意力令模型更加重視對輸入圖像中的關鍵部分，抑制非關鍵特征的提取，而通道注意力負責處理特征圖通道的分配關系，對兩個維度進行注意力分配。相對于 SE 模塊僅考慮通道注意力，CBAM 模塊考慮的更為全面，使模型具備更加精確的識別能力。故本論述采用CBAM模塊。

2模型改進

2.1改進后ACResNet網(wǎng)絡結構

為了能對圖像進行更加精確和高效的識別，本論述在對 ResNet18網(wǎng)絡模型的基礎上引入了注意力機制和ACNet模塊，提出一種全新的 ACResNet18網(wǎng)絡模型結構。該模型通過將 ResNet18網(wǎng)絡模型中的所有卷積層替換為ACNet層，在保留了原網(wǎng)絡模型的殘差結構的基礎上提升了對圖像的特征提取能力，然后在每個 AC 塊后添加了 CBAM 注意力機制，抑制了不必要的特征提取，不僅降低退化現(xiàn)象，還實現(xiàn)了局部特征提取水平的提高，使該模型結構相較于原模型具有更好的識別效果。改進后模型結構圖如圖3所示，模型中每個 AC塊中卷積層的卷積核除了尺寸大小以外，步長、深度等都與 ResNet18中對應的卷積層相同。

2.2 AC塊結構

ACResNet18中 AC 塊的使用是用來取代原 ResNet18中的普通卷積層，由三個卷積核大小分別為3×3，3×1，1×3的卷積層取代了原來的單個3×3的卷積層，進行權值聚合后再將結果輸出到下一層。其具體的結構圖如圖4所示。

假設輸入 AC塊的特征圖尺寸為 H*W*C（H，W 為特征圖的高和寬，C為特征圖的深度），在輸入時分別經(jīng)過3×3，3×1，1×3大小卷積核的卷積層并以相同的步長操作進行圖像處理。值得注意的是，單純將一個卷積層改變成三個不同的卷積層進行特征提取后直接相加，會成倍增加運算量，故而利用卷積的可加性進行分支融合，對各個圖像處理結果批處理化，進行權值聚合處理，得到等價的輸出結果。其總公式如式（1）所示，O代表輸出結果， Ix 代表輸入通道數(shù)為C 的特征圖，K1，K2和 K3代表了 AC塊中3個具有兼容大小的2D 內核。

在分支融合過程中，將輸入特征圖進行三個不同的卷積層運算后送入批量歸一化層（BN），然后接一個 RELU線性變換，以增強表示能力。具體如下列所示，μ和σ是批標準化的通道平均值和標準差，γ和β是縮放系數(shù)和偏移量，公式（5）中的 O1、O2、O3對應式（2）、式（3）和式（4）。

2.3注意力機制結構

在 ACResNet18模型中，為了進一步提升模型對輸入重要信息的動態(tài)選擇，更好的提取圖像的重要特征信息用以識別。本論述在每個 AC 塊后加入了輕量級注意力模塊 CBAM，提升每個殘差塊的特征提取能力，抑制了無關特征的提取，進而提高模型的學習效果。 CBAM 注意力模塊的運行結構如圖5所示（CBAM 模塊的輸入對應 AC 模塊的輸出）。

由圖5可以看出，CBAM 模塊的關鍵在于對輸入進來的特征圖依次進行通道注意力模塊和空間注意力模塊的處理。通道注意力模塊（SAM）如圖5中的通道注意力模塊框架所示。將輸入的特征圖分別經(jīng)過平均池化（Average Pooling）和最大池化（Max Pooling），用來壓縮輸入特征圖的空間維數(shù)，逐元素求和合并，然后分別經(jīng)過共享的全連接層（Shared MLP）進行處理。將 MLP 輸出的特征進行基于 element-wise 加和操作后使用 sig? moid激活函數(shù)進行激活，取得特征圖中各個通道的權重，生成最終的通道注意圖（channel attention feature map）后做 element-wise 乘法，結果輸入到下一層。SAM可以用式（6）表示。其中σ表示為 Sigmoid 函數(shù)，MLP 表示為多層感知器，I 對應式（5）中的 O。

空間注意力模塊的關鍵是利用特征間的空間關系生成空間注意力圖。在空間注意力模塊中，對輸入特征層沿著通道維度進行全局平均池化和最大池化，然后堆疊，通過卷積核尺寸為7×7，通道數(shù)為1的卷積層調整通道數(shù)，得到特征圖上每個特征點的權重值，再做 element-wise 乘法操作，降低了模型的參數(shù)和計算量，有利于建立高維度的空間特征相關性。空間注意力機制可以用式（7）表示，Avg Pool 表示為平均池化，Max Pool 表示為最大池化。

3實驗過程與結果

3.1數(shù)據(jù)集介紹

針對研究主題基于的 ACResNet18網(wǎng)絡模型的貓狗圖像識別，對數(shù)據(jù)集中貓狗進行分類預測。實驗的數(shù)據(jù)集使用kaggle競賽上的貓狗數(shù)據(jù)集。該數(shù)據(jù)集共25000張圖片，所有圖片皆為 jpg 格式，兩種動物的類別比例為1∶1。

3.2數(shù)據(jù)預處理

將數(shù)據(jù)集存放在命名為 CATPNG 的文件夾中，在 CATPNG 文件夾下創(chuàng)建了CDtrain文件夾、CDtest文件夾、CDtest_label.txt 和 CDtrain_label.txt，將訓練集和測試集放分別放入對應的文件夾中，而訓練集和測試集的特征標簽存放在對應的文本文檔中。在送入模型訓練前，將數(shù)據(jù)集中圖片統(tǒng)一 resize 到224*224*3的維度，因kaggle數(shù)據(jù)集中的數(shù)據(jù)較為干凈，數(shù)據(jù)集較多，所以并未進行數(shù)據(jù)增強處理。

3.3數(shù)據(jù)集劃分

在此次實驗中，訓練集和測試集的數(shù)量按5∶1的比例劃分，即在25000張圖片中，分別有20000張訓練集，5000張測試集，使訓練集和測試集永不相交，并且在訓練集和測試集中，類別是貓的圖片和類別是狗的圖片數(shù)量相同。

3.4實驗結果

本論述實驗訓練所使用的卷積神經(jīng)網(wǎng)絡為 ACResNet18網(wǎng)絡模型。實驗環(huán)境處理器為 Intel（R ） Xeon （ R ） Platinum 8255C CPU @2.50 GHz，顯卡為 RTX 3090，顯存大小是24 GB，采用并行計算架構 CU? DA11.2，Python3.8版本，Tensorflow2.9作為深度學習框架[14]。因改進后模型更為復雜，處理更多，所以一次訓練設置樣本數(shù)batch_size大小為16，訓練迭代周期 ep? och設置20。在設置 ACResNet18網(wǎng)絡模型訓練時，選擇了收斂模型速率較快的 Adam 優(yōu)化器，損失函數(shù)為交叉熵損失函數(shù)，同時加入 L2正則化減輕模型的過擬合問題。模型訓練結束時，最終結果在訓練集和測試集上的準確率分別為0.9518和0.9430。圖 6展示了模型運行時訓練集和測試集的準確率（Accuracy）、損失函數(shù)值（Loss ）的變化，可以看到運行過程中避免了過擬合的現(xiàn)象。

3.5實驗對比

為了證明本論述 ACResNet18網(wǎng)絡模型相比原模型的優(yōu)越性，將 ACResNet18模型分別與 ResNet34， ResNet18等常用的經(jīng)典網(wǎng)絡模型作對比[15]。為了更好的比較，實驗設備與 ACResNet18網(wǎng)絡模型訓練的環(huán)境相同，并取實驗結果為測試集迭代最后四位的損失函數(shù) loss 值和準確率 acc 值的平均數(shù)做評判標準[16]。對比試驗結果由表1顯示，可以看到在貓狗數(shù)據(jù)集上，本論述改進后的 ACResNet18網(wǎng)絡模型相較于原來的 ResNet18網(wǎng)絡模型的識別準確度更高，驗證了本論述模型的可行性和有效性。

4結論

為了提升對貓狗動物的圖像識別的精準度，本論述對 ResNet18網(wǎng)絡模型做出改進，提出一種基于 ACResNet18的網(wǎng)絡模型結構，將原網(wǎng)絡的卷積層變?yōu)锳CNet層，并添加了 CBAM 注意力機制，在保留原有結構的殘差結構的基礎上，不僅有效降低退化現(xiàn)象，防止過擬合，還實現(xiàn)了對局部特征提取增強，抑制了不必要的特征提取，提升了圖像識別的準確率。通過對比實驗，證明了該網(wǎng)絡模型的可行性和有效性，相較于原網(wǎng)絡模型，識別精確度有了明顯的提升，能夠更好的識別圖像的類別。

參考文獻：

[1] 徐奕哲.基于 Resnet-50的貓狗圖像識別[J].電子制作，2019（16）：45-55.

[2] 張玉紅，白韌祥，孟凡軍，等.圖像識別中的卷積神經(jīng)網(wǎng)絡應用研究[J].新技術新工藝，2021，397（1）：52-55.

[3]? Cui Yongyi，Qu Fang. Experimental Discussion on Fire ImageRecognition Based on Deep Learning[J]. Journal of Physics： Conference Series，2021，2066（1）.

[4] 張珂，馮曉晗，郭玉榮，等.圖像分類的深度卷積神經(jīng)網(wǎng)絡模型綜述[J].中國圖象圖形學報，2021，26（10）：2305-2325.

[5] 陳歡，薛濤，任星韜，等. ResNet網(wǎng)絡下垃圾分類圖像識別的實現(xiàn)[J].信息技術與信息化，2021（6）：25-27.

[6] 徐小平，余香佳，劉廣鈞，等.利用改進AlexNet卷積神經(jīng)網(wǎng)絡識別石墨[J].計算機系統(tǒng)應用，2022，31（2）：376-383.

[7]? Durga B Kanaka，Rajesh V. A ResNet deep learning basedfa?cial recognition design for future multimedia applications[J]. Computers and Electrical Engineering，2022，104（PA ）.

[8] 張典范，楊鎮(zhèn)豪，程淑紅.基于 ResNet50與遷移學習的輪轂識別[J].計量學報，2022，43（11）：1413-1417.

[9] 唐鑒波，李維軍，趙波，等.基于卷積神經(jīng)網(wǎng)絡的手寫數(shù)字識別方法研究[J].電子設計工程，2022，30（21）：189-193.

[10] 謝圣橋，宋健，湯修映，等.基于遷移學習和殘差網(wǎng)絡的葡萄葉部病害識別[J].農機化研究，2023，45（8）：18-23，28.

[11]? Xiaohan Ding，Yuchen Guo， Guiguang Ding， et al. ACNet：Strengthening? the? Kernel? Skeletons? for? Powerful? CNN? via Asymmetric? Convolution? Blocks.[J]. CoRR，2019，abs/1908.03930.

[12]? 李金星，孫俊，李超，等.融合多頭注意力機制的新冠肺炎聯(lián)合診斷與分割[J].中國圖象圖形學報，2022，27（12）：3651-3662.

[13] 朱磊，仝超，董亮，等.基于殘差網(wǎng)絡和注意力機制的步態(tài)識別算法[J].電訊技術，2022，62（12）：1723-1728.

[14]? 劉姝珺，吳晟宇.基于卷積神經(jīng)網(wǎng)絡和Tensorflow的昆蟲圖像識別研究[J].光源與照明，2022（4）：70-73.

[15] 魏玉福，陳麗萍.基于注意力機制的深度學習體育運動姿態(tài)估計技術[J].電子設計工程，2023，31（2）：152-155．

[16] 關曉艷，李亞.基于改進ResNet網(wǎng)絡的有遮擋車牌識別[J].農業(yè)裝備與車輛工程，2022，60（11）：58-63.