基于多尺度注意力殘差網(wǎng)絡(luò)的桃樹(shù)害蟲圖像識(shí)別

類成敏,牟少敏,孫文杰,崔恩泉

基于多尺度注意力殘差網(wǎng)絡(luò)的桃樹(shù)害蟲圖像識(shí)別

類成敏,牟少敏*,孫文杰,崔恩泉

山東農(nóng)業(yè)大學(xué)信息科學(xué)與工程學(xué)院, 山東 泰安 271018

自然場(chǎng)景下拍攝的桃樹(shù)害蟲圖像，不同種類的害蟲個(gè)體之間存在尺寸大小差異以及害蟲顏色與背景顏色相近的問(wèn)題，影響害蟲圖像識(shí)別精度。針對(duì)以上問(wèn)題，本文提出了一種基于多尺度注意力殘差網(wǎng)絡(luò)的桃樹(shù)害蟲圖像識(shí)別模型。首先，將殘差網(wǎng)絡(luò)的第一層普通卷積替換為多尺度卷積，緩解了大卷積核對(duì)于小尺寸目標(biāo)特征的不敏感性，增強(qiáng)多尺度害蟲特征提取能力。其次，在殘差結(jié)構(gòu)中加入注意力機(jī)制選擇性內(nèi)核卷積單元，它通過(guò)自適應(yīng)調(diào)整感受野重點(diǎn)提取害蟲信息，產(chǎn)生有效感受，抑制背景干擾問(wèn)題。實(shí)驗(yàn)結(jié)果表明，本文提出的模型識(shí)別準(zhǔn)確率為93.27%，取得了較好的識(shí)別效果。

殘差網(wǎng)絡(luò); 桃樹(shù)害蟲; 圖像識(shí)別

中國(guó)是桃的原產(chǎn)國(guó)，桃產(chǎn)量居世界第一[1]。桃樹(shù)種植過(guò)程中，易受到害蟲的危害，影響桃的品質(zhì)與產(chǎn)量，蟲害早期的準(zhǔn)確診斷和智能識(shí)別，對(duì)防治蟲害的發(fā)生非常重要。近年來(lái)，隨著人工智能的發(fā)展，深度學(xué)習(xí)被廣泛應(yīng)用于農(nóng)作物害蟲識(shí)別。張博等[2]將空間金字塔池化應(yīng)用到卷積神經(jīng)網(wǎng)絡(luò)中，對(duì)作物害蟲進(jìn)行有效識(shí)別。Dai Q等[3]提出了一種基于二次注意力和殘差密集單元融合機(jī)制的生成對(duì)抗網(wǎng)絡(luò)來(lái)轉(zhuǎn)換低分辨率害蟲圖像，提高了分類精度。Lee SH等[4]提出了一個(gè)基于Faster R-CNN模型來(lái)檢測(cè)茶葉病變位置和害蟲，結(jié)果顯示對(duì)七類茶病蟲害的檢測(cè)有較。Chen J等[5]將在ImageNet上預(yù)先訓(xùn)練的MobileNet-V2作為骨干網(wǎng)絡(luò)，并嵌入注意力機(jī)制以及分類激活圖，提高了植物害蟲圖像的識(shí)別精度。鮑文霞等[6]提出了一個(gè)局部?jī)?yōu)化注意力模塊重點(diǎn)提取水稻害蟲的局部特征信息。Zhang Y等[7]提出一種基于DenseNet和注意力機(jī)制的方法，改進(jìn)了傳統(tǒng)的DenseNet模型，實(shí)現(xiàn)了對(duì)臍橙病蟲害的準(zhǔn)確高效識(shí)別。Zhang Y等[8]提出了一種擴(kuò)張殘差網(wǎng)絡(luò)，其將擴(kuò)張卷積引入到殘差網(wǎng)絡(luò)中，進(jìn)一步提高了儲(chǔ)糧害蟲的識(shí)別效果。

雖然深度學(xué)習(xí)在農(nóng)作物害蟲圖像識(shí)別中的應(yīng)用取得了一定進(jìn)展，但對(duì)于桃樹(shù)害蟲圖像識(shí)別研究較少。尤其是傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對(duì)于輸入的多尺度害蟲信息不敏感以及自然場(chǎng)景下拍攝的桃樹(shù)害蟲圖像存在害蟲顏色與背景顏色相近問(wèn)題，影響害蟲的識(shí)別精度。因此，本文提出了一種基于多尺度注意力殘差網(wǎng)絡(luò)的桃樹(shù)害蟲圖像識(shí)別模型，有效提高桃樹(shù)害蟲識(shí)別的準(zhǔn)確率。

1 實(shí)驗(yàn)數(shù)據(jù)

1.1 數(shù)據(jù)采集

實(shí)驗(yàn)所用的桃樹(shù)害蟲圖像采集地點(diǎn)為山東省泰安市桃花峪、道朗鎮(zhèn)桃園和寧陽(yáng)縣葛石鎮(zhèn)桃園。圖像數(shù)據(jù)均在自然場(chǎng)景中通過(guò)手機(jī)拍攝獲得，拍攝時(shí)人為自主調(diào)節(jié)角度，背景多為枝干和葉片。共采集4種桃樹(shù)害蟲，小綠葉蟬731張、綠象甲478張、黃刺蛾383張、茶翅蝽378張，共計(jì)1970張。桃樹(shù)害蟲圖像示例如表1所示。

表 1 桃樹(shù)害蟲圖像示例

1.2 數(shù)據(jù)預(yù)處理

不同種類的桃樹(shù)害蟲年發(fā)生總量存在差異[9]，導(dǎo)致采集的樣本比例失衡。為了使數(shù)據(jù)樣本數(shù)量均衡，將采集的桃樹(shù)害蟲圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，包括亮度增強(qiáng)、色度增強(qiáng)、銳度增強(qiáng)、翻轉(zhuǎn)和旋轉(zhuǎn)等增強(qiáng)方式，不同種類的害蟲增強(qiáng)比例不同，增強(qiáng)后的圖像數(shù)據(jù)共計(jì)9149張。本實(shí)驗(yàn)所用的基礎(chǔ)網(wǎng)絡(luò)為ResNet50[10]，為滿足該網(wǎng)絡(luò)的輸入要求，將圖像統(tǒng)一裁剪為224×224像素大小。部分類別害蟲圖像的增強(qiáng)效果如表2所示。

表 2 桃樹(shù)害蟲圖像預(yù)處理

2 桃樹(shù)害蟲圖像識(shí)別模型

本文提出的模型整體架構(gòu)如圖1所示。將ResNet50作為本模型的基礎(chǔ)網(wǎng)絡(luò)，對(duì)其進(jìn)行改進(jìn)。改進(jìn)后模型主要由多尺度卷積層、改進(jìn)的殘差模塊和全連接層組成。其中多尺度卷積層主要由兩個(gè)不同大小的卷積核組成，通過(guò)提取不同尺度害蟲特征以保留更加豐富的信息；原始的殘差模塊中嵌入了注意力機(jī)制選擇性內(nèi)核（Selective Kernal，SK）單元[11]，可重點(diǎn)提取害蟲特征；全連接層聯(lián)合提取出的特征信息，最終經(jīng)Softmax得出分類結(jié)果。

圖 1 Msk-ResNet網(wǎng)絡(luò)結(jié)構(gòu)

2.1 多尺度卷積層

傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在同一層卷積核大小固定，對(duì)于網(wǎng)絡(luò)輸入的多尺度目標(biāo)特征提取效果較差。因此，本文在ResNet基礎(chǔ)上進(jìn)行改進(jìn)，將7×7卷積替換為3×3和5×5的多尺度卷積，應(yīng)對(duì)輸入圖像中桃樹(shù)害蟲的不同尺寸，提取更為精確的淺層特征；所用的激活函數(shù)為Relu，只激活非負(fù)值的神經(jīng)元，加快梯度的計(jì)算速度；1×1卷積增強(qiáng)特征的復(fù)用，提升網(wǎng)絡(luò)的表達(dá)能力，最終將提取的信息輸入到下一層。多尺度卷積層結(jié)構(gòu)對(duì)比如圖2所示。

圖 2 卷積層結(jié)構(gòu)對(duì)比

2.2 殘差結(jié)構(gòu)設(shè)計(jì)

針對(duì)桃樹(shù)害蟲顏色與背景顏色相近問(wèn)題，在ResNet殘差單元內(nèi)嵌入了注意力機(jī)制SK卷積單元，以提高網(wǎng)絡(luò)模型對(duì)桃樹(shù)害蟲圖像的識(shí)別準(zhǔn)確率。

2.2.1 ResNet網(wǎng)絡(luò) ResNet網(wǎng)絡(luò)的核心思想在于殘差結(jié)構(gòu)。通過(guò)殘差結(jié)構(gòu)中的恒等映射，將上一層提取的淺層信息與當(dāng)前模塊提取的深層信息相結(jié)合，不僅豐富了每一個(gè)模塊的輸出信息，而且增加了網(wǎng)絡(luò)深度。ResNet網(wǎng)絡(luò)由一系列殘差模塊組成，殘差塊結(jié)構(gòu)如圖3所示。其函數(shù)關(guān)系如公式：

=ωx+(,) (1)

其中，為當(dāng)前殘差模塊的輸出，為殘差映射函數(shù)，為卷積參數(shù)，為輸入信息，參數(shù)ω調(diào)整的維度，使兩路分支輸出的形式相同，方便直接進(jìn)行加法運(yùn)算。

圖 3 殘差模塊結(jié)構(gòu)

2.2.2 選擇性內(nèi)核卷積單元通過(guò)借鑒人類視覺(jué)神經(jīng)元?jiǎng)討B(tài)調(diào)節(jié)感受野的刺激機(jī)制，SKNet設(shè)計(jì)了一個(gè)選擇性內(nèi)核單元SK。目的是讓神經(jīng)元在接受不同尺寸的輸入信息時(shí)可以自適應(yīng)調(diào)整接受野的大小，產(chǎn)生有效感受。其中使用softmax注意力組合并聚合了卷積核大小不同的多個(gè)分支，這些注意力由分支中的信息進(jìn)行權(quán)重大小的分配。本文所用雙分支的選擇性內(nèi)核卷積結(jié)構(gòu)如圖4所示。

圖 4 SK卷積結(jié)構(gòu)

一次卷積的計(jì)算需要經(jīng)過(guò)分裂運(yùn)算、聚合運(yùn)算以及選擇運(yùn)算。

S=(U),=F() (3)

其中，公式（3）中S代表的是的第個(gè)元素，S通過(guò)空間尺寸×收縮計(jì)算；特征經(jīng)過(guò)降維操作的全連接層來(lái)實(shí)現(xiàn)。

（3）選擇運(yùn)算：使用和這兩個(gè)權(quán)重矩陣對(duì)最初得到的兩個(gè)特征圖進(jìn)行加權(quán)操作，得到向量。加權(quán)以后的兩分支特征權(quán)重不再相等，達(dá)到了自主選擇卷積核的目的。計(jì)算公式如公式：

2.2.3 改進(jìn)的殘差模塊本文在原始?xì)埐顗K中進(jìn)行修改，在不破壞原有卷積層的情況下，主干輸出層嵌入了SK卷積結(jié)構(gòu)單元，根據(jù)輸入的不同桃樹(shù)害蟲圖像選擇不同的權(quán)重對(duì)卷積核進(jìn)行加權(quán)操作，得到兩個(gè)不同重要程度的卷積核，并隨輸入的圖像動(dòng)態(tài)選擇其中相適應(yīng)的卷積核，有效提高殘差塊的特征提取能力。這樣特征圖經(jīng)過(guò)SK卷積單元后得到更精確的深層害蟲特征信息，再與捷徑分支傳遞的淺層信息進(jìn)行融合，最終得到改進(jìn)后殘差模塊的輸出信息。添加的批歸一化層可以使模型訓(xùn)練速度加快，獲得更加精確的訓(xùn)練精度。改進(jìn)前后結(jié)構(gòu)對(duì)比如圖5所示。

2.3 損失函數(shù)

3 實(shí)驗(yàn)及分析

3.1 相關(guān)實(shí)驗(yàn)參數(shù)

本實(shí)驗(yàn)的實(shí)驗(yàn)環(huán)境參數(shù)如表3所示。

表 3 實(shí)驗(yàn)環(huán)境參數(shù)

本實(shí)驗(yàn)?zāi)Ｐ陀?xùn)練參數(shù)設(shè)置如表4所示。

表 4 模型訓(xùn)練參數(shù)設(shè)置

3.2 評(píng)價(jià)標(biāo)準(zhǔn)

3.3 對(duì)比試驗(yàn)

圖6是將ResNet50、ResNet18和ResNet101模型與本文改進(jìn)模型Msk-ResNet50在訓(xùn)練集上的損失和準(zhǔn)確度實(shí)驗(yàn)結(jié)果對(duì)比圖。從圖6(a)可知，ResNet50后續(xù)迭代存在震蕩波動(dòng)現(xiàn)象，模型不穩(wěn)定。改進(jìn)模型Msk-ResNet50迭代25次后開(kāi)始收斂，損失值接近于0.001，相較其他模型損失值最低。從圖6(b)可知，本文提出的模型Msk-ResNet50收斂后相較ResNet50等對(duì)比模型有較高的識(shí)別準(zhǔn)確率和較好的魯棒性。

圖 6 模型實(shí)驗(yàn)對(duì)比

實(shí)驗(yàn)選擇ResNet18、ResNet50和ResNet101模型進(jìn)行對(duì)比試驗(yàn)，實(shí)驗(yàn)結(jié)果如表5所示。

表 5 模型實(shí)驗(yàn)準(zhǔn)確率

在對(duì)桃樹(shù)害蟲圖像識(shí)別任務(wù)中，本文模型Msk-ResNet50綜合考慮害蟲顏色與背景顏色相近和害蟲多尺度問(wèn)題，通過(guò)嵌入SK卷積單元以及設(shè)計(jì)多尺度并聯(lián)卷積結(jié)構(gòu)來(lái)提升網(wǎng)絡(luò)性能。由表5可知，本文提出的模型Msk-ResNet50識(shí)別準(zhǔn)確率高于ResNet18等對(duì)比模型，與原始模型ResNet50相比識(shí)別準(zhǔn)確率提升了2.75%，驗(yàn)證了本文模型的有效性。

4 結(jié)論

為了提高自然場(chǎng)景下桃樹(shù)害蟲圖像識(shí)別的準(zhǔn)確率，本文在ResNet50的基礎(chǔ)上提出了一種基于多尺度注意力殘差網(wǎng)絡(luò)的桃樹(shù)害蟲圖像識(shí)別模型。首先，多尺度并聯(lián)卷積適應(yīng)于不同尺度害蟲目標(biāo)的提取，在淺層特征提取時(shí)保留了更為豐富的信息，為后續(xù)特征提取提供了較好的基礎(chǔ)。其次，在殘差塊中嵌入選擇性內(nèi)核單元來(lái)實(shí)現(xiàn)桃樹(shù)害蟲關(guān)鍵信息的提取，獲得更加精確的特征。實(shí)驗(yàn)表明，本文模型擁有較高的識(shí)別準(zhǔn)確率。

[1] 王力榮.我國(guó)桃產(chǎn)業(yè)現(xiàn)狀與發(fā)展建議[J].中國(guó)果樹(shù),2021(10):1-5

[2] 張博,張苗輝,陳運(yùn)忠.基于空間金字塔池化和深度卷積神經(jīng)網(wǎng)絡(luò)的作物害蟲識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2019,35(19):209-215

[3] Dai Q, Cheng X, Qiao Y,. Agricultural pest super-resolution and identification with attention enhanced residual and dense fusion generative and adversarial network [J]. IEEE Access, 2020,8:81943-81959

[4] Lee SH, Lin SR, Chen SF. Identification of tea foliar diseases and pest damage under practical field conditions using a convolutional neural network [J]. Plant Pathology, 2020,69(9):1731-1739

[5] Chen J, Chen W, Zeb A,Crop pest recognition using attention-embedded lightweight network under field conditions [J]. Applied Entomology and Zoology, 2021,56:427-442

[6] 鮑文霞,吳德釗,胡根生,等.基于輕量型殘差網(wǎng)絡(luò)的自然場(chǎng)景水稻害蟲識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào),2021,37(16):145-152

[7] Zhang Y, Liu YP. Identification of navel orange diseases and pests based on the fusion of densenet and self-attention mechanism [J]. Computational Intelligence and Neuroscience, 2021(1):1-12

[8] Zhang Y, Zhong W, Pan H. Identification of stored grain pests by modified residual network [J]. Computers and Electronics in Agriculture, 2021,182(14):105983

[9] 楊雪琳,喬折艷,朱高鋒,等.山東煙臺(tái)地區(qū)蘋果園和桃園主要害蟲及天敵昆蟲發(fā)生動(dòng)態(tài)[J].植物保護(hù),2022,48(1):240-245

[10] He K, Zhang X, Ren S,. Deep residual learning for image recognition [C]//Proceedings of the IEEE conference on computer vision and pattern recognition, 2016:770-778

[11] Li X, Wang W, Hu X,. Selective kernel networks[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019:510-519

Image Recognition of Peach Pests Based on Multi-scale Attention Residual Network

LEI Cheng-min, MU Shao-min*, SUN Wen-jie, CUI En-quan

271018,

The peach tree pest image taken in the natural scene has the problem that the pest color is similar to the background color, and the individual sizes of different kinds of pests are different, which affects the recognition accuracy of the pest image. To solve the above problems, this paper proposes a peach pest image recognition model based on multi-scale attention residual network. Firstly, the first layer of ordinary convolution of residual network is replaced by multi-scale convolution, which alleviates the insensitivity of large convolution kernel to the characteristics of small-scale targets and enhances the ability of multi-scale pest feature extraction. Secondly, the selective kernel convolution unit of attention mechanism is added to the residual structure, which extracts pest information by adaptively adjusting the receptive field to produce effective perception and suppress background interference. The experimental results show that the recognition accuracy of the model proposed in this paper is 93.27%, and a good recognition effect is achieved.

Residual network; peach pests; image recognition

TP151.1

A

1000-2324(2022)02-0253-06

10.3969/j.issn.1000-2324.2022.02.011

2021-10-12

2021-11-24

類成敏(1996-),女,碩士研究生,主要從事計(jì)算機(jī)視覺(jué)研究. E-mail:sdau_lcm@163.com

Author for correspondence. E-mail:msm@sdau.edu.cn