基于一種輕量級卷積神經網絡的植物葉片圖像識別研究

李文逵 韓俊英

文章編號：2096-1472（2022）-02-10-04

DOI：10.19644/j.cnki.issn2096-1472.2022.002.003

摘? 要：對輕量級卷積神經網絡MobileNet V2的模型結構進行改進，將深度可分離卷積中的激活函數ReLU替換成Leaky ReLU，從而避免神經元死亡問題，倒置殘差卷積中的跨越連接添加Dropout層，增大模型的泛化能力。實驗結果表明，預測結果的總體準確率達到91.41%，最高精確率為95.12%，最高召回率為97.39%，取得較好的預測結果。這說明將MobileNet V2卷積神經網絡用于植物葉片圖像識別是實際可行的，為移動端植物葉片圖像識別提供了實現方法和技術支撐。

關鍵詞：植物葉片;圖像識別;MobileNet V2;卷積神經網絡;深度學習

中圖分類號：TP520.40? ? ?文獻標識碼：A

Research on Plant Leaf Image Recognition based on a Lightweight Convolutional Neural Network

LI Wenkui， HAN Junying

（College of Information Science and Technology， Gansu Agricultural University， Lanzhou 730070， China）

448671882@qq.com; 3243727977@qq.com

Abstract： This paper proposes to improve the model structure of the lightweight convolutional neural network MobileNet V2. The activation function ReLU in the deep separable convolution is replaced with Leaky ReLU， thereby avoiding the problem of neuron death. A Dropout layer is added across connections in inverted residual convolution to increase the generalization of the model. The experimental results show that the overall accuracy rate of the prediction results reaches 91.41%， the highest accuracy rate is 95.12%， and the highest recall rate is 97.39%， achieving good prediction results. It shows that it is practical to use the MobileNet V2 convolutional neural network for plant leaf image recognition， and it provides an implementation method and technical support for mobile terminal realization of plant leaf image recognition.

Keywords： plant leaf; image recognition; MobileNet V2; convolutional neural network; deep learning

1? ?引言（Introduction）

植物是自然界的基本組成部分^[1]，人類的許多生產活動與植物密切相關，比如農業中以植物類農作物為主^[2]，生活中的中草藥、護膚品和化妝品^[3-4]等都是對植物進行加工得到的。隨著人們對大自然不斷進行不合理的開采，人類的許多生活生產活動對植物生態環境構成威脅，植物物種不斷滅絕。為了保護植物多樣性，建立植物物種數據庫是十分必要的，這就需要人類進行植物分類與識別，確認新的或者罕有的植物品種。但是由于植物科學研究的普及性不高，通常人們能看到一些植物，卻不能快速準確地獲取該植物的學名、性狀、品類和價值，使得植物保護和植物認知研究產生一定的困難，因此植物識別是進行植物學習過程中的一項基本任務。相較于植物的其他器官，大部分植物的葉片是一個二維的平面，具有形狀結構穩定、特征性狀多、區分度大、生存周期長、采集便利等特點，從葉片出發能更加快速準確地分辨植物種類。

隨著計算機視覺技術的不斷成熟，尤其是深度學習技術在圖像識別方面的不斷發展，人們已經能對植物葉片圖像實現不錯的識別效果。2021 年，韓斌等^[5]將LBP特征和Gabor特征融入AlexNet卷積神經網絡，對189 種葉片識別的平均正確識別率是96.37%;王維^[6]提出改進的VGGNet神經網絡，植物葉片識別準確率達到99.39%。2020 年，邊緣等^[7]利用Flavia數據集，運用深度學習算法，識別準確率超過90%;朱良寬等^[8]利用遷移學習獲得96.57%的植物葉片識別精度。2019 年，張露^[9]使用AlexNet、Inception-V3、VGG-16預訓練模型，在測試集上得到的準確率分別為95.31%、93.86%、95.40%。可見，卷積神經網絡已經普遍運用于植物葉片的圖像識別，其識別準確率可滿足實用要求。

卷積神經網絡（CNN）是一種深度學習模型或類似于人工神經網絡的多層感知器^[10]，常用來分析視覺圖像，可以自動從大規模矩陣數據中學習特征，并把結果向同類型未知數據泛化。MobileNet V2是一種輕量級CNN網絡，由Google團隊在2018 年提出，屬于MobileNets系列，相比于傳統卷積神經網絡，極大減少了運算所需的參數量，同時也確保了準確率不會降低。它體積小的特點適用于低內存的設備，反應延遲低的特點符合嵌入式設備的要求。本文設計了基于MobileNet V2的卷積神經網絡，利用深度學習算法，對11 種植物葉片進行識別，實現了較好的識別效果。

2? 建立植物葉片樣本數據庫（Establishing plant leaf sample database）

植物葉片樣本庫選自公共數據集，包括糖膠樹、阿江欖仁、羅勒、懸鈴木、番石榴、蒲桃、麻風樹、檸檬、芒果、石榴、水黃皮共計11 類植物品種。植物葉片圖像原始分辨率為6000 像素×4000 像素，受顯存大小限制，所有圖像的分辨率縮小為600 像素×400 像素，從中選取沒有病蟲害和形狀相對完整的植物葉片圖像作為研究對象，共選取的圖像數量為2，277 張，按照4∶1的比例^[5-11]隨機抽取圖片來劃分成訓練集和測試集，相同類別的葉片圖像置于同一文件夾中。表1為不同植物種類訓練集和測試集具體的葉片圖像數量，圖1為植物葉片樣本圖像數據集的示例，每個種類展示5 張圖片。

3? ?卷積神經網絡（Convolutional neural network）

3.1? ?卷積神經網絡原理

圖2表示卷積神經網絡的一般結構，由輸入層、卷積層、池化層和全連接層組成^[12-14]。最左側輸入層的矩陣代表一張輸入圖片。卷積層^[15]中每一個節點的輸入是上一層圖像矩陣中的一小塊，該小塊大小通常是3×3或者5×5，圖3表示具體卷積操作。池化層的作用是縮小上一層圖像矩陣的大小，將一張分辨率高的圖像通過算法轉化成分辨率低的圖像。通過池化層^[15]，可以進一步縮小最后全連接層中節點的個數，從而達到減少整個神經網絡參數的目的，圖4表示具體池化操作。經過重復多次的卷積和池化，圖像矩陣中的像素信息就被泛化成高信息含量的特征向量，在特征提取完成后，接下來由全連接層及其激活函數進行分類，全連接層常用的激活函數有ReLU、Softmax、Sigmoid等。

3.2? ?MobileNet V2卷積神經網絡

MobileNet V2是一個輕量級的卷積神經網絡^[16]。大部分傳統卷積神經網絡結構單元是標準卷積（Standard Convolutions），產生的參數量龐大，進而導致對內存資源要求高和運算量巨大，無法在嵌入式等微型電子設備上運行。而MobileNet V2網絡結構是針對移動設備和嵌入式微機而開發設計的，用深度可分離卷積（Depthwise Sparable Convolutions）^[17]取代以往的標準卷積，還使用了兩個超參數α和β。α參數是一個倍率因子，用來調整卷積核的個數，β是控制輸入網絡的圖像尺寸參數，從而大大減少了運算量和參數數量，同時有效縮減了模型體積大小。MobileNet V2的創新之處是在深度可分離卷積的基礎上添加了殘差連接（Residual Connection），形成倒置殘差模塊（Inverted Residual Block）。傳統的殘差結構中是1×1卷積降維→3×3卷積→1×1卷積升維，特征圖（Feature Map）的通道數是先減少再增加;而在倒置殘差結構中正好相反，是1×1卷積升維→3×3卷積→1×1卷積降維，特征圖的通道數是先增加再減少。如圖5所示的是倒置殘差結構模塊^[18-20]，模塊的激活函數前兩層使用ReLU6，最后一層使用線性激活函數Linear，這樣可減少特征損失。MobileNet V2的網絡層次不深，核心由17 個倒置殘差模塊組成^[15]，其模型的網絡層次參數配置如表2所示。

3.3? ?改進的MobileNet V2卷積神經網絡

MobileNet V2使用的激活函數全部是ReLU（Rectified Linear Unit）函數，其定義為：F（x）=max（0，x）。它是常用的卷積神經網絡激活函數，在x>0區域上，不會出現梯度飽和與梯度消失，計算復雜度低，不需要進行指數運算，只要一個閾值就可以得到激活值。但在x<0時，梯度為0，這個神經元及之后的神經元梯度永遠為0，不再對任何數據有所響應，導致相應參數永遠不會被更新，即神經元壞死。Leaky ReLU函數在ReLU函數的基礎上，當x<0時引入一個非常小的γ值作為梯度，能夠避免神經元壞死，同時補充了梯度。倒置殘差卷積中使用跨越連接，增加了模型的復雜程度，訓練模型時更容易發生過擬合，因此對跨越連接添加Dropout層，隨機丟棄部分輸入數據，降低過擬合的可能性，同時增大模型泛化性和魯棒性。

4? ?訓練模型（Training model）

4.1? ?實驗環境搭建

實驗的操作系統為Windows 10，第三方包管理與環境管理使用Anaconda，深度學習框架采用TensorFlow Gpu 1.8版本，編程語言為Python 3.6版本，腳本編輯器為Spyder，顯卡為（GPU）NVIDIA GeForce GTX 1050，顯存大小為4 GB，中央處理器（CPU）為Intel Pentium G4600 3.6 GHz，固態內存大小為8 GB。

4.2? ?數據增強

采用動態的數據增強方法，在每輪訓練開始前，重新隨機選擇訓練集中的葉片圖像進行左右翻轉或上下翻轉，以及在一定范圍內隨機設置圖片亮度、對比度和飽和度。

4.3? ?訓練MobileNet V2模型

使用訓練集的樣本圖像訓練MobileNet V2模型，模型訓練只使用顯卡運算，不使用中央處理器，每一輪參與訓練的樣本總數為1，831。每輪訓練采用分批次的方法，受到顯卡性能的限制，一個批次訓練所使用的樣本數（Batch Size）不宜太大，設為4，因此每輪的迭代次數（Epoch）等于457。初始學習率（Learning Rate）設為0.01，采用動態學習率的策略，神經網絡的容量（Capacity）設為100。圖6表示準確率（Accuracy）和損失值（Loss）隨輪次的變化，可見隨著輪次數值接近40 次時，訓練集損失值收斂于0，準確率趨于1，表明模型訓練成功。

5? 評估模型預測效果（Evaluate the prediction effect of the model）

5.1? ?預測結果描述

使用測試集樣本圖像測試已經完成訓練的MobileNet V2深度學習模型，測試集所有葉片圖像均未用于訓練模型，總計446 張，其中各類植物葉片圖像具體數量如表1所示。模型預測結果的描述方法使用混淆矩陣，圖7表示具體的預測結果，橫軸為預測值，縱軸為真實值，對角線上的數字表示某一樣本被正確預測的個數，非對角線上的數字表示某一樣本被錯誤預測為其他類別的個數，對角線上方塊的顏色越深，表示該類別葉片圖像的預測效果越好。

5.2? ?預測結果評價

經過模型預測，正確預測的樣本數為358 張，總體準確率為91.41%，總體準確率定義的是預測正確的個數與所有樣本的個數百分比。模型預測效果的評價指標使用精確率和召回率^[21-23]，精確率定義的是預測正確的個數與預測為正例的個數百分比，召回率定義的是預測正確的個數與真實為正例的個數百分比，表3表示預測結果中各個類別的精確率和召回率。精確率最高的前5 個類別依次是懸鈴木、水黃皮、石榴、芒果、番石榴，分別是95.12%、94.54%、94.12%、92.35%、91.02%;召回率最高的前5 個類別依次是石榴、懸鈴木、蒲桃、番石榴、麻風樹，分別是97.39%、94.35%、92.54%、91.29%、91.25%。

6? ?結論（Conclusion）

MobileNet V2卷積神經網絡是針對移動端和嵌入式設備而提出的輕量級模型，具有體積小、參數量少、計算量低等優點，適用于手機等各類移動設備。本文基于MobileNet V2卷積神經網絡設計出多類別的植物葉片圖像識別方法，利用公共數據集建立包含11 類植物葉片圖像的數據集。模型訓練開始時，首先根據硬件情況對初始學習率、輪次、步長等參數進行合理設置，創新使用動態數據增強方法，極大擴增了樣本訓練量，并在接下來的測試集預測中，總體準確率高達91.41%，取得較好的識別效果，表明使用該算法對植物葉片進行分類是實際可行的，同時也為實現葉片圖像識別的移動端提供了理論技術和實用方法。

參考文獻（References）

[1] 郭志芳.植物在維護生態平衡中的作用[J].廣東蠶業，2020，54（05）：18-19.

[2] 雷星梅.如何使植物保護新技術在生態農業中發揮作用[J].農家參謀，2020（14）：92.

[3] 王升，蔣待泉，康傳志，等.藥用植物次生代謝在中藥材生態種植中的作用及利用[J].中國中藥雜志，2020，45（09）：2002-2008.

[4] 鄧艷芳.植物生長物質對農產品生產的作用和影響[J].農業開發與裝備，2017（10）：62-63.

[5] 韓斌，曾松偉.基于多特征融合和卷積神經網絡的植物葉片識別[J].計算機科學，2021，48（S1）：113-117.

[6] 王維.外來入侵植物葉片圖像識別與分類方法研究[D].沈陽：沈陽大學，2021.

[7] 邊緣，孔小瑩，張莉，等.基于卷積神經網絡的植物葉片樹種識別研究與實現[J].智能計算機與應用，2020，10（10）：23-26.

[8] 朱良寬，晏銘，黃建平.一種新型卷積神經網絡植物葉片識別方法[J].東北林業大學學報，2020，48（04）：50-53.

[9] 張露.基于深度學習的植物葉片圖像識別方法研究[D].北京：北京林業大學，2019.

[10] 蓋榮麗，蔡建榮，王詩宇，等.卷積神經網絡在圖像識別中的應用研究綜述[J].小型微型計算機系統，2021，42（09）：1980-1984.

[11] 孫穎異，李健，時天，等.基于改進的AlexNet卷積神經網絡的植物葉片識別[J].種子，2020，39（02）：77-81.

[12] 洪奇峰，施偉斌，吳迪，等.深度卷積神經網絡模型發展綜述[J].軟件導刊，2020，19（04）：84-88.

[13] 章琳，袁非牛，張文睿，等.全卷積神經網絡研究綜述[J].計算機工程與應用，2020，56（01）：25-37.

[14] 林景棟，吳欣怡，柴毅，等.卷積神經網絡結構優化綜述[J].自動化學報，2020，46（01）：24-37.

[15] ILESANMI A E， ILESANMI T O. Methods for image denoising using convolutional neural network： A review[J]. Complex & Intelligent Systems， 2021， 7（5）：2179-2198.

[16] 蘭天翔，向子彧，劉名果，等.融合U-Net及MobileNet-V2的快速語義分割網[J].計算機工程與應用，2021，57（17）：175-180.

[17]呂璐璐，陳樹越，王利平，等.水體微纖維圖像識別的改進MobileNetV2算法[J].鄭州大學學報（工學版），2021，42（05）：25-31.

[18] CHENG J， WANG P， LI G， et al. Recent advances in efficient computation of deep convolutional neural networks[J]. Frontiers of Information Technology & Electronic Engineering， 2018， 19（01）：64-77.

[19] PAN H H， PANG Z J， WANG Y W， et al. A new image recognition and classification method combining transfer learning algorithm and mobilenet model for welding defects[J]. IEEE Access， 2020， 8：119951-119960.

[20] SO M H， HAN C S， KIM H Y. Defect classification algorithm of fruits using modified mobilenet[J]. The Journal of Korean Institute of Information Technology， 2020， 18（7）：81-89.

[21] 陳智超，焦海寧，楊杰，等.基于改進MobileNet v2的垃圾圖像分類算法[J].浙江大學學報（工學版），2021，55（08）：1490-1499.

[22] 周博文.基于MobileNetV2的目標檢測算法研究與應用[D].武漢：湖北工業大學，2020.

[23] 丁常宏，王守宇，高鵬.基于SSD-MobileNet V1深度學習算法的藥用植物葉片識別方法[J].江蘇農業科學，2020，48（22）：222-228.

作者簡介：

李文逵（1993-），男，碩士生.研究領域：圖像識別.

韓俊英（1975-），女，碩士，教授.研究領域：軟件工程理論與方法.本文通訊作者.

基金項目：甘肅省自然科學基金資助項目（20JR5RA023）.