基于深度學習的青菜病害區域圖像語義分割與定位

金倫 錢萊

摘要 對青菜病害區域進行識別并將其與正常作物區分隔能夠起到保護青菜的作用，及時對相關災害區域進行處理，能夠防止災害的進一步蔓延。提出了一種基于深度學習的青菜災害區域圖像語義分割的方法，通過fine-tune FCN以像素級精度分割出圖像中作物災害區進行識別，并借助地面安置的圖像定位標記判斷出災害在地面上的準確位置。由于目前暫無無人機拍攝的公開青菜病害圖像數據集，通過專業無人機采集的方式自建青菜病害區域圖像數據集以滿足檢測需要。結果表明，在自建數據集下fine-tune FCN的mIoU為53.2%，對4種病害類型與健康情況的識別像素精度PA為85.2%，定位精確率為96.8%，能基本滿足病害區域檢測定位需求。同時，對比了文章中提出的網絡架構與SDS，RCNN與FCN在性能上的區別，驗證了該網絡在病害區域的細粒度檢測上擁有更好的魯棒性。

關鍵詞 青菜;圖像語義分割; 深度學習; 病害; 定位

中圖分類號 S126 ?文獻標識碼 A

文章編號 0517-6611（2020）18-0235-04

Abstract Identifying Brassica chinensis disease areas and separating them from normal plant areas can play a role in protecting B.chinensis， and timely processing of related disaster areas can prevent further spread of the disaster. We proposed a method for semantic segmentation of B. chinensis disaster area images based on deep learning. The finetune FCN was used to segment the plant disaster area in the image with pixellevel accuracy for identification， and it was determined by the image positioning marks placed on the ground. As there was currently no public B. chinensis image data set taken by drones， a professional drone was used to collect selfbuilt B. chinensis image data set to meet the detection needs. The results showed that in the selfbuilt data set， the mIoU of finetune FCN was 53.2%， the pixel accuracy PA for identifying four types of diseases and health conditions was 85.2%， and the positioning accuracy was 96.8%， which could basically meet the detection and positioning of disease areas demand. Meanwhile， we compared the performance of the network architecture that we proposed with SDS， RCNN and FCN， and verified that it had better robustness in finegrained detection of diseased areas.

Key words Brassica chinensis;Image semantic segmentation;Deep learning;Disease;Localization

青菜作為一種營養豐富的農作物，能夠提供多種人類生命活動所需的維生素與礦物質，在農業的發展過程中起到了重要的作用。作為一種草本植物，青菜在生產過程中容易受到不同種類病蟲害的影響[1]。當前研究的青菜病害識別方法主要是對植株本身進行識別，從而進行植株病害的判斷，在實際的農業生產過程中，用于識別病害的攝像頭難以大量架設在農田中，且固定架設在植物生長區域的光學鏡片容易受到昆蟲以及雨雪天氣等情況影響，導致破損或形變。

圖像語義分割是指根據一定的相似性準則將圖像劃分成不同區域的過程，是計算機視覺、圖像處理等領域的基礎性問題之一[2]。近年來，深度學習方法大大推動了計算機視覺領域的發展，其中研究人員提出的FCN[3]在VOC2011數據上取得了90.3%的像素精度。筆者提出了一種基于FCN的對青菜種植區域航拍圖像進行語義分割，從而檢測出病變區域的方法，并在原網絡的基礎上進行fine-tune，改善網絡效果;借助無人機航拍獲取青菜種植區域的俯視圖并進行語義分割，判斷出病變區域的類別及其在圖像中的相對位置;最后使用OCR[4]對病變區域圖像進行掃描，通過對地面各個固定位置事先安置好的不同字符標記進行識別并判斷災害區域所在位置的具體定位，判斷出災害區在農田中的區域范圍。

1 研究方法

1.1 圖像獲取

由于目前暫無通過旋翼無人機航拍獲取的公開青菜病害圖像數據集，該研究采用了自建數據集進行學習的方式[5]。通過專業四旋翼無人機在浙江金華東陽地區黃田畈農田進行相關的作物圖像采集[6]，如圖1A所示;并在地面放置了字符標記，如圖1B所示。圖像采集工作均通過四旋翼無人機在距離作物2 ～3 m的高度進行，通過保證地面圖像清晰度以更好地實現病害的識別與定位。最終在航拍圖片中篩選出600幅作為訓練與測試的基本數據，其中包含了昆蟲啃食、軟腐病霜霉病和病毒病[7-10]的圖像分別為412、237、234和103張，分割后像素RGB值分別為（255，192，203）、（255，0，255）、（75，0，130）和（255，215，0）。圖像分辨率為1 920×1 080，篩選準則為圖像中陰影區域較少[11]且圖像中存在較明顯的病害區域。為了擴充數據集，采用旋轉翻轉等方式將數據集圖像泛化為3 660張，同時為了避免字符標記對病害識別訓練的影響，訓練集中圖像均為無字符標記農田圖像。

1.2 圖像語義分割

1.2.1 圖像預處理。為了使病變區域的色彩變化更加明顯、色彩區域之間存在更加明顯的梯度變化，圖像語義分割前按照圖2通過直方圖均衡化對圖像進行處理，提高圖像對比度并增強了圖像細節，使得不同區域之間的色彩分割更加明顯[12]。

從圖2可以看出，在直方圖均衡化處理過后，圖像的對比度有所提升，病變區域與正常青菜區域間的色彩變化更明顯。

1.2.2 構建網絡。

該研究使用了FCN作為圖像語義分割的基本網絡結構，并在原網絡基礎上進行fine-tune使之更好地適應該數據集。修改后的網絡通過將每個預測模塊輸出緯度中的最后一維調整為7，分別對應著普通路面背景、泥土背景、綠色作物區以及4種不同的青菜病害分割區。FCN實現了對作物區域像素級的分類，不同于傳統的檢測模型，不需要使用Bounding-Box[13]來進行一個矩形區域的分割，對于無規則形狀的病害區域具有更好的檢測效果。

網絡采用全卷積層加池化層的方式，將CNN中的全連接層替換成卷積層。網絡的前5層保留CNN的結構，其中第7層采用了大小為（4 096，1，1）的卷積，為了使得在學習過程中能夠提取更多的細節特征，在第2組卷積池化網絡后又添加了2層卷積層，網絡在最后1層使用了大小為（7，1，1）的卷積，分別對應著背景和作物區的6種識別結果，網絡最終通過反卷積組合輸出1張已經完成標記的圖，其中fine-tune FCN的網絡結構如圖3所示。

同時，單層的輸出結果會導致冗余過少和結果太過粗糙，為了優化語義分割結果，在網絡結構中設計了Skip Architecture[14-15]，對不同池化層的結果上采樣，最終優化輸出，分別得到fine-tune FCN-32s與fine-tune FCN-16s為中間結果。圖4分別給出了Ground truth與通過不同池化層向上反卷積后疊加最終得到的fine-tune FCN-8s、fine-tune FCN-16s、fine-tune FCN-32s的效果，最終輸出效果為fine-tune FCN-8s顯示效果。

1.2.3 損失函數與訓練。在損失函數的設計上，采用MSE作為網絡訓練用的損失函數，每個像素點通過softmax輸出維度為7的結果，將1張圖片上的所有像素點分類誤差的平方累加，求得最終損失函數為

loss（W*）=Nc=1Mr=17i=1（softmax（predictc，r，i）-GrandTruthc，r，i）2（1）

在訓練過程中，采用SGD[16]為優化器進行損失函數的下降，設置訓練過程中的Batch Size為20，同時對比了FCN-32s第一輪迭代期間，初始學習率分別為10-5，10-6下的損失函數下降效果，結果如圖5。

最終選擇了10-5為訓練的初始學習率，并采用了5-2的衰減率，以指數衰減的方式提高損失函數收斂精度，同時將泛化后的數據集進行劃分，以7∶3的比例劃分訓練集和測試集，其中訓練集圖像為2 563張，測試集中為1 097張。

在參數初始化的過程中，選擇了直接遷移FCN作者訓練的前5層參數以提取圖像特征，并對其他層進行了歸零初始化。在訓練過程中發現，隨機初始化并不能取得很好的收斂效果，同時在分類網絡部分訓練中采用了0.5的dropout以防止過擬合。

1.3 病害區域定位 為了確定病變區域的位置，首先需要確定標記所在位置，如果直接使用Adaboost來進行目標檢測從而來確定目標的相對位置，則需要提高無人機高度，以保證地面定位目標在無人機視場角范圍內，通過多個地面定位目標來判斷當前病變區域所在位置。這種做法不但在地面定位目標安裝的時候會有很高的精度要求，同時也拉高了無人機攝像頭的拍攝高度，對作物區域進行視覺檢測的時候會因為距離過遠導致過多的圖像細節遺漏。

為此，采取了一種基于OCR的病變區域定位方式。該研究使用的專業無人機航拍攝像頭視場角為長邊120°，為了適應更加普遍的情況，設該攝像頭的視場角為θ，無人機距離地面高度為H±δ，為了使病變區域在單個目標標記范圍內且目標標記區域不重合，在地面安置2個標記的時候，需要使得2個標記的距離D略大于目標方形區域范圍（圖6），以實現在同一時刻場景中只存在1個定位目標。設在地面上標記的第i個定位目標為ai，屬于標記集合A，當攝像頭范圍內出現被OCR識別后屬于集合A的光學字符，且該區域圖像經語義分割后病害像素點個數大于0后，判定該標記對應的位置區間為病害區域。關系如下：

2 結果與分析

2.1 網絡效果驗證

為了對比調整網絡結構后的fine-tune FCN的效果，更好地評價算法的魯棒性，同時對比了FCN、SDS、R-CNN與fine-tune FCN在自建數據集下的分割效果。為了保證對比結果的有效性，采用了PASCAL VOC計算機視覺競賽數據集下4種進行語義分割和場景解析評估的常用指標來進行模型的評價，分別為像素精度（PA）、均像素精度（MA）、均交并比（MIoU）和頻權交并比（FWIoU）[17]，試驗結果表1所示。

2.2 定位結果準確度驗證

該研究的定位方式屬于區域定位，以命中率為定位結果準確度的評價指標，以通過圖像語義分割與OCR字符判斷計算得到的病害所在標記區域是否為該病害真實所在標記區域，從而獲取相應評價關系（表2）。

由于在實際生產中，僅憑借判斷預測出的病害標記區域是否與真實標記區域一致，難以對治理進行協助，無法完全作為一個病害預測系統的評價標準，因此采用定位準確率（Accuracy）和定位精確率（Precision）作為命中率的評價標準，并同時對比了FCN、SDS和R-CNN在相同工作下的效果，結果如表3所示。

3 結論

該研究提出了一種基于深度學習進行青菜病害區域圖像語義分割與定位的方法，能夠通過fine-tune FCN對青菜農田圖像進行圖像語義分割，將病害區域從圖像中分離出來，通過識別地面固定距離安放的標記來進行區域識別，能夠實現對病害區域的定位。同時，為了提高FCN在病害區域識別過程中的精確度，對FCN網絡進行了fine-tune，在第3層池化層前加入了2層3×3×256的卷積層，并將最后1層卷積核修改為1×1×7，從而更好地進行了抽象特征的提取。算法最終在通過專業無人機采集的自建數據集上進行驗證，并與SDS、FCN、R-CNN進行對比，在自建數據集下fine-tune FCN的mIoU為53.2%，對4種病害類型與健康情況的識別像素精度PA為85.2%，最終成功定位正確率為96.8%，因此具有更好效果。綜上所述，fine-tune FCN在青菜病害區域圖像語義分割上有較好的性能，結合地面標記識別能夠有效實現青菜病害區域的識別與定位，協助農業生產以保證青菜的正常生長。

參考文獻

[1] 郭萍.小青菜病蟲害防治[J].北京農業，2012（6）：104.

[2] 姜楓， 顧慶， 郝慧珍， 等.基于內容的圖像分割方法綜述[J].軟件學報，2017，28（1）：160-183.

[3] LONG J，SHELHAMER E，DARRELL T.Fully convolutional networks for semantic segmentation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2014，39（4）：640-651.

[4] CHAUDHURI B B，PAL U.A complete printed Bangla OCR system[J].Pattern recognition，1998，31（5）：531-549.

[5] 秦豐， 劉東霞， 孫炳達，等.基于深度學習和支持向量機的 4 種苜蓿葉部病害圖像識別[J].中國農業大學學報，2017，22（7）：123-133.

[6] SUN M X，YANG W C，HIGASHIYAMA T.Special issue on plant reproduction research in Asia[J].Plant reproduction，2018，31（1）：1-2.

[7] 郝變青，馬利平，朱九生，等.山西、河北蔬菜生產質量安全調查[J].山西農業科學，2013，41（10）：1116-1118.

[8] 史嬋， 陳薇蘭， 王靜，等.三份重要水稻資源的稻瘟病抗性鑒定及不同評價指標間的相關性分析[J].植物保護學報，2014，41（4）：390-395.

[9] 宋凱， 孫曉艷， 紀建偉.基于支持向量機的玉米葉部病害識別[J].農業工程學報，2007，23（1）：155-157.

[10] 田世平， 范青.控制果蔬采后病害的生物學技術[J].植物學通報，2000，17（3）：211-217.

[11] 張軍國， 韓歡慶， 胡春鶴， 等.基于無人機多光譜圖像的云南松蟲害區域識別方法[J].農業機械學報，2018，49（5）：249-255.

[12] 王彥翔， 張艷， 楊成婭，等.基于深度學習的農作物病害圖像識別技術進展[J].浙江農業學報，2019，31（4）：669-676.

[13] RUSSELL B C，TORRALBA A，MURPHY K P，et al.LabelMe：A database and webbased tool for image annotation[J].International journal of computer vision，2008，77（1/2/3）：157-173.

[14] HARIHARAN B，ARBELEZ P，GIRSHICK R，et al.Simultaneous detection and segmentation[J].Lecture notes in computerence，2014，8695：297-312.

[15] LECUN Y，BENGIO Y.Convolutional networks for images， speech， and time series[M]//ARBIB M A.The handbook of brain theory and neural networks.Cambridge：MIT Press，1995：255-258.

[16] BOTTOU L.Largescale machine learning with stochastic gradient descent[C]//LECHEVALLIER Y，SAPORTA G.Proceedings of COMPSTAT'2010.Heidelberg：PhysicaVerlag HD，2010：177-186.

[17] GIRSHICK R，DONAHUE J，DARRELL T，et al.Rich feature hierarchies for accurate object detection and semantic segmentation[C]//2014IEEE conference on computer vision and pattern recognition.Ohio，USA：IEEE，2014：580-587.