基于卷積神經網絡的圖像處理技術在藍莓種植中的應用進展

吳立東 夏金安* 朱元宏 陳晨 喬克成 曹福深 潘俊杰

（1 上海工程技術大學數理與統計學院，上海 201620；2 上海青浦現代農業園區發展有限公司，上海 201702）*為通信作者

藍莓是一種高效的經濟作物，在我國多地均有種植，我國藍莓年產量可達4.74×105t，是當前全球藍莓鮮果產量最大的國家[1]。近年來，雖然我國在傳統農業方面開始了智能化升級與更新，但是藍莓產業的信息化應用不多，這在一定程度上限制了藍莓產業的發展與藍莓產品國際市場競爭力的提升[2]，故亟須探索科學有效的藍莓產業升級途徑。

在信息化領域，20 世紀60 年代，HUBEL 等[3]從動物實驗中獲得靈感，初步創建了視覺皮層的地圖，但在隨后的幾十年，均未實現技術突破，直到LECUN 等[4]將BP 算法應用于神經網絡的訓練，才獲得了第一個真正意義上的卷積神經網絡（convolutional neural network，CNN）。早期的卷積神經網絡的識別效果較差，網絡訓練復雜，直到KRIZHEVSKY 等[5]首次提出使用Alexnet 網絡進行模型訓練，這大幅改善了網絡表達能力。目前，卷積神經網絡已成為社會各界的研究熱點，且已廣泛運用至農作物圖像識別領域。因此，為實現我國藍莓產業的高產、高效發展，將卷積神經網絡與機器視覺相結合是藍莓產業技術升級的一個重要方向。在此背景下，筆者基于卷積神經網絡模型的優化，針對藍莓不同生長階段，擬系統闡述卷積神經網絡模型在藍莓圖像領域的研究進展與應用現狀，并在探討不同技術間差異與共性的同時，論述卷積神經網絡在藍莓產業應用的難題與挑戰，以期為進一步利用宏觀成像平臺測量藍莓成熟度提供參考。

1 卷積神經網絡在藍莓生長階段的應用

近年來，隨著信息化技術的不斷發展，卷積神經網絡因其識別精度高等優點受到了越來越多的關注。卷積神經網絡結構主要包含輸入層、卷積層（又稱濾波器）、池化層和全連通層，見圖1。通過添加多個卷積層和池化層，可加快運算并使檢測的特征更突出。

1.1 在草莓葉片病蟲害防治中的應用

在藍莓整個生長階段，葉片病蟲害是影響藍莓產量和品質的重要因素之一[6]，在一定程度上制約了藍莓產業的發展。據統計，受病蟲害的影響，全球藍莓減產30%左右，部分地區減產甚至高達70%[7]，其中，藍莓花葉病的發生尤為嚴重，可造成藍莓減產15%以上[8]。因此，及時發現草莓葉片病蟲害并判斷出病蟲害種類，對保護藍莓生長和控制病蟲害傳播至關重要。目前，國內外利用卷積神經網絡處理葉片病蟲害圖像已取得較多的研究成果，但是在藍莓領域，卷積神經網絡模型的應用并不多。分析其原因是，在藍莓領域，卷積神經網絡模型容易受到較多因素的影響，且卷積神經網絡模型在實際環境中的泛化能力較差。

為促進卷積神經網絡模型在藍莓葉片病蟲害防治中的應用，研究者進行了相關研究：針對傳統圖像識別在復雜環境中定位不準確、空間復雜度高等問題，WANG 等[9]提出構建一個三線性卷積神經網絡模型，使用3 個CNN 流，其中一個用于實現圖像識別中的區域檢測任務，另外兩個分別用于實現作物識別和病害特征提取任務；同時，將區域檢測和特征提取相結合，增強模型的泛化能力，測試準確率達84.11%。QU 等[10]使用MobileNet V1 結合多尺度特征提取（MSFE）模塊，改進了通道注意機制的特征濾波模塊FFM，改善了模型分類能力，測試準確率為99.33%，比MobileNet V1 的測試準確率提高了3.17%。Francis等[11]提出一種具有4個卷積層和2 個全連接層的小型卷積神經網絡，該小型卷積神經網絡在訓練過程中取得了可靠的識別精度，為構建集成化模型提供了思路。隨著深度卷積神經網絡的不斷發展，研究人員根據識別階段的不同，將算法分為兩類，一類是基于候選框的雙階段目標檢測算法[12]，如Faster R-CNN、R-CNN、R-FCN等，能夠提取目標的高維特征，這類算法雖然精度較高，但是速度較慢，適用于高精度的農作物病害檢測；另一類是基于回歸的單階段目標檢測算法[13]，如YOLO、SSD 等，這類算法雖然速度快，但是精度較低，不適合復雜背景的圖像。遷移學習是藍莓葉片病害圖像識別的重要方法，該網絡模型依托大數據集作為載體，通過預訓練后，可實現同類圖像的高精度分類[14]。謝圣橋等[15]基于遷移學習和數據增強技術，在ResNet 50 模型的基礎上，使用亮度變換、旋轉、添加高斯噪聲等手段，擴充數據集，避免模型過擬合，試驗的識別準確率均在96%以上，實現了葉部病害圖像的精準分類。綜合以上研究結果可看出，隨著卷積神經網絡的發展，其訓練結構越來越復雜，其精確性和效率也越來越好。因此，在卷積神經網絡模型在藍莓葉片病蟲害防治的實際應用過程中，可根據實際需求選擇合適的卷積神經網絡結構，在滿足各項檢測指標的同時，提高模型速度與精度。同時，運用遷移學習能對現有的卷積神經網絡進行進一步的結構優化，改善預訓練的參數問題，從而提升現有技術對特定問題的處理能力。

1.2 在藍莓果園雜草監測中的應用

藍莓果園的雜草監測是發展智能化果園的新方向。研究發現，藍莓是多年生根莖植物，故藍莓不可耕作和輪作[16-17]，再加上藍莓果園的人工除草成本高昂，故為保障藍莓的健康生長，藍莓果園需實施水肥藥智能化管理，實現智能化點對點噴灑農藥除雜。相關調查表明，有211種雜草可在藍莓田中生長，雜草種類包括多年生草本蕨類（89 種）、多年生木本類（50 種）、一年生闊葉雜草（24 種）、多年生禾本科雜草（20 種）以及其他種類。

為促進卷積神經網絡模型在藍莓果園雜草監測中的應用，研究者進行了相關研究：ESAU 等[18]研究開發了一種基于綠色分割的斑點識別系統，用來檢測藍莓田地中的雜草，并應用于農用化學品噴霧器，實現了精準施藥，與普通噴霧器相比，添加該系統的噴霧器可減少44.5%的農藥用量，但是該系統的缺點是無法區分同一種顏色的不同雜草。HENNESSY 等[19]在T.J.ESAU 等的基礎上，采用YOLOv3 微型卷積神經網絡對藍莓果園拍攝的兩種雜草圖像進行了訓練，通過優化相機和目標的檢測精度，使拍攝的圖像產生的F1 分數高達0.97，從而優化了小目標檢測性能，這對低功耗的雜草目標檢測具有一定的參考價值。MATHIEU 等[20]提出了一種新的除草策略，該方法通過在多光譜無人機圖像上集成多分辨率分割，將藍莓果園分為具有相似光譜特征的片段，并對表現最好的片段進行分類和測試，結果顯示，兩個調查區域的Kappa 系數值分別為0.90 和0.94，總體準確率分別為95%和97%；同時，MATHIEU 等將航空圖像與粒狀除草劑噴灑器結合，為藍莓果園的智能建設提供了新方法。綜合以上研究結果可看出，集成多分辨率分割方法有助于去除背景、檢測復雜的雜草目標；同時，將其集成到廣泛運用的農業設備導航系統中，可在更大范圍內改進藍莓果園雜草檢測處理流程的同時，進一步改善藍莓生長環境，提高藍莓品質。

1.3 在藍莓果實成熟度識別中的應用

藍莓果實成熟高峰期只有短短幾天，隨著果實的成熟，漿果會從綠色變為粉色，再變為紅色，最后變成藍色或黑色[21]。在機械化采摘時，藍莓果實成熟度的測定是收獲的關鍵步驟，采收過熟的藍莓果實會增加漿果軟化的風險，然而傳統的目視判斷往往費時費力。

為促進卷積神經網絡模型在藍莓果實成熟度識別中的應用，研究者進行了相關研究：古文君[22]運用RGB、HSV、Lab 模型提取顏色特征值，分別構建了PLS、BP、SVM 分類模型，判別分析藍莓果實成熟度，其中，根據RGB 顏色特征建立的BP 分類判別模型的性能最好，綜合判別準確率為78.89%。針對藍莓果實成熟度難以識別的問題，朱旭等[23]通過改進Faster R-CNN 算法，設計了一個可對不同成熟度的藍莓果實進行精準識別分類的模型，該模型采用WOA 算法優化訓練參數后，可將原始圖像的特征進行提取，并將特征圖與RPN 網絡以及目標區域的池化網絡進行共享，實現了藍莓圖像背景的有效消除，對藍莓果實的成熟度識別準確率達94.67%，比DPM 算法高20.00% 左右，Faster R-CNN 模型結構及藍莓果實的識別過程見圖2。王立舒等[24]采用一種帶有注意力模塊的目標檢測網絡（I-YOLOv4-Tiny），有效解決了藍莓果實圖像背景復雜等問題，即在YOLOv4-Tiny 的特征金字塔中加入卷積注意力模塊后，根據每個通道的特征進行權重分配，從而加強了網絡結構深層信息的傳遞，I-YOLOv4-Tiny 在遮擋與光照不均等復雜場景中，平均精度達96.24%，平均檢測時間為5.723 MS，滿足了藍莓果實成熟度識別的精度與速度需求。針對藍莓果實目標較小、識別難度較大等問題，CRAIG 等[25]基于深入學習卷積神經網絡模型，開發了6 個用于檢測藍莓果實成熟期的網絡模型（即YOLOv3 、YOLOv3-SPP、YOLOv3-Tiny、YOLOv4、YOLOv4-Small、YOLOv4-Tiny），并設計了3 類模型（綠色漿果、紅色漿果、藍色漿果）的漿果識別系統，測試結果見表1。由表1 可看出，YOLOv4和YOLOv4-Small 的檢測效果最佳，其mAP50 分別為79.79%和79.53%，但是，所有網絡模型中與紅色漿果相關的均得到較低的分數。為提高模型的可靠性，CRAIG 等隨后將紅色和綠色合并為一個類別（未成熟的漿果），結果表明，未成熟漿果的mAP50 優于單獨分析3 類模型的漿果，合并后的2類模型測試結果見表2。比較表1和表2的結果可看出，用YOLOv4 訓練的2 類模型的準確性和精確度表現較好，其中，3 類模型（綠色漿果、紅色漿果、藍色漿果）的mAP50 為79.79%，2 類模型（成熟漿果、未成熟漿果）的mAP50 為88.12%，說明2類模型在mAP50 方面有較大改善。該研究結果為部署藍莓成熟度相關檢測軟件提供了基礎。

圖2 Faster R-CNN 模型結構及藍莓果實的識別過程

表1 3 類YOLO 模型mAP50 的平均精度統計

表2 2 類YOLO 模型mAP50 的平均精度統計

2 結論與討論

近年來，在藍莓的葉片病蟲害識別、果園雜草監測和果實成熟度識別等領域，利用卷積神經網絡進行了技術革新，且卷積神經網絡與藍莓產業發展有較高的契合度。但是，目前在上述領域中基于卷積神經網絡的相關研究仍面臨較多的困難和挑戰。

針對圖像檢測的重要研究領域需構建更大的數據集、更合理的樣本預處理方式以及更有效的數據增強策略，筆者通過對比文中部分分類模型的優缺點，認為可從以下3 個方面探討解決思路：（1）組建公共開源的大型樣本數據集供研究人員使用，彌補圖像資源不足等問題。（2）訓練更科學的非線性函數神經網絡，優化相關預處理方式使訓練的模型更具代表性。（3）從有限的資源中提取更多信息，實現小樣本的數據增強策略。

雖然卷積神經網絡在藍莓圖像相關領域的優勢與挑戰并存，但是這并不影響卷積神經網絡在該領域的進一步應用與發展。筆者通過對比文中不同模型的優缺點，提出以下建議：（1）數據增強。已有的研究表明，圖像識別所需的數據集并不完整，在缺乏所需的大數據集情況下，數據增強可大幅改善模型的識別能力。傳統的數據增強方式一般是對圖像進行平移、裁剪以及翻轉等處理，現階段由于缺乏病害區域的圖像自動生成技術，故大多采用遷移學習等方式人工生成更多的訓練圖像，從而增強復雜背景下模型的泛化能力。（2）圖像分割。圖片背景、光照、遮擋等因素嚴重影響了圖像的準確識別，而傳統的機器視覺無法從復雜的背景下提取到所需的圖像特征，若能設計出一個可靠的圖像分割技術來分割背景與目標，就能解決因背景相近無法識別的問題，從而有效提高模型的識別精度。（3）算法精度。算法精度越高，越能識別出無法注意到的細微差異。目前，大多研究是通過遷移學習、增加層數以及增加訓練輪次來增強模型的學習能力，然而減少圖片的顏色通道也可達到同樣的效果，若模型中的顏色是次要因素，可以考慮通過HSV 和Lab 來提高算法精度。（4）相似特征。當需要識別的圖像特征在視覺上高度相似時，可通過對圖像的紋理、形狀和空間關系等特征進行識別，并采用直方圖等方式進行對比，例如利用平均哈希算法(aHash)和感知哈希算法(pHash)，可以有效地對相似特征進行區分。但是，目前這種相似特征的識別過程在藍莓產業還未見報道。

3 結束語

隨著信息化時代的到來，計算機的應用范圍越來越廣泛，就目前來說，結合卷積神經網絡的圖像處理技術在農業信息化發展過程中取得了較大突破，大大提高了藍莓產業的經濟效益。為促進卷積神經網絡在藍莓產業的進一步應用，需實施以下措施：（1）快速定位植株病害的范圍。未來可建設更多的藍莓研究基地，彌補現階段卷積神經網絡技術在該產業的應用數據集匱乏的難題，做到快速定位病害植株的區域，并探索出更多高效的數據處理方法，實現在育種、補給以及運輸等領域的突破，從而實現全產業的技術革新。（2）實現產業鏈信息的智能化融合管理。目前的圖像處理功能單一、模塊間信息不互通，下一步的研究可以綜合其他智能技術進行全產業領域多源信息融合，提升模型的綜合能力。（3）兼顧軟硬件的協調發展，實現設備的集成化和小型化應用。云端的大數據集訓練和評估，測試圖像中數據的視角、規模、清晰度、尺寸、相機屬性配置等均需要更強大的計算資源，故如能嘗試全數據鏈融合，將對設備的小型集成化產生重大影響。