基于改進YOLOV4網絡模型的番茄果實檢測*

張磊，劉琪芳，聶紅玫，王晨，牛帆

(1. 山西農業大學信息科學與工程學院，山西太谷，030801； 2. 山西農業大學園藝學院，山西太谷，030801)

0 引言

近年來隨著人工智能技術的發展，果實采摘機器人的應用研究已日新月異，機器視覺作為采摘機器人中的重要核心內容，對目標檢測的準確率及果實定位都有重要的影響。

目前，國內外研究學者對番茄果實識別檢測開展了初步研究。趙杰文等[1]提出利用成熟番茄、未成熟番茄和葉子HIS圖像顏色灰度分布，采用閾值分割法實現田間成熟番茄之間相互分離。王玉飛等[2]通過提取番茄和枯葉等干擾物子圖像形狀和紋理特征參數，實現生長狀態相互分離的成熟番茄快速識別。Chen等[3]利用YUV顏色空間的V分量從背景中分離出成熟番茄的ROI，提取一定半徑范圍內的弧形邊緣計算出每個成熟番茄的中心點和重疊面積以確定兩個重疊成熟番茄的深度排序，為溫室中成熟的番茄采摘提供了實用的機器人視覺方案。Iwasaki等[4]提出一種基于色相信息和曲率的魯棒迷你番茄遮擋識別方法，該方法根據源圖像色相信息檢測紅色區域，在區域中利用輪廓跟蹤法實現番茄輪廓和曲率的識別檢測。馬翠花等[5-6]提出基于密集和稀疏重構的番茄顯著性檢測方法，番茄DSR灰度圖經過OTSU算法進行分割和去噪處理，最終使用改進隨機Hough變換(Randomized Hough Transform，RHT)圓檢測方法識別番茄果簇中的單果。方政等提出了以HSI模型中的色調分量為基礎，采用最大方差自動取閾值法和Hough變換法進行圖像分割、輪廓提取，實現成熟番茄果實不同遮掩度下的識別。孫建桐等[7]提出先對采集圖像進行Canny邊緣檢測操作獲得果實邊緣輪廓點并采用基于幾何形態學的處理獲得果實輪廓點，然后對果實輪廓點分組處理和進行迭代隨機圓的處理得到果實識別結果。現有的研究方法主要利用色調分量、邊緣輪廓進行番茄檢測，相對于在復雜環境下的番茄采摘檢測研究較少。本文提出一種基于改進YOLOv4網絡模型與遷移學習相結合的檢測方法，實現復雜背景下番茄果實采摘識別應用研究。

1 試驗數據

1.1 數據采集

番茄圖像數據采集于山西省晉中市太谷縣陽邑鄉農業蔬菜溫室大棚，采集設備為100°無畸變HBV-1780便攜式雙目攝像頭和Carkoci-Capture2云臺，視頻圖像分辨率為2 560像素×720像素。為避免網絡模型過擬合情況，采集圖像樣本時分別從遠景與近景多角度拍攝，且因番茄不同生長周期的因素，導致樣本中數據的成熟度各不相同，增加了樣本的復雜性。

1.2 數據預處理

本文采用均值濾波與高斯濾波對圖像進行處理，以減少采摘光線對模型識別精度影響。從圖1可以看出，經過高斯濾波處理后的圖像有效抑制了高斯噪聲與椒鹽噪聲，實現對樣本圖像的增強。

圖1 空域處理

利用labelImg標注工具對處理圖像標注分類，并注釋為PASCAL VOC格式的XML文件[8]。經過上述處理后，共得到標注圖像2 500張，按照數據集劃分策略，將標注完成的數據樣本集圖像分為訓練集1 750張(有7 234個帶邊界標記的樣本)，驗證集250張(有1 238個帶邊界標記的樣本)，測試集500張(有2 045個帶邊界標記的樣本)，且按番茄果實不同生長狀態分類，測試集還被分為A、B、C、D、E、F六個部分，分別包含標注樣本308個、324個、471個、402個、501個、725個。數據集樣本個數對照表如表1所示。

表1 數據集樣本分類Tab. 1 Data sets and size

2 檢測模型

2.1 YOLOv4網絡模型

YOLO網絡模型是基于回歸問題檢測算法的模型，它主要由CSPDarknet53骨干網絡，空間金字塔池化模塊(Spatial Pyramid Pooling，SPP)與路徑聚合網絡(Path Aggregation Network，PAN)和YOLO Head構成模型整體架構[9-11]。其中，CSP模塊主要通過跨階段層次結構將其合并，保證了準確率的同時減少了計算量，由5個CSP模塊組成，共包括72層卷積核，用于提取特征；SSP是將特征圖經過13×13、9×9、5×5三層最大池化得到不同維度的特征；PAN網絡模型在特征金字塔網絡(Feature Pyramid Network，FPN)下采樣模塊后添加了上采樣模塊，增強了由底向上的信息獲取，改善網絡感受域大小，使池化得到的特征圖拼接后獲得更多的局部信息與語義特征；YOLO head模塊主要存放目標類別標簽和網絡訓練權重，以保證網絡模型的訓練精確度[12-14]。

本文在數據處理方面采用YOLOv4網絡的Mosaic數據增強方法，利用兩張圖片進行拼接，對4張圖片進行翻轉、縮放、色域變化等操作，結果如圖2所示。

圖2 Mosaic數據增強圖

2.2 改進模型

改進模型主要分為兩部分：預訓練網絡和遷移網絡。預訓練模型利用VGG網絡訓練ImageNet數據集，獲得模型初始化參數；遷移網絡基于YOLOv4改進模型實現番茄果實識別。采用遷移學習的方法可以減少番茄果實網絡模型的訓練結果泛化現象，提高模型的訓練速度和性能[15-16]。而VGG網絡通過使用較小的濾波器達到了增加網絡深度的目的，同時避免了參數過度膨脹的問題，VGG網絡模型結構其中共有16個卷積層，5個池化層位于第2、4、8、12和16卷積層后面；3個連接層神經元，分別為4 096、4 096和1 000 個。如圖3所示，本試驗中的改進模型首先將ImageNet數據集在去除全連接層以及softmax層的VGG19網絡上進行模型初始化參數預訓練，然后將訓練好的模型參數遷移至以VGG19網絡卷積層作為主干網絡的改進網絡模型中作為初始值，經全連接層和分類層進行番茄圖像識別分類。

圖3 改進模型框架示意圖

圖4、圖5為改進前后的網絡結構圖與主干層次對比圖，可以看到改進前后的模型結構中輸入大小均為416像素×416像素×3通道的番茄果實圖像。

圖4 改進前后網絡結構對比圖

(a) 改進前主干網絡層次圖

(b) 改進后主干網絡層次圖

在神經網絡結構中Conv為卷積層，BN為批標準化操作，Pool表示池化層，maxPool表示最大池化層，Concat用于融合網絡模型特征。改進后的網絡模型的主干網絡模型，從下到上的特征向量提取架構具體表現為：每個階段的輸入均為前一階段的特征映射。注意到改進模型主干網絡中包括block1_conv、block2_conv、block3_conv、block4_conv、block5_conv共5個卷積塊，卷積塊中卷積層的數目分別為2、2、4、4、4，每個卷積塊后連接一層池化層，即共包含16層卷積層與5層池化層，原始圖片大小為416像素×416像素×3通道，在網絡中一共經過5次特征向量提取，特征圖分辨率依次下降：416×416×3→416×416×64→208×208×128→104×104×256→52×52×512→26×26×512→13×13×512，可以看到特征圖分辨率下降會導致通道數翻倍增長，進而逐漸將圖像紋理特征組合成類別特征。特征圖分辨率降為13×13×512后開始進入特征池化SSP模塊，SSP模塊主要用于收集特征層上的候選區域，以避免隨機分配并恢復候選區域和所有特征層之間的受損信息路徑，其中包含3個最大池化層max_pooling2d、max_pooling2d_1、max_pooling2d_2；通過SSP模塊后經過3層卷積進入PANet模塊，當特征圖分辨率分別降為52×52×512、26×26×512時也進入PANet模塊，PANet模塊具有對特征提取強化的作用，對模型識別的優良性；最后進入YOLO Head模塊，YOLO Head模塊用于存放預測分類和目標的邊界框的，且不會降低準確度。

3 模型訓練與測試

本文中所有訓練和測試均在配置為AMD Ryzen 5 3600X 6-Core Processor 3.80 GHz、32 GB運行內存及NVIDIA RTX 2700 GPU顯卡的電腦上完成。程序編譯環境為：Ubuntu16.04系統、python 3.7、CUDA 10.1、Cudnn庫7.6.2、OpenCV庫3.4。模型訓練參數設定為：批訓練樣本數為64，圖像大小為416×416，動量為0.949，權值衰減為5×10-4，初始學習率為0.001，最大迭代次數為6 000，衰減次數設置為最大迭代數的80%和90%。

3.1 評價指標

本文引入精確率—召回率(Precision-Recall，P-R)曲線、綜合評價指標F1分數以及平均檢測精度(mean Average Precision，mAP)作為評價指標衡量模型對番茄目標識別的檢測性能[17-18]。

(1)

(2)

(3)

式中：C——類別數量；

N——閾值數量；

k——閾值；

P(k)——第k個圖片的識別準確率；

ΔR(k)——從k-1變化到k時的召回率變化情況。

3.2 試驗結果與分析

本文以單個、一簇、順光、逆光、重疊、遮擋6種不同生長狀態的番茄果實試驗數據為處理對象，設置相同的模型訓練參數，對比分析改進模型與YOLOv4、YOLOv4-Tiny、Faster RCNN網絡模型的檢測結果[19]，結果如圖6、圖7、表2所示。

(a) 單個

(b) 一簇

(c) 順光

(d) 逆光

(e) 重疊

(f) 遮擋

(a) 成熟期番茄檢測精度

(b) 半成熟期番茄檢測精度

(c) 未成熟期番茄檢測精度

(d) 平均番茄檢測精度

表2 不同網絡模型檢測精度比較Tab. 2 Comparison of detection accuracy between different network models

從圖6、圖7可知，在番茄果實數量為單個時，由于番茄果實圖像中果實大小的尺寸與遠景近景的區別，導致番茄果實數量在單個時識別度高，且改進模型比YOLOv4網絡、YOLOv4-Tiny網絡、Faster RCNN網絡的平均檢測精度分別高8.87%、10.13%、9.57%；在番茄果實數量為一簇時識別度低，改進模型比YOLOv4網絡與YOLOv4-Tiny網絡、Faster RCNN網絡的平均檢測精度分別高6.03%、6.32%、7.6%；當番茄果實表面出現由順光照射產生的白色曝光，會使得番茄果實的識別難度提高，且改進模型比YOLOv4網絡、YOLOv4-Tiny網絡、Faster RCNN網絡的平均檢測精度分別高6.07%、11.94%、18.72%；表面出現由逆光產生的陰影時，雖難以區分未成熟果實與果葉，但成熟果實尤為突出，且改進模型比YOLOv4網絡與YOLOv4-Tiny網絡、Faster RCNN網絡的平均檢測精度分別高1.25%、3.83%、13.66%；當番茄果實重疊時會出現幾乎完全重疊、半重疊與少量重疊的狀況，導致不能很好地識別出被檢測類別，增加番茄果實識別的難度，這時改進模型比YOLOv4網絡與YOLOv4-Tiny網絡、Faster RCNN網絡的平均檢測精度分別高7.02%、5.88%、11.73%；當番茄果實發生遮擋的狀況時，會導致成熟果實容易被遮蓋，而未成熟番茄被果葉遮蓋容易導致其因顏色一致出現錯檢，使識別難度明顯提高，且改進模型比YOLOv4網絡、YOLOv4-Tiny網絡、Faster RCNN網絡的平均檢測精度分別高4.44%、11.1%、14.84%。

由表2與圖8可知，不同成熟度的番茄果實在多種復雜環境下的AP值均在60%以上，且模型的P-R曲線覆蓋整個坐標系。其中，改進模型的P-R曲線在最上方，優于其他三種檢測網絡模型。

(a) 成熟期番茄

(b) 半成熟期番茄

(c) 未成熟期番茄

結合圖9和表3可以看出，對于綜合評價指標F1分數值而言，如果將Score_Threhold調至0.5，在番茄果實成熟度為成熟時，改進模型與YOLOv4-Tiny網絡的評價檢測結果一樣，但高于YOLOv4網絡3%，高于Faster RCNN網絡1%；在番茄果實成熟度為半成熟時，改進模型高于YOLOv4-Tiny網絡1%，高于YOLOv4網絡4%，高于Faster RCNN網絡5%；在番茄果實成熟度為未成熟時，改進模型高于YOLOv4-Tiny網絡3%，高于YOLOv4網絡5%，高于Faster RCNN網絡21%。

(a) 成熟期番茄

(b) 半成熟期番茄

(c) 未成熟期番茄

從表4中可以看出，本文采用的4種番茄果實檢測網絡的速率結果為YOLOv4-Tiny網絡的FPS是最高的，YOLOv4與改進模型的FPS為中等偏上，Faster RCNN網絡的FPS為最低。

表3 綜合評價F1分數值Tab. 3 Comprehensive evaluation of F1 score values

表4 不同網絡模型速率結果Tab. 4 Different network model rate results

綜上所述，本文提出的改進模型在保持FPS優良的情況下，對比分析評價指標mAP、P-R曲線與綜合評價指標F1分數，明顯優于其他3種網絡模型。

4 結論

1) 本文提出一種基于改進YOLOv4網絡模型與遷移學習相結合的番茄果實識別方法，先利用ImageNet數據集在VGG網絡模型卷積層進行模型參數預訓練，然后將訓練的模型參數遷移至改進網絡模型中作為初始值，獲得最優權重實現對復雜環境下的番茄果實進行檢測。結果表明這種方法的檢測精度和綜合評價比優良，并能夠實時有效地檢測出番茄果實，且效果明顯優于未改進的同類型YOLOv4網絡和YOLOv4-Tiny網絡模型以及主流檢測模型Faster RCNN。

2) 針對測試集數據中不同成熟度番茄在不同閾值下的綜合評價F1分數值分析顯示，番茄果實成熟時本文改進模型高于YOLOv4網絡3%，與YOLOv4-Tiny網絡相同，高于Faster RCNN網絡1%；番茄果實半成熟時分別高于其他3種模型4%、1%、5%；番茄果實未成熟時，分別高于其他3種模型5%、3%、21%，表明模型實用性較強。

3) 通過應用本文的番茄識別網絡模型，能夠解決傳統圖像檢測方法在處理環境光暗、葉枝遮擋、果實重疊圖像定位檢測精度低的問題，可為之后的研究過程提供更好的技術支撐。