基于YOLO算法的不同品種棗自然環境下成熟度識別*

王菁，范曉飛，趙智慧，張君，孫磊，索雪松

(1. 河北農業大學機電工程學院，河北保定，071001； 2. 河北農業大學園藝學院，河北保定，071001)

0 引言

棗富含維生素、多糖、有機酸和氨基酸等，具有極高的營養價值和藥用價值[1]。棗園中果實密集和枝葉遮擋嚴重現象，為棗果實采摘增加了難度。現主要采摘方式為人工采摘與機械采摘[2-4]，人工采摘費時費工，也會出現因人工采摘時間較長導致棗錯過采摘期、遺漏等問題；機械采摘主要通過抖動枝葉使其落果，這個方式會將未熟的果實一起摘下，增加了果實品質篩選的困難和經濟損失。為實現棗樹自動采摘，針對棗果實的精確識別技術至關重要。

隨著科技和經濟的發展，機器視覺技術愈加成熟，受到了廣泛的關注和研究，已經被應用在各個領域，成為工農業發展的重要組成部分[5-6]。針對果實成熟度識別問題，近幾年有學者進行了傳統機器學習的研究[7-10]。其中針對荔枝成熟度識別，基于RGB-D相機結合傳統機器學習算法的識別準確率最好，綠色荔枝為89.92%，紅色荔枝為94.50%。由于傳統機器學習方法在自然環境下魯棒性和實時性都比較差，很難滿足果實智能機械化精準采摘的需求。

隨著深度學習的不斷完善，卷積神經網絡(CNN)在目標識別上體現了強大的優越性。有少數學者將CNN用在單一品種的果實成熟度識別上[11-12]，其中成偉等[11]將改進YOLO V3算法用在番茄識別上，得到最優估產模型的平均精度均值mAP為95.7%；劉坤等[12]以靈武長棗為研究對象，探究利用BP神經網絡實現對靈武長棗成熟度的分級，準確率可達84%。單一品種果實成熟度檢測具有一定的局限性，難以滿足市場多品種的需求。

以上研究為卷積神經網絡在棗果實成熟度識別上提供了依據，本文結合卷積神經網絡對多品種棗果實進行自然環境下的成熟度識別研究，對比不同YOLO算法在成熟度識別上的差異。

1 材料與方法

1.1 試驗數據集

本文圖像采集地點為河北省保定市河北農業大學三分廠棗園，在自然環境下的晴天和陰天、白天和傍晚進行采集。拍攝設備使用尼康D7100相機，共采集18個品種的棗果實圖像(18個品種分別為金絲小棗、義烏大棗、觀音棗、磨盤棗、辣椒棗、蜂蜜罐棗、月光棗、毛卜彥玲棗、六月鮮、冬棗、雨帥、贊碩、大金絲王棗、星光、阜帥、阜香、雨嬌、MX)，獲得棗圖像數據集。共選取2 395幅棗圖像作為棗果實成熟度檢測試驗所用數據集，并使用圖像標注工具LableImg對棗果實目標進行標注，得到VOC格式的xml文件。本文采取了兩種標注方式，常規識別方式Ⅰ將棗果實分為未熟果實和成熟果實兩種類型標注，其中未熟果實為全綠硬果，成熟果實為果皮帶紅的果實；由于鮮食品種需要在采摘時只采摘棗果皮紅綠相間的果實，識別方式Ⅱ為滿足棗的鮮食品種采摘將方式Ⅰ中的成熟果實分為半紅果實(果皮紅綠相間)和完熟果實(果皮全紅)，即未熟果實、半紅果實和完熟果實三種類型進行標注，如圖1所示。

(a) 未熟果實 (b) 半紅果實 (c) 完熟果實

將標注的棗果實數據集劃分為訓練集、測試集、驗證集且比例關系以7∶1∶2進行隨機分配，分別為1 881、209、505幅圖像。

1.2 試驗運行條件

模型訓練和測試均在同一臺計算機進行，硬件配置為Inter Core i5-10400fCPU@2.9 GHz，GPU為6 GB 的GeForce GTX 1660SUPER，16 GB運行內存，軟件環境為64位Windows10系統，Keras深度學習框架。

1.3 基于YOLO算法的棗果實成熟度訓練模型

本文采用YOLO算法的YOLO V3、YOLO V4、YOLO V4-Tiny和Mobilenet-YOLO V4-Lite四種神經網絡目標檢測模型對多個品種的棗果實進行訓練。

1.3.1 YOLO V3目標檢測模型

YOLO V3[13-14]是一個端到端的回歸網絡模型，其主干特征提取網絡為Darknet-53，它由連續的3×3和1×1卷積層組合而成，具備殘差網絡Residual和每個卷積部分使用了特有的DarknetConv2D結構兩個特點。YOLO V3網絡結構如圖2所示，將尺寸為416×416×3的數據集輸入到Darknet-53中，經過一次32×3×3卷積層和4次殘差網絡輸出3個特征層，3個特征層位于主干部分Darknet-53的不同位置，分別位于中間層、中下層、底層，3個特征層的尺寸分別為(52，52，256)、(26，26，512)、(13，13，1 024)。利用這3個有效特征層構建特征金字塔FPN(Feature Pyramid Networks)進行加強特征提取，構建方式如下。

1) 位于底層的特征層進行5次卷積處理后利用YoloHead獲得預測結果，一部分用于進行上采樣UpSampling2D與中下層的特征層進行結合。

2) 結合特征層再次進行5次卷積處理后利用YoloHead獲得預測結果，一部分用于進行上采樣UpSampling2D后與中間層的特征層進行結合。

3) 結合特征層再次進行5次卷積處理后利用YoloHead獲得預測結果。

圖2 YOLO V3網絡結構圖

1.3.2 YOLO V4目標檢測模型

YOLO V4[15-17]是YOLO V3的改進版，YOLO V4的主干特征提取網絡CSPDarknet-53將跨階段部分連接(CSP)、Mish激活函數、馬賽克數據擴增等方法加入到YOLO V3算法的主干特征提取網絡中，特征金字塔部分使用了空間金字塔池化結構(SPP)和路徑聚合網絡(PAN)，其SPP與PAN結構如圖3所示。

圖3 特征金字塔SPP與PAN網絡結構

1.3.3 YOLO V4-Tiny目標檢測模型

YOLO V4-Tiny[18-19]在YOLO V4的基礎上減少了一些結構，達到了增加速度的目的。與CSPDarknet相比，YOLO V4-Tiny的主干特征提取網絡將激活函數重新修改為YOLO V3中使用的LeakyReLU。通過CSP Darknet-tiny獲得最后兩個尺寸的有效特征層，輸入到加強特征提取網絡當中進行FPN的構建。

1.3.4 Mobilenet-YOLO V4-Lite目標檢測模型

Mobilenet[20-21]系列網絡使用深度可分離卷積結構構建輕量級深度神經網絡模型，Mobilenet-YOLO V4-Lite利用MobilenetV1、MobilenetV2和MobilenetV3三個網絡替換CSPDarknet主干特征提取網絡，如圖4所示為Mobilenet模型的核心思想深度可分離卷積(Depthwise Separable Convolution)的結構。

(a) 空間卷積層 (b) 通道卷積層

1.4 評估指標

為了評估出所得到的棗成熟度檢測模型的準確性和穩定性，選取精確度P、召回率R、平均檢測精度mAP以及調和平均數F1作為評價指標。置信度閾值對模型的評估結果有重要影響，這是因為在使用模型進行實際檢測時，需要設置置信度閾值來對檢測目標進行取舍。因此，在模型檢測時，置信度閾值選取比較關鍵。在訓練結束后設置不同置信度閾值得到多組評估指標進行對比。

(1)

(2)

(3)

式中：TP——正確識別目標的數量；

FP——錯誤識別目標的數量；

FN——未識別目標的數量。

2 結果與分析

本文使用相同的數據集，將不同成熟度的棗果實按不同標注方式(方式Ⅰ和方式Ⅱ)在四種不同的卷積神經網絡模型(YOLO V3、YOLO V4、YOLO V4-Tiny和Mobilenet-YOLO V4-Lite)中進行訓練，通過對比不同標注方式和不同的卷積神經網絡模型，找到最合適的模型應用到棗果實成熟度檢測的研究中。

每種模型的訓練周期為100輪(epoch)，每1輪訓練驗證1次。前50輪訓練學習率(Learning rate)為0.001，后50輪訓練學習率(Learning rate)為0.000 1。由于不同網絡結構的差異，為了得到最優模型，本文將4種網絡模型分別設置了不同的批處理集尺寸(Batchsize)，經過反復試驗，最終將YOLO V3的前50輪Batchsize設定為8個樣本，后50輪Batchsize設定為2個樣本；YOLO V4的前50輪Batchsize設定為8個樣本，后50輪設定為4個樣本；YOLO V4-Tiny前50輪Batchsize設定為32個樣本，后50輪Batchsize設定為16個樣本；Mobilenet-YOLO V4-Lite模型前50輪Batchsize設定為16個樣本，后50輪Batchsize設定為8個樣本。為防止過擬合，設置訓練時當5個epoch過后，若模型性能沒有提升，則降低學習率，若沒有產生損失值下降即結束訓練。

2.1 棗成熟度識別方式I的YOLO目標檢測模型

方式Ⅰ按照現有棗果實成熟度識別方式將棗果實直接分為未熟果實和成熟果實。圖5為不同模型訓練集損失(train-loss)與測試集損失(val-loss)對比，可知YOLO V4-Tiny的訓練周期最長(epoch=90)，YOLO V4訓練周期最短(epoch=66)。對比訓練集與測試集損失值，YOLO V4的最終損失值最低，訓練集最終穩定在1左右，測試集穩定在2左右；YOLO V4-Tiny與Mobilenet-YOLO V4-Lite的最終損失值相似，訓練集均穩定在1.2左右，測試集均穩定在2左右；YoloV3的最終損失值最高，訓練集最終穩定在3左右，測試集穩定在4左右。

(a) 訓練集損失曲線

將未進行訓練與測試的剩余505幅棗果實圖像作為驗證集輸入到已經訓練好的4種不同模型中，其中棗果實成熟個數為470個，未熟個數為142個。表1顯示了不同模型在方式Ⅰ的性能評價參數。

表1 方式Ⅰ四種模型性能評價Tab. 1 Performance evaluation of the four models Ⅰ

可知方式Ⅰ中對比同一標注標簽各評價參數4種模型效果相差不大，平均mAP均大于92%，其中YOLO V4-Tiny模型表現最好。對方式Ⅰ中兩種標注標簽進行對比發現，4種模型識別成熟果實的F1、精確度P和mAP均高于未熟果實，說明將未熟果實識別為成熟果實的概率大于將成熟果實識別為未熟果實，但召回率R除YOLO V4-Tiny模型外成熟果實均高于未熟果實，說明除YOLO V4-Tiny外的其他三種模型未標出成熟果實的概率高于未熟果實。

2.2 棗成熟度識別方式Ⅱ的YOLO目標檢測模型

由于在現實采摘過程中，對適合鮮食與適合制干品種有不同的采摘要求，所以在標注時將方式Ⅰ中成熟果實分為半紅果實與完熟果實，以滿足不同的采摘需求，即方式Ⅱ分為未熟果實、半紅果實和完熟果實3種類型。如圖6所示，YOLOV4-tiny模型的訓練周期最長(epoch=92)，YOLOV4與YOLOV4-tiny模型最終的訓練損失值與測試損失值類似(train-loss為1左右，val-loss為2左右)。

(a) 訓練集損失值對比曲線圖

將未輸入到訓練集與測試集的驗證集505幅棗果實圖像輸入到最終訓練得到的4種卷積神經網絡模型中，其中未熟果實個數為142個，半紅果實為167個，完熟果實為303個。表2為方式Ⅱ驗證集各模型性能評價，可知方式Ⅱ中平均mAP均大于89%，其中YOLO V3模型表現最好，其次為YOLO V4-Tiny模型。對方式Ⅱ中三種標注標簽進行對比發現，4種模型除Mobilenet-YOLO V4-Lite模型外完熟果實與未熟果實的F1、精確度P、召回率R和mAP均高于半紅果實，說明各模型識別半紅果實的效果低于其他兩種標注標簽，且完熟果實在各模型中識別效果要高于未熟果實。

表2 方式Ⅱ四種模型性能評價對比Tab. 2 Comparison of performance evaluation of the four models Ⅱ

2.3 棗成熟度識別方式綜合對比

為進一步找到適合棗果實的成熟度識別模型，將兩種標注方式的4種識別模型平均mAP作對比，如圖7所示。從平均mAP可以看出不同模型中方式Ⅰ均比方式Ⅱ效果好，但相差不大，兩者mAP的差值在0.29%～3.52%范圍內。基于YOLO算法的4種識別模型中，兩種標注方式在YOLO V3與YOLO V4-Tiny兩個模型中表現較好，平均mAP約為94%，除方式Ⅱ的YOLO V4模型平均mAP為89.23%外，其余3個模型約為92%。

圖7 兩種標注方式模型效果對比圖

3 討論

3.1 不同識別方式對棗果實成熟度識別的影響

本文將不同品種間的棗果實按兩種標注方式進行成熟度識別，方式Ⅰ的標注方式是常用的標注方式，將果實按紅果和綠果分為成熟果實和未熟果實。由于適合鮮食品種的棗在現實采摘過程中需要采摘半紅果實[12]，為了滿足多品種棗的采摘要求，本文增加了方式Ⅱ的標注方式，將成熟果實分為完熟果實和半紅果實，即方式Ⅱ將棗的成熟度分為完熟果實、半紅果實和未熟果實。

比較同一訓練模型的不同標注方式，驗證方式Ⅱ的可行性。從訓練模型可以看出，同一模型的兩種標注方式差距很小，說明兩種標注方式并不會影響訓練模型；通過精確度P和召回率R兩個評價參數可以看出，方式Ⅰ的成熟果實的識別準確率高于未熟果實，但是未識別到的成熟果實比例也高于未熟果實，這一現象可能與成熟果實中帶有紅色部分與全部為綠色的未熟果實易區分，未熟果實表皮多為光滑，在陽光照射下易反射，易被識別為成熟果實；方式Ⅱ中完熟果實的識別效果高于半紅和未熟果實，這與完熟果實整個棗面積為紅色，與半紅果實、未熟果實差別明顯，不易被識別錯誤和不被標記。其次未熟果實識別效果比半紅果實效果更佳，且未標記的半紅果實比例較大，這與未熟果實整個面積為綠色，極易與完熟果實區分，而半紅果實介于兩者之間，若表皮紅色部分較少則被識別為未熟果實的可能性較大，若表皮顏色紅色較多，則易被識別為完熟果實。由于方式Ⅰ中成熟果實和方式Ⅱ中完熟果實占驗證數據集的比值較大，所以在評價指標和綜合評價中的效果比其他類型高。

3.2 不同模型對棗果實成熟度識別

為了建立最適合棗果實成熟度識別的最優模型，本文將兩種標注方式的棗果實用4種神經網絡模型進行了研究。比較同種標注方式的4種模型平均mAP，YOLO V3與YOLO V4-Tiny模型高于其他兩種模型，在94%左右。通過比較4種模型的特點可知YOLO V3模型采用Darknet53為主干特征提取網絡，其有兩個重要特點：(1)殘差網絡Residual通過不斷的1×1卷積和3×3卷積以及殘差邊的疊加大幅度加深網絡，從而提高準確率；(2)每一個卷積部分使用了特有的DarknetConv2D結構，每一次卷積進行正則化，完成卷積后進行BatchNormalization標準化與LeakyReLU。而YOLO V4-Tiny是YOLO V4的簡化版，通過減少YOLO V4的一些結構達到增加速度的目的，并且僅使用了兩個特征層。YOLO V3與YOLO V4-Tiny在這4種模型中屬于簡單的網絡結構，說明在棗果實的成熟度識別問題上較為簡單的網絡效果更好。

4 結論

1) 本文通過采集適合鮮食和適合制干的18個品種棗果實的圖像，利用卷積神經網絡中極具有代表性的目標檢測YOLO算法的4種模型建立兩種不同標注方式的棗果實成熟度識別模型，結果表明，YOLO V3與YOLO V4-Tiny兩種模型均適用于兩種類型的標注方式，且兩種類型的標注方式效果均在94%左右，說明將不同品種棗果實按市場需求分為完熟果實、半紅果實和未熟果實進行基于YOLO算法的成熟度識別具有一定的可行性。

2) 此次研究由于采集的棗果實在同一地區，且在同一時期具有一定的局限性，因此在今后的研究中為更滿足市場需求，首先增加具有代表性多地域的棗果實圖像，如新疆、山西和河北等其他地區；其次增加不同棗成熟時期的果實圖像；最終通過不斷改進算法提高其精準度，更好地滿足現實需求。