基于改進YOLOv3的溫室番茄果實識別估產方法*

成偉，張文愛，馮青春，張萬豪

(1. 太原理工大學信息與計算機學院，山西晉中，030600； 2. 北京農業智能裝備技術研究中心，北京市，100097； 3. 國家農業智能裝備工程技術研究中心，北京市，100097； 4. 農業智能裝備技術北京市重點實驗室，北京市，100097)

通訊作者：張文愛，女，1967年生，山西翼城人，碩士，副教授；研究方向為智能信息處理。E-mail: zhangwenai@tyut.edu.cn

0 引言

中國是番茄的生產和消費大國，種植面積達1 050 khm2[1]，人均年消費量約21 kg[2]。通過實時統計和預測番茄果實時序產量信息，并進行相應的生產管控，以實現供貨訂單的精準響應，對于解決當前番茄產能大幅波動、產程不連續等問題具有重要意義。番茄果實的視覺信息獲取是支撐智能化產量估計的重要前提。然而溫室內植株叢生、雜亂無序，且其莖、葉、果等密集生長、相互重疊，使得果實圖像特征識別成為限制番茄產量精準估計的重要因素。

鑒于農業作業對象外觀、姿態和大小的非結構化特征，基于單一閾值的分類方法較難實現其圖像特征的準確識別。融合色彩、形態、紋理、位姿等多元信息，建立自適應分類識別模型，實現其復雜特征識別的有效途徑。以多層卷積特征提取網絡為核心的深度學習模型[3]，避免了傳統機器學習模型構建的復雜過程，具有更高的識別精度，對于農業作業對象多元視覺信息的感知融合具有獨特優勢[4-8]。王富春等利用均值聚類算法番茄紅果、果柄、葉片圖像進行聚類分割，對成熟番茄像素的識別準確率達到83.45%。馬翠花等[9]提出了基于顯著性檢測與圓形隨機Hough變換的目標識別方法，對綠色番茄識別準確率為77.6%。孫哲等[10]提出了一種基于Faser R-CNN的自然環境下西蘭花幼苗檢測方法，平均精度達到91%。Murean等[11]以水果種類識別為目標，提出了針對深度卷積網絡結構的優化方法，8類水果分類識別精度達到95%以上。崔永杰等[12]利用可視化方法對比了6類不同深度的卷積神經網絡特征提取差異，確定最佳卷積網絡Alexnet[13]與Vgg 16識別準確率可達到93%以上。Williams等[14]提出了一種基于深度學習的奇異果識別方法，并應用于其采摘機器人，對密集果實的探測準確率達到76.3%。趙德安等[15]提出了基于YOLOv3深度卷積神經網絡的蘋果定位方法，果實準確率為97%。以上目標識別算法研究主要針對特定色彩目標，然而番茄時序產量估計需要對不同成熟度的綠果和紅果進行識別。

本文針對溫室番茄產量精準預測實際需要，以工廠化溫室番茄為研究對象，研究針對番茄紅果和綠果的動態識別方法，通過改進優化YOLOv3深度學習模型，提高對叢生交錯植株內的密集生長番茄的識別精度。研究結果可為番茄生產智能管控系統研發提供技術支撐。

1 作業環境和試驗系統

1.1 工廠化溫室番茄種植環境

溫室內工廠化種植的番茄植株如圖1所示，距地面600～1 000 mm和1 000～1 500 mm高度區域分別為紅果和綠果的主要生長區域，即估產圖像采集區域。隨著植株不斷生長，通過釋放纏繞于主莖的吊線進行落蔓，使得估產區域相對地面保持高度不變，本文以該高度區域內的番茄植株為探測對象。智能估產設備以植株行間軌道為支撐進行移動，其視覺系統實時獲取兩側番茄植株圖像信息。

圖1 工廠化番茄種植環境Fig. 1 Tomato factory-planted environment

1.2 番茄估產圖像采集系統

如圖2所示，估產視覺系統包括雙目視覺攝像機和二自由度云臺機構。攝像機選用FL3-U3-13S2C型號相機，配置8 mm鏡頭，與番茄植株相距800 mm，獲得視場區域寬、高分別為500 mm、400 mm。云臺可進行垂直和水平旋轉，以調整攝像機空間姿態從不同視角采集番茄植株不同區域的圖像。

圖2 估產視覺系統Fig. 2 Visual system for estimating yield1.旋轉云臺 2.攝像機

2 改進的YOLOv3識別模型

2.1 YOLO目標識別算法原理

YOLO算法基本原理在于，將輸入圖片劃分為S×S的柵格化單元格，若被檢測的目標中心落入特定單元格，則該單元格負責檢出該目標，即自身有目標的概率Probj=1。預設每個單元格產生B個先驗邊界框，每個邊界框與真實值邊界框之間的重合度指標為IOU，則圖像內目標位置和類別預測可以用S×S×B×(4+1+C)的張量表示，其中4表示先驗證框坐標(x，y)、寬高(w，h)和1表示的置信度分數5個特征參數，C表示所用數據集目標的類別數量。通過訓練對真實邊界框不斷地回歸，可得到最終預測目標的位置、置信度和類別信息。最終，通過保留中置信度最高的邊界框，篩選最佳識別結果。

圖3 YOLO目標識別算法原理Fig. 3 Target detection principle of YOLO

2.2 基于DarkNet53的多尺度特征提取

YOLOv3算法中使用DarkNet53特征提取網絡獲取多尺度圖像特征，克服YOLO前期版本對圖片內顯著尺度差異目標的漏檢問題。Darknet53以416像素×416像素的圖像為輸入，分別進行32倍、16倍和8倍下采樣，獲得不同層次的特征圖，然后通過上采樣和張量拼接，將不同層次的特征圖融合轉化為維度相同的特征圖。其包含的多尺度圖像特征，有利于改善算法對小目標檢測的精度。鑒于本文檢測紅果和綠果兩類目標，DarkNet53特征提取最終分別輸出像素為13×13、26×26、及52×52三種尺度的特征圖，分別作為遠近景尺度視場內果實目標回歸檢測的依據。

圖4 DarkNet53多尺度特征提取原理Fig. 4 Multiscale feature extraction based on DarkNet53

2.3 先驗框設置

YOLOv3根據目標樣本邊框標注信息，預先設置先驗框進行回歸檢測，以提高目標識別效率。本文采用K-means聚類算法，以1-IOU為聚類指標，為3個不同尺度的特征圖分別獲得9個不同規格的先驗框，并根據特征圖層次等級進行分配，如表1所示。

表1 不同尺度特征圖的先驗框分配Tab. 1 Anchors boxes matched with various feature map

因此對于416像素×416像素的圖像，對于分別以13×13、26×26和52×52網格劃分后，每個網格設置3個先驗框，識別紅果和綠果需要進行13×13×3+26×26×3+52×52×3=10 647次預測判斷。

2.4 損失函數及其改進

(1)

式中：Losscoord——目標位置損失函數；

估產視覺系統采集圖像過程中，番茄相對攝像機的距離動態變化，使得果實在圖像中形態呈現多尺度變化特征。若采用歐式距離對番茄目標邊框偏差進行評價，損失函數數值與果實大小相關，不具有尺度不變性，容易造成圖像中小果漏檢問題。因此本文采用具有尺度不變性的廣義交并比[16](GIOU)參數作為目標真實邊框與預測邊框偏差的評價指標。如圖5所示，黑色邊框為果實真實邊框，藍色邊框為預測邊框，邊框交集區域面積為J，二者最小包圍邊框(紅色)面積為A，則其包含目標的單元格i的先驗框j與目標真實邊框的GIOUij可由式(2)得到。

(2)

圖5 番茄果實邊框GIOUFig. 5 Tomato fruit border box GIOU

3 模型訓練

3.1 圖像樣本集

圖像樣本通過估產視覺系統在溫室內采集獲得，共采集圖像2 000幅。為了保證樣本多樣性，在不同時段、空間位置采集圖像，并且采集圖像過程中隨機調節鏡頭焦距，獲得不同視場尺度下的圖像。考慮到番茄果實姿態多樣、形態各異，對采集的圖像進行隨機旋轉和縮放，使得總樣本數量擴大2倍。使用Labelimg標注工具標注番茄紅果、綠果區域，得到YOLO數據集。4 000幅圖像樣本中包含800幅測試樣本，3 200幅訓練樣本。

圖6 番茄果實圖像樣本Fig. 6 Tomato fruits image simples

3.2 算法運行環境

算法運行平臺為深度學習工作站，其配置處理器Intel I7-9700K、顯卡Nvidia 1080TI、內存DDR4 16G、主板Intel Z390。軟件平臺采用Ubuntu18.04操作系統下的Pytorch1.3深度學習框架和CUDA10.0并行計算構架。

3.3 訓練過程與結果

采用YOLOv3官方權重參數，結合樣本識別分類需求，調整模型輸出層參數。基于改進的損失函數對模型進行訓練，訓練參數設置如表2所示，整體算法流程圖如圖7所示。

表2 訓練參數Tab. 2 Training parameters

700次迭代周期中，損失函數的如圖8所示，前400次迭代周期中損失函數值明顯減小、且趨勢變緩。為了確保模型收斂精度，在400次以后的迭代周期中減小學習速率，最終模型在700次迭代周期后，損失函數值降至2附近小幅波動，則認為模型達到穩定收斂。

圖7 算法流程圖Fig. 7 Algorithm flow chart

訓練過程每10次迭代周期，輸出一次模型，對測試集圖像進行識別處理。以平均精度均值[17](mAP)作為評價指標，選擇具有最高精度的模型作為最優模型。對相同訓練過程的YOLOv3和其改進模型進行比較，如表3所示。傳統YOLOv3的mAP值為92.1%，經過改進的YOLOv3的mAP值為95.7%，提高了3.6%，且改進后的算法檢測效率與傳統算法基本相同，載入模型后單幅圖像平均檢測時間為15 ms。

圖8 訓練損失函數Fig. 8 Loss function of training

表3 算法性能對比Tab. 3 Performance comparison of algorithms

4 試驗與結果分析

4.1 材料與方法

為了驗證模型的泛化性能，2019年10月20日在北京特菜大觀園番茄溫室內進行了現場試驗，隨機選擇200個視場區域采集，由估產視覺系統實時采集番茄植株圖像，并分別由人工、YOLOv3和改進YOLOv3對圖像內番茄果實進行計數估產試驗。

試驗方法如下：(1)在采摘區域內，對番茄植株隨機采集圖像。為保證數據多樣性，采集過程包括全天不同光照時段，且圖像包含遠近景不同尺度視場；(2)以人工識別結果為對照，統計試驗圖像內紅果、綠果數量，選取果實稀疏、密集和遮擋情況對應的特殊圖像樣本；(3)分別利用YOLOv3和改進YOLOv3模型對試驗圖像進行處理，對視場內果實進行計數，并與人工計數結果進行對照比較，評估估產模型精度。

4.2 試驗結果分析

以人工識別紅果、綠果計數結果為參考，對YOLOv3和改進YOLOv3識別計數結果進行評價。兩個模型對紅果、綠果及果實總數的識別數量與人工識別數量的比值，分別作為其各自紅果、綠果和總體估產精度。統計如表4所示，可見YOLOv3模型改進后，對于番茄的估產精度均得到改善，其中紅果、綠果和總體估產精度分別達到97.0%、95.5%和96.3%，比算法傳統YOLOv3識別精度分別提高0.8%、3.7%和2.7%。

表4 番茄果實估產精度Tab. 4 Tomato yield estimation precision %

此外，在圖像采集過程中，由于圖像采集系統與番茄植株的相對位姿不斷變化，并且果實自身隨機無序生長，從而番茄果實在視場內呈現稀疏、密集和遮擋等3種特殊情況，如圖9所示。估產模型對特殊視場內果實的識別精度是驗證模型估產泛化性能的重要參考。

(a) YOLOv3模型識別稀疏、密集和受遮擋果實

(b) 改進YOLOv3模型識別稀疏、密集和受遮擋果實圖9 特殊視場果實識別效果Fig. 9 Tomato identification in special fields

分別選擇果實稀疏、密集和遮擋視場各30幅圖像，兩個模型的估產精度統計如表5所示。改進的YOLOv3模型對于稀疏紅果、綠果的估產精度分別提高2.5%、1.4%，對于密集紅果、綠果分別提高5.5%、9.4%，對于受遮擋紅果、綠果分別提高9.5%、11.3%。可見模型改進前后，對于三種特殊視場下的番茄估產精度均有提高，且對于密集果實和受遮擋果實估產改善效果更加明顯。

表5 特殊視場估產精度Tab. 5 Estimating yield precision in special fields %

5 結論

1) 針對溫室番茄智能化估產需要，本文研究了基于改進YOLOv3的溫室番茄果實識別方法，以對自然生長狀態下番茄果實進行計數估產。通過改進傳統YOLOv3位置損失函數，建立了自然生長狀態下番茄綠果和紅果的識別模型。改進的YOLOv3對樣本的識別精度得到改善，最終模型mAP值為95.7%，比改進前傳統YOLOv3模型值提高3.6%。

2) 為了驗證識別模型的有效性和泛化性能，進行了現場試驗。試驗表明，改進YOLOv3模型相比較傳統YOLOv3模型，對于番茄紅果、綠果和總體的估產精度均得到改善，分別達到97.0%、95.5%和96.3%。

3) 改進YOLOv3模型對于密集果實和受遮擋果實具有更顯著的改善效果，更具有魯棒性，對于密集紅果、綠果分別達到95.3%、95.1%，對于受遮擋紅果、綠果分別達到95.4%、94.8%。且改進后的算法載入模型后單幅圖像平均檢測時間為15 ms，滿足實時性要求。本文研究結果可為溫室番茄時序產量的實時估計相關研究提供參考。