基于深度學習的蘋果樹側(cè)視圖果實識別

荊偉斌，李存軍，競 霞，趙 葉，程 成

（1. 北京農(nóng)業(yè)信息技術(shù)研究中心，北京100097；2. 西安科技大學測繪科學與技術(shù)學院，陜西西安710054）

0 引言

我國是世界上蘋果種植面積最大、產(chǎn)量最高的國家。2014—2019年，我國蘋果年總產(chǎn)量均達到3 700萬t以上，位于世界蘋果總產(chǎn)量之首；同時，我國也是蘋果消費大國［1-2］。在果實采摘、保鮮儲藏、銷售等工作中，由于無法及時預(yù)估蘋果產(chǎn)量，導致儲藏成本分配不合理、人工投入比例不合理、銷售訂單量與果園實際產(chǎn)量無法匹配以及進出口量分配不合理等問題。快速準確地識別樹上果實的數(shù)量，對果實采收、進出口管理以及儲藏成本控制等具有重要意義。

果實識別方法通常是基于顏色信息和輪廓信息進行。基于顏色信息的識別算法有分水嶺算法［3］、構(gòu)建顏色網(wǎng)絡(luò)的識別分類器［4］等，其在果實近景識別以及簡單環(huán)境中的識別精度較高，但在廣域復雜背景下，由于光照、遮擋等因素影響導致果實識別精度較低，難以有效地分割果實與背景環(huán)境。基于輪廓信息的識別算法主要有Sobel邊緣提取［5］、K-means多目標提取［6］等，其在果實遮擋面積小、輪廓信息完整的條件下識別精度較高，但是在有遮擋條件下識別精度較低，并且需要根據(jù)不同的目標物調(diào)整相應(yīng)的閾值，導致漏判、誤判現(xiàn)象較為嚴重。

為解決廣域復雜環(huán)境下多目標識別精度低的問題，提高模型的泛化能力，國內(nèi)外相關(guān)學者采用深度卷積神經(jīng)網(wǎng)絡(luò)進行果實多目標識別方法研究。在深度卷積神經(jīng)網(wǎng)絡(luò)目標識別領(lǐng)域，出現(xiàn)了Faster-RCNN、YOLO、Mask-RCNN等快速高效的網(wǎng)絡(luò)模型，并被廣泛應(yīng)用于人臉檢測［7］、駕駛員手機使用檢測［8］、汽車識別檢測［9］中。JordiGené-Mola［10］、Anand Koirala［11］、Yunong Tian［12］等基于深度卷積神經(jīng)網(wǎng)絡(luò)，采用多目標檢測的方法對復雜場景下的樹上果實進行識別，在果實近景識別中均取得較好成果，但在廣域復雜場景下的研究相對較少。相關(guān)學者研究發(fā)現(xiàn)［13］，F(xiàn)aster-RCNN［14］更適用于小而密集的中小目標物的檢測識別，識別效率比其他模型更好。通過對果園實地調(diào)查發(fā)現(xiàn)，蘋果樹上果實存在小而密集特點，遮擋情況較為復雜，因此，文章通過Faster-RCNN模型對廣域復雜場景下的蘋果樹上果實進行識別，并對模型的適用性進行分析。

1 材料與方法

1.1 影像采集

為進行蘋果樹上果實識別研究，該文在北京市昌平區(qū)某蘋果果園使用佳能EOS1500D數(shù)碼相機采集的側(cè)視圖，采集時間為2019年9月17日和2019年9月23日，影像為RGB格式。該蘋果園共有果樹40棵，果樹高度為3～5 m，果樹行間距為4 m（圖1）。該果園蘋果以富士為主，果實與枝葉間、果實之間存在互相遮擋等情況，如圖1c～圖1d，受天氣、樹蔭等影響，果實表面顏色分布不均勻。該果園具有通常果園都存在的果實輪廓信息不清、顏色多樣、生長環(huán)境復雜等特點，是進行廣域復雜場景樹上果實識別的合理實驗場地。

圖1 北京市昌平區(qū)某蘋果園Fig.1 Orchard located on Changping district，Beijing

實驗中，根據(jù)實際果樹分布狀況，采用人為定點拍攝的方式進行影像采集（圖2）。由于相鄰兩列果樹行間的距離之間差值較小，而且行間距方向非標準垂直向下結(jié)構(gòu)，所以在影像采集時，采集路線非標準的垂直前進路線。在采集影像時，統(tǒng)一面向果樹側(cè)面，并在果樹中點位置進行影像采集，即橫向處于同一水平線兩棵果樹的中點位置。同一個影像采集點采集4次影像，分別涵蓋不同曝光程度下（全自動模式、光圈優(yōu)先模式、快門優(yōu)先模式）的果樹影像，用于模擬廣域復雜環(huán)境下不同光照對相機采集影像的影響，增強數(shù)據(jù)庫的豐富性和多樣性，提高模型學習的泛化能力。

圖2 蘋果樹側(cè)面影像數(shù)據(jù)集部分展示Fig.2 Part of apple tree side image data

在模型樣本庫建立時，共采集該果園160張影像，影像大小為375×500像素（圖3），采用labelme軟件進行果樹側(cè)面蘋果標注。為驗證模型的泛化能力，選用30棵果樹的側(cè)面影像120張用于模型訓練數(shù)據(jù)集，其余10棵果樹的40張影像作為模型測試數(shù)據(jù)集。

1.2 側(cè)視圖蘋果識別方法

1.2.1 Faster-RCNN模型結(jié)構(gòu)

該文采用Faster-RCNN對蘋果樹側(cè)面圖進行果實目標識別。Faster-RCNN是由Shaoqing Ren提出的一種用于目標檢測的深度學習模型［14］，是基于RCNN和Fast-RCNN模型改進的一種目標檢測模型，舍棄了通過選擇性搜索（Selective Search）提取候選框方法，采用區(qū)域候選網(wǎng)絡(luò)（Region Proposal Networks，RPN）法生成目標檢測的候選區(qū)域。Faster-RCNN模型共由三大模塊構(gòu)成，分別是影像特征提取層、前景候選區(qū)域生成網(wǎng)絡(luò)、分類層（圖3）。其中，RPN是在卷積神經(jīng)網(wǎng)絡(luò)提取的特征圖層（Feature maps）上進行操作，獲取目標物特征圖像中的地面位置，并在每張圖上生成300個候選框，映射到卷積神經(jīng)網(wǎng)絡(luò)最后一層輸出的Feature maps上，其生成的建候選框質(zhì)量高、數(shù)量少，并且借助GPU強大的計算能力，能極大地提高目標檢測的速度。

圖3 Faster-RCNN對蘋果側(cè)視圖進行果實識別的工作流程Fig.3 Faster-RCNN workflow

深度學習模型泛化能力取決于影像特征提取的豐富性與多樣性，不同的特征提取網(wǎng)絡(luò)對模型的魯棒性以及學習能力均有影響。該文分別選用VGG16［15］和ResNet50［16］作為蘋果樹側(cè)面圖蘋果特征提取網(wǎng)絡(luò)模型。VGG16是由13層卷積層、13層ReLU激活函數(shù)和4層池化層組成的深度網(wǎng)絡(luò)，其網(wǎng)絡(luò)的深度決定了它能夠?qū)W習圖中的多種深層次信息。ResNet50由8個部分構(gòu)成，涵蓋了卷積層、最大池化層、4個殘差網(wǎng)絡(luò)模塊、平均池化層和全連接層。深度卷積網(wǎng)絡(luò)模型訓練誤差升高的原因是網(wǎng)絡(luò)越深，梯度消失的現(xiàn)象就越明顯，所以在后向傳播的時候，無法有效把梯度更新到前面的網(wǎng)絡(luò)層，靠前的網(wǎng)絡(luò)層參數(shù)無法更新，導致訓練和測試效果變差［16］。因此，為解決深層網(wǎng)絡(luò)的梯度消失問題，ResNet的4個殘差網(wǎng)絡(luò)模塊中增加了1個恒等映射（Identity Mapping），即把當前輸出直接傳輸給下一層網(wǎng)絡(luò)，同時在后向傳播過程中，也是將下一層網(wǎng)絡(luò)的梯度直接傳遞給上一層網(wǎng)絡(luò)。2個特征提取網(wǎng)絡(luò)具體參數(shù)如表1所示。

表1 深度學習特征提取網(wǎng)絡(luò)模型結(jié)構(gòu)參數(shù)Table 1 Deep learning feature extraction network model structure parameters

續(xù)表1

1.2.2 模型運行環(huán)境

該文基于GPU強大的圖像運算能力進行深度學習模型運行環(huán)境搭建，GPU顯卡為NVIDIA2080Ti，處理器為Inter core i7-9800x，主頻為3.8Ghz，128GB內(nèi)存，華碩x299主板，在ubuntu18.04系統(tǒng)環(huán)境下進行TensorFlow框架搭建，并安裝GPU顯卡深度學習所需運算插件cuda9.2。

1.2.3 模型訓練

通過調(diào)整模型運行學習率、權(quán)重衰減項、迭代次數(shù)等參數(shù)，對模型進行優(yōu)化訓練并進行測試試驗。具體訓練過程中，將初始學習率（Learning rate）設(shè)置為0.001，權(quán)重衰減項（Weight decay）設(shè)置為0.000 1，最大迭代次數(shù)設(shè)置為4萬次。基于VGG16和ResNet50特征提取網(wǎng)絡(luò)，F(xiàn)aster-RCNN最終輸出為側(cè)面蘋果的識別結(jié)果，為提高蘋果的識別精度，僅輸出置信度大于0.8的目標。

1.3 精度評價指標

該文采用準確率P（perecision）、召回率R（recall）以及OA（averall accuracy）等指標對Faster-RCNN模型計算結(jié)果進行精度評價［17］，各指標計算公式為：

式（1）～（4）中，N為測試樣本的個數(shù)，TP為模型正確識別側(cè)面圖的蘋果個數(shù)，F(xiàn)P為將背景誤識別為蘋果的個數(shù)，F(xiàn)N為未識別的蘋果個數(shù)，P為模型識別蘋果的準確率，R為模型識別蘋果的召回率，F(xiàn)為模型未識別為蘋果的漏判率，OA為準確率P和召回率R的均值，用于評判模型的識別精度。

2 結(jié)果與分析

2.1 側(cè)視圖蘋果識別

該文對樣本庫中30棵果樹的影像數(shù)據(jù)作為訓練數(shù)據(jù)進行目標標注，利用VGG16和ResNet50進行影像特征提取，RPN生成候選區(qū)域，softmax進行模型輸出，構(gòu)建基于Faster-RCNN的蘋果樹側(cè)視圖果實識別模型，并利用剩余10棵樹的樣本數(shù)據(jù)進行模型精度評價。如圖4為Fater-RCNN對其中2棵樣本果樹進行側(cè)視圖果實識別結(jié)果。

圖4 Fater-RCNN對蘋果樹側(cè)視圖的果實識別結(jié)果：a.樣本樹1原圖；b.樣本1的ResNet50識別結(jié)果；c.樣本1的VGG16識別結(jié)果；d.樣本樹2原圖；e.樣本2的ResNet50識別結(jié)果；f.樣本2的VGG16識別結(jié)果蘋果識別結(jié)果展示Fig.4 Side apple recognition results

比較ResNet50和VGG15的識別結(jié)果可知，2個模型在識別結(jié)果中具有一定的相似性，對于遮擋較小、顏色飽滿的蘋果，模型的識別精度高，果實識別的置信度也相對較高；在遮擋比較嚴重即果實輪廓信息不豐富區(qū)域，以及果實顏色與地面蘋果袋子顏色接近區(qū)域，模型的識別精度較低，誤判率較高，置信度也相對較低；在果樹下方出現(xiàn)的蘋果袋子對模型識別結(jié)果具有一定的影響，經(jīng)過統(tǒng)計模型誤判為蘋果的影響因素全部源于地面蘋果袋子。

將訓練后的模型用于測試樣本的果實識別中，識別精度評價結(jié)果如表2所示。比較發(fā)現(xiàn)，相同的學習參數(shù)下，VGG16作為特征網(wǎng)絡(luò)的目標檢測網(wǎng)絡(luò)各個指標表現(xiàn)優(yōu)于ResNet50。2個模型的漏判率相差較小，其中ResNet50的識別誤差主要源于召回率，即模型未識別的蘋果個數(shù)多于VGG16網(wǎng)絡(luò)。

表2 廣域復雜場景下側(cè)視圖蘋果識別精度評價Table 2 Apple recognition accuracy evaluation of side view in wide complex scene

2.2 遮擋情況下的蘋果識別

該文重點針對廣域復雜場景下的果實遮擋情況進行討論，并利用VGG16作為特征提取網(wǎng)絡(luò)的目標檢測模型對測試樣本中存在遮擋的影像進行識別驗證。對識別結(jié)果分析可知，遮擋情況主要有枝葉遮擋和果實間的相互遮擋，遮擋因素導致果實的輪廓信息不完整，對模型的識別精度影響較大。在蘋果樹樣本影像中，部分蘋果生長呈現(xiàn)單個或稀疏少量分布，影像中前景目標突出，易于檢測識別（圖5），而也有部分蘋果存在簇生密集生長，使得獲取到的影像中前景目標多而密集，易導致多目標果實的識別精度降低的情況。采用VGG16和ResNet50作為特征提取的目標檢測模型對部分測試樣本中存在遮擋現(xiàn)象較為嚴重的區(qū)域進行果實識別，該文選用同一張影像中不同區(qū)域的識別結(jié)果進行分析，確保兩個模型均在相同的光照以及背景環(huán)境下進行識別任務(wù)。識別結(jié)果表明，基于VGG16特征提取網(wǎng)絡(luò)的Faster-RCNN模型在遮擋嚴重區(qū)域的識別結(jié)果相對較好（圖5a-V），但亦存在因果實間相互遮擋以及枝葉遮擋而導致的果實漏識別情況發(fā)生（圖5b-V、圖5c-V），相應(yīng)的ResNet50的識別結(jié)果如圖5d-R、圖5e-R、圖5f-R所示。

圖5 不同遮擋情況下模型的識別結(jié)果（紅框代表識別出的蘋果，黃框代表未識別出的蘋果）Fig.5 Identification results of models in different masking situations

3 結(jié)論

該文針對蘋果園產(chǎn)量預(yù)估，提出一種基于不同特征提取網(wǎng)絡(luò)的廣域復雜場景下蘋果樹側(cè)面果實多目標識別方法，實驗證明基于VGG16特征提取網(wǎng)絡(luò)的Faster-RCNN模型在遮擋情況下的識別結(jié)果優(yōu)于ResNet50特征提取網(wǎng)絡(luò)，識別精度達到91%；基于深度學習的果樹側(cè)視圖果實識別任務(wù)中，單幅圖像識別時間約為1.4 s，識別效率高，基于深度學習在廣域復雜場景下多目標識別精度及效率高的特點，該方法為果園產(chǎn)量估算提供了有效的技術(shù)支持。但是模型受限于系統(tǒng)環(huán)境以及GPU的硬件環(huán)境，攜帶不便，在后期研究中考慮將優(yōu)化訓練后的模型移植于便攜式樹莓派平臺中，并搭載相機，進行果園果樹側(cè)面果實計數(shù)；此外該文中采用的模型訓練樣本庫數(shù)量較少且僅限一個果園，在后續(xù)研究中將加入多個果園以及不同品種的蘋果樹樣本影像進行特征學習，提高模型對不同品種果實識別的泛化能力。