基于深度學習的地面蘋果識別與計數

荊偉斌 胡海棠 程成 李存軍 競霞 郭治軍

摘要： 在農業保險中，蘋果園受災理賠需要通過快速準確的落果計數進行定損，然而自然場景的復雜性、落果的分布狀態、采集員的身高、拍照習慣等環境因素和人為因素影響了基于影像的落果識別與計數的準確性和可靠性。通過獲取不同落果背景、光照度、落果分布密集度、拍攝高度和拍攝距離等條件下地面的蘋果影像，采用基于深度學習的更快速的區域卷積神經網絡（faster region convolutional neural networks，Faster-RCNN）模型進行地面蘋果檢測的方法，與傳統方法Hough變換和分水嶺算法進行對比。結果表明，Faster-RCNN模型的平均識別精度達到95.53%，明顯優于傳統的地面蘋果提取方法;在弱光、落果分布密集、拍攝距離較遠等不理想的條件下，識別精度也達到90%以上，有較好的穩定性。基于深度學習的地面蘋果識別與計數方法，有望為提高農業果品保險定損的精度與效率提供重要的技術參考。

關鍵詞： 深度學習;蘋果;識別;地面蘋果數量;農業保險

中圖分類號：TP391.41? 文獻標志碼： A

文章編號：1002-1302（2020）05-0210-09

我國蘋果的總產量在2017年已經達到4 139萬t，并且目前我國是世界上蘋果種植面積最大、產量最高的國家[1-2]。以室外種植為主的蘋果易受大風、冰雹、大雨等各種不可抗拒的天氣影響而受災，且災害存在區域性，同一地區、同一時間、同一災種會造成多個果園受災的現象，其受災的嚴重度直接關系到蘋果的產量和農民的收入。蘋果損失承保是農業保險的重要內容之一，如果受損后果農報案，保險公司保險員須在2～3 d內對多家受災果園進行受災狀況分析。保險人員在保險理賠時需要及時、快速、準確地監測蘋果損失并對落果進行計數，由于時間緊、工作量大、工作強度高，通常沒有足夠的時間對果園的受災狀況作出詳細統計，導致果農的預期與保險公司估算后的定損理賠意見不統一。目前，通常只能通過談判進行定損，往往存在損失虛高的問題。用相機、手機拍攝落果影像結合落果自動計數技術，有望提高保險人員的調查速度，并提供評判與核實損失的依據。在用影像進行果實識別與數量統計的過程中，顏色、紋理、輪廓等特征被用以區別果實、樹葉、土壤背景等。李莎等使用了單個或多個特征進行果實的自動提取[3-13]，盡可能利用顏色、紋理、形狀等特征及支持向量機等高級分類方法，但是由于背景環境的復雜性和多樣性、果實的成熟狀態不同、拍攝的時間、拍攝位置及高度等多種因素的影響，使得用模型學習的果實特征應用條件嚴格，在新的場景中應用的擴展性和識別精度不高，從而造成人工地面采集影像的落果檢測成為重要難題。

近年來，隨著人工智能的發展，深度學習在各個領域的深入應用成為重要的發展趨勢[14-26]。卷積神經網絡具有高級的語義表達能力，能自學習顏色、紋理、形狀等淺層特征和深層特征，圖像的特征表達能力強，并且具有良好的魯棒性和泛化性。在深度學習研究中，目標檢測的應用較為廣泛，以快速的區域卷積神經網絡（faster region convolutional neural networks，簡稱Faster-RCNN）[14]和YOLO（you only look once）[15]為主。研究發現，Faster-RCNN更適用于中小目標物的檢測。Ren等在 Fast-RCNN的基礎上加以改進，研究出更優的目標檢測模型Faster-RCNN[16]。熊俊濤等基于 Faster-RCNN 對樹上的綠色柑橘進行檢測，在測試數據集上的平均檢測精度達到了85.5%[20]。Bargoti等利用地面車輛對蘋果樹進行側面影像采集，并采用卷積神經網絡對蘋果樹進行檢測，檢測精度達到了86.1%[24]。國內外研究者基于深度學習在果實檢測中的應用[20-26]，以及Faster-RCNN在目標檢測任務中快速高效的特點和小目標檢測中的優勢[14-16]，為地面蘋果的識別與計數提供了理論依據和技術支撐。然而，目前由于不同光照、背景等環境的影響與拍攝高度、拍攝距離等人為因素的影響，對基于深度學習的地面蘋果識別的精度和穩定性帶來挑戰。

本研究面向蘋果農業保險中地面蘋果理賠的快速識別和計數的需求，針對不同光照度、多種土壤背景、果實表面顏色分布不均勻、影像果實相對尺寸較小等問題，獲取復雜自然場景下的地面蘋果影像，引入深度學習的方法學習不同地面蘋果的特征，提取圖片中目標物的一些隱藏像元信息進行果實識別，旨在提出1種基于Faster-RCNN對原始影像中的地面蘋果進行提取計數的方法，并與傳統的果實識別方法進行對比分析。

1 材料與方法

1.1 試驗設計與地面蘋果影像的獲取

在本試驗中，為了確保所獲得的影像數據信息豐富，涵蓋人為因素及環境因素等影響因素，主要針對以下5種因素進行地面蘋果影像的收集：地面果實背景、光照度、地面蘋果分布密集程度、拍攝高度、拍攝距離。設置這些因素的原因是農業保險公司在蘋果園受災并接到報案后需要勘察和定損理賠，通常會安排保險員在果園進行實地拍照。拍攝地面蘋果會受到地面蘋果環境的多樣性、地面蘋果的分布密集程度差異、不同保險員的身高、多個保險員的拍照習慣差異以及拍照時的光照度變化等影響，這些都對落果影像的自動計數提出了挑戰。本研究通過模擬試驗獲取如下多種復雜場景下的蘋果落果圖片：

（1）地面果實背景。在地面蘋果的分布環境中，由于不同地區的施肥環境、除草劑噴灑強度及灌溉條件等多種因素的影響，果園內會出現青草、枯草及雜草比較茂密的情況，導致果實與背景之間的對比度存在多樣性特征。

（2）光照度。在保險員拍照時，由于樹木陰影等因素的影響，果實的受光環境會有所不同，光照因素的影響會導致果實表面顏色分布不均勻，造成照片中果實的色調、飽和度和對比度不同。

（3）落果分布的密集程度。在果園受災后，由于不同區域果樹的受災程度不同，會出現不同程度的落果現象，地面會出現多個果實聚集成簇的現象，果實呈現點狀、面狀等多種分布方式，導致果實輪廓邊緣出現粘連及遮擋等現象。

（4）拍攝高度。由于保險員之間的身高有一定的差異，且拍照習慣有所不同，會導致所拍攝影像的角度多樣化，影像中果實之間存在不同程度的遮擋，輪廓信息會出現不同程度的缺失。

（5）拍攝距離。在地面蘋果影像中，由于保險員的拍攝距離不同，不同的影像景深導致果實在影像中的比例不同，景深嚴重的區域會出現果實輪廓虛化和果實顏色不豐富等現象。

在模擬果園落果環境的試驗中，本研究針對上述5種場景，采用智能手機拍攝的方式進行試驗數據的采集（圖1）。圖1-a為在不同光照環境下，影像采集員在同一天的不同時間段內（13：00—14：00為強光照，16：00—17：00為弱光照）采集的不同光照條件下的地面蘋果影像。圖1-b中，影像采集員選取枯草、青草、茂密的雜草作為落果背景環境。圖1-c在模擬果園受災后不同程度的落果現象試驗中，影像采集員對不同密集程度的地面蘋果進行拍照（當出現3個以上果實聚集為多個簇時，將其定義為落果密集;當出現3個或者3個以下果實聚集為單個簇時，將其定義為落果稀疏）。圖1-d中，在模擬不同拍攝高度的影響時，影像采集員選取不同的拍攝角度進行拍攝，主要選取站立拍攝、蹲伏拍攝2種拍攝手段。圖1-e表示在多種環境下，拍攝者采用不同的拍攝距離采集得到的影像。

1.2 地面蘋果影像的提取方法

本研究主要采用分水嶺算法、Hough變換圓檢測和深度學習模型3種方法對地面蘋果影像進行提取，并進行對比研究，具體流程如圖2所示。

1.2.1 Faster-RCNN深度學習網絡模型 深度學習訓練樣本庫主要參考VOC 2007數據集建立，將單張影像大小固定為500×375像素，圖片格式為JPG。數據集分為訓練數據集和測試數據集，共有 1 140 張影像。其中，訓練數據集影像共計920張，包括多種環境因素影響下的果實數據。在制作標簽的過程中，用LabelImg軟件對地面果實進行人工標注。

本研究采用Faster-RCNN對地面蘋果進行提取。Faster-RCNN是基于RCNN和Fast-RCNN模型改進的1種目標檢測模型，舍棄了Selective Search（選擇性搜索）方法的提取建議框，采用共享卷積網絡生成建議區域（region proposalnetwork，簡稱RPN）。Faster-RCNN模型共有5個部分構成，分別是特征提取層、RPN建議層、Proposal層、Roi Pooling層、Softmax分類層（圖3）。其中，RPN網絡是在卷積神經網絡提取的feature maps（特征圖層）上進行操作的，通過獲取目標物特征圖片中的地面位置，并在每張圖片上生成300個建議框，映射到卷積神經網絡最后1層輸出的feature maps上，其生成的建議框質量高、數量少，并且借助于GPU（圖形處理器）強大的圖片計算能力，極大地提高了目標檢測的速度。

在深度學習模型訓練中，筆者將采集的地面蘋果訓練數據集輸入到Faster-RCNN模型中，先經過卷積網絡進行特征圖片的提取，再由RPN網絡產生建議區域，用于果實特征的學習，然后由Roi Pooling層根據多個果實大小固定所需的建議框尺寸，最后由Faster-RCNN有選擇性地對建議區域進行學習并完成目標分類檢測工作。

在本試驗中，電腦硬件配置Intel酷睿i7處理器，搭載NVIDIA GeForce GTX1080ti顯卡，內存為12 Gb，并在Ubuntu 14.04系統環境下，搭建Caffe框架。在模型訓練過程中，選用大型的VGG16作為特征圖片提取網絡，VGG16相比于ZFNet和VGG_1024具有更深的網絡，提取目標的顯著特征更具有優勢[27]。VGG16是由13層卷積層、13層Relu激活函數和4層池化層組成的深度網絡，網絡的深度決定了它能夠學習圖片中的多種深層次信息。本試驗中的部分網絡結構參數見表1。

1.2.2 分水嶺算法和Hough（霍夫）變換方法 傳統的果實檢測方法主要是基于顏色空間和輪廓信息進行果實提取[2-6]。顏色空間是人的視覺系統直觀判斷目標物類型的基礎，輪廓信息是我們對顏色空間篩選出的目標物大小、種類的更加準確的判斷，兩者相輔相成。

基于顏色空間的檢測，果實顏色和紋理與背景環境具有較大差異，而分水嶺算法[28]在分割目標物與背景中具有一定優勢，因此本研究基于顏色空間，選用分水嶺算法對地面果實進行分割提取。由于果實主要以近圓形形態為主，明顯區別于地面的其他物體，而Hough變換在幾何特征突出的物體檢測中具有一定優勢[29]，所以本研究采用基于輪廓信息的Hough變換圓提取的方法進行地面果實的提取。

1.3 地面蘋果識別精度的評價

本試驗共選取220個測試數據集，分為5大類，共計11組數據，涵蓋多種落果背景信息、不同光照度、果實分布密集與否、拍攝高度和拍攝距離等信息。其中單個測試數據中的蘋果數量分別為10、12、20、35個，落果數量共計5 065個。

在地面蘋果提取試驗中，為了評估深度學習對原始影像中地面蘋果檢測的優勢和有效性，統一采用原始影像進行地面果實的提取，并通過目視解譯的方式判斷影像中果實的實際數量，以識別精度（P）、實際識別精度（Pτ）、均方誤差（MSE）作為評判依據，計算公式如下：

P=∑Ni=1 Di Ti ;? ?（1）

Pt= 1 N? ∑Ni=1 Di-FDi Ti? ;? （2）

MSE= 1 N? ∑Ni=1 FDi+LDi Ti 。? （3）

式中：N為圖片數量;FDi（falsedetection）為第i張圖片中將其他目標錯誤識別為蘋果的數量，個;LDi（leak detection）為第i張圖片中未檢測到的落果數量（個）;Di（detection）為第i張圖片中模型識別的落果數（個）;Ti為第i張圖片中實際的落果數量（個）。

2 結果與分析

2.1 3種方法對落果的識別結果

在本試驗中，針對落果背景、光照度、落果分布密集與否、拍攝高度和拍攝距離等5種因素，采用Faster-RCNN法、分水嶺法、Hough變換法等3種方法對地面蘋果的落果進行提取。結合表2、圖4的數據，對3種方法的識別結果進行對比可知，在多種復雜環境因素和人為因素影響下，深度學習Faster-RCNN模型在地面蘋果數量提取中的識別精度達到95%，識別精度明顯高于分水嶺算法和Hough變換圓提取法;在單張影像的識別時間上，深度學習所需時間約為0.95 s，而用傳統方法識別則需要 2～3 s，識別效率得到明顯提升。

由表2、圖4還可以看出，Faster-RCNN模型具有較大的優勢，并且識別誤差較小。其中，在用分水嶺算法和Hough變換方法識別果實的過程中，原始影像未經過預處理（如去除果實表面陰影[30]、削減果實粘連[31]等），提取結果精度較低，而Faster-RCNN模型的圖像同樣沒有經過預處理，但精度較高。已有研究表明，在經過預處理后的影像中，分水嶺算法對桃的識別精度可達88.3%[8];Hough變換方法對番茄的識別精度可達77.6%[32]。

可以看出，傳統的地面蘋果檢測結果與深度學習的識別結果差異較大。當拍攝高度較高、近景拍攝、果實分布稀疏且果實顏色信息突出時，傳統方法能夠準確地分割果實與背景，并進行果實標注，識別速度快、精度高，與深度學習的識別結果相當。但在多個果實聚集、光照分布不均勻、處于樹木陰影區及遠景拍攝的情況下，傳統的果實識別方法存在部分果實無法識別、精度較低的現象，然而深度學習法在這些情況下都能夠準確地識別各個果實，并進行果實標注，單個果實的識別率均高于80%，穩定性高。試驗結果表明，在未經預處理的原始圖像中，在背景因素、人為因素等多種因素的影響下，深度學習的識別結果均明顯優于傳統的識別結果（圖5）。

在多個果實聚集區域，由于果實之間出現粘連，果實之間的顏色信息出現混合，分水嶺算法難以對多個果實進行分割，導致出現漏判的現象;在影像中落果分布較遠的區域以及多個果實密集分布的區域，由于果實輪廓虛化、果實輪廓信息交錯及背景因素的影響，導致Hough變換圓檢測方法的識別結果較差。在光照分布不均勻的區域和樹木陰影區域，果實表面的顏色亮度出現變化，部分果實的輪廓出現虛化現象，并且傳統的影像處理方法難以有效去除光照、陰影等因素的影響，導致果實的識別精度較低。

2.2 Faster-RCNN復雜場景下地面蘋果的計數

本研究通過調整參數，選出最合適的參數對模型進行訓練，并用訓練后的模型對測試數據集進行檢驗。圖6包括強光照射條件下、雜草背景下、裸土背景下及不同拍攝高度和距離條件下果實的檢測結果。Faster -RCNN可以精準地提取出圖片中每個蘋果的影像，并且每張圖片被判斷為蘋果的概率均在95%以上，具有較高的識別率。

由表3可以看出， 不同條件下深度學習模型對地面蘋果識別精度的排序如下：青草>茂密雜草>枯草;強光照>弱光照;落果分散>落果集中;拍攝高度低<拍攝高度高;拍攝距離近>拍攝距離遠。其中，青草背景下強光照、近距離拍攝、拍攝高度較高的落果較為分散時的識別和計數精度最高。

具體分析得出：（1）在青草背景環境中，由于果實與背景的顏色、紋理差異比較明顯，所以蘋果的識別精度明顯高于枯草背景、茂密雜草背景，并且漏判數也最低。（2）在強光照條件下，由于光照度的影響，果實顏色、表面紋理信息與背景相比具有明顯的差異，果實信息突出，所以識別率高于弱光條件下的識別率，并且識別誤差也低于弱光條件下的識別誤差。（3）落果分布密集會造成果實之間的距離近，并且具有不同程度的遮擋，從而增加了落果的識別難度，所以分布稀疏的落果識別精度比分布密集的識別精度高3.4%。（4）拍攝高度較低導致地面蘋果之間產生不同程度的遮擋，由于拍攝高度高時，蘋果之間的遮擋小，并且多數落果具有完整的輪廓信息，所以識別精度比蹲伏拍攝的識別精度高4.1%;當拍攝距離較低時，果實的漏判率相對較高，達到7.7%。（5）由于拍攝距離的影響，蘋果在影像中的大小也發生明顯變化，當拍攝距離較近時，果實的顏色、紋理、輪廓等信息比較完整，并且果實影像占像元的比例相對較高;當拍攝距離較遠時，果實影像占像元的比例較低，并且由于背景信息和圖片本身像素信息等因素的影響，增加了地面蘋果的識別難度，易發生漏判、誤判的情況，當拍攝距離較遠時，漏判、誤判的數量最多，總占比達到9.6%。

3 討論

通過對比3種方法在復雜場景下對蘋果影像的提取過程與結果發現，在復雜背景環境中，傳統的方法識別精度低，主要原因一方面是未對原始影像進行預處理，另一方面可能是場景較復雜，難以滿足地面蘋果識別任務的需求，并且在識別過程中需要不斷調整參數，影像處理過程比較繁瑣。由于環境的復雜性和多樣性影響，在批量識別測試樣本中的落果時，傳統方法難以滿足各個影像所需的處理需求（去光、去噪等），導致識別困難、精度低。而傳統的識別檢測方法對原始圖像處理較多，可能引起影像中的像素信息丟失，對落果識別也有一定程度的影響。深度學習Faster-RCNN模型，在人工建立的訓練樣本基礎上進行背景與果實特征學習，能夠得到不同姿態下的果實信息及不同的背景信息。利用卷積核滑動的方式處理單張影像，能夠得到果實與背景之間的關聯信息及果實與背景之間像元信息的差異，具有良好的泛化能力，檢測結果的平均精度達到95%，單張影像對地面蘋果的檢測速度達到0.95 s/張，能夠滿足及時反饋處理結果的需求。通過對比Faster-RCNN在不同背景環境下的識別結果可以發現，果實輪廓信息的完整性和顏色的豐富性是使識別結果發生浮動的重要原因。在拍攝高度低、拍攝距離遠及落果分布密集的條件下，由于枝葉遮擋、果實間互相遮擋、目標物相對較小等因素的影響，導致果實輪廓信息不完整，因此果實的識別精度較低;在弱光背景和拍攝距離遠的環境下，由于果實的顏色信息不突出，使得識別結果的精度低于平均識別精度。

綜上所述，深度學習的檢測精度優于傳統方法的檢測精度，適用于地面蘋果的單果檢測、多果檢測及數量統計，但是深度學習模型的檢測精度也受到多種環境因素和人為因素的影響。深度學習模型的精度受限于人為拍攝單張影像的質量及樣本庫的數量，由于訓練樣本集以單一類別的樣本庫為主，地物類別信息匱乏，導致模型訓練所得先驗知識不足，因此在部分環境下存在漏判、誤判的現象。在今后的研究工作中，影像采集員應在拍攝環境光照充足、拍攝角度高等條件下采集影像，并將人工補光及拍攝支架作為重要的輔助手段，確保樣本庫影像的質量;在建立數據庫樣本時，應豐富果園地物類別信息，建立地物類別多樣性、環境多樣性、果實姿態多樣性樣本庫;將完善的樣本庫應用于深度學習網絡模型中，并將網絡模型訓練所得結果應用于真實果園的落果檢測中，有望為提高農業果品定損、地面落果數量統計提供一定的技術參考，增強農業果品定損的公正性和科學性。

4 結論

在蘋果災損評估工作中，地面蘋果是否得到準確識別與統計是確保保險理賠是否合理的重要依據。本研究對比了深度學習Faster-RCNN模型和傳統方法對地面蘋果進行檢測計數的效果，得出以下結論：（1）在多種落果環境中，在多種復雜場景下地面蘋果檢測任務中，Faster-RCNN對地面蘋果的平均識別精度達到95%以上，精度高于傳統方法，更適合復雜場景地面蘋果的提取;（2）在大樣本數據處理中，深度學習批量處理影像的能力優于傳統方法，具有較強的魯棒性和泛化性，多個場景下的識別精度均高于90%，深度學習模型對單張影像的處理速度優于傳統的地面蘋果提取方法，從而為農業果品保險中地面蘋果的數量統計提供了一定的技術參考。

參考文獻：

[1]國家統計局.中國統計年鑒[M]. 北京：中國統計出版社，2017.

[2]李云國，蔡兆翔，馬 靜，等. 昭通高原蘋果產業發展現狀及可持續發展對策研究[J]. 云南農業大學學報（社會科學版），2015，9（5）：69-73.

[3]李 莎，錢建平，趙春江，等. 不同顏色模型識別成熟蘋果圖像的比較分析[J]. 計算機工程與設計，2015，36（6）：1545-1550.

[4]Guo A X，Zou X J，Zhu M S，et al. Color feature analysis and recognition for litchi fruits and their main fruit bearing branch based on exploratory analysis[J]. Transactions of the Chinese Society of Agricultural Engineering，2013，29（4）：191-198.

[5]馬正華，呂小俊，徐黎明，等. 近色背景果實識別的多源圖像配準[J]. 計算機工程與設計，2018，39 （11）：3494-3499.

[6]許 凱. 基于圖像識別的蘋果果實檢測技術[J]. 實驗室研究與探索，2016，35（10）：36-39.

[7]陳禮鵬，穆龍濤，劉浩洲，等. 基于獼猴桃果萼圖像的多目標果實識別方法[J]. 計算機工程與設計，2018，39（6）：1738-1744.

[8]黃小玉，李光林，馬 馳，等. 基于改進判別區域特征融合算法的近色背景綠色桃子識別[J]. 農業工程學報，2018，34（23）：142-148.

[9]Jun L，Suk L W，Hao G，et al. Immature citrus fruit detection based on local binary pattern feature and hierarchical contour analysis[J]. Biosystems Engineering，2018，171：78-90.

[10]Thendral R，Suhasini A，Senthil N. A comparative analysis of edge and color based segmentation for orange fruit recognition[C]//IEEE. International Conference on Communications & Signal Processing，2014：463-466.

[11]Zawbaa H M，Abbass M，Hazman M，et al. Automatic fruit image recognition system based on shape and color features[C]// International Conference on Advanced Machine Learning Technologies and Applications. Springer，Cham，2014：278-290.

[12]García-Lamont F，Cervantes J，Ruiz S，et al. Color characterization comparison for machine vision-based fruit recognition[C]//International Conference on Intelligent Computing. Springer，Cham，2015：258-270.

[13]Jana S，Basak S，Parekh R. Automatic fruit recognition from natural images using color and texture features[C]// IEEE. 2017 Devices for Integrated Circuit，2017：620-624.