果園環境下采摘機器人水果目標識別的研究分析

徐曉婧 許來濤

（嘉興職業技術學院，浙江 嘉興 314000）

1 研究背景

農業是國民經濟的基礎。近幾年，我國的水果產業緊隨糧食產業和蔬菜產業之后，成為第三大種植業［1］。2018年、2019年、2020年我國的水果產量分別為2.55億t、2.62億t、2.7億t［2］。為滿足人們的日均水果攝入量需求，預計我國未來幾年的水果產量將會保持持續增長的趨勢。

與此同時，水果產業的一些問題也隨著市場競爭的加劇而日益凸顯。地段、價格已經不再是影響產業鏈的主要因素，智能化的種植、精細化運營管理成為關鍵。要滿足新時代農業發展需求，必須加快農業現代化建設，加快新技術、新產品研發。傳統行業和新技術有機結合的一個典型案例就是機器人在現代農業采摘中的應用，這對于引領傳統水果產業迅速邁向智能化、自動化和規模化發展具有重大意義。

嘉興地區很早就開始了葡萄栽培。目前，當地葡萄種植面積高達8 580 hm2，年產優質葡萄18.27萬t［3］。30多年的商品化種植使葡萄產業成了嘉興市農民增收的一條重要途徑，葡萄逐漸成了嘉興農業的一張“金名片”［4］。

葡萄果期在每年的7—9月。此時正值夏季，高溫給本就繁重的采摘分揀工作增加了難度。人工分揀既費時又費力，而且增加了果農的種植成本。提高采摘實時性和工作效率、降低生產成本的有效途徑之一是利用采摘機器人。

對于采摘機器人來說，其視覺系統對水果的識別和定位能力決定了采摘的作業效率和自動化程度，是能否準確成功采摘水果的關鍵因素。但是自然環境下，準確識別目標水果還是比較困難，很多學者都把研究目光投向這個領域。

2 國內外研究現狀和發展趨勢

20世紀70年代，水果圖像識別技術就已經開始被研究。果蔬采摘機器人的概念最早是被Schertz和Brown在20世紀70年代提出，水果檢測主要是利用果實和樹葉的電磁光譜反射；2006年，在自然環境下的葡萄識別中，Chamelat用到了顏色信息、Zemike距；2010年，Shebiah通過小波變換統計特征最小距的分類，并且融入果實的紋理和顏色，進行果實識別［5］；Berenstein等人也在同年進行葡萄識別時，用到了果實及枝葉邊緣分布的差異性；2013年，Bansal等人通過比較樹葉和果實的快速傅里葉變換獲得閾值，從而開發了一種從室外圖像中檢測綠色未成熟柑橘類水果的技術［6］；2015年，Font等人進行自適應閾值分割處理時，用到了HSV顏色空間中的H分量對圖像進行處理；Rizon等人利用隨機霍夫變換，采用紋理特征參數和形態算子結合的方式識別被遮擋的水果果實，并取得了較好的成效；2017年，Bargoti等人對蘋果進行圖像處理和分割時用到了卷積神經網絡和多尺度多層感知器兩種算法。

相比于國外，我國開展水果圖像自動識別的研究較晚。熊俊濤等人識別出荔枝的果實和枝梗時，用到Retinex算法濾除圖像噪聲，在YCbCr顏色空間中分割目標的Cr分量［7］；Feng等人提取HSI顏色空間的H分量和幅度作為融合的圖像，對果實識別具有更好的穩健性和準確性［8］；毛亮等人對荔枝進行圖像分割時，用到了HSV彩色空間中的H分量的旋轉分量［9］；孫颯爽等人通過三點定圓法來進行果實識別，這里面用到了Ncut算法和GrabCut模型提取出果實之間的遮擋區域［10］；羅陸峰等人利用改進的蟻群聚類算法，使葡萄的識別準確率達到了90.33%［11］。

目前，基于模糊聚類的分割和色彩空間的閾值分割、基于形狀模板的檢測是國內外研究者對水果目標識別的主要方法。雖然相關領域的算法已經很多，但是因為水果所處環境變化多樣，使得很多算法只適用于某個特定的環境或是某個特定類型的水果品種，其通用性較差。除此之外，果實被樹枝、樹葉或其他果實遮擋的現象普遍存在，目前常用的識別算法不能運用于所有遮擋情況，具有一定的局限性［12］。

3 擬解決的關鍵科學問題

3.1 成串綠色葡萄的特征提取

在自然環境下，對果實目標進行識別時，可根據果實顏色特征分為果實與背景顏色差異較大、果實與背景顏色相近這兩種情況。其中，在果實與背景顏色相近的情況下，僅僅依靠顏色特征難以將目標區域提取出來，并且其識別效果較差、精確度低。因此，基于顏色和紋理兩個空間角度對葡萄果實進行特征的分析和提取，能極大地提高識別率、精確度。

3.2 果園環境里的葡萄識別算法和圖像分割

目前，在對葡萄果實的圖像分割和識別中，對紫色葡萄的識別率已經在90%以上，但是對綠色葡萄的目標識別效果還不太理想。例如，僅通過顏色空間特征，利用樣本值分割圖像，對紫色葡萄的識別率較高，而綠色葡萄僅為52%。而且傳統的模糊聚類算法常帶來局部最優問題，使目標果實的識別陷入困境。因此，利用基于紋理特征的支持向量機、（SVW）基于顏色空間的Otsu閾值分割辦法和AdaBoost算法，既能加快采摘機器人識別速度，又能提高圖像分割的準確率。

4 研究內容

水果采摘機器人在進行采摘前，首先要在復雜的環境中把水果識別出來，然后再根據果實的成熟度來決定是否采摘［13］。但因為自然環境的復雜性和不確定性，以及果實受光照、枝葉等環境因素的干擾較大，使得采摘機器人對果實的目標識別成為了難題。

針對不同的水果，有的利用基于紋理、形狀的識別方法，有的利用基于色彩空間的識別算法。研究對象是綠色陽光玫瑰葡萄，其果實顏色和樹葉顏色相對接近，在一定程度上加大了果實目標識別的難度。因此，先分析果實圖像的顏色特征，采用基于Otsu閾值算法對圖像進行初步的分割；然后通過圖像紋理特征，采用支持AdaBoost算法和向量機（SVW）算法對圖像進行進一步的精細化處理，從而獲得準確的陽光玫瑰葡萄識別圖像。具體流程見圖1。基于此，此項研究包括以下兩大塊內容。

圖1 葡萄圖像分割與識別流程

一是基于顏色空間的初步檢測處理，包括顏色空間及特征分析、顏色分類提取、Otsu閾值算法進行初步分割三個方面。

二是基于紋理的精確檢測處理，包括基于LBP的支持向量機（SVM）算法、基于LBP的adaboost算法、兩種算法的精確度比較三個方面。

本項目旨在研究基于顏色及紋理兩種外在特征基礎下的圖像分割算法，分析不同算法的果實識別率及其精確度，實現在自然環境下對葡萄果實識別率達到90%以上的目標，從而為采摘機器人準確定位及實施采摘行為奠定基礎。

5 結語

2019年嘉興市優質葡萄的年產量達18.27萬t，葡萄的種植和采摘工作相比其他水果品種對勞動力的需求更大。若將采摘機器人應用于其中，能大大降低勞動強度、節約生產成本、提高生產效率，能產生很大的經濟效益。對葡萄果實的圖像分割和識別，是采摘機器人視覺系統中果實采摘點空間位置確定的基礎，直接影響采摘機器人工作的精確性和效率。

隨著不斷深度學習，傳統的圖像識別方式已經被逐漸淘汰。通過構建多層深度學習的神經網絡，模擬人類大腦的認知規律，并將其運用于農業自然環境下的果實目標識別，將會是一個非常有潛力的方向和研究重點。