機器視覺技術在水果采摘機器人中的應用*

鄭如新，孫青云，張 可，程 冬，徐 鵬

（南京林業大學機械電子工程學院，江蘇 南京 210037）

我國是一個發展中國家，同時也是一個農業大國，而農業的種植和收獲問題也一直影響著我國社會的發展。自進入21 世紀以來，隨著科技的進步及社會的發展，農業的發展方向也逐漸由人工轉為機械化，由自動化轉為人工智能化。要使農業發展逐漸智能化，需要將圖像處理技術應用到農業領域，提高農業生產效率。農業的智能化作為一個新興的發展模式，能夠提高農業生產和管理效率，減少不必要的人力、物力和財力，這其中人工智能技術發揮了至關重要的作用[1]，智能化的水果采摘機器人也應運而生。

1 機器視覺技術研究現狀

目前，我國生產了大量的林果以及農作物，如果僅靠人工采收，難以實現農業的智能化和自動化，將機器視覺技術應用到植物采摘中是非常有必要的。越來越多的機構和相關領域專家開始對農業的智能化進行研究，國內的機器人采摘技術發展迅速，但智能化采摘機器人還處于初始研究階段，且研究部門主要是各大高校和農業機械研究院[2]。

1.1 圖像的預處理

要使機械手精準采摘目標水果，就必須對目標植物進行識別操作，圖像識別是采摘的前提。圖像識別分為圖像預處理、圖像的分割和特征的識別等。

在進行圖像處理之前，還需要對圖像進行預處理，主要是為了提高圖像的質量，除去一些圖像上的噪聲以及提高圖像的清晰度等。典型的去噪的方法有均值濾波、中值濾波、維納濾波和形態學方法等。

蘇博妮等[3]先對彩色草莓圖像添加方差為0.02 的椒鹽噪聲，然后利用均值濾波、中值濾波、維納濾波分別對草莓圖像進行預處理研究，最后發現中值濾波的效果最好，對椒鹽噪聲去除得比較徹底，草莓的紋理細節清晰，圖像背景噪聲也幾乎看不出來，因而其去噪效果比均值濾波和維納濾波都好。均值濾波去噪效果比維納濾波效果稍好，但均值濾波會使草莓邊緣細節模糊。

蔣煥煜等[4]對成熟的番茄進行識別和定位，但是在經過圖像分割之后圖像中仍有許多像素以噪聲的形式存在，這些噪聲主要是背景區域的像素被認為是目標對象或是番茄部分被誤判為背景而形成的。之后利用了形態學處理方法中的開環運算，成功消除了背景中的噪聲。

李振雨等[5]研究蘋果的識別定位，為了更好地突出蘋果果實圖像，需對圖像進行直方圖均衡化的預處理，使用直方圖均衡化函數對灰度值進行調整，從而擴大前景和背景灰度的差別，以實現對比度的增強，更好地提高了圖像的質量。

上海交通大學的Zeng Q B 等[6]對重疊的植物果實提出了一種基于雙邊濾波算法的預處理方式，該算法可以很好地解決因模糊邊界而導致的邊界信息的丟失，可以有效地平滑灰度圖像，去除許多小細節，保留邊緣，從而能夠更好地對圖像進行預處理。

1.2 目標的識別與分割

圖像分割是指將圖像中具有特殊意義的不同區域劃分開來，這些區域是互不相交的，每一個區域滿足灰度、紋理、色彩等特征的某種相似性準則。圖像分割是圖像處理分析過程中的重要步驟，圖像分割的方法有基于固定閾值的圖像分割、基于區域生長的圖像分割、基于邊緣的圖像分割、基于地形地貌的圖像分割等。其中，基于固定閾值的圖像分割方法是應用得最廣泛，能夠快速地將目標圖像與背景分割開來的方法。

西安科技大學的景曉梅[7]在自然環境下對蘋果使用了三種圖像分割方法，分別是閾值法、邊緣檢測法以及K-means聚類算法，并分析了這三種方法的優缺點，最后通過實驗的比較，發現K-means 聚類算法在Lab 顏色空間模型中，可以將蘋果圖像很好地從背景中分割開，但是在光照不均勻的條件下會造成分割困難，因此，此類算法對于光照的要求很嚴格。

北京工業大學的王麗麗[8]對番茄的識別定位進行了研究，他們通過采用Otsu 算法和橢圓模板法對成熟的番茄進行圖像分割，然后選擇包含番茄彩色圖像的矩形區域，得到匹配點的三維坐標。實驗表明，該方法識別出成熟番茄的成功率為99%。

重慶理工大學的胡友呈等[9]使用一種基于區域特征的成熟柑橘果實及枝葉的分割識別方法。該方法主要使用的是支持向量機算法（Support Vector Machine,SVM）對成熟的柑橘進行了圖像分割。該方法首先分析了柑橘的顏色特征，然后利用顏色信息的映射關系，進行特征降維，減少參數數量，最后獲得最佳的圖像ROI 區域，減少搜索區域，從而提高算法的時效性。該算法對外界環境的抗干擾能力較強，穩定性較好。

1.3 圖像的特征匹配

當把圖像成功地分割出來后，就需要對圖像進行特征匹配處理。圖像的識別需要對圖像進行特征匹配，簡單地說，就是找出從一幅圖像到另一幅圖像中對應點的最佳變換位置。特征匹配方法主要分為基于灰度值相關的辦法和特征提取方法。

上海交通大學的金理鉆[10]研究了黃瓜采摘機器人，也是采用了基于紋理特征的提取方法進行特征的匹配，最后得出結論，由灰度共生矩陣能夠算出14 種紋理特征。盡管此矩陣提取的紋理特征具有不錯的分類能力，但是這么多的計算量，實際上也不可取，因此有人不斷地對其進行改進。

仲愷農業工程學院的張瑞華等[11]針對獼猴桃的識別，考慮到獼猴桃的特殊外形，采用了Hough 變換的方法對獼猴桃進行特征匹配。由于完整的一幅圖像會占據比較多的背景區域，而背景區域越多，對圖像的識別就越復雜，可以采用最小外接矩形的方法劃出圖像中的目標區域，縮小運用橢圓形擬合獼猴桃果實的處理面積，同時也提高了運行效率。

上述特征匹配方式始終存在一些缺點，在部分比較復雜的外界條件中，上述方法可能并不適用，會導致特征提取效果較差。

上海理工大學的張純純等[12]運用了基于深度學習的YOLO 算法對目標物體進行特征匹配，其結果是YOLO 算法能精準檢測出目標物體并用矩形框出。

中科院的甘露[13]運用了基于改進的多尺度融合的SSD深度學習的模型，并且實現了多尺度融合的小目標檢測算法，提升了小目標檢測的準確率。

不管是通過紋理特征和顏色特征對目標進行特征匹配，還是通過一些深度學習和卷積神經的算法改進，都是為了進行圖像的特征匹配。考慮到每一種方法都有自己的優點和缺點，因此在一些特殊的情況下可以聯合使用多種特征匹配方法，以便更好地進行圖像的特征匹配。

1.4 植物采摘的定位技術

在世界坐標系中確定水果采摘點是最后一個重要的步驟，定位的準確與否直接關系后面的采摘是否能夠成功。近年來，許多國內外學者都對植物采摘定位技術進行了研究，也取得了一些很好的成果。

定位功能模塊是使用雙目立體視覺從不同角度獲取目標的2 幅圖像，并基于視差原理獲取物體三維幾何信息，同時獲得圖像的深度信息并進行測距，得到三維坐標[14]。

攝像機獲得原始圖像信息通過一系列圖像處理過程后，可以將果實目標從背景中分割出來，進而利用雙目視覺具備檢測物體立體信息的特點計算出果實的空間位置信息。

佳木斯大學的顏申等[15]針對橘類水果進行了識別定位系統的設計，他們鑒于橘類水果的輪廓近似圓形，使用霍夫變換的圓檢測方法對目標進行識別定位，實驗結果能夠達到80%的準確率。但是，在有樹枝樹葉的遮擋或者光照不均勻的情況下，識別率只能達到60%左右。

河北農業大學的司永勝等[16]提出了利用歸一化的紅綠色差(R-G)/(R+G)分割蘋果的方法，對不同光照情況下拍攝的蘋果圖像進行識別與定位。結果顯示，該方法能夠很好地消除由于光照不均勻而產生陰影所帶來的影響，定位的準確率能夠達到92%。

浙江大學的項榮[17]在識別定位番茄的過程中采用了三類立體匹配的番茄定位方法，并進行了研究。與單純基于區域匹配的方法相比，其具有較小匹配計算量的優點。

天津理工大學的趙輝等[18]根據蘋果的空間定位提出了一種LCCP 算法，對蘋果點云進行實例化分割。實驗表明，該LCCP 算法能夠高效地對空間果實進行識別，對多果實且存在層疊遮擋的情況亦能取得不錯的效果，能夠對殘缺點云進行較為精確的擬合，以此獲取果實的形狀與位置信息。

2 機器視覺技術在水果采摘機器人中應用存在的問題

在水果采摘機器人的應用中，機器視覺扮演了舉足輕重的角色。機器視覺技術在水果采摘機器人中具有識別目標水果的外觀以及準確定位的功能，同時還能對周圍的環境進行實時勘察，但是大部分的機器都處于實驗室研究階段，目前的研究中存在的問題有以下幾點。

2.1 視覺的響應處理速度受算法影響大

水果采摘機器人主要由行走模塊、視覺模塊、控制模塊和末端執行模塊四部分組成。采摘機器人的視覺系統主要是由2個相同型號的工業相機通過連接板固定搭建而成，再配上圖像采集卡以及需要的光源設備等。水果采摘作業所需要的視覺識別、定位精度和速度要低于一般工業應用要求，因此識別和響應速率取決于算法及其程序的時間復雜度。

2.2 識別的準確率容易受到外界因素影響

在水果采摘機器人中，水果識別準確率的高低會直接影響末端執行機構的準確采摘。農業采摘機器人不同于工業機器人，農業機器人需要適應各種田間復雜的作業環境；而水果的生長是隨機的，生長的差異性也決定了水果采摘機器人識別率的高低。例如，有的水果有枝葉的遮擋，還有的水果會生長在一起，造成水果的重疊遮擋，這些都會影響水果采摘機器人的識別率。

3 結束語

綜上所述，水果采摘機器人已經得到了廣泛的運用，但是在運用的同時還存在著一些不足：

1）在針對水果植物方面的圖像處理上，有的算法在遇到重疊或者遮擋時并不能夠準確快速地分割出目標物體。同時在自然環境下，由于受到光照、噪聲等一些外界條件的影響，算法的適用性和魯棒性較差。

2）自然環境存在許多不確定因素，如光線問題、地理條件問題等，會導致水果采摘機器人對需要采摘的作物難以達到準確識別的效果。因此，要想讓視覺采摘機器人充分地運用于現實之中還有待研究。

文章根據目前水果采摘機器人存在的不足提出以下幾點建議：

1）優化視覺算法。對于長相形狀不同、品種也不相同的水果，可以從水果的形狀方面考慮優化一些識別算法。針對長相形狀比較相似但種類不同的水果，可以考慮使用顏色算法去識別，因為顏色和紋理是水果特有的特征，這樣就可以避免因形狀相似而無法識別的問題。

2）改善機器人的作業環境。水果采摘機器人大多是在田間工作，而田間的作業環境都是屬于非結構化環境，因此在種植水果時可以考慮加入一些科學化的、規范化的種植方式，使水果可以生長得比較均勻，這樣就會降低圖像處理的難度。