采摘機器人分割與識別算法的研究現狀

李天華，孫萌，婁偉，2，張觀山，2，李玉華，2，李欽正

（1.山東農業大學機械與電子工程學院，山東 泰安 271018；2.山東省農業裝備智能化工程實驗室，山東 泰安 271018；3.農業部黃淮海設施農業工程科學觀測實驗站，山東 泰安 271018）

采摘是果蔬生產的重要環節之一，需要消耗大量的人力、物力。隨著生活水平的提高，人們對果蔬的需求量逐年上升，而與之相對的是勞動力嚴重缺乏的問題。根據測算，我國自2000年開始逐漸進入人口老齡化階段，老齡化趨勢日益嚴重，預計到2025年人口老齡化率達到14%，進入深度老齡化社會階段，到2035年達到21%，進入超級老齡化社會階段［1］；另外，隨著農村人口逐漸向城市流動等問題，農村勞動力流失嚴重，勞動成本不斷提高。因此，實現智能化采摘對于我國果蔬產業可持續發展尤為迫切，采摘機器人的研發成為當前研究的熱點。對于采摘機器人來說，要準確高效地完成目標果實的采摘，識別是關鍵，直接影響采摘的效率和精度。

人類對于采摘機器人識別技術的研究從很早就已經開始了，1968年Schertz和Brown［2］就將機器視覺引入到了果實的識別中，1977年Parrish等［3］建立了第一個用于識別蘋果的視覺系統。近年來有關分割識別算法的研究也有很多，這對于提升采摘機器人的識別準確性具有重要意義。但實際生產應用的采摘環境復雜，影響識別準確性的因素較多，如何精準識別目標果實仍是目前亟待解決的問題，這使得采摘機器人仍難以廣泛應用到實際采摘中。本文綜述了近年來用于采摘機器人的分割識別算法，分析了目前仍面臨的問題與挑戰，并對未來分割識別算法的發展趨勢進行了展望。

1 基于特征的識別

通常我們在分辨一個物體是不是需要的目標時，先會利用其顏色、形狀以及紋理等特征進行直觀判斷。因此，在設計采摘機器人對目標進行識別時，最直接的方式就是對目標特征進行匹配，其中最常用的是基于顏色和形狀特征的分割識別算法。

1.1 基于顏色特征的分割識別算法

如果目標果實自身的顏色與背景相差較大，顏色就是區分目標與復雜自然背景最突出的特征之一，利用該特征，選用合適的顏色空間，就可從圖像中提取出目標果實區域。

常用的基礎顏色空間有RGB、HIS、Lab、YIQ、YUV、HSV等，選擇或構造能使目標果實與背景顏色差異明顯的顏色通道，就可以有效地分割出圖像中的目標果實區域［4］。如Thendral等［5］基于YIQ、Lab等顏色空間對目標果實進行了分割與識別；Feng等［6］基于HIS顏色空間對圖像進行了識別；王曉楠等［7］基于HIS色彩模型對圖像進行了分割識別；Malik等［8］基于改進的HSV將紅色番茄從背景中識別出來；Ling等［9］通過對RGB圖像進行顏色分析，結合分類器實現了番茄的檢測識別。

由于基礎的顏色空間對某些目標的識別效果會受到光照環境的影響，為了降低這種影響，改善識別效果，有些學者通過對顏色通道進行加權運算或組合等處理，突出需要識別的目標，從而提高識別精度。如Zhou等［10］提出了一種基于色差R-B和G-R的蘋果識別算法，用R-B＞40識別偏綠的蘋果，R-G＞0識別紅色的蘋果；麥春艷等［11］利用色差R-G將目標蘋果圖像從背景中識別出來；董建民等［12］通過融合HSI顏色空間和Lab顏色空間的分割結果完成對番茄的識別。

通過顏色特征直接分割識別自身顏色與背景差異較大的目標果實，只需按照基礎顏色空間中的顏色通道進行分割，不需要經過建模等過程就可以達到較好識別效果，具有運行速度快、準確度和實時性較高等特點。而對于一些在單一基礎顏色空間中無法達到較好識別效果的目標，可以通過對顏色通道進行組合等處理獲得較好地識別效果，但不同顏色通道的組合過程比較困難，且適用的目標有限。

1.2 基于形狀特征的分割識別算法

形狀也是識別果實的重要特征性狀，因此利用形狀特征對采摘目標進行分割識別可行。常用的分割識別算法有三種：基于曲率的算法、基于邊緣信息的邊緣檢測、基于任意規則幾何形狀的霍夫變換。

對于輪廓為弧形的果實，如柑橘、番茄等，可以通過曲率信息或直接利用圓形特征對目標進行識別。Xiang等［13］基于邊緣曲率分析與圓回歸相結合的方法實現了對相互粘附的番茄的識別。Si等［14］基于隨機環法（RRM）從輪廓圖像中提取果形特征。孫建桐等［15］以串收番茄為研究對象，在圖像預處理的基礎上，提出一種基于幾何形態學和迭代隨機圓相結合的目標提取算法。劉妤等［16］通過一種基于輪廓曲率和距離分析的分割方法，實現了重疊柑橘的識別。

當目標與背景的亮度差異較明顯時，邊緣信息也可作為圖像分割識別的基本特征之一。常用的邊緣檢測算子主要有Canny算子、Prewitt算子等［4］。Fu等［17］采用Canny算子等傳統的圖像處理方法實現了目標果實的檢測。劉現等［18］基于Canny邊緣算子對福橘進行檢測，提升了福橘智能分選的效率。陳禮鵬等［19］通過對去除了小面積區域后的圖像進行Prewitt算子邊緣檢測，完成了對多目標獼猴桃果實的識別分割。

此外，對于規則幾何形狀果實還有一種常用的算法——霍夫變換檢測，其通過線條特征來判別形狀的種類，可檢測任意給定的幾何形狀，通常與邊緣檢測算子一起使用。周文靜等［20］利用圓形Hough變換（CHT）對葡萄果粒進行了識別；Gongal等［21］使用圓形Hough變換對圖像中的蘋果目標進行了分割識別。當采摘點為果實的果梗部分時，霍夫變換也可用來定位采摘點。如熊俊濤等［22］利用霍夫直線擬合結合角度約束法找到主穗梗所對應的直線，并將直線的中點確認為采摘點，實現了擾動葡萄采摘點的定位。

基于果實形狀特征的分割識別算法應用廣泛，此處比較了三類常用算法的優缺點，如表1所示。

表1 基于形狀特征的常用分割識別算法的優缺點

2 基于像素的識別

基于像素對圖像進行處理也可以實現對目標物的分割識別。一般需將采集的原始圖轉換成灰度圖，即對像素值進行0或1轉換形成二值化圖像，此時的灰度值即為像素值。常用的基于像素的分割識別方法有閾值分割法、區域生長法以及歸一化識別算法。

2.1 基于閾值的分割識別算法

對于目標和背景占據不同灰度級范圍的圖像，可以使用閾值分割算法，包括固定閾值分割和動態閾值分割兩種方法。閾值分割只適用于灰度圖，因此需要先對采集的圖像進行灰度處理。Xu等［23］利用HSV顏色信息識別目標草莓，并通過固定閾值實現了草莓圖像的分割。

動態閾值分割法中最常用的是最大類間方差算法（Otsu），其通過計算方差尋找灰度級，將圖像分成兩個部分，使得同部分間的灰度值差異最小，而不同部分間的灰度值差異最大，從而實現目標的分割。Lü等［24］利用Otsu對蘋果圖像進行了分割識別。Dai等［25］在進行了2R-GB色差法灰度值變換后，采用自適應閾值Otsu算法對圖像進行了分割。梁喜鳳等［26］通過對R-G直方圖采用Otsu進行動態閾值分割，實現了對目標果實串的分割。王冰心等［27］通過Otsu動態閾值分割法對果實簇區域進行了分割識別。齊銳麗等［28］通過HSV空間的H分量與改進的Otsu算法相結合的方式，實現了花椒圖像的分割。

固定閾值分割算法的處理速度快，實時性較好，但其對于光照變化的適應能力有限，而大多數采摘機器人的工作環境較為復雜，外界光照條件變化較多，因此固定閾值算法的分割效果往往欠佳。而動態閾值分割法的閾值是通過計算得出的，會隨著光照的變換而動態計算合適的閾值，受亮度等的影響較小，適用范圍更加廣泛。張日升等［29］在利用閾值分割法對滸苔進行識別時發現，固定閾值法的分割精度較低，而Otsu的分割效果較好（圖1）。

圖1 滸苔圖像的固定閾值分割與Otsu分割效果對比

2.2 基于歸一化法的識別算法

歸一化互相關匹配（NCC）是基于灰度特征的匹配方法中比較經典的算法，其基本原理是將模板圖像與待搜索圖像的灰度矩陣進行比較，得到相關性最高的匹配位置。歸一化互相關匹配算法具有較好的魯棒性和很高的匹配精度，但是計算量很大，不能滿足實時性要求較高的系統［30］。因此在實際應用于采摘機器人時，通常要根據采摘需求對NCC進行改進。趙德安等［31］通過對圖像進行快速歸一化匹配，實現了對重疊果實的跟蹤識別。Li等［32］利用基于快速歸一化互相關的方法，利用室外采集的彩色圖像對未成熟的綠色柑橘進行了識別。李寒等［33］利用快速歸一化互相關函數算法對綠熟番茄果實的潛在區域進行檢測，實現了對目標果實的識別。呂繼東等［34，35］采用Fast Inverse Square Root算法和快速哈特萊變換對去均值的歸一化相關匹配算法進行加速優化，并用于識別目標果實，減少了振蕩果實動態識別的匹配識別時間。

改進后的歸一化算法運行速度有所提高，而且對于采集目標發生的較小的移動或旋轉，以及光照變化帶來的色差等問題適應能力較強，通常用于振蕩幅度較小時的目標果實識別。

2.3 基于區域生長的分割識別算法

區域生長法是基于像素進行處理的方法，通過將具有相似屬性如強度、灰度級、紋理顏色等的相鄰像素合并到同一區域，實現成組像素或區域的增長，從而完成目標的識別。Tao等［36］將區域生長方法與RGB顏色相結合，實現了目標蘋果從背景中的識別。滕大偉等［37］把圖像用G-B顏色因子處理后，結合區域生長算法實現了圖像的分割。盧夏衍等［38］通過多算法混合的區域生長算法實現了溫室幼苗圖像的分割。Sun等［39］使用區域生長法對葉子病變的區域進行了分割。

區域生長法能將具有相同特征的聯通區域分割出來，可以提供很好的邊界信息和分割結果。但計算較為復雜，實時性較差，而且對于陰影、光斑處的分割識別效果不是很好。因此，基于區域生長法的不足，有的學者對其進行了改進，以改善分割識別的效果。韓紀普等［40］基于超像素對區域生長算法進行了改進，使其能夠在一定程度上解決分割空洞等問題。

3 基于機器學習的識別

機器學習作為實現智能化的關鍵技術之一，近年來被廣泛應用于采摘機器人的視覺識別中，可分為無監督學習和有監督學習。機器學習在采摘機器人中較常應用的方法是聚類和深度學習。

3.1 基于聚類的分割識別算法

聚類是一種無監督學習方式，只需要通過計算相似度把相似的東西分為一類，而不需要具體分析這一類是什么，通常不需要使用訓練數據進行學習。根據聚類方式的不同，產生了許多聚類算法，本文對較常用的K均值聚類（K-means）和模糊C均值聚類（FCM）進行闡述。

K-means是基于劃分的聚類方式，通過選擇K個點作為初始中心點，然后對其他點進行迭代重置，最后劃分成幾類，使得類內的點都足夠近，類間的點都足夠遠，最終實現識別。Jiao［41］與吳雪梅［42］等通過對Lab顏色空間處理后的圖像進行K-means聚類，分別實現了目標蘋果與茶葉嫩芽的分割識別。羅陸鋒等［43］利用HSV顏色空間和改進的K-means聚類方法，對葡萄圖像進行了分割。楊帆等［44］將K-means聚類算法與Canny邊緣檢測算法相結合，實現了遮擋或重疊橘子的分割識別。Niu等［45］將K-means聚類算法與凸殼理論相結合，實現了對目標蘋果的分割識別。

FCM是一種基于模糊劃分的聚類方式，通過判斷每個點的隸屬度來進行聚類。王富春等［46］提出了一種基于FCM的目標識別方法，通過利用FCM對圖像進行模糊聚類，并對聚類后的果實圖像與丟失的部分目標圖像進行相加，完成了番茄的識別分割。熊俊濤等［1］利用FCM算法分別與一維隨機信號直方圖分析法［47］、Hough變換直線擬合［48］以及Otsu［49，50］相結合，實現了荔枝果實的分割與識別。Yang等［51］基于HSV色彩空間結合基于S分量的快速FCM算法，將白菊花從背景中分割識別出來。

分別用K-means與FCM算法對同一張圖片進行處理，其顯示的二值化圖像如圖2所示。通過對兩種聚類方法優缺點的比較（表2），可以看出，K-means聚類處理數據的速度快，在圖像識別過程中有較好的實時性，但其抗干擾能力較差，且對于K值的選取較為困難；而FCM識別的結果更加合理，但計算量較大，識別速度不如Kmeans聚類快。

圖2 K-means與FCM處理圖片效果對比

表2 K-means與FCM聚類方法比較

3.2 基于深度學習的分割識別算法

深度學習作為近些年快速發展的技術，逐漸被廣泛應用于采摘機器人分割識別圖像，其主要通過神經網絡對大量目標圖像的數據集進行訓練，從而實現目標果實的分割識別。用于圖像識別的神經網絡有很多，其中最常用的是YOLO系列和R-CNN及其衍生網絡。閆建偉等［52］提出了一種基于Faster RCNN改進的網絡，實現了自然環境下刺梨果實的識別。張袁熙［53］利用Mask-RCNN與Kinect V2相機實現了果園中蘋果的分割識別。趙德安等［54］用YOLO v3神經網絡實現了復雜環境下蘋果的識別。熊俊濤等［55］基于改進的YOLO v3網絡對夜間自然環境下成熟的柑橘進行了識別。閆建偉等［56］采用帶有殘差模塊的YOLO v3神經網絡對刺梨果實進行了識別。

基于深度學習的分割識別算法具有較好的識別效果，但為了提升其識別性能，大多數網絡的結構都比較復雜，且不同的網絡在速度或精度上都有不同的優勢和不足。本文對果實采摘中最常用的兩種網絡及其部分衍生網絡進行對比發現，識別精度較好的網絡，如R-CNN系列的twostage網絡，檢測速度通常較低，在實際應用中的實時性有所欠缺；而對于YOLO系列的onestage網絡，其識別速度較快，實時性較好，但在識別精度方面相較于前者還有所不足（表3）。

表3 R-CNN系列網絡及其各自的衍生網絡與YOLO網絡對比

雖然目前針對這些問題都有相應的算法改進，但其分割識別的效果仍需進一步提高。

4.1.2 遮擋或重疊 在自然條件下，果實的生長不會全部顯露在最明顯的外部，目標果實可能會面臨枝蔓、樹葉和其他果實的遮擋等問題，而且大多數情況下是多種遮擋共同存在，如圖5，這些都會給識別帶來一定困難。這種情況下，無論是基于顏色還是基于形狀對果實進行識別，可能都無法達到理想的效果。目前對被遮擋或者重疊的果實進行識別，采用的大多是多種算法相結合的方式，可在一定程度上解決遮擋或重疊面積較小的果實的識別，但對于遮擋或重疊面積較大的果實仍未找到有效的識別算法。

圖5 果實遮擋重疊

4 存在問題及展望

4.1 存在問題

4.1.1 光照影響 光照的變化可能會引起果實表面顏色產生色差，而對于生長周期相近的果實，其顏色本就比較相近，若僅通過顏色進行分割識別，容易產生誤差。番茄完全成熟時，其表面呈正紅色，而在半成熟尚未達到完全成熟時，其表面為橘色，如圖3a；而在光照條件的影響下，部分完全成熟的番茄也會呈現出橘色，如圖3b，從而引起識別錯誤。

圖3 不同光線下不同生長期番茄的顏色對比

當順光或者夜間加光源采摘時表面具有果臘的果實，如蘋果、柑橘等，由于光照的影響，易在果實表面形成光斑，如圖4所示，使其在進行圖像分割時會出現孔洞等干擾，進而產生識別誤差。

圖4 果實光斑

4.1.3 振蕩 在自然采摘條件下，果實一般不會處于完全靜止的狀態，風力、鳥類或進行采摘動作時，都會使果實發生或大或小的振蕩。這時采摘機器人若采集圖像，就可能會出現圖像模糊、噪聲大等情況，從而影響進一步的分割識別。對于振蕩果實的識別，除了對算法進行優化外，對相機性能的要求也較高，今后仍需進行改進。

4.2 趨勢展望

由于田間環境的復雜多樣性，單種分割識別算法的識別效果大多遠遠達不到實際需求，如：只基于顏色特征的識別方法容易受到光照影響，僅通過形狀進行識別會因遮擋或重疊而產生錯誤等，因此基于多種物體特征或者采用多種分割識別算法組合對圖像進行處理，可在一定程度上改善識別效果，提高識別準確度。但采用組合算法時，需要進行多方面考慮，以減少方法組合可能帶來的識別效率低等問題。

對于被遮擋的果實，一方面隨著深度學習在采摘識別中的應用逐漸增加，經過大量的數據訓練后，深度神經網絡對于被遮擋果實的識別準確度已有所提高。隨著深度神經網絡的不斷改進和算法的進一步優化，其識別效果將會進一步提高。另一方面還可以通過運行設備從多角度采集圖像，使得被擋住的果實能夠在其他角度下遮擋減少或完整呈現，從而達到識別的目的。

5 總結

分割和識別算法作為識別過程中不可或缺的一部分，其優化情況直接關系到識別的效果。隨著學者們研究時考慮到的影響因素愈發全面以及對多種算法進行組合嘗試，識別特定目標的效果也在逐漸提升，尤其是基于特征和像素識別方式的組合，在一定程度上提高了重疊或光照影響下的目標識別精度。而且隨著智能化技術的飛速發展，具有學習能力的神經網絡越來越多地被應用于識別采摘，由一開始的CNN網絡發展到如今的YOLO等，基于深度學習的分割識別算法逐漸趨于成熟。雖然到目前為止，對于基礎神經網絡的識別還無法兼顧精度和速度，但對網絡的改進或者新網絡的推出都將使識別性能在某方面有進一步的提升。

分割和識別算法還有很多，本文僅針對采摘機器人最常用的幾種方式進行分類匯總，而且目前關于光照影響、遮擋重疊以及振蕩果實的識別效果仍待提高，相信隨著已有算法的不斷改進和新算法的提出，這些問題將會逐漸被解決，識別效果將會越來越好，采摘機器人在田間的廣泛應用將指日可待。