基于獼猴桃果萼圖像的多目標果實識別方法

陳禮鵬，穆龍濤，劉浩洲，谷新運，傅隆生，崔永杰

(西北農林科技大學 機械與電子工程學院，陜西 楊凌 712100)

0 引 言

目前獼猴桃的采摘主要是靠人工完成[13]，勞動強度大，且效率低，嚴重影響到獼猴桃的收獲。為了解決機械化作業，在果實的識別上，相關研究工作者對蘋果[4-7]、番茄[8]、草莓[9]、葡萄[10,11]、柑橘[12]等果實識別進行了研究。

在柑橘的識別上運用基于TOF成像技術進行的實時識別方法[12]，通過分析TOF(time of flight)成像信息，去除噪聲，采用閾值分割[13]、區域生長[14]、區域最小外接圓算法[15]將柑橘從背景中分割出來，從而達到識別的目的。葡萄的識別上，針對葡萄果梗顏色復雜多變、輪廓不規則[16,17]等影響因素使得采摘機器人難以準確對采摘點進行識別定位，針對這一問題，羅陸鋒等[10]運用了基于改進聚類圖像分割[18,19]和點線最小距離約束的采摘點定位的方法實現果實的識別與定位。在蘋果的識別上，宋懷波等[6]運用光照無關理論方法去除蘋果表面的陰影部分，較好地實現了蘋果的分割，該方法也可運用在陰影條件下蘋果的識別[20,21]。綜合來看，這些方法識別效果較好，但是大多針對單果進行識別或是針對目標成串的特點識別輪廓，對于多目標果實的識別方法較少。且識別部位大多在果實整個部位，對果實的果萼部位進行識別情況很少。

在獼猴桃的識別上，崔永杰等[22,23]運用0.9*R-G色差法對果實進行分割，實現果實與背景的分割[24]；詹文田等[25]運用Adaboost算法對田間獼猴桃進行識別，但是這些方法在機器視覺范圍內的獼猴桃果實數較少，果實容易獲取。此外，傅隆生等[26]提出一種基于果萼圖像的獼猴桃果實夜間識別方法，該方法對光照有較高的要求。

綜上所述，針對獼猴桃簇生的特點，以及背景與果實之間的特征上的差異，本文提出由單個或較少目標果實的識別轉到多目標果實的識別，從獼猴桃底部獲取圖像，首先實現果實與背景的分離，再從果實部分識別出果萼，以達到快速高效的識別目的，為機器人的高效化作業奠定基礎。

1 獼猴桃圖像獲取

自然條件下獼猴桃的采摘環境如圖1所示，生長方式主要為棚架式生長，從圖1中可以看出獼猴桃采摘環境中包括的背景有樹葉、樹干、天空，雜草等。為了去除雜草等背景的影響，本研究采用從獼猴桃底部獲取圖像的方式識別多目標獼猴桃果實。

圖1 獼猴桃采摘環境

圖像獲取裝置如圖2所示(d表示拍攝距離)，其中包括機器視覺部分、輔助補光裝置及計算機。機器視覺部分采用微軟相機(Microsoft camera)獲取圖像，根據天氣情況或者作業時間(白天或者夜間)、光照情況可選擇是否采用輔助補光裝置，機器視覺所采集的圖像通過數據連接線傳遞給計算機。

圖2 獼猴桃圖像獲取裝置

如圖3所示，所選定的距離為攝像頭距果實下方60 cm處，所采集的圖像格式為jpg格式，圖像大小為640×360像素。其中獼猴桃果萼為圈標出的部分，從中可以看出，對于果實的定位來說，能識別出果萼部分對后續的定位處理是極其方便的。

圖3 獼猴桃果萼

2 果萼識別方法

2.1 RGB圖像處理方法

運用image Pro plus軟件，對圖3中圖像的不同位置畫一條橫剖線，水平剖面線選為：剖線上有果實；剖線無果實。如圖4所示，從圖中可看出獼猴桃的果實部分RGB分量很大程度上存在R分量大于G分量，G分量大于B分量的關系，背景上(除獼猴桃果實之外)R分量與G分量或B分量之間相差波動并不大。

圖4 RGB分量剖線分析

因此，采用R-G的方式對獼猴桃紅色分量進行紅色分量相對強化，凸顯獼猴桃部分，削弱樹葉，樹干等噪聲影響。后續再通過閾值分割，消除小面積噪聲等得到獼猴桃部分，通過邊緣檢測，得到獼猴桃的相應邊緣，從而保留邊緣包圍的部分，去除包圍之外的部分，亦即實現果實的分割得到果實部分，最后進行閾值分割，得到果萼部分的識別。

2.2 圖像處理過程

圖像處理流程如圖5所示。

圖5 圖像處理流程

具體流程如下：

(1)讀取圖像

案例圖像可任意選擇，在此選擇圖3作為案例圖像；

(2)獲取圖像的RGB分量圖及灰度圖

(3)對圖像進行R-G分量處理

在圖像處理方法的分析中，圖像經過R-G分量處理后獼猴桃果實部分很好地凸顯出來。案例圖像處理結果如圖6(a)所示。

(4)對R-G分量圖像進行全局閾值分割

對于圖像的全局閾值分割，其公式如下

其中，f(x,y)為點(x,y)的像素值，g(x,y)為分割后的圖像，T為全局閾值。

對所得的R-G分量圖像進行全局閾值分割，對于多目標獼猴桃圖像來說，通過R-G分量后獲得的灰度圖其像素值分為，果實部分：f(x,y)∈(20,70)；背景為：f(x,y)∈(20,70)，因此，設置的全局閾值為T=18，即有

案例圖像處理結果如圖6(b)所示。

(5)去除小面積噪聲

將分割后的圖像進行去除小面積區域，小面積區域一般為部分樹干、樹葉背景，這部分噪聲的面積小于單個果實噪聲的面積的幾倍，甚至十幾倍，皆為小面積噪聲。A果實=nA小面積噪聲，A表示像素面積，n表示倍數，A小面積噪聲∈(5,220)，本文所取的小面積噪聲的閾值為230。案例圖像處理結果如圖6(c)所示。

(6)prewitt邊緣檢測

對得到的去除小面積區域后的圖像通過prewitt算子進行邊緣檢測，該邊緣包圍的范圍即為多目標獼猴桃果實的范圍。案例圖像處理結果如圖6(d)所示。

(7)多目標獼猴桃果實提取

將去除小區域面積后的圖像和原圖像的灰度圖像進行求乘積，運算表達式為

C(x,y)=A(x,y)*B(x,y)

其中，A(x,y)和B(x,y)分別表示原始圖像的灰度圖像和去除小面積噪聲后的圖像，C(x,y)表示A(x,y)和B(x,y)運算后的結果。

從而提取出經過prewitt邊緣檢測后，邊緣包圍的果實部分的圖像。案例圖像處理結果如圖6(e)所示。

(8)果萼提取

針對果實部分的灰度圖，對果萼部分的提取只需再進行全局閾值分割便能提取出果萼，由于果實部位與果萼部位在灰度圖像素值上存在不同：果實部位為：h(x,y)∈(120,180)；背景為：h(x,y)∈(40,100)，因此同(4)對所得果實部位進行全局閾值分割，此時T=100。當然，該分割方法仍然會出現部分誤差，但是對于多目標獼猴桃采摘機器人，該誤差在容錯范圍內(后續分析)。案例圖像處理結果如圖6(f)所示其中，1表示果萼，2表示噪聲。

圖6 識別過程

3 多目標果實識別驗證實驗

3.1 實驗裝置

機器視覺部分采用微軟相機(LifeCam Studio CMOS，其以CMOS作為感光元件，動態分辨率為2304×1728，最大幀頻為30FPS)作為主要部件，采用自動對焦的方式獲取圖像，圖像格式選擇為jpg格式，分辨率為640×360像素，通過USB2.0接口傳遞給計算機，計算機采用聯想ThinkPad T400筆記本電腦(內存2 GB，主頻2.53 GHz)。根據天氣情況，可選擇輔助補光裝置為獲取圖像補光，輔助補光裝置用無級可調光LED影視平板燈提供(CM-LED 1200HS，武漢珂瑪影視燈光科技有限公司，最大照度為1 m 遠的1 200 lux)。

3.2 實驗方法

本次實驗采用上面我們提出的方法，以果實及果萼作為本實驗的檢測項目。通過色差的方法得到多目標獼猴桃果實范圍并去除背景噪聲，然后運用閾值分割得到多目標獼猴桃果萼特征部分；運用了假陽性率、假陰性率、重疊系數[6]3個指標對果實和果萼的識別進行評價。假陽性率是指背景被錯分為目標的比率，假陰性率是指目標被錯分為背景的比率，重疊系數是指分割后的目標與真實目標重合的比率。在此，假陽性率即為果萼被錯分為背景的比率，假陰性率為背景被錯分為果萼的比率，而重疊系數指分割后的目標個數所占實際目標的比率。果實重合率中，如果果實分割后的面積重合大于一半算該果實完整分割，如果小于一半算該果實沒分割到。最后對所得的結果進行誤差分析，將識別的圖像的重疊系數(包括果萼或果實)的均值作為識別的真實值，則每張圖像的識別誤差可表示為

其中，Xi表示第i幅圖像的果實重疊系數或第i幅圖像的果萼重疊系數。

3.3 實驗結果及數據分析

本文從所采集的獼猴桃樣本圖像中隨機選取20幅圖像進行識別及相關數據分析，其中部分圖像的分割結果見表1，以下圖像為由近及遠的多目標獼猴桃部分圖像(隨機選擇的20幅圖像中的4幅圖像)。

表1 獼猴桃果實分割效果(部分圖像)

從表1中可以看出，運用優化后的方法去除了樹葉、背景(天空和枝干)，很好地將果實分割出來，但仍然還存在部分噪聲，這些噪聲為顏色與果實顏色相近的諸如樹干、樹葉葉莖、枯葉等噪聲，對于這些噪聲，仔細觀察不難看出皆為小面積噪聲。優化后提取的果實圖像中可以看出幾乎沒有了噪聲的干擾，果實完全被分割出來；對于果萼的最終分割，有的因為距離太遠，果萼并不明顯，導致沒分割到或者分割不準確，但只是部分，圖像識別上達到分割要求，為此我們采用了果實識別評價指標和果萼識別評價指標加以說明，識別評價指標亦即是實驗方法中所提出的假陽性率、假陰性率及重疊系數，具體見表2和表3。

從表2果實識別評價指標中可以看出假陽性率大于10%的有NO.1、NO.4、NO.16、NO.17；假陰性率大于10%的有NO.2、NO.3、NO.5、NO.9、NO.19、NO.20。通過分析發現在NO.1、NO.4、NO.16、NO.17圖像中，部分樹葉由于陽光的暴曬導致樹葉枯黃，其顏色和果實顏色相近，導致樹葉背景被錯分為果實目標，因此出現假陽性率在這幾幅圖像中偏大；在NO.2、NO.3、NO.5、NO.9、NO.19、NO.20圖像中，由于個別果實未成熟，其顏色表現為綠色，導致其與樹葉背景顏色相近，將果實目標錯分為樹葉背景，因此出現假陰性率在這幾幅圖像中偏大。

表2 果實識別評價指標

從表3果萼識別評價指標中可以看出假陽性率大于10%的有NO.1、NO.9、NO.14、NO.16；假陰性率大于10%的有NO.2、NO.3、NO.8、NO.18、NO.19、NO.20。通過分析發現在NO.1、NO.9、NO.14、NO.16圖像中，由于在果實的分割中部分樹葉被分割成為果實加之樹葉上部分區域顏色特征與果萼顏色特征相近、以及小部分樹干被錯分為果萼，導致背景被錯分為目標，因此出現假陽性率在這幾幅圖像中偏大；在NO.2、NO.3、NO.8、NO.18、NO.19、NO.20圖像中，由于果實分割中，個別果實未成熟表現為果實顏色特征和背景樹葉顏色特征相近，出現果實被錯分為背景，導致果萼分割中這些果實的果萼目標也被錯分為背景，以及閾值分割過程中，果萼被錯分為背景所致，因此出現假陰性率在這幾幅圖像中偏大。

表3 果萼識別評價指標

綜合表2果實識別評價指標與表3果萼識別評價指標可看出假陽性率均值和假陰性率均值均在10%以下，重疊系數均值均在88%以上。

為了更加有效分析獼猴桃多目標果實識別的情況，引入了實驗方法中所提出的誤差σi，繪制20幅圖像識別情況誤差如圖7所示。

從圖7(a)果實識別誤差與圖7(b)果萼識別誤差圖中可以看出，在NO.4、NO.10、NO.15圖像中的識別誤差較大，通過分析，其誤差原因為：圖像中部分果實受葉片、樹干遮擋、以及部分未成熟果實在顏色分量上表為綠色分量占主要部分導致其與背景顏色相近所致。

4 結束語

(1)獼猴桃圖像中果實部分的RGB分量值存在R分量大于G分量大于B分量的關系，在背景上，也即是除獼猴桃果實之外的部分R分量與G分量或B分量之間相差波動并不大。

(2)提出了獼猴桃果實多目標識別方法，以果萼作為識別特征點，首先實現了果實目標與背景的分離，最后根據果實目標識別出果萼特征點，該算法識別的準確率為88.86%；其中假陽性率均值和假陰性率均值均在10%以下。果實數在41～45果時(表中的NO.15～NO.17)，識別率均在90%以上。

圖7 識別誤差

(3)對實驗的每組圖像的識別結果進行了誤差分析，其中存在誤差較大的原因是果實受樹葉、樹干等的遮擋以及部分果實未成熟導致圖像識別過程中果萼遮擋、果實被錯分為背景等情況發生。

5 結束語

本文提出了基于獼猴桃果萼圖像的多目標果實識別方法，由以往的單果識別向多目標果實識別，識別果萼部分，以滿足多機械臂獼猴桃采摘機器人的作業要求，所獲得的信息達到多目標識別的目的，對后續機械臂的路徑規劃，末端執行器設計提供了信息支持，該方法也可為其它諸如蘋果、柑橘等果實的識別提供參考。

本文雖然提出了獼猴桃的多目標果實識別方法，且達到了末端執行器采摘果實的容錯率要求，但是在算法上識別正確率有待進一步提高或尋求新的算法；由于多目標識別的果實數量較多，后續的坐標點數據的管理以及采摘順序的分配等還有待進一步研究。

參考文獻：

[1]TONG Tong.Health benefits of eating kiwifruit[J].China Fruit News,2017,30(1):56-57(in Chinese).[童彤.食用獼猴桃健康益處多[J].中國果業信息,2017,30(1):56-57.]

[2]YING Tao.Global:The demand for kiwifruit increased significantly[J].China Fruit News,2017,11(1):35-36(in Chinese).[櫻桃.全球:獼猴桃需求量大幅增加[J].中國果業信息,2017,11(1): 35-36.]

[3]FU Longsheng,ZHANG Fanian,Gejima Yoshinori,et al.Development and experiment of end-effector for kiwifruit harvesting robot[J].Transactions of the Chinese Society for Agricultural Machinery,2015,43(3):1-8(in Chinese).[傅隆生,張發年,槐島芳德,等.獼猴桃采摘機器人末端執行器設計與試驗[J].農業機械學報,2015,43(3):1-8.]

[4]LI Sha,QIAN Jianping,ZHAO Chunjiang,et al.Comparing and analyzing different color on ripe apple image identification[J].Computer Engineering and Design,2015,36(6):1545-1550(in Chinese).[李莎,錢建平,趙春江,等.不同顏色模型識別成熟蘋果圖像的比較分析[J].計算機工程與設計,2015,36(6):1545-1550.]

[5]Song Y,Liu Y,Liu L,et al.Extraction method of navigation baseline of corn roots based on machine vision[J].Transactions of the Chinese Society of Agricultural Machinery,2017,48(2):38-44.

[6]SONG Huaibo,QU Weifeng,WANG Dandan,et al.Method of removing shadow apple surface illumination invariant based on graph theory[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2014,30(24):168-176(in Chinese).[宋懷波,屈衛鋒,王丹丹,等.基于光照無關圖理論的蘋果表面陰影去除方法[J].農業工程學報,2014,30(24):168-176.]

[7]Xu Liming,Lv Jidong.Recognition method for apple fruit based on SUSAN and PCNN[J].Multimedia Tools & Applications,2017,8(6):1-15.

[8]WANG Yufei,YIN Jianjun,ZHONG Suyu,et al.Tomato recognition based on feature analysis and fast development of recognition software[J].Computer Engineering and Design,2011,32(11):3824-3827(in Chinese).[王玉飛,尹建軍,仲蘇玉,等.基于特征分析的番茄識別及其軟件的快速開發[J].計算機工程與設計,2011,32(11):3824-3827.]

[9]Hayashi S,Takeshita D,Yamamoto S,et al.Collision-free control of a strawberry-harvesting robot by recognition of immature fruits[J].Shokubutsu Kankyo Kogaku,2013,25(1):29-37.

[10]LUO Lufeng,ZOU Xiangjun,XIONG Juntao,et al.Automatic location of grape picking robot in natural environment[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2015,31(2):14-21(in Chinese).[羅陸鋒,鄒湘軍,熊俊濤,等.自然環境下葡萄采摘機器人采摘點的自動定位[J].農業工程學報,2015,31(2):14-21.]

[11]LUO Lufeng,ZOU Xiangjun,YE Min,et al.The solution and localization of the grape anti picking space based on binocular stereo vision[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2016,32(8):41-47(in Chinese).[羅陸鋒,鄒湘軍,葉敏,等.基于雙目立體視覺的葡萄采摘防碰空間包圍體求解與定位[J].農業工程學報,2016,32(8):41-47.]

[12]SUN Li,CAI Jianrong,LI Yongping,et al.Real time re-cognition and localization of Citrus based on TOF imaging technology[J].Journal of Jiangsu University (Natural Science Edition),2013,34(3):293-297(in Chinese).[孫力,蔡健榮,李永平,等.基于TOF成像技術的柑橘實時識別與定位[J].江蘇大學學報(自然科學版),2013,34(3):293-297.]

[13]JIA Tianqi,ZHANG Chong,ZHENG Jiao,et al.Adaptive thresholding segmention algorithm based on fuzzy distances[J].Computer Engineering and Design,2014,35(3):857-860(in Chinese).[賈天奇,張沖,鄭姣,等.基于模糊距離的自適應閾值分割算法[J].計算機工程與設計,2014,35(3):857-860.]

[14]Kerkeni A,Benabdallah A,Manzanera A,et al.A coronary artery segmentation method based on multiscale analysis and region growing[J].Computerized Medical Imaging & Grap-hics the Official Journal of the Computerized Medical Imaging Society,2016,12(4):48-49.

[15]YANG Jianfeng,ZHAO Juanjuan,QIANG Yan,et al.Lung CT image segmentation combined multi-scale watershed method and region growing method[J].Computer Enginee-ring and Design,2014,35(1):213-217(in Chinese).[楊建峰,趙涓涓,強彥,等.結合區域生長的多尺度分水嶺算法的肺分割[J].計算機工程與設計,2014,35(1):213-217.]

[16]Azcarate S M,De A G A,Alcaraz M R,et al.Modeling excitation-emission fluorescence matrices with pattern recognition algorithms for classification of Argentine white wines according grape variety[J].Food Chemistry,2015,184:214-219.

[17]Aleixandre M,Santos J P,Sayago I,et al.A wireless and portable electronic nose to differentiate musts of different ripeness degree and grape varieties[J].Sensors,2015,15(4):8429-8443.

[18]ZHAO Quanhua, ZHANG Hongyun,ZHAO Xuemei,et al.Fuzzy clustering image segmentation based on neighborhood constrained Gaussian mixture model[J].Pattern Recognition and Intelligence,2017,30(3):214-223(in Chinese).[趙泉華,張洪云,趙雪梅,等.鄰域約束高斯混合模型的模糊聚類圖像分割[J].模式識別與人工智能,2017,30(3):214-223.]

[19]LI Tingting,JIANG Chaohui,RAO Yuan,et al.Image segmentation based on gene expression programming and spatial fuzzy clustering[J].Journal of Image and Graphics,2017,22(5):575-583(in Chinese).[李婷婷,江朝暉,饒元,等.結合基因表達式編程與空間模糊聚類的圖像分割[J].中國圖象圖形學報,2017,22(5):575-583.]

[20]Cai Bolun.DehazeNet:An end-to-end system for single image haze removal[J].IEEE Transactions on Image Processing,2016,25(11):5187-5198.

[21]Makkar D,Malhotra M.single image haze removal using dark channel prior[J].International Journal of Advanced Trends in Computer Science & Engineering,2016,11(7):84-89.

[22]CUI Yongjie,SU Shuai,WANG Xiaxia,et al.Recognition and feature extraction of kiwifruit in natural environment based on machine vision[J].Transactions of the Chinese Society for Agricultural Machinery,2013,44(5):247-252(in Chinese).[崔永杰,蘇帥,王霞霞,等.基于機器視覺的自然環境中獼猴桃識別與特征提取[J].農業機械學報,2013,44(5):247-252.]

[23]CUI Yongjie,SU Shuai,LV Zhihai,et al.A method for separation of kiwifruit adjacent fruits based on Hough transformation[J].Journal of Agricultural Mechanization,2012,34(12):166-169(in Chinese).[崔永杰,蘇帥,呂志海,等.基于Hough變換的獼猴桃毗鄰果實的分離方法[J].農機化研究,2012,34(12):166-169.]

[24]LI Xuejun,LIU Xiangjun,ZHAO Liliang.Otsu image segmentation algorithm based on gradient entropy[J].Computer Engineering and Design,2015,36(3):705-709(in Chinese).[李學俊,劉祥俊,趙禮良.基于梯度熵的Otsu圖像分割算法[J].計算機工程與設計,2015,36(3):705-709.]

[25]ZHAN Wentian,HE Dongjian,SHI Shilian.Recognition of kiwifruit in field based on Adaboost algorithm[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE),2013,29(23):140-146(in Chinese).[詹文田,何東健,史世蓮.基于Adaboost算法的田間獼猴桃識別方法[J].農業工程學報,2013,29(23):140-146.]

[26]FU Longsheng,SUN Shipeng,Manuel V-A,et al.Kiwifruit recognition method at night based on fruit calyx image[J].Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2017,33(2):199-204(in Chinese).[傅隆生,孫世鵬,Manuel V-A,等.基于果萼圖像的獼猴桃果實夜間識別方法[J].農業工程學報,2017,33(2):199-204.]