自然環境下5個腰果無性系果實的圖像識別算法研究

岑冠軍 王彥陽 張中潤 黃偉堅 黃海杰 王金輝

摘 要 在自然環境下對5個腰果無性系果實的圖像進行了識別研究，得出腰果果實圖像識別的組合算法設計。該組合算法設計是首選對原始圖像進行雙邊濾波，選用Lab顏色空間模型，采用OTSU算法進行粗分割，對紅色系果實圖像選擇a通道作為分割通道，對于黃色系果實圖像將a通道和L通道的分割圖像做代數乘法運算，對殘留背景較多的粗分割圖像采用K-means算法做精細分割，分割完成后進行連通域分析和圓盤均值濾波，將面積最大的連通域作為目標區域，完成識別。結果表明，在粗分割階段，CP63-36、GA63、HL2-13和HL2-21果實圖像中大部分背景被去除，只殘留零星噪聲部分，而FL30的粗分割圖像殘留背景較多，需做精細分割，其精細分割圖像中殘留背景較少。通過連通域分析和濾波，所有腰果無性系的果實圖像都被完整地識別出來。研究表明，該組合算法設計能從自然環境圖像中準確有效地識別出腰果果實。

關鍵詞 腰果果實；圖像識別；組合算法

中圖分類號 S31 文獻標識碼 A

Abstract The research was focused on the image recognition of five kinds of cashew fruits in natural environment， and a combined algorithm was obtained under Lab color space. Firstly， the image noise on the original image received from the camera was filtered out using bilateral algorithm.Secondly，the objectives of cashew fruits in the filtered image were recognized by OTSU algorithm. In this step， the red fruits were segmented within a channel， the yellow fruits were segmented within a and L channels. Afterwards the images processed in the second step and containing more background noise would be segmented finely using K-means clustering algorithm. Finally the area of the fruit object was recognized by connected domain analysis and disk mean filtering by removing the noise residues in the segmented image.The results showed that most of the background noise in the original images of CP63-36， GA63， HL2-13 and HL2-21 was removed in the rough segmentation stage， the roughly segmented image of FL30 needed to be processed finely， and the residual background became less in the fine segmentation stage， and all varieties of fruit were completely extracted from their images. Hence the proposed algorithm could accurately and effectively recognize the cashew fruit from the image captured in the natural environment.

Keywords cashew fruit； image recognition； combination algorithm

DOI 10.3969/j.issn.1000-2561.2018.07.004

腰果（Anacardium occidentale L.）是多年生熱帶常綠喬木果樹，原產巴西東北部，是東南亞、非洲、南美洲和中美洲許多發展中國家重要的出口創匯經濟作物[1]。目前，我國腰果主要分布在海南省南部、西南部濱海干熱區和云南省南部、西南部干熱河谷低海拔地區[2-3]。

腰果果實包括果梨（假果）和堅果（種子）兩部分[4]，堅果內的腰果仁是目前市場上銷售的主體，而腰果果梨雖然極富營養價值[5-6]，但由于多種因素的限制，果梨的利用還相對較少。目前國內外腰果果實采摘基本上是等待果實成熟后自動從樹上脫落，再用人工進行收集。但是果梨掉落后由于碰撞損傷或不能及時收集而遭受昆蟲病菌等破壞，一般都很難再加以利用。所以，全世界約有90%的腰果果梨直接廢棄在腰果園里[7]。如果采用人工在腰果果實掉落前每天巡園采摘，則由于腰果結果植株太過高大（5 m以上）[8]，且結果期通常長達3～4個月甚至更長[9]，因此不僅采摘勞動強度大，而且工作效率低，導致采摘成本極高；同時隨著農村勞動力加速向城鎮轉移，人工勞動力缺乏。為降低勞動力成本和提高采摘效率，應用機器人采摘腰果果實將成為今后的發展趨勢[10-11]。現在，國內外果蔬采摘機器人主要運用基于圖像處理的視覺識別技術來識別目標[12]。因此，開展腰果果實的圖像檢測與識別研究，將可為實現腰果的機器采摘提供理論和技術上的支撐。

目前，在自然環境下基于圖像的果實識別主要利用色差、紋理和形狀等特征參數分離目標與背景，常用的算法有顏色模型法和聚類分析法。顏色模型法是根據1個或多個顏色通道的組合，通過閾值法實現果實與背景的分割；聚類分析法，主要有K-means聚類、人工神經網絡、支持向量機等，其中應用最為廣泛的是顏色模型法[13-17]。閾值法適合對直方圖具有雙峰特征的圖像進行分割，計算量小，K-means聚類、人工神經網絡和支持向量機等方法適合復雜背景圖像的分割，但計算量大。已有的研究表明應用這些方法可以有效地從圖像中識別出果實，Bulanon等[18]根據圖像中果實目標比背景成分紅色分量高的原理，利用最佳閾值分割算法，分割果實目標和背景，成功率達88%；張云龍等[19]采用支持向量機算法對

自然情況下蘋果圖像進行分割，結果表明其分割速度和準確率優于閾值分割法；程洪等[20]運用神經網絡模型識別出樹冠上的蘋果并進行估產，該模型具有較好的預測精度與魯棒性。但是田間復雜背景下的果實圖像識別仍然存在識別速度低和識別精度不高的問題，同時迄今為止還未見有對腰果果實圖像識別的研究報道，腰果果實采摘缺少自動化技術研究基礎。因此，本研究以5個腰果無性系果實自然環境下的圖像為樣本，分析其特征，結合顏色模型法、聚類分析法和形態學方法，以期找到從自然環境圖像中準確識別不同腰果果實的組合算法，為腰果果實的自動檢測、識別和采摘技術的研究提供技術支撐。

1 材料與方法

1.1 材料

2016年4—5月腰果果實的結果期，在海南省樂東縣利國鎮海南腰果研究中心（1831N、10852E）采集成熟、無病蟲害為害且生長良好的5個腰果無性系CP63-36、FL30、GA63、HL2-13和HL2-21的果實圖像用于實驗。

1.2 方法

1.2.1 圖像獲取 用佳能（Canon）EOS 6D數碼相機（廠家：佳能（中國）有限公司；產地：日本）在果園中隨機獲取順光和逆光條件下的腰果果實彩色圖像5個無性系各50幅，共計250幅，拍攝距離為1 m。圖像存儲為jpg格式，分辨率為640×480像素。從各個無性系圖像中隨機選取1幅作為識別樣本。

1.2.2 圖像識別算法設計 由于自然環境下背景復雜且有多種環境噪聲，為從圖像中準確地分離出腰果果實圖像，其圖像識別與分割算法分4個步驟：（1）對圖像進行噪聲濾波，濾除環境噪聲；（2）顏色空間模型分析和選擇；（3）圖像分割，最大限度分離背景；（4）連通域分析和邊緣檢測，去除剩余的背景，提取目標區域。

1.2.3 噪聲的雙邊濾波 由于腰果是典型的熱帶作物，生長在較強的自然光線下，在野外采集圖像時易受到高光和陰影的影響。同時加上其他噪聲的干擾，獲取的圖像往往帶有噪聲，需要進行圖像濾波處理去除噪聲。但是一些濾波算法會使得圖像中物體的邊緣變得模糊，不利于圖像分割，為達到保邊去噪的目的，本研究采用Tomasi等[21]提出的雙邊濾波算法。雙邊濾波是一種非線性的濾波方法，結合圖像的空間鄰近度和像素值相似度的進行濾波處理，同時考慮空域信息和灰度相似性，其算法如下：

1.2.4 顏色空間模型的分析和選擇 實驗中的腰果果實顏色屬于紅色系和黃色系，與背景存在色差，利用色差可以將目標和背景分離開來。但是自然環境下，不同時間、設備及角度拍攝的圖像存在明顯的亮度差異，影響果實與背景的分離，而RGB顏色空間下亮度和色調混合在一起表示，都是由R、G和B值來表示，且R、G和B值之間往往存在較強的相關性，不利于目標的識別，需要將RGB顏色空間轉換到新的顏色空間。用HSV、Lab、YIQ、YUV、YCbCr等顏色模型進行分析比較，發現Lab顏色模型下的L分量和a分量直方圖的曲線峰谷特征明顯，能很好地消除自然光線造成的強光影響，適合做進一步的閾值分割，故選取Lab顏色模型對腰果果實圖像進行處理。LAB顏色空間模型由國際照明委員會于1976年確定的顏色系統，該模型將亮度和顏色分開表示，是基于生理特性開發的、可描述人的視覺感應的顏色系統。LAB顏色空間模型有3個基本坐標L、a和b，L表示顏色的亮度；a的正數代表紅色，負端代表綠色；b的正數代表黃色，負端代表藍色。由RGB到Lab顏色空間的轉換公式如下：

1.2.5 圖像分割算法 自然環境下，腰果果實圖像背景復雜，色彩較多。在圖像分割時，首先采用OTSU算法對圖像進行粗分割；如果殘留的背景較多，或者背景與目標粘連在一起，不利于下一步的分割，則采用K-means聚類算法對OTSU閾值分割后的圖像做進一步的精細分割。

令σ最大的T值即為所求的閾值。

K-means聚類算法屬于一種動態聚類算法。該算法的一個比較顯著的特點就是迭代過程，隨機地選擇初始聚類中心向量，計算各個樣本到初始聚類中心向量的距離；把樣本劃歸到距離它最近的那個中心所在的類中，得到一個新的分類并計算出新類的中心向量；如果2次計算出來的聚類中心向量未曾發生任何的變化，表示算法結束。給定數據集X，其中只包含描述屬性，不包含類別屬性，假設X包含k個聚類子集X1， X2， …， Xk，其均值分別為m1， m2， …， mk，各個聚類子集的樣本數分別為n1， n2， …， nk，則評價的誤差平方和準則函數為。

1.2.6 連通域分析 腰果果實圖像經過閾值分割處理，可以去除大部分背景，但是自然環境下一些枝條、樹葉在光線作用下，在圖像中的顏色與果實近似，另外自然條件下拍攝的圖像具有多類色彩，因此仍有部分噪聲背景保留在分割圖像中，而這些背景的形狀不規則，與腰果果實的形狀存在很大差異，因此可以進行連通域分析，去除這些不規則的噪聲背景，徹底將目標從背景中分割出來。連通域分析采用2遍掃描法算法標記圖像中的連通域，并計算各連通域的面積、形狀和灰度特征，根據這些特征保留與目標相對應的連通域，去除噪聲背景。

2 結果與分析

2.1 腰果果實圖像的雙邊濾波

以腰果CP63-36果實圖像（圖1）為例，雙邊濾波前后圖像對比發現，濾波后果實變得更加圓潤，果實上的小斑點也被平滑了，但同時果實的邊緣保留完整，并且與背景對比清晰，說明雙邊濾波對與自然環境下的腰果果實圖像起到了保邊去噪的效果。

2.2 Lab顏色空間下的直方圖分析

將濾波后的腰果果實圖像轉換到Lab顏色空

間，對比該顏色空間下L、a和b各通道的直方圖，發現對于腰果無性系CP 63-36、GA63和HL2-13，果實圖像a通道直方圖雙峰特征明顯，兩峰之間重疊較少；而腰果無性系FL30和HL2-21果實圖像a通道直方圖具有雙峰特征，兩峰之間重疊較多，如圖2所示。

這說明在a通道腰果無性系CP 63-36、GA63和HL2-13的果實灰度與背景重疊較少，圖像分割能取得較好的效果；而腰果無性系FL30和HL2-21的果實灰度與背景重疊較多，在a通道進行圖像分割效果較差。原因是在Lab顏色空間下，a通道代表了紅色到綠色的轉換，而腰果無性系CP 63-36、GA63和HL2-13的果實為紅色系，自然環境下除枝條外背景中大部分為綠葉，a通道最大限度體現了這3種果實與其背景的色差；而腰果無性系FL30和HL2-21的果實為黃色系，背景中的一些枝葉在熱帶自然光照下呈偏黃色，導致果實與背景中一些物體色差較小。因此對于腰果無性系FL30和HL2-21，其圖像分割還需參考其他通道，如圖3所示，其L通道直方圖具有明顯的雙峰特征，可作為圖像分割的參考通道。

2.3 腰果果實圖像的分割

通過圖2直方圖分析，對于腰果無性系CP 63-36、GA63和HL2-13的果實圖像，在a通道下采用OTSU算法進行閾值分割（圖4）。可以看出，分割后的圖像中絕大部分背景被去除，果萼被分離出去，果實上的斑點成為黑色孔洞，也被識別出來，GA63的分割圖像中還殘留了部分噪聲背景，需進一步處理。

從圖5中可以看出，a通道下，FL30果實圖像背景中綠色的葉子均被分割出去，分離出的果實形狀完整，但是與果實顏色近似的枝條和果萼仍然留存在分割圖像中；相比于a通道，L通道下的分割圖像中部分枝條、果萼被分割出去，但是果實右下方的自然光照仍留存在分割圖像中，這是因為L通道為亮度通道，亮度近似的像素將聚為一類。而對于HL2-21的果實圖像，a通道下分割的果實圖像模糊，留存的噪聲背景較多，L通道下能分割出完整的果實形狀，被自然光照到的部分依然留存在分割圖像中。

從圖5可以看出，新分割圖像中果實形狀完整清晰，分割效果優于單獨在L通道和a通道下的分割。

對于FL30果實圖像，其faL圖像中仍有一些大塊的噪聲背景不能去除，需要進一步進行精細分割，圖6是在圖像faL分割的基礎上，采用K-means算法，利用L、a和b這3個通道的信息對閾值分割圖像的精細分割，分割后噪聲背景進一步被去除，只殘存零星的噪聲背景。

2.4 腰果果實分割圖像的連通域分析

由圖4～圖6可看出，分割后的果實圖像中還有零星噪聲，這些噪聲背景在顏色上與目標腰果果實近似，從顏色空間上難以分割，但是在幾何形狀和大小上與目標差異較大。通過連通域分析，計算各區域面積，將面積最大的連通域作為目標，其他連通域作為背景區域予以去除，同時對目標區域進行圓形區域均值濾波，去除孔洞，使邊緣更加光滑，如圖7所示。連通域分析后圖像中背景被去除，分割得到的果實形狀完整。

3 討論

本研究構建了腰果果實圖像分割的組合算法，該組合算法能準確從自然環境圖像中分割出5個目標腰果果實。目前對重要經濟果實圖像識別的相關報道較多，如柑橘[22-23]、荔枝[24-25]、蘋果[26]和西紅柿[27]等，但這些研究提出的算法多集中于識別單一品種的果實圖像。本研究提出的組合算法選擇特定的顏色空間模型，在粗分割的基礎上進行精細分割，對不同色系的果實采用不同的顏色通道，能夠從野外環境中有效分割出5種腰果果實。這5種腰果果實在顏色、紋理和形狀上存在一定的差異，但采用本算法其圖像都能準確地從背景中分割出來，這說明該組合算法對不同品種腰果果實圖像的識別具有健壯性。在粗分割階段，對CP 63-36、GA63、HL2-13和HL2-21的果實圖像，采用一維的OTSU算法即能得到只殘留零星背景噪聲的分割圖像，HL2-21和FL30的粗分割則利用了2個通道的OTSU分割結果，而精細分割階段，采用的K-means算法同時利用了L、a和b這3個通道的信息。因此本組合算法對較易分割的果實圖像采用低維算法，節省計算量，對不易分割的果實圖像，增加維度充分利用所有通道信息進行精細分割。同時本組合算法充分利用Lab顏色空間的均勻性，即不受設備的影響和適用于接近自然光照的場合，對紅色系和黃色系目標果實均能得到較優的粗分割圖像，而在果實圖像識別的相關報道中，RGB和HSV這2種顏色模型使用較多[28]。

從圖7中分割出的FL30腰果果實圖像可以看出，盡管本研究構建的組合算法能從背景中分割出大部分FL30腰果果實，但是分割出的果實圖像底部邊緣部分殘缺，因此應用本文的組合算法時，可進一步結合主動輪廓模型修復分割出的果實圖像，并應用機器學習算法如支持向量機、深度學習等實現多個和重疊腰果果實的圖像分割。

目前，世界上許多大規模商業化腰果種植園面積超過200 hm2，約有4萬株腰果樹[29]。在這些大規模商業化種植園中，機械化作業是必不可少的，但是現在這些機械化作業大多還局限于果園管理如除草或噴藥以及運輸果實等，腰果果實的自動化采收技術發展還遠遠滯后，難以滿足腰果種植園的技術需求。所以，通過本研究，我們得出了自然環境下腰果果實圖像識別的組合算法設計，而且該組合算法設計能從自然環境圖像中準確有效地識別出腰果果實，這為今后實現腰果的機器自動化采摘提供有效的技術支撐。

參考文獻

[1] Daramola B. Assessment of some aspects of phytonutrients of cashew apple juice of domestic origin in Nigeria[J]. African Journal of Food Science， 2013， 7（6）： 107-112.

[2] 梁李宏， 張中潤， Masawe P A L. 腰果栽培與加工[M]. 北京： 中國農業出版社， 2015.

[3] 梁李宏， 王金輝， 黃偉堅， 等. 施肥對幼齡腰果植株生長和結果的影響[J]. 中國土壤與肥料， 2009（5）： 43-48.

[4] Sirianni G， Visalberghi E. Wild bearded capuchins process cashew nuts without contacting caustic compounds[J]. American Journal of Primatology， 2013， 75（4）： 387-393.

[5] Das I， Arora A. Post-harvest processing technology for cashew apple–a review[J]. Journal of Food Engineering， 2017， 194： 87-98.

[6] Akinwale T O. Cashew apple juice： its use in fortifying the nutritional quality of some tropical fruits[J]. European Food Research & Technology， 2000， 211（3）： 205-207.

[7] Filgueiras H A C， Alves R E， Mosca J L， et al. Cashew apple for fresh consumption： research on harvest and postharvest technology in Brazil[J]. Acta Horticulturae， 1999（485）： 155-160.

[8] Salam M A， Peter K V. Cashew-AMonograph[M]. New delhi： Studium Press， 2010.

[9] 黃偉堅， 梅 新， 梁李宏， 等. 5個腰果高產無性系農藝經濟性狀比較[J]. 熱帶農業科學， 2007， 27（2）： 18-20.

[10] 袁國勇. 黃瓜采摘機器人目標識別與定位系統的研究[D]. 北京： 中國農業大學， 2006.

[11] 許立兵， 朱啟兵， 黃 敏. 基于ARM的蘋果采后田間分級檢測系統設計[J]. 計算機工程與應用， 2015， 51（16）： 234-238.

[12] Li P， Lee S H， Hsu H Y. Review on fruit harvesting method for potential use of automatic fruit harvesting systems[J]. Procedia Engineering， 2011， 23（5）： 351-366.

[13] Hayashi S， Ganno K， Ishii Y， et al. Robotic harvesting system for eggplants[J]. Japan Agricultural Research Quarterly Jarq， 2002， 36（3）： 163-168.

[14] Ejvan H， Bajvan T， Hemming J， et al. Field test of an autonomous cucumber picking robot[J]. Biosystems Engineering， 2003， 86（3）： 305-313.

[15] 周天娟， 張鐵中， 楊 麗， 等. 基于數學形態學的相接觸草莓果實的分割方法及比較研究[J]. 農業工程學報， 2007， 23（9）： 164-168.

[16] 李 昕， 李立君， 高自成， 等. 基于偏好人工免疫網絡多特征融合的油茶果圖像識別[J]. 農業工程學報， 2012， 28（14）： 133-137.

[17] Ji W， Zhao D， Cheng F， et al. Automatic recognition vision system guided for apple harvesting robot[J]. Computers & Electrical Engineering， 2012， 38（5）： 1186-1195.

[18] Bulanon D M， Kataoka T， Ota Y. A segmentation algorithm for the automatic recognition of Fuji apples at harvest[J]. BiosysEng， 2002， 83（4）： 405-412.

[19] 張云龍， 齊國紅， 張晴晴. 基于SVM 的復雜環境下蘋果圖像的分割[J]. 智能計算機與應用， 2017， 7（1）： 14-16.

[20] 程 洪， Damerow L， Blanke M， 等. 基于樹冠圖像特征的蘋果園神經網絡估產模型[J]. 農業機械學報， 2015， 46（1）： 14-19.

[21] Tomasi C， Manduchi R. Bilateral filtering for gray and color images[C]// Institute of Electrical and Electronics Engineers. Proceedings of 6th International Conference on Computer Vision. London： Narosa Publishing House， 1998： 839-846.

[22] Bulanon D M， Burks T F， Alchanatis V. Image fusion of visible and thermal images for fruit detection[J]. Biosystems Engineering， 2009， 103（1）： 12-22.

[23] Li P， Lee S H， Hsu H Y. Study on citrus fruit image data separability by segmentation methods[J]. Procedia Engineering， 2011， 23（5）： 408-416.

[24] 熊俊濤， 鄒湘軍， 陳麗娟， 等. 基于機器視覺的自然環境中成熟荔枝識別[J]. 農業機械學報， 2011， 42（9）： 162-166.

[25] 彭紅星， 鄒湘軍， 陳麗娟， 等. 基于雙次Otsu算法的野外荔枝多類色彩目標快速識別[J]. 農業機械學報， 2014， 45（4）： 61-68.

[26] 馮 娟， 曾立華， 劉 剛， 等. 融合多源圖像信息的果實識別方法[J]. 農業機械學報， 2014， 45（2）： 73-80.

[27] Patel H N， Jain R K， Joshi M V. Fruit detection using improved multiple features based algorithm[J]. International Journal of Computer Applications， 2011， 13（2）： 1-5.

[28] Linker R， Cohen O， Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers & Electronics in Agriculture， 2012， 81（1）： 45-57.

[29] Ohler J G. Cashew[M]. Amsterdam： Kominklijk Institunt Voor de Tropen， 1979.