基于matlab的番茄果實串檢測提取

金超杞，梁喜鳳，章 艷，陳 暉

（1.中國計量大學機電工程學院，浙江杭州310018；2.浙江省農業機械研究院，浙江杭州310018）

隨著科技日新月異的發展，人們已經不再滿足傳統的人工作業，農業收獲機器人的研究是順應當下時代發展的要求［1］。番茄是一種營養價值高，種植廣泛的果蔬，在我國番茄的收獲基本依靠人力來完成，隨著我國人口老齡化的加劇，人力成本的上升，促使我國加快發展農業自動化技術。在果蔬自動收獲的環節中，機器視覺起著重要的作用，國內外針對單果實的試驗研究取得了較大的成果，提取單果實目標成功率較高。郭峰等研究的草莓機器人，根據OHTA顏色空間提取出草莓并二值化分析草莓blob慣性主桿判斷生長形態，利用成熟度的差異實現有效采摘，基本滿足了機械采摘實時精確的要求［2］。林偉明通過比較各類顏色模型，最終選擇YUV模型判別番茄成熟度來提取番茄，在不同的光照條件下通過對比試驗證明了YUV的可靠性［3］。另外，日本的Kondo和荷蘭的ven Henten等在農業收獲機器人具有深入的研究［3－5］。

本研究針對番茄果實串進行研究，果實串的物理特性、顏色分布和形態大小和單果實相比有一定差異。在自然環境下光照度不均勻、枝葉遮擋、生長不規則也會使得機器很難辨別目標果實串，成熟番茄果實串目標提取的研究可以為后續的機器收獲作參考。

1 果實圖像的分離

1.1 果實顏色分析

在自然環境下，成熟的番茄果實串肉眼就能從背景中清晰分辨，但是要用機器辨別番茄果實串則需要利用顏色空間模型分析，常用的顏色空間模型有 RGB、HIS、HSV等［4］。如圖1中RGB模型的每個像素顏色都可以用空間的1個坐標表示，原點代表黑色，3種基本顏色RGB亮度均為0，當3種顏色亮度達到頂峰時即為白色，原點和峰值點的連線即代表從黑到白不同等階的灰度［5］。

番茄果實串的識別是為了將番茄果實串從二維圖像中分離出來，相機拍攝的彩色圖像中包含了許多的干擾因素（綠葉、果稈、土壤等）。成熟的番茄果實串的顏色特征是識別番茄果實串的關鍵（圖2）。照片于2016年5月在藍城農業嵊州基地利用索尼TX30數碼相機采集，總共包含60幅番茄果實串的樣張，采集的圖像大小是1 920×1 440像素。為了便于后期運算處理，圖像樣張均壓縮至800×600像素大小。

番茄果實串的圖像分割最簡單的方法就是直接從圖像中獲取RGB在目標區域的各個像素平均值，結合算法進行區分。本研究主要將感興趣區域分為3個部分，分別為果實串、果稈、枝葉［6］。為了盡可能地凸顯各個對象的顏色特征信息，選擇目標區域的時候盡可能包含整個目標［7］。利用Photoshop 13.0獲取目標區域各像素點RGB的值并計算平均值，通過分析，番茄串區域像素G和B分量相差不大，而R分量明顯高于R和G分量，通過對30幅圖像的分析，綜合考慮采用R－G分量進行果實串分割，得到如表1所示的60幅圖番茄果實串的各顏色分量圖。

表1 果實串目標區域顏色特征分量均值

1.2 閾值分割

當對番茄果實串利用R－G色差進行灰度變換之后發現番茄果實串在圖像中更加明顯［8］。圖3右邊是R－G灰度分布直方圖，采用Otsu（大津法）進行閾值分割，Otsu最大類間方差方法的思想就是通過篩選合適的閾值達到不同群類之間分離性最佳［9－10］。根據獲得的閾值，將圖像做二值計算。

Otsu采用最大類間方差方法將原圖像分為前后2個圖像，設計t作為目標前景和后景的分割閾值。前景和后景的參量分別有像素點數、質量矩、灰度平均值，前景和背景要想得到最大化差異，就要得到最佳的分割閾值。前景在整幅圖I（x，y）中所占的像素點的百分比為 p1，平均灰度為 u1，背景在圖中像素點數為p2，平均灰度為u2，圖像總平均灰度為u，目標前景和背景的方差記為g。圖像灰度灰度級別從最小開始調整閾值t，遍歷整個圖像一直到最大級別灰度，找到g的最大值對應的t即為最佳閾值［11］。

圖像上像素點的灰度值根據如下狀況進行閾值分割。

1.3 形態學處理

利用大津法閾值分割之后的圖像存在許多不飽和不連通的區域且有些噪聲，為了后期更好地處理，采用數學形態學去除干擾因素［12］。它的基本運算主要包括：膨脹、腐蝕、開運算和閉運算。

1.3.1 膨脹和腐蝕 形態學中最基礎的2種操作就是膨脹和腐蝕，膨脹就是在圖像邊界添加像素點，腐蝕就是其逆過程。膨脹和腐蝕的過程如下。

1.3.2 開運算和閉運算 開運算就是將二值圖像先腐蝕后膨脹運算，開運算定義如下，其中O代表開運算符號。開運算用來剔除小對象目標、在纖細點處分離物體、在較大物體邊界平滑處理、同時不改變其面積。

閉運算就是開運算的逆過程，可以填充圖像物體內不連通的小區域，連接鄰近區域，在不明顯改變物體面積的情況下平滑邊界，其定義如下，其中·代表閉運算符號。

對經過Otsu二值化之后的番茄串圖像進行閉運算處理之后可以看到圖像中原本不連通的區域已經連通在一起，原本的果實串是由幾個單果組成，消除了單果間的間隙就可以將果實串看作單個果實處理［13］（圖4－b）。

1.4 目標區域空洞去除

由圖4－b不難發現，單純的閉運算處理在果實串的目標區域會形成大小規則不一的空洞，這會造成后續的質心計算不便，為了消除目標區域的空洞，對處理后的二值圖像做取反操作，背景和目標區域的顏色互換，空洞和背景就會被分割成面積大小不同的多個單連通區域（圖5）。

由于空洞的面積較背景小，可以采用提取最大連通區域的辦法保留下背景區域［14－15］，圖6－a就是去除了空洞區保留背景的圖像，最后再次取反就可以得到我們想要的結果，目標區域內的空洞已經消除，只存在白色目標區域和黑色的背景（圖6－b）。

2 輪廓提取和形心計算

2.1 Canny算子邊緣提取

Canny算子是一種在圖像中應用較為廣泛的邊緣檢測算法。Canny算子的核心思想就是對圖像選擇合適的Gauss濾波器消除高斯噪聲，也就是平滑處理，抑制圖像的噪點，然后通過“非極值抑制”的技術，將圖形梯度幅值矩陣細化平滑處理，遍歷出目標區域的可能邊緣點，選擇滯后閾值包括高閾值和低閾值跟蹤曲線，提取邊緣曲線［16－17］，圖7是邊緣檢測之后的圖形。

2.2 質心提取和輪廓外接矩形的確定

利用Canny算子提取出番茄果實串的輪廓后，進一步需要估算出番茄果實串的質心坐標和標記目標區域的外接矩形。假設番茄果實串的目標區域用表達式f（xi，yi），其中xi、yi分別代表目標區域內的像素坐標，i分別有n個代表區域內總共有 n個像素點，（x0，y0）代表形心坐標［18］，其形心表達式如下所示：

目標區域的外接矩形左右邊界分別以橫坐標Xmin和Xmax為界限，其中上下邊界就是目標區域縱軸最大值和最小值，分別是Ymax和Ymin，標記的外接矩形如圖8－b所示。

3 結論

本研究針對自然光照下番茄果實串研究，試驗證明在RGB顏色空間模型下R－G色差分量可以較好地從背景中分離番茄果實串，整個計算過程簡單且易于實現。在自然光照條件下解決了分離時顏色分布不均勻、果實串不連通等問題，整個過程可以有效地消除噪聲干擾，將多個果實組成的簇群通過形態學處理消除間隙后可以當作單個果實計算，最終得到的一個完整連通的目標區域方便后續的處理。

參考文獻：

［1］袁國勇.農業收獲機器人的技術特點及發展現狀［J／OL］.［2015－05－08］.中國科技論文在線，http：／／www.paper.edu.cn／html／releasepaper／2005／10／142／.

［2］郭 峰，曹其新，崔永杰，等.用于草莓收獲機器人的果實定位和果柄檢測方法［J］.農業工程學報，2008，24（10）：89－94.

［3］Kondo N，Monta M，Fujiura T.Fruit harvesting robots in Japan［J］.Advances in Space Research，1996，18（1／2）：181－184.

［4］Monta M，Kondo N，Shibano Y.Agricultural robot in grape production system［C］／／IEEE International Conference on Robotics and Automation，1995.Proceedings.IEEE，2002：2504－2509 vol.3.

［5］Kondo N.Fruit grading robot［C］／／Proceedings 2003 IEEE／ASME International Conference on Advanced Intelligent Mechatronics（AIM 2003），2003：1366－1371.

［6］林偉明，胡云堂.基于YUV顏色模型的番茄收獲機器人圖像分割方法［J］.農業機械學報，2012，43（12）：176－180.

［7］付 鵬.基于機器視覺的蘋果檢測與識別關鍵技術研究［D］.楊凌：西北農林科技大學，2012.

［8］楊 瞡，朱 雷.基于RGB顏色空間的彩色圖像分割方法［J］.計算機與現代化，2010（8）：147－149，171.

［9］張鐵中，林寶龍，高 銳.水果采摘機器人視覺系統的目標提?。跩］.中國農業大學學報，2004，9（2）：68－72.

［10］戚利勇.黃瓜采摘機器人視覺關鍵技術及系統研究［D］.杭州：浙江工業大學，2011.

［11］沈 甜.蘋果采摘機器人重疊果實快速動態識別及定位研究［D］.鎮江：江蘇大學，2016.

［12］劉健莊，栗文青.灰度圖象的二維Otsu自動閾值分割法［J］.自動化學報，1993，28（1）：101－105.

［13］付忠良.圖像閾值選取方法——Otsu方法的推廣［J］.計算機應用，2000，20（5）：37－39.

［14］陳 果，左洪福.圖像的自適應模糊閾值分割法［J］.自動化學報，2003，29（5）：791－796.

［15］劉長林，張鐵中，楊 麗.茄子收獲機器人視覺系統圖像識別方法［J］.農業機械學報，2008，39（11）：216－219.

［16］熊俊濤.復雜環境下荔枝采摘機械手的視覺定位研究［D］.廣州：華南農業大學，2012.

［17］陳 辰，黃 晁，張從連，等.一種交通燈識別方法：CN104574960A［P］.2015－04－29.

［18］任 結.基于立體視覺的手勢跟蹤識別及人機交互應用［D］.南京：南京大學，2013.

［19］王佐成，劉曉冬，薛麗霞.Canny算子邊緣檢測的一種改進方法［J］.計算機工程與應用，2010，46（34）：202－204，248.

［20］李華強，喻擎蒼，方 玫.Canny算子中Otsu閾值分割法的運用［J］.計算機工程與設計，2008，29（9）：2297－2299.

［21］丁亞蘭.基于機器視覺的獼猴桃果實識別與定位關鍵技術研究［D］.楊凌：西北農林科技大學，2009.

［22］崔永杰，蘇 帥，王霞霞，等.基于機器視覺的自然環境中獼猴桃識別與特征提?。跩］.農業機械學報，2013，44（5）：247－252.