利用圓預處理RGB圖像對葡萄圖像分割影響研究*

李貴賓，李長勇，陳立新

(新疆大學機械工程學院，烏魯木齊市，830049)

0 引言

葡萄含有豐富的營養和獨特的口感而深受消費者的喜愛，并且已經成為新疆[1]的支柱性產業之一。由于葡萄在成熟時呈現形狀大小不一和采摘季節性強，直接導致采摘工作勞動強度大、效率低、人工成本高等問題[2]。因此研究自動化葡萄采摘技術對推動農業發展具有重大意義。

近些年人工智能、深度學習等相關理論的飛速發展，使得機器視覺在多個行業取得了不錯的實際效果，因此絕大數與農業機器人相關的新技術正在使用圖像來獲取數據[3-7]，使得國內外學者利用機器視覺識別葡萄，研究如何正確分割背景與葡萄串。能否正確分割葡萄串與背景將直接影響葡萄采摘作業。

葡萄串與背景有效地分割是實現葡萄采摘的關鍵，且國內外學者已進行多方面的研究。Ron Berenstein等[8]利用視覺對葡萄串和葉片進行分割技術研究，提出了葉片檢測算法(FDA)結合葡萄集群檢測算法(GDA)機器視覺算法，利用的是RGB和HSV顏色模型。Fernández等[9]利用CCD相機和濾波輪組成簡易光譜相機進行圖像采集，在lab空間下結合K-means 算法進行葉子、莖、枝、果實和背景分割。Reis等[10]研究利用葡萄的特定顏色把葡萄串進行分割出來。Rodrigo等[11]提出通過HOG和LBP算法結合SVM分類器提取葡萄區域。馬本學等[2]利用閥值分割、形態學處理、空洞填補等步驟進行葡萄與背景分割。田銳等[12]利用圖像平滑、閥值分割、形態學處理等基本圖像處理技術提取出葡萄串。楊慶華等[13]利用Hough圓檢測進行葡萄區域提取。羅陸鋒等[14-16]利用HSV模型中的H分量進行葡萄和背景的分割。

根據上述學者的研究現狀，可知部分學者利用傳統方法需經過復雜的步驟才能得到正確的分割結果，部分學者利用深度學習進行分割，雖然得到較好的分割效果，但是前期須要準備大量的樣本和模型的訓練，而模型訓練對計算機的要求較高，這無疑提高了研究成本。針對上述的缺點和葡萄所處的環境，本文將以田間環境下紅葡萄中的紅提葡萄為研究對象，選擇陰影下的、葡萄串表面有明顯反光的、葡萄串表面無明顯反光的葡萄串，研究利用圓預處理葡萄串的RGB圖像參數方法，再結合直方圖進行葡萄串與背景的分割，為葡萄采摘機器人準確識別及定位葡萄串提供良好的數據支撐。

1 材料與方法

1.1 圖像采集

本文試驗對象是在烏魯木齊市三坪農場的葡萄種植園中采集的紅提葡萄圖像，采集時間為2019年9月份下旬。采用COMS攝像頭采集樣本，采集樣本時應使葡萄占據視野的80%～90%區域，采集的樣本有生長在葡萄藤陰影下的葡萄(即無太陽直接照射的葡萄)50張、表面有明顯反光的葡萄(即太陽直接照射且表面有明顯反光的葡萄)50張、表面無明顯反光的葡萄(即太陽直接照射且表面無明顯反光的葡萄)50張。

1.2 圖像顏色特性

葡萄圖像中含有土地、枝干、葉子和藍天4種背景信息，其中枝干和葡萄的顏色較為相近。由于葡萄是藤本植物，生長時需建立支架，而新疆多以籬架為主，如圖1所示，因此在一天中由于太陽的方位變化而引起葡萄串上面的反光不同，為了滿足葡萄采摘機器人的采摘需求，需對葡萄串表面含有不同反光的情況進行準確分割，如圖2～圖4所示的葡萄串。

圖1 籬架為主的種植模式Fig. 1 Hedge-based planting

圖2 太陽直接照射且表面有明顯反光Fig. 2 Direct sunlight and obvious reflection

圖3 太陽直接照射且表面無明顯反光Fig. 3 Direct sunlight and no obvious reflection

圖4 無太陽直接照射Fig. 4 No direct sunlight

2 利用圓預處理RGB圖像算法

目前常用的兩種COMS攝像頭分別是彩色攝像頭和灰度攝像頭，由于從彩色圖像中可以獲得更多背景與葡萄串的信息量，所以本文以彩色COMS攝像頭采集的RGB圖像為基礎，將RGB三通道的參數(下文稱RGB參數)轉換成圓的參數(半徑和圓心坐標)作為葡萄和背景分割的基礎數據。圓的三個參數由RGB參數計算出，只要RGB參數的其中一個參數發生變化，就會引起圓的三個參數發生變化。本文將研究圓的參數隨RGB參數變化而變化的規律。

2.1 利用圓預處理RGB圖像算法原理

首先將RGB圖像各通道參數進行歸一化處理，如式(1)所示，然后進行搜索每個像素點所含參數的最小值，如式(2)所示，再把各通道的參數減去最小值，如式(3)所示。此時得到的參數用于求圓參數的初始數據。根據二維平面內任意不共線的三點可確定一個圓的定理，令式(3)得到的三個參數傳入三個點中，充當縱坐標的值，如式(4)所示。

(1)

式中：W——圖像的寬度；

H——圖像的高度；

B——RGB彩色圖像的藍色通道；

G——RGB彩色圖像的綠色通道；

R——RGB彩色圖像的紅色通道；

ck——k通道參數歸一化結果。

m[i,j]=min(cB[i,j],cG[i,j],cR[i,j])

(2)

式中：cB——藍色通道參數歸一化結果；

cG——綠色通道參數歸一化結果；

cR——紅色通道參數歸一化結果。

ek[i,j]=ck[i,j]-m[i,j]

k=B,G,R;(i,j)∈(W,H)

(3)

式中：ek——k通道參數與最小值的差值；

m——藍色、綠色、紅色三個通道中在其像素點的最小參數。

yk[i,j]=ek[i,j]

k=B,G,R;(i,j)∈(W,H)

(4)

式(3)得到新的三個參數均是小于等于1，為了避免圓的參數分布較廣，設定三個求圓所需點的橫坐標分別為x1=0.5、x2=1、x3=1.5，此時得到一組坐標點，即(0.5，yB[i，j])、(1，yG[i，j])、(1.5，yR[i，j])，由此組坐標根據式(5)計算圓的參數，經推導得出式(6)。

l=1,2,3;k=B,G,R;(i,j)∈(W,H)

(5)

式中：r0——圓的半徑；

x0——圓心橫坐標；

y0——圓心縱坐標。

(6)

利用式(6)可對RGB圖像進行參數轉換，把藍色、綠色、紅色三個通道參數轉換成半徑r0、圓心坐標x0、y0三個參數。為了便于表述，下文均用r、x、y分別代替r0、x0、y0。

2.2 圓參數的特性

利用式(6)對彩色圖進行參數轉換，得到的r、x、y三個參數用直方圖表示出來，探討三個參數隨著顏色亮度變化的規律。

首先對單色漸變的情況下按照單通道有值、兩通道有值和三通道有值的情況進行試驗。單通道有值時試驗得出的直方圖如圖5所示。從圖5可見單通道有值且發生變化時，r和y都隨著亮度變化而變化，x參數不隨顏色的亮度變化而變化。當目標區域只含RGB三原色中一種顏色，對其區域分割時可利用x參數進分割處理。

圖5 單通道有值且顏色漸變Fig. 5 Single channel value gradient

兩通道有值時，利用控制變量的思想，設定兩通道的參數相同、兩通參數等比例(比例為2)變化三組試驗，試驗的結果如圖6所示。從圖6可見當兩通道有值時，圓心的x參數最集中，其次是y參數，最后是r參數，從側面反映出x參數受顏色亮度影響更小。因此當目標區域中某一通道無值時可以利用x參數作為分割的基礎數據，并且可以結合y參數提高分割效果。

圖6 兩通道有值且顏色漸變漸變Fig. 6 Two-channel value gradient

三通道有值時，利用控制變量法，進行兩通道等值與第三通道等比變化、三通道等比變化、三通道等值三組試驗。由于三通道參數相等時，過三點的圓弧呈現直線，得到的圓的半徑為無窮大，因此不進行三通道等值情況的試驗。試驗結果如圖7所示。從圖7可見當三通道都有值時，圓心y參數和x較為集中，其值受顏色亮度影響較小。當目標區域中三通道都有值時可以利用x和y參數作為分割的基礎數據。

當圖像中有多色時，利用控制變量法，進行圖像中有兩種顏色和圖像中有多種顏色的兩組試驗，試驗結果如圖8和圖9所示。

圖7 三通道有值且顏色漸變Fig. 7 Three-channel value gradient

圖8 圖像中有兩種顏色Fig. 8 Two colors in the image

從圖8和圖9的兩組試驗結果顯示出圖像中存在多種顏色時，y參數表現出參數集中且有明顯的分界，x參數有參數集中且有一定的分界趨勢，r出現全部聚集到一定值的范圍內，因此在圖像中含有多種顏色時，可以利用x和y兩個參數分割出感興趣區域。從圖9可見直方圖的峰的數量不等于顏色數量，因此本文提出的方法不適用對相近的幾種顏色做分割任務。

將以上幾組試驗進行對比，x和y兩個參數在顏色亮度發生變化時波動很小，尤其是當圖像中含有多種顏且每種顏色含有多種亮度時，可以利用x和y兩個參數進行前景與背景的分割任務。從圖8和圖9的試驗結果可以看出本文提出的方法不適用對相近顏色的分析。

圖9 圖像中有三種顏色及以上Fig. 9 Three colors and above in the image

3 葡萄串分割試驗

試驗對象分別為無太陽直接照射的葡萄串、表面有明顯反光的葡萄串、表面無明顯反光的葡萄串，以上葡萄串均為紅提葡萄。

在葡萄串圖像參數轉換之前先對紅提葡萄的顏色進行分析，隨機選取4種亮度不同且圖像中只含葡萄的圖像進行通道分離，觀察紅提葡萄是否屬于三通道有值合成顏色。為了更好展示結果，從每一類圖像的通道分離結果中隨機取出一組進行展示，如圖10所示。由圖10可見紅提葡萄隨著光照強度不同時，RGB三通道沒有出現某個通道沒值的情況，因此紅提葡萄的顏色是由三個通道的值合成的。

將用圓的x、y參數結合直方圖進行葡萄串與背景分割試驗。由于HSV模型中的H通道由主色調組成，并且與白光源中的高光無關[17]，再者生長在自然環境下的葡萄存在高光環境，因此利用HSV模型中H參數結合直方圖進行葡萄串分割作為對照組1。Lab模型在利用視覺處理果蔬時有較好的效果，因此下文用a參數結合直方圖進行葡萄串分割作為對照組2。試驗用到的葡萄串圖像如圖11所示。

(a) 原圖圖10 對彩色圖像進行RGB顏色通道分離的結果圖Fig. 10 Result image of RGB color channelseparation of color image

(a) 葡萄串表面無明顯反光

(b) 無太陽直接照射的葡萄

(c) 葡萄串表面有明顯反光圖11 試驗圖像Fig. 11 Experimental image

3.1 對表面無明顯反光的葡萄串分割的影響

根據第1節得出的方法和葡萄顏色合成特征可知：利用x和y參數作為分割的基礎數據可得到較好地分割效果，因此比較x，y，H，a的四個參數的直方圖，如圖12所示。

從圖12可以看出，y、H、a三個參數都有明顯的雙峰狀態，其中x參數的雙峰效果最差，y參數的雙峰效果最好。x參數的雙峰位置較近，幾乎呈現單峰狀態。由于圖像中前景葡萄，顏色較為統一，背景主要為葉子，顏色也較為統一，因此圖像中主要顏色為葉子的顏色和葡萄的顏色，正是對應多直方圖中出現的兩個峰，因此可利用兩峰之間的值作為葡萄串與背景分割的閾值，其分割的效果如圖13所示，圖13(a)是利用x、y兩個參數進行分割效果，圖13(b)是利用H參數進行分割效果，圖13(c)是利用a參數進行分割效果。

圖12 各參數的直方圖Fig. 12 Histogram of each parameter

(a) 用x、y參數分割結果

(b) 用H參數分割結果

(c) 用a參數分割結果圖13 葡萄串區域分割結果Fig. 13 Segmentation results of grape clusters

本文提出的方法比利用HSV模型中的H參數在色差較大的地方處理效果比較好，比如可以區分藍色分量含量較高的區域(圖14(a)～圖14(d))，可以降低噪聲區域面積。與利用Lab模型中的a參數分割結果比較，本文提出的方法在相近的顏色區域分割效果較好，比如區分枝干、枯萎葉片與葡萄串(圖14(e)～圖14(h))。將圖13分割結果利用像素點個數統計分割結果，如表1所示，直觀展現出利用x、y參數分割正確率較高，達96.7%。當然本文提到的算法也有一定的缺點，與利用HSV模型中的H參數分割結果比較，把葡萄串中光線較暗的區域當作非葡萄區域處理，但是在這張圖的該區域恰巧存在兩個葡萄串相貼的區域，對后期有一定的益處；與Lab模型相比較，對未熟的葡萄較為敏感，因為未熟的葡萄呈現的顏色中綠色通道的參數較大，易被當作葉子處理。

(a) 用x、y參數分割結果

(b) a圖中的局部放大圖

(c) 用H參數分割結果 (d) c圖中的局部放大圖

(e) 用x、y參數分割結果

(f) e圖中的局部放大圖

(g) 用a參數分割結果

(h) g圖中的局部放大圖圖14 分割結果的細節比較圖Fig. 14 Detailed comparison chart of segmentation results

表1 圖13的像素點統計表Tab. 1 Pixel statistics table in Figure 13

3.2 對無太陽直接照射的葡萄串分割的影響

本節試驗依然用x、y參數結合直方圖進行葡萄串與背景分割，對照組是HSV模型中的H參數和Lab模型中的a參數結合直方圖進行葡萄串與背景分割。先把各參數顯示成直方圖，如圖15所示。

圖15 各參數的直方圖Fig. 15 Histogram of each parameter

從圖15可以看出，四個參數的雙峰效果都比較好，并且各參數較為穩定，因此對無太陽直接照射的葡萄串分割效果比對陽光直接照射的葡萄串分割效果好。四個參數相比較時，依然是y參數表現的雙峰較為明顯，并且兩峰之間有明顯的分界線，其次是H參數的雙峰效果較好。利用峰與峰之間的低谷值進行圖像中的葡萄區域分割，分割結果如圖16所示，圖16(a)是利用x、y兩個參數結合直方圖的分割效果，圖16(b)是利用H參數結合直方圖的分割效果，圖16(c)是利用a參數結合直方圖的分割效果。

(a) 用x、y參數分割結果

(b) 用H參數分割結果

(c) 用a參數分割結果圖16 葡萄串區域分割結果Fig. 16 Segmentation results of grape clusters

由圖16可見利用x、y參數在顏色相差較大的區域進行葡萄串分割比H參數分割能力強，在相近的顏色區域進行葡萄串分割比a參數分割能力強。將圖16分割結果利用像素點個數統計分割結果，如表2所示，直觀展現出利用x、y參數分割正確率較高，達98.1%。

表2 圖16的像素點統計表Tab. 2 Pixel statistics table in Figure 16

3.3 對表面有明顯反光的葡萄串分割影響

對圖11(c)參數轉換，分別用直方圖展示x、y、H、a四個參數的分布情況，如圖17所示。

圖17 四個參數的直方圖Fig. 17 Histogram of four parameters

從圖17可以看出，各參數展現出的雙峰效果比上兩組試驗較差，其中a參數的雙峰效果最差，幾乎成為一個峰，根據圖17中的直方圖分割圖11(c)中的葡萄串與背景。分割效果如圖18所示。

(a) 用x、y參數分割結果

(b) 用H參數分割結果

(c) 用a參數分割結果圖18 葡萄串區域分割結果Fig. 18 Segmentation results of grape clusters

從圖18可見，無論是哪種方法分割的葡萄串區域效果都較差，用H參數分割效果相對較好，用x、y參數的分割效果最差。對圖18分割結果統計正確和錯誤像素點的情況，如表3所示。通過表3直觀展現出利用x、y參數分割正確率最低。由試驗結果可以看出本文提出的方法不適用表面有較強反光的葡萄串與背景分割。

表3 圖18的像素點統計表Tab. 3 Pixel statistics table in Figure 18

4 結論

1) 針對由于光照方向不同引起葡萄串表面顏色發生變化引起葡萄串分割困難的問題，從顏色合成的特征出發，利用圓轉換RGB圖像的三通道參數，并進行分割對比試驗。對葡萄串表面無明顯反光的葡萄串、無太陽直接照射的葡萄串進行分割，分割正確率分別是96.7%、98.1%，利用H參數、a參數對表面無明顯反光的葡萄串圖像的分割正確率分別為96.0%、95.1%，對無太陽直接照射的葡萄串圖像的分割正確率分別為94.1%、97.6%。結果表明對葡萄串表面無明顯反光的葡萄串圖像和無太陽直接照射的葡萄串圖像處理時，本文方法分割效果優于HSV模型和Lab顏色模型。但是本文方法對葡萄串表面有明顯反光的葡萄串分割效果較差，本文的方法不適用葡萄串表面有明顯反光時的分割。

2) 通過本文的方法為葡萄分割提供良好的數據支撐，本研究接下來將其轉變成顏色模型，為葡萄高效率采摘提供良好基礎。