基于CLAHE和開閉運算的綠色蘋果圖像分割

王 帆，呂繼東，申根榮，馬正華

(常州大學 信息科學與工程學院，江蘇 常州 213164)

基于CLAHE和開閉運算的綠色蘋果圖像分割

王 帆，呂繼東，申根榮，馬正華

(常州大學 信息科學與工程學院，江蘇 常州 213164)

依據綠色蘋果圖像的自身特點，設計了一種分區域提取而后合并的圖像分割方法；首先對圖像進行限制對比度自適應直方圖均衡化(contrastlimitedadaptivehistogramequalization,CLAHE)，增大果實和背景的顏色差，而后獲取R-B色差圖像，得到以光常區域為主的區域；然后用CLAHE處理后的圖像進行開閉運算，提取局部極大值，得到以高亮區域為主的區域；最后將兩區域合并獲得完整的果實目標區域；為了驗證該方法的有效性，運用Hough算法檢測圓，并用相對偏差、圓心相對誤差及半徑相對誤差3個評價指標來定量評價；試驗結果表明，提取區域與果實目標區域相比，順光下，相對偏差、圓心和半徑相對誤差平均值分別為3.59%，4.76%和2.60%；逆光下，3個指標的平均值分別為10.77%、16.77%、11.49%；無論是順光還是逆光都有很好的識別效果，能滿足機器人采摘果實的精確定位的要求。

綠色蘋果；限制對比度自適應直方圖均衡化；局部極大值；區域合并

0 引言

精確識別定位是機器人采摘果實的關鍵，直接關系到機器人采摘的質量。相關文獻中多是對紅色果實圖像分割識別的研究，而對綠色果實的分割識別研究較少。文獻[1]通過采用模板匹配的細化算法在2R-G圖像中提取果實輪廓，再用改進的隨機Hough算法，實現果實的識別，識別效果較好。文獻[2]通過對R-B分量及灰度均值m、標準偏差σ和熵e等特征和最佳聚類數對蘋果圖像進行K-均值聚類分割。文獻[3]通過建立混合分類器，將歸一化g分量、HSV空間的H、S分量和2G-R-B作為特征參數，識別近色背景中的綠色蘋果。文獻[4-5]通過訓練建立BP神經網絡，并將顏色、形狀特征作為輸入，建立綠色蘋果分割模型，分割綠色果實。文獻[6]依靠物體的顏色、質地和形狀特征的組合重建三維空間，將果實區域從背景中分離。文獻[7]用果實的顏色特征和表面光滑性檢測得到屬于蘋果的高概率像素，形成“種子區域”，經過擴展得到綠色果實區域。

本文研究的綠色蘋果圖像，順光下，天空背景與果實受強光部分接近白色，葉子綠色較淺，與果實顏色相近，果實表面由強光引起的陰影面積較大；逆光下，圖像整體亮度低，葉子表面綠色較深，果實表面仍有部分陰影。果實表面亮度不均勻，運用常見的顏色或者紋理特征不能有效地分割果實目標；而將果實形狀特征和顏色特征融合通過建立綠色果實模型實現分割，果實表面紋理特征不明顯，需要較大的計算量。針對綠色蘋果的分割難點，設計了一種分區域提取而后合并的分割方法。

1 材料與方法

1.1 圖像采集與試驗

數碼相機型號Canon DIGITAL IXUS 200 IS，果實品種為王林蘋果，拍攝距離20～80 cm。試驗所用到的圖像均在自然環境下拍攝，圖像包括順光、逆光果實圖像共100幅；圖像分辨率為1136×852像素。圖像試驗軟件平臺為Matlab R2013a，計算機的處理器為Intel(R)Core(TM)2 Duo CPU E4600 @ 2.40 GHz，內存為2 G。

1.2 圖像分割

自然環境下光照引起果實表面的受光不均勻將果實表面分為光常區域、中間區域和高亮區域三部分。高亮區域是由于果實表面受強光照造成的，表面區域較亮。光常區域是果實表面光線較弱的區域，區域亮度較弱。果實表面受光強度正常的部分，稱為中間區域。文中分割出的以高亮區域為主的區域，包含高亮區域和中間區域；同樣，中間區域也被包含在以光常區域為主的區域內。該文提取的兩種區域，會有重疊部分。果實表面受光不均勻，導致單個方法很難將其完整分割出來。本文先分別提取兩個區域(以高亮區域為主的區域和以光常區域為主的區域)，兩區域提取后進行合并最終獲得完整的果實目標區域，分割流程如圖1所示。

圖1 綠色蘋果分割流程圖

1.2.1 限制對比度自適應直方圖均衡化

與一般的直方圖均衡化相比，CLAHE算法不同點在于其對比度限幅，相比AHE(對比度受限直方圖均衡化)，AHE法只能局部增強圖像的對比度，而CLAHE法是對圖像的每個小區域都必須使用對比度限幅。AHE法能夠使處理后的圖像平坦均勻，清晰度增強，但對噪聲敏感。CLAHE法不僅能抑制圖像噪聲，加強對比度，更重要的是突出圖像內部細節[8]。為了更多地分割出綠色果實區域，使果實與背景顏色差異突出，本文應用CLAHE算法處理圖像。其主要實現步驟為：

1)將圖像分成像素為M×N的多個連續均勻且不重疊的區域；

2)計算每個區域的直方圖函數。每個區域(m,n)相應直方圖函數可以表示為Hm,n(r)，每個直方圖的灰度級是r，r的大小為[0,K-1]，K是灰度級個數；

3)計算剪切限幅值β：

(1)

式(1)中，α為截斷系數，其取值范圍為(0,1]，表示每個灰度級像素的最大百分比。因此β取決于區域大小。當α=1時，β最小，此時β=M·N/K。對每個小區域用β裁剪Hm,n(R)，將超出β值的像素平均分布到其他灰度級中，如圖2(b)。為了防止新的直方圖函數再次超過β，就需要重復裁剪直到這個超出部分很小，如圖2(b)上部分陰影部分顯示，剪切效果如圖2(d)。為了提高速度，所用CLAHE算法的參數取M=5，N=5，α=0.4。

4)直方圖均衡化每一個子區域。

5)采用雙線性插值法[9]，參考各子塊中心點處灰度值，計算各點灰度值。處理方法如下：

如圖2(c)，像素所在位置記為S，像素值為e，表示為Pi,j(S)=e，在輸出圖像中記為e’，每個區域的中心分別為A、B、C、D，FA(e)、FB(e)、FC(e)、FD(e)分別為4個中心點的變換函數，4個區域變換函數的加權和為e’。設a、b分別是S點到直線AC和AB的距離，且lAC和lAB均為1，則對于每一個(a,b)有：

(2)

每個像素都可以用一個變換函數表示為：

(3)

式(2)、(3)中，像素點(i,j)的分布函數是Fi,j(e)。傳統自適應直方圖均衡化，不管是否對對比度有限制，都對圖像中每一個像素點的直方圖函數、相應的變換函數進行計算，這樣使計算量大、時間過長。而這種插值法的過程極大降低了變換函數需要計算的次數，只是增加了一些雙線性插值的計算量。

最終效果圖如圖2(d)，與圖2(a)原圖相比，果實和背景的對比度明顯增強，果實與背景的色差明顯。分別提取原圖與CLAHE處理后圖像的R-B圖像，如圖3(a)與3(b)，CLAHE處理后的R-B圖像得到了相對比較完整的果實區域，且殘留的葉子區域細小，容易去除。

圖2 CLAHE算法示例

圖3 CLAHE處理效果圖

1.2.2 小區域去除/空洞填充

將R-B圖像轉化成二值圖像(如圖4(b)),圖像中殘留的分割碎片，通常是未分割掉的與果實顏色相近的葉子背景、草地和天空背景，而果實區域由于光照不均、遮擋造成的陰影，也會產生孔洞。對于分割碎片，本文以8鄰域標記法[10]對圖像中的連通區域進行標記并統計總數，將小于最大連通區域1/12的小區域去除。而漫水填充算法[11]用來填補分割區域中或邊界的孔洞，如圖4(c)。

1.2.3 邊界對象去除

圖像采集過程中，當采集果樹外圍的果實圖像時，所采集的圖像邊界往往會出現草地。草地也與果葉顏色相近，通過以上環節往往不能去除干凈，圖像邊界仍然會存在較大塊的草地區域。為此本文在上述分割結果的基礎上刪除與圖像邊界相連的對象。具體首先對各連通區域輪廓跟蹤獲取邊緣坐標，然后對所獲取的各連通區域邊緣坐標進行判別，以確定是否與圖像的邊界相連，最后刪除與圖像的邊界相連的連通區域，如圖4(d)。圖5為提取的以光常區域為主的區域在原圖中圈出的效果圖。

圖4 以果實光常區域為主的提取圖

圖5 原圖中圈出以光常區域為主的區域

1.2.4 形態學開閉操作

由于不同的光照狀態下，綠色果實與背景邊緣像素差異不明顯，特別是天空、綠色草地背景，直接使用分水嶺分割，容易產生過度分割的現象。因此提取綠色蘋果圖像中果實高亮區域需要對圖像進行CLAHE處理，以獲得更好的分割效果。具體方法如下：

1)圖像進行CLAHE處理。

將2.2.4.1中腌制的生鮮肉泥壓制成型后入箱烘烤，烘烤溫度180 ℃，烘烤時間15 min。通過測定和計算烘烤前后肉脯紅度值的差值，判斷不同發色劑的熱穩定性。計算公式為△a=a1-a2，式中：a1為烤前紅度值，a2為烤后紅度值。

2)進行開運算。該方法通過去掉圖像邊緣較小的突刺、切斷連通區域內部的細長搭接實現圖像的分離。

3)進行閉運算。該方法通過填充連通區域中或邊緣的小缺口或空洞、連接較相近兩連通區域實現圖像的連接。

如圖6(a)與6(c)，分別是CLAHE處理前的開閉操作圖像。圖6(b)與6(d)，分別為CLAHE處理后的開閉操作圖像。CLAHE處理后進行開閉操作，圖像中局部極大值區域較大。

4)獲取圖像中的局部極大值。

局部極大值圖像(圖6(e))中，圖像有細小的空洞和小斑點殘留，進行孔洞填充或小區域去除(圖6(f))，再去除邊界背景對象(圖6(g))，就得到了果實的以高亮區域為主的區域。如圖7是原圖像中圈出的以高亮區域為主的區域。

圖6 以果實高亮區域為主的提取圖

圖7 原圖中圈出以高亮區域為主的區域

1.2.5 區域合并

CLAHE處理后的圖像，增大了果實區域與葉子、枝干、草地、天空等背景的灰度級。提取R-B色差因子，得到果實的以光常區域為主的區域。利用形態學開閉運算，提取局部極大值，得到果實的以高亮區域為主的區域。最后將以光常區域為主的區域與以高亮區域為主的區域合并，得到果實區域二值化圖像(圖8(a))，在原圖中圈出果實目標區域(圖8(b))。圖8(b)說明，合并區域與果實實際區域很接近。

為了運算簡單，用sobel算子檢測合并區域的輪廓。對于單個果實，直接使用Hough圓檢測算法。對于多個果實，用基于距離測度的角點檢測算法[12]尋找果實輪廓的角點，并求出與區域有相同標準二階中心距的所在橢圓的長軸與水平線所成的角度α，如式:

(4)

圖9 果實分割圖

圖8 合并區域效果圖

式(4)中，tanα為長軸的斜率，(xa，ya)為連通區域質心點坐標，由于果實質心經過長軸，帶入質心坐標，就可以計算出長軸所在直線。選擇分割點方法：選擇長軸的兩側，且兩角點所連線段最短，即可作為分割點，再用Hough算法。

1.2.7 Hough圓檢測

綠色蘋果類似圓形，為了計算方便，以圓形近似表示蘋果的形狀輪廓，因此果實輪廓邊緣可以用圓形公式[13]表示為:

(5)

式(5)中，x0、y0是綠色果實形心坐標，r0是綠色果實輪廓的半徑。則x、y可以表示為：

x=x0+r0cosθ

(6)

(7)

則有:

(8)

式(8)說明，圓周上關于圓心對稱的兩點M(x1,y1)、N(x2,y2)，所在線段MN中點就是圓心。設半徑大小為r0，即:

(9)

(10)

從100張圖像中選取部分圖像，包括順光下單個果實、多個果實，逆光下單個果實、多個果實、葉子遮擋、果實遮擋。如圖9是順光逆光下的果實分割圖，分別顯示了原圖像、合并區域二值化圖像、原圖中圈出合并區域的圖像、Hough算法檢測圓的圖像。

2 試驗結果與分析

2.1 算法評價指標

在機器人采摘果實時，其采摘質量不僅與果實形狀有關，也與果實的形心和果實的大小有關。為了驗證本文所設計方法的有效性，用相對偏差[14]、圓心相對誤差CRError和半徑相對誤差RRError[15]作為評價識別誤差的指標。

相對偏差描述如下：

(11)

式(11)中，L是果實形心與擬合圓圓心的距離，SY是果實實際區域的面積。

圓心相對誤差CRError可以表示為：

(12)

半徑相對誤差RRError可以表示為：

(13)

式(12)、(13)中，L同上，RealR是果實圖像的半徑，CalR是擬合圓的半徑。

2.2 果實識別實驗與分析

在上述方法中，用Hough算法得到擬合圓的半徑和圓心。然后，根據圖像實際形心、半徑和面積，來計算相對偏差、圓心相對誤差及半徑相對誤差三個評價指標，定量檢測文中所用方法的有效性。如表1列出8張圖像中可識別出的果實數據，圖像中共有19個綠色果實，有3個果實因被遮擋部分超過果實面積的1/2未被識別出。圖像序號1～5為順光下的果實識別實驗，圖像序號6～8是逆光下的果實識別實驗。

表1 綠色蘋果識別實驗結果

表2 不同光照下果實識別實驗結果對比表

順光下，相對偏差、圓心和半徑相對誤差的平均值分別為3.59%、4.76%和2.60%；逆光下，3個指標的平均值分別為10.77%、16.77%、11.49%。逆光狀態下，分割的果實目標區域地面背景受強光被誤分割成目標區域，由于葉子遮擋造成的陰影被誤判斷成背景，導致目標區域的分割誤差，即圓心和半徑相對誤差(見表2)。順光狀態下，部分果實區域由于光照形成的陰影被誤當成葉子背景而去除，本文算法在一定程度上減小了順光下的果實分割誤差。當提取的果實目標區域較接近果實實際區域時，果實的相對偏差、圓心相對誤差及半徑相對誤差較小。機器人采摘果實時，準確地定位，一定程度上能夠提高機器人采摘質量；相反，果實的相對偏差、圓心相對誤差及半徑相對誤差較大，會對機器人采摘果實加大難度。

3 結論

蘋果采摘現在已成為采摘機器人的研究重點。完整分割、精確定位對機器人的采摘質量有很重要的作用。為了實現相近背景中綠色蘋果的分割，提出了一種分區域提取而后合并的果實分割方法，為了證明該方法的準確性，將提取到的區域進行Hough算法檢測圓，并將擬合圓的圓心坐標和半徑與果實實際圓心坐標、半徑進行了定量比較。實驗結果證明：

1)CLAHE算法處理圖像，有效降低了綠色果實與葉子、草地等相近背景的分割難度。

2)與綠色果實實際圓心、半徑相比，分割的區域越接近實際區域，分割的相對偏差、圓心相對誤差及半徑相對誤差越小。順光下相對偏差、圓心和半徑相對誤差的平均值分別為3.59%、4.76%和2.60%；逆光下的這3個評價指標的平均值分別為10.77%、16.77%和11.49%。

文中算法對于綠色果實的分割是可行的，為后續果實的準確定位打下基礎。

[1] 謝忠紅，姬長英，郭小清，等.基于改進Hough變換的類圓果實目標檢測[J].農業工程學報,2010,26(7):157-162.

[2] 司永勝,劉 剛,高 瑞,等.基于K-均值聚類的綠色蘋果識別技術[J].農業機械學報,2009,40(s):100-104.

[3] 張春龍, 張 楫, 張俊雄, 等.近色背景中樹上綠色蘋果識別方法[J]. 農業機械學報, 2014, 45(10):277-281.

[4] 荀 一, 陳 曉, 李 偉, 等.基于輪廓曲率的樹上蘋果自動識別[J].江蘇大學學報·自然科學版, 2007, 28(6):461-464.

[5] 張志強, 張惠莉. 基于神經網絡和圖像顏色、形狀特征的綠色蘋果圖像分割[J].農業網絡信息, 2013(10):20-23.

[6] Rakun J, Stajnko D, Zazula D. Detecting fruits in natural scenes by using spatial-frequency based texture analysis and multiview geometry[J]. Computers and Electronics in Agriculture, 2011,76(1):80-88.

[7] Linker R, Cohen O, Naor A. Determination of the number of green apples in RGB images recorded in orchards[J]. Computers and Electronics in Agriculture, 2012,81(2):45-57.

[8] 王 建，龐彥偉. 基于CLAHE的X射線行李圖像增強[J].天津大學學報，2010, 43(3):194-198.

[9] 姬 偉，陶 云，趙德安，等.基于CLAHE的蘋果樹樹枝迭代閾值分割方法研究[J]. 農業機械學報, 2014,45(4):69-75.

[10] Nixon M S, Aguado A S. 特征提取與圖像處理 [M](第二版). 北京:電子工業出版社, 2010.

[11] Bradski G, Kaehler A. Learning OpenCV: computer vision with the OpenCV Library [M]. Beijing: Tsinghua University Press, 2009.

[12] 徐 越，李盈慧，宋懷波，等.基于Snake模型與角點檢測的雙果重疊蘋果目標分割方法[J].農業工程學報，2015,31(1)：196-203.

[13] 王小華，謝君廷，李本伍.一種新的基于梯度方向角的圓檢測算法[J].機電工程，2008,25(3)：30-32.

[14] 謝志勇，張鐵中，趙金英.基于Hough變換的成熟草莓識別技術[J].農業機械學報,2007,38(3):106-109.

[15] 馬翠花，張學平，李育濤，等.基于顯著性檢測與改進Hough變換方法識別未成熟番茄[J].農業工程學報,2016,32(14):219-226.

Segmentation Method of Green Apple Image Based on CLAHE and Open and Close Operation

Wang Fan, Lü Jidong, Shen Genrong, Ma Zhenghua

(School of Information Science and Engineering, Changzhou University, Changzhou 213164, China)

According to the characteristics of green apple images, this paper designed a segmentation method which is merged after extraction. First of all, the contrast limited adaptive histogram equalization (CLAHE) algorithm was used to increase the color difference between the fruit and the background, and then obtained R - B image. The normal light region of fruit was extracted. Reoccupy open and close operation was processed after CLAHE, to extract the local maximum values, and highlighted area was extracted. Finally full fruit target area was obtained by merging the two regions . In order to verify the effectiveness of the method, Hough algorithm is used to detect circle, and three evaluation indexes is applied to quantitative assessment of the method, which are the relative error, relative error of the circle and relative error of the radius. This method has good recognition effect under both the frontlighting and backlight, and it can satisfy the requirement of precise localization of robot.

green apple; contrast limited adaptive histogram equalization; local maximum values; regional consolidation

2016-04-07；

2016-06-21。

江蘇省自然科學青年基金項目(BK20140266)；江蘇省高校自然科學研究面上項目(14KJB210001)；常州大學科研啟動費資助項目(ZMF13020019)；常州市科技支撐工業項目(2014FX031)。

王 帆(1990-)，女，湖北宜城人，碩士研究生，主要從事圖像處理方向的研究。

馬正華(1962-)，男，江蘇昆山人，大學，主要從事機器視覺、嵌入式系統設計及應用方向的研究。

1671-4598(2017)02-0141-05DOI：10.16526/j.cnki.11-4762/tp

TP

A