自然環(huán)境下重疊與遮擋蘋果圖像識別方法研究*

劉麗娟，竇佩佩，王慧

(石河子大學信息科學與技術(shù)學院，新疆石河子，832003)

0 引言

基于圖像處理技術(shù)的果實識別是實現(xiàn)果實定位、自動化采摘和果樹估產(chǎn)的基礎(chǔ)。而自然環(huán)境中，果樹場景多樣性給果實識別帶來了巨大挑戰(zhàn)[1]，如復雜多變的背景、光照強度的變化、果實間的重疊與遮擋等。自然環(huán)境下采集到的果實圖片受光照變化、背景復雜等影響，導致目標識別的有效性降低。國內(nèi)外學者針對此熱點問題進行了研究[2-6]。閆彬等[2]對獼猴桃的RGB圖像采用K-means聚類算法和最大類間方差法相結(jié)合提取出獼猴桃的果萼。閆建偉等采用RGB色差分量法和YCbCr顏色空間模型對刺梨圖像進行兩次閾值分割，最終刺梨果實識別正確率均高于92%。除了傳統(tǒng)的基于顏色空間的閾值分割方法，也有很多研究者采用機器學習算法實現(xiàn)果實目標識別[7-11]。馬曉丹等[10]提出了一種將量子遺傳算法的全局搜索能力和模糊推理神經(jīng)網(wǎng)絡(luò)的自適應(yīng)性相結(jié)合的算法來識別蘋果果實。趙德安等[11]提出了基于YOLOv3深度卷積神經(jīng)網(wǎng)絡(luò)的蘋果定位方法。

重疊與遮擋的果實圖像中要提取出單一目標，研究較多的方法是通過重疊邊緣擬合或插值算法分割出單一目標，如曲率分析算法[12-14]、模板匹配法[3, 15-16]、分水嶺算法[4]、霍夫變換法[17-19]等。但由于自然環(huán)境下的分割目標存在噪聲干擾或者細小紋理，并且目標果實不是標準的圓形，這些問題單一目標分割多次，過分割是目標識別算法中經(jīng)常遇到的并且需要克服的問題。

針對上述問題，本文對自然環(huán)境下重疊或遮擋果實的圖像識別定位算法進行研究。通過多通道顏色閾值分割算法識別出重疊目標，使用霍夫變換和圓形限制法識別并定位重疊或遮擋情況下的類圓單一個體目標，實現(xiàn)對成熟蘋果圖像的有效識別。

1 材料與方法

1.1 試驗材料

蘋果圖像的采集地點在新疆石河子市南區(qū)蘋果種植基地，采集時間為2019年9月的上午和傍晚，均在自然光下采集。采集的圖片包括了不同光照、單個果實、多個果實、重疊、遮擋等各種環(huán)境下的實際圖片。

1.2 果實識別方法

首先對圖像進行預處理操作，包括兩部分操作：為了便于分析，將圖像統(tǒng)一剪裁成512像素×512像素大小；為了去除噪聲干擾，應(yīng)用雙邊濾波算法，這里的噪聲主要包括因相機硬件或其他原因造成的噪聲，或者是圖像中的細小紋理，特別是蘋果區(qū)域中的紋理，紋理細節(jié)太多會對識別精度有影響。

然后進行圖像分割，獲得蘋果的二值圖像，主要方法是：使用顏色空間轉(zhuǎn)換，獲得更容易凸顯蘋果區(qū)域的圖像通道，這里經(jīng)過多次試驗選擇lab顏色空間的a分量、YUV空間的U、V分量，分別利用改進后的直方圖全局閾值法獲得二值圖像，再進行形態(tài)濾波操作，獲得重疊與遮擋蘋果目標的二值圖像。

最后重疊與遮擋的果實圖像中要提取出單一目標，根據(jù)蘋果單一目標類圓的特性，應(yīng)用霍夫變換分割目標，但此時會存在過分割現(xiàn)象，提出圓心限制條件，去除不符合要求的圓心，最終識別出重疊與遮擋蘋果的圓心、像素大小和個數(shù)。

1.3 重疊與遮擋蘋果圖像識別算法

1.3.1 圖像預處理

目前相機在自然環(huán)境中獲取的照片已經(jīng)非常清晰，但本文的識別算法是基于顏色的識別，圖1中綠葉、樹干、特別是蘋果區(qū)域上的細小紋理會使得圖像在識別過程中受到干擾，錯誤的把同一區(qū)域進行分類，因此對原始圖像進行濾波來消除紋理噪聲。為了保持邊緣信息，且能達到降噪平滑的效果，本文選用雙邊濾波法進行噪聲濾波。由圖2可以看出經(jīng)過濾波后的蘋果和葉片區(qū)域更加平滑，且目標間的邊緣信息仍能保留。

圖1 原圖

圖2 濾波后圖像

1.3.2 基于改進的多通道閾值分割算法

在進行圖像分割時，選取適當?shù)念伾臻g是關(guān)鍵。不同顏色空間下的不同分量的灰度值之間存在很大差異，顏色空間轉(zhuǎn)換的目的是找到能明顯區(qū)分蘋果目標和自然背景的顏色特征，目標與背景的灰度值差異越大越容易找到合適的閾值進行圖像分割。目前相機獲取的圖像都是在RGB彩色空間下的，但RGB空間下的3個分量存在強相關(guān)性，用該空間的顏色特征來分割圖像的準確率不高。本研究將自然環(huán)境下獲取的RGB空間圖像分別轉(zhuǎn)換到Y(jié)UV空間和Lab空間，獲取多個通道的顏色特征，再進行閾值分割。

YUV空間是對RGB空間的線性轉(zhuǎn)換，其中Y分量代表亮度，表示圖像的灰度值，U、V分量代表色差，U表示藍色偏移量，V表示紅色偏移量。若只選取V分量作為顏色特征，在閾值分割時會受到藍色天空的干擾，很容易把天空當作背景，把樹葉和蘋果當作目標。如圖3所示為各分量直方圖，圖3(a)為U分量直方圖，U分量圖像是藍色部分灰度值最大，可以觀察出來此時的深谷在橫坐標150左右，此時只能分割出天空和其他部分；圖3(b)為V分量直方圖，此時直方圖呈雙波谷，增加了閾值分割難度。因此選擇用U分量圖像先剔除藍色天空部分，再用V分量中的剩余部分進行閾值分割，最終獲得蘋果目標的二值圖像I_v。如圖3(c)所示，為經(jīng)過U_V分量閾值處理后的直方圖，此直方圖呈現(xiàn)明顯的雙峰單谷特性，很容易通過全局閾值分割出蘋果目標。

通過式(1)計算出0為天空、1為樹葉和蘋果的二值圖像I_u，其中Tu表示通過U分量圖像Image_u的直方圖hu計算得到的最佳全局閾值，i和j表示圖像像素對應(yīng)的行和列。

(1)

式(2)表示二值圖像I_u與V分量圖像相與，得到新的L_v圖像，此圖像天空部分全為0。

L_v=Image_v.×I_u

(2)

通過式(3)、式(4)計算出1為蘋果目標、0為背景的二值圖像I_v，如圖4(a)所示。其中Tv表示通過L_v的直方圖hv(需令hv(1)=0)計算得到的最佳全局閾值。

hv(1)=0

(3)

(4)

Lab空間是對RGB空間的非線性轉(zhuǎn)換，其中L分量代表亮度，a、b分量代表色差，a分量表示從綠色到紅色的變化，b分量表示從藍色到黃色的變化。選取a分量作為顏色特征，因a分量圖像直方圖中的背景和目標有很明顯的雙峰，可以比較準確的選取到好的全局閾值Ta，得到1為蘋果目標、0為背景的二值圖像I_a，如圖4(b)所示。

YUV顏色空間是對RGB空間的線性轉(zhuǎn)換，而Lab顏色空間是對RGB顏色空間的非線性轉(zhuǎn)換。通過線性和非線性轉(zhuǎn)換的結(jié)合，最大限度的利用顏色信息去除背景。將兩種分割結(jié)果I_v和I_a進行邏輯“與”運算，得到分割后的二值圖像，如圖4(c)所示。

分割后的二值圖像存在大量的孤立誤分割區(qū)域，和沒有識別到的空洞，可通過形態(tài)學方法進行處理。采用8×8的圓形結(jié)構(gòu)元對圖像先進行開操作，再進行閉操作，最后進行圓形的孔洞填充，得到最終的重疊與遮擋蘋果目標二值圖像I，如圖4(d)所示。

(a) U分量直方圖

(c) U_V圖像直方圖

(a) I_v二值圖像

1.3.3 基于改進的霍夫變換檢測圓算法

蘋果目標輪廓與圓相似，因此可以用圓來近似表示蘋果的形狀輪廓。霍夫變換(Hough Transformation)是圖像處理中的一種特征提取技術(shù)，它通過一種投票算法檢測具有特定形狀的物體。Hough變換最早應(yīng)用于直線的檢測，后來引入更高維度的空間，可以實現(xiàn)圓形檢測目的。

Hough變換檢測圓的主要思想是：首先建立三維的Hough空間，以圖像(二值圖像邊緣提取后的圖像)上的每一個非零點為圓上一點，以已知的半徑在參數(shù)平面上畫圓，對圓上覆蓋的坐標點進行投票，最后找出參數(shù)平面上的峰值，得到對應(yīng)于原圖中的圓心和半徑。

針對本研究蘋果單一目標的圓形檢測，可以利用Hough變換檢測二值圖像中的圓，但由于蘋果并不是標準的圓形，用Hough變換會在同一個蘋果目標上檢測到多個不同大小的圓，導致過分割問題，如圖5所示為只用Hough變換檢測圓的結(jié)果。本研究在Hough變換的基礎(chǔ)上增加了圓形約束的步驟，如圖6所示為使用圓形約束法后的結(jié)果。具體步驟分別包括估計圓心和半徑、圓形約束2個方向，具體參數(shù)設(shè)置和步驟如下。

步驟一：估計圓心和半徑。

1) 把形態(tài)學濾波后的二值圖像進行sobel邊緣檢測，得到可能為圓形邊緣的前景點edges。

2) 設(shè)置Hough變換檢測圓參數(shù)：對檢測圓的半徑范圍進行限制，取最小值min_r=0.05×min(nrows,ncols)，最大值max_r=0.5×min(nrows,ncols)，因圖像大小均為nrows×ncols=512×512，則檢測圓的最小值為min_r=25，最大值max_r=256。其中min(nrows,ncols)表示取圖像行數(shù)nrows和列數(shù)ncols的最小值。檢測時每次轉(zhuǎn)過的角度angle=0.1 rad；閾值p的取值范圍是[0, 1]，對于多圓檢測，閾值p不能設(shè)置太大,本研究經(jīng)過多次試驗，取p=0.5。

3) 假如圖像中存在圓形，那么其輪廓必定屬于前景點。將圓的參數(shù)輪廓方程由x-y坐標系轉(zhuǎn)換到a-b坐標系，轉(zhuǎn)換公式為a=x-r×cos(angle)，b=y-r×sin(angle)，其中(x,y)為前景點的坐標位置，(a,b)為可能圓心的坐標位置，r為對應(yīng)圓心的半徑。

4) 遍歷所有的edges點，根據(jù)設(shè)定的圓半徑范圍[min_r, max_r]，角度取值為angle下，在累加投票圖中統(tǒng)計圓心位置滿足a>0，b>0時出現(xiàn)的次數(shù)。一個edges點需在所有可能的角度方向、半徑上投票。最終得到累加投票圖hough_space(a,b,r)。

5) 在hough_space中找到最大值max_para，然后在hough_space圖中找到值大于等于max_para×p的所有點，則對應(yīng)的(a,b)為估計的圓心、r為半徑。其中p為設(shè)定閾值。

1) 對兩個圓的圓心坐標限制條件。圓心必須要在圖4(d)中蘋果目標二值圖像亮區(qū)。

2) 去掉大圓套小圓中的小圓。可利用公式d+r2≤r1，判斷若滿足此公式條件，去掉半徑較小的圓。

圖5 霍夫變換法檢測出的蘋果

圖6 圓形約束法檢測出的蘋果

2 結(jié)果與分析

2.1 不同算法的檢測效果分析

本研究算法分為3部分，即預處理、圖像閾值分割、圓形檢測。閾值圖像分割的目的是得到重疊與遮擋蘋果目標二值圖像，圓形檢測的目的是根據(jù)二值圖像檢測其中的圓并標注圓心和半徑。閾值圖像分割的質(zhì)量決定了圓的檢測效果，圓形檢測能識別并定位蘋果目標個體。

2.1.1 分割算法的效果分析

為了驗證本研究算法——基于改進的多通道閾值分割算法，分別用直接Otsu、Kmeans迭代算法作對比，對自然環(huán)境下的蘋果圖像進行分割。原圖為圖1，本文算法結(jié)果為圖4(d)，直接Otsu和Kmeans迭代算法的識別結(jié)果如圖7所示。

從圖7可以看出，Otsu算法不能準確的識別出蘋果目標，包含了許多樹枝等其他信息；Kemans迭代算法雖然沒有枝條等信息，但果實部分缺失嚴重，不能完整識別蘋果部分。這是由于Kemans算法中有一個分類個數(shù)k需要人為確定，而自然環(huán)境下的蘋果圖像背景復雜，不能簡單的把分類個數(shù)定為2，于是選擇了手肘法計算分類個數(shù)，又導致過分割現(xiàn)象。

(a) Otsu

為了定量分析分割算法的有效性，隨機抽取50幅蘋果目標圖像樣本，計算本文算法對目標分割的精度和實時性。將50幅圖像中的蘋果目標進行人工分割提取，得到圖像中真實目標像素Tm，再利用分割算法，得到檢測的目標像素個數(shù)Ta，利用式(5)、式(6)計算目標分割的精確度(Ac)和假陽性率(FPR)。

(5)

(6)

如表1所示為50幅圖的平均精確度、平均假陽性率和平均運算速度。由表1可知本文算法的精確度為95.5%，明顯高于Kmeans迭代法和直接Otsu法，本文算法的假陽性率為2.1%，明顯低于其他兩種算法，驗證了算法的精度有效性。本文算法在Matlab上的運行速度為1.65，明顯低于Kmeans迭代法，驗證了算法的實時性。

表1 不同算法的分割試驗結(jié)果Tab. 1 Segmentation results of different algorithms

2.1.2 圓形檢測算法的效果分析

圓形檢測的目的是對分割后的多個目標二值化圖像進行單一個體識別和定位，但由于蘋果目標邊緣并不是完全的圓形曲率，會導致一個目標檢測出多個大小不一的圓形。本文算法中圓形約束算法很好的解決了這一問題，把多余的圓形去除，定位正確的目標個體。在選取的50幅蘋果目標圖像樣本中，均可以準確識別目標個數(shù)。如表2所示，隨機選取5幅蘋果圖像，目標個數(shù)范圍在1～9之間，從表2中可以看出應(yīng)用圓形約束后可以精準檢測出目標個數(shù)。

表2 圓形檢測算法的試驗結(jié)果Tab. 2 Results of circular detection algorithm

2.2 不同試驗材料的檢測效果分析

為進一步驗證本文提出的自然環(huán)境下目標蘋果識別算法的有效性，需要在各種實際條件下來檢測，試驗分別針對果實數(shù)目、遮擋情況、光照情況不同的蘋果圖像為試驗材料，選擇直接霍夫變換檢測圓算法、圓形約束法作為圓檢測算法對比。

2.2.1 不同數(shù)量蘋果的檢測效果

采集圖片時，攝像頭距離果樹的遠近不同，圖片中的果實數(shù)目、大小也會不同。當果實數(shù)目較少、尺寸較大時，識別難度較低。但如果在多果實條件下，果實的尺寸變小、數(shù)目變多，識別難度增大。因此設(shè)置幾種算法對不同數(shù)量蘋果的檢測效果對比，如圖8所示為單個蘋果目標的檢測效果，圖9為多個目標的檢測效果。

(a) 原圖

2.2.2 不同遮擋情況的檢測效果

自然環(huán)境下的蘋果生長形態(tài)不一，本節(jié)選取3個典型的遮擋情況，有果實間重疊、樹葉遮擋、樹枝遮擋，分別如圖10～圖12所示，從試驗結(jié)果來看，均能準確識別蘋果部分。

(a) 原圖

(a) 原圖

(a) 原圖

(c) 霍夫變換檢測圓算法 (d) 圓形約束算法

2.2.3 不同光照情況的檢測效果

拍攝圖片時，拍攝時間、拍攝時的光照角度都會對檢測效果有影響，本節(jié)選取逆光光照弱時的蘋果圖像，逆光時蘋果和枝葉的亮度明顯降低，且分界線不明顯，檢測結(jié)果如圖13所示，從試驗結(jié)果來看，能準確識別蘋果部分。

(a) 原圖

3 結(jié)論

本文提出了一種自然環(huán)境下重疊或遮擋蘋果的圖像識別方法，該方法成功實現(xiàn)果實個體目標分割與定位。

1) 算法包括圖像預處理、圖像目標分割和個體目標識別3個部分。選取雙邊濾波法對圖像進行噪聲濾波，選取lab顏色空間a分量，YUV空間U、V分量對圖像進行閾值分割，獲得蘋果目標二值圖像，采用霍夫變換和圓形約束法識別并定位單一蘋果目標。

2) 在圖像分割部分選用多通道的閾值分割算法，實現(xiàn)蘋果目標與其他自然環(huán)境分離，平均精確度在95.5%，假陽性率在2.1%，在Matlab上的運行速度為1.65 s，與傳統(tǒng)的Otsu和Kmeans迭代法相比，本文算法準確度高，速度快，且避免了過分割。 在個體目標識別定位部分，利用蘋果目標的類圓性質(zhì)，選擇霍夫變換算法檢測圓，并增加了限制圓心算法，使結(jié)果能準確識別并定位個體目標。

3) 為進一步驗證算法的有效性，選取果實數(shù)目、遮擋情況、光照情況不同的蘋果圖像為試驗材料，均能實現(xiàn)果實目標識別和定位。