蘋果采摘機(jī)器人夜間圖像邊緣保持的Retinex增強(qiáng)算法

姬 偉，呂興琴，趙德安，賈偉寬，丁世宏

（1.江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江212013；2.機(jī)械工業(yè)設(shè)施農(nóng)業(yè)測(cè)控技術(shù)與裝備重點(diǎn)實(shí)驗(yàn)室，鎮(zhèn)江212013）

蘋果采摘機(jī)器人夜間圖像邊緣保持的Retinex增強(qiáng)算法

姬 偉1，2，呂興琴1，趙德安1，2，賈偉寬1，丁世宏1

（1.江蘇大學(xué)電氣信息工程學(xué)院，鎮(zhèn)江212013；2.機(jī)械工業(yè)設(shè)施農(nóng)業(yè)測(cè)控技術(shù)與裝備重點(diǎn)實(shí)驗(yàn)室，鎮(zhèn)江212013）

為了提高采摘機(jī)器人的適用性和工作效率，保證成熟蘋果果實(shí)的及時(shí)采摘，需要機(jī)器人具有夜間連續(xù)識(shí)別、采摘作業(yè)的能力。針對(duì)夜間蘋果圖像的特點(diǎn)，該文提出一種基于引導(dǎo)濾波的具有邊緣保持特性的Retinex圖像增強(qiáng)算法。利用顏色特征分量采用具有邊緣保持功能的引導(dǎo)濾波來(lái)估計(jì)出照度分量；進(jìn)而利用單尺度Retinex算法對(duì)圖像進(jìn)行對(duì)數(shù)變換獲得僅包含物體本身特性的反射分量圖像；分別對(duì)照度分量和反射分量圖像增強(qiáng)后，再合成為新的夜間蘋果的增強(qiáng)圖像。文中選取30幅熒光燈輔助照明下采集到的夜間蘋果圖像進(jìn)行試驗(yàn)的結(jié)果顯示，該文增強(qiáng)算法處理后的30幅圖像的平均灰度值，分別比原始圖像、直方圖均衡算法、同態(tài)濾波算法和雙邊濾波Retinex算法處理后的圖像平均提高230.34%、251.16%、14.56%、7.75%，標(biāo)準(zhǔn)差平均提高36.90%、-23.95%、53.37%、28.00%，信息熵平均提高65.88%、99.68%、66.85%、17.53%，平均梯度提高161.70%、64.71%、139.89%、17.70%。且該文算法較雙邊濾波Retinex方法的運(yùn)行時(shí)間平均減少74.56%。表明該文算法在夜間圖像增強(qiáng)效果和運(yùn)行時(shí)間效率上有明顯的提高，為后續(xù)夜間圖像的分割和目標(biāo)識(shí)別提供了保障。

機(jī)器人；算法；水果；夜間蘋果圖像；Retinex；圖像增強(qiáng)；引導(dǎo)濾波

姬 偉，呂興琴，趙德安，賈偉寬，丁世宏.蘋果采摘機(jī)器人夜間圖像邊緣保持的Retinex增強(qiáng)算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2016，32（6）：189-196. doi：10.11975/j.issn.1002-6819.2016.06.026 http://www.tcsae.org

Ji Wei,Lü Xingqin,Zhao Dean,Jia Weikuan,Ding Shihong.Edge-preserving Retinex enhancement algorithm of night vision image for apple harvesting robot[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE）,2016,32 (6):189－196.(in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2016.06.026 http://www.tcsae.org

0 引言

目前國(guó)內(nèi)蘋果收獲作業(yè)較大程度依靠人工采摘完成，其作業(yè)勞動(dòng)強(qiáng)度大、消耗時(shí)間長(zhǎng)、效率低、且具有一定危險(xiǎn)性[1]。近年來(lái)，蘋果采摘機(jī)器人的研究得到了廣泛重視，并取得了一定進(jìn)展[2-3]，但工作效率仍有待提高。同時(shí)，隨著市場(chǎng)需求量增加，蘋果大面積種植，為了及時(shí)采摘成熟的蘋果，需要提高蘋果采摘機(jī)器人的作業(yè)效率。采摘機(jī)器人作為一種高度自動(dòng)化的作業(yè)機(jī)械，通過(guò)夜間持續(xù)作業(yè)來(lái)延長(zhǎng)其工作時(shí)間，是提高采摘機(jī)器人工作效率的一種有效途徑。

夜間圖像信息的準(zhǔn)確獲取是采摘機(jī)器人實(shí)現(xiàn)夜間作業(yè)的前提，然而夜間環(huán)境及光照等因素給圖像的采集與處理增加了難度。目前，針對(duì)夜間果實(shí)圖像的研究較少。其中Payne等[4]在夜間人工光源輔助下采集接近成熟硬1化階段的芒果夜間圖像，結(jié)合YCbCr彩色空間的顏色特征與形狀紋理特征計(jì)算芒果個(gè)數(shù)并以此估算芒果產(chǎn)量。Font等[5]在夜間利用人工光源照明采集葡萄園中成熟葡萄的RGB（red、green、blue，紅、綠、藍(lán)）圖像，通過(guò)檢測(cè)葡萄表面的球面反射峰值計(jì)算葡萄個(gè)數(shù)，用于估算水果的產(chǎn)量，但并沒(méi)有對(duì)夜間水果精確地識(shí)別進(jìn)行研究。趙德安等[6]采用輔助光源照明并調(diào)整照明角度采集陰影較少的夜間蘋果圖像，通過(guò)改進(jìn)的R-G色差分割和對(duì)高亮反光區(qū)進(jìn)行二次分割處理來(lái)實(shí)現(xiàn)夜間蘋果圖像的正確識(shí)別，正確識(shí)別率達(dá)到83.7%。賈偉寬等[7]采用基于粒子群優(yōu)化算法（particle swarm optimization,PSO）的獨(dú)立成分分析（independentcomponent analysis，ICA）夜間圖像降噪算法（PSO-ICA）最大限度地去除噪聲污染，實(shí)現(xiàn)蘋果采摘機(jī)器人的夜間識(shí)別。以上研究為采摘機(jī)器人的夜間作業(yè)提供了良好的理論基礎(chǔ)。

采摘機(jī)器人夜間作業(yè)環(huán)境復(fù)雜，相對(duì)白天自然光照情況，由于夜晚光照不足，采集到的蘋果夜間圖像存在整體偏暗、模糊、對(duì)比度不高、細(xì)節(jié)不清晰、動(dòng)態(tài)范圍壓縮有限等問(wèn)題，給采摘機(jī)器人夜間作業(yè)帶來(lái)了新的挑戰(zhàn)。夜間圖像處理的關(guān)鍵是圖像的增強(qiáng)和去噪[8-9]。近年來(lái)，快速發(fā)展的Retinex理論對(duì)于處理弱光照?qǐng)D像、陰影圖像和大霧圖像均有獨(dú)特的增強(qiáng)效果，在航空航天領(lǐng)域、遙感圖像、航拍圖像和視頻監(jiān)控等領(lǐng)域都有廣泛的應(yīng)用[10]。Retinex理論的關(guān)鍵就是從原始圖像中估計(jì)出場(chǎng)景照度分量，進(jìn)而獲得具有高頻信息的反射分量圖像，從而達(dá)到增強(qiáng)的目的[11-12]。隨著對(duì)照度估計(jì)方法的研究，相繼出現(xiàn)了多種改進(jìn)Retinex算法[13]。這些增強(qiáng)算法在處理夜間、霧天等低照度彩色圖像時(shí)，顯示出良好的效果，但在估算圖像中高對(duì)比度邊緣區(qū)域照度的時(shí)候，邊緣兩邊的高低值像素會(huì)相互影響對(duì)方的照度估計(jì)值，導(dǎo)致在梯度突變區(qū)域出現(xiàn)“光暈偽影”現(xiàn)象[14]，進(jìn)而影響增強(qiáng)效果。而具有平滑與邊緣保持特性的線性引導(dǎo)濾波用于照度分量估計(jì)時(shí)，能夠避免照度估計(jì)時(shí)高對(duì)比度邊緣附近高低像素之間的相互影響，突出圖像細(xì)節(jié)信息，實(shí)現(xiàn)圖像邊緣的平滑和保持[15-16]，因此在處理低光照度圖像時(shí)有其獨(dú)到的優(yōu)勢(shì)。

為此，本文在對(duì)夜間蘋果圖像特征分析的基礎(chǔ)上，提出了一種基于引導(dǎo)濾波估計(jì)照度分量的Retinex夜間圖像增強(qiáng)算法。該算法使用具有邊緣保持功能的線性引導(dǎo)濾波對(duì)圖像照度分量進(jìn)行估計(jì)，并對(duì)照度分量采用Gamma校正，降低光照的影響；然后，利用單尺度Retinex算法對(duì)圖像進(jìn)行對(duì)數(shù)變換，獲得僅包含物體本身特性的反射分量圖像，并采用改進(jìn)的Gamma變換增強(qiáng)反射圖像；最后，把增強(qiáng)后的2部分分量合成為新的增強(qiáng)圖像，從而實(shí)現(xiàn)夜間蘋果圖像的增強(qiáng)。

1 夜間蘋果圖像分析

夜間蘋果圖像于2014年11月在徐州豐縣大沙河鎮(zhèn)蘋果試驗(yàn)基地拍攝采集。利用蘇州特安斯電子有限公司型號(hào)為TASI-8720的光照度測(cè)試儀測(cè)得夜間光照強(qiáng)度小于1 lux，沒(méi)有輔助光源，相機(jī)難以成像，因此，選用功率為32W、色溫5000K以上的白色熒光燈進(jìn)行輔助照明。使用型號(hào)為UniflyM216，像素為500萬(wàn)的CMOS攝像機(jī)進(jìn)行圖像采集，圖像為采用RGB彩色模型jpg格式的24位真彩色圖像。為與實(shí)驗(yàn)室自主研制的蘋果采摘機(jī)器人相機(jī)分辨率保持一致，將采集回來(lái)的蘋果圖像調(diào)整為640像素×480像素。圖1分別為白天和夜間熒光燈輔助照明下采集的2組圖像。

圖1 白天和夜間蘋果圖像Fig.1 Apple images during day and night

對(duì)比圖1a和圖1b，可以看出：夜間蘋果圖像背景存在大量暗區(qū)，整幅圖像清晰度不高，雖然夜間蘋果圖像中目標(biāo)果實(shí)色彩相對(duì)鮮明，但是存在陰影，邊緣比較模糊。

以白天和夜間蘋果圖像的第一幅為例，分別得到白天和夜間蘋果圖像直方圖，如圖2所示。可以看出，白天蘋果圖像直方圖包含所有可能的灰度級(jí)，且均勻分布在[0，1]區(qū)間；而夜間蘋果圖像直方圖集中分布在[0，0.4]區(qū)間，說(shuō)明暗色區(qū)域占據(jù)了畫(huà)面的主要部分，整幅圖像的對(duì)比度比較低。因此，與白天蘋果圖像識(shí)別不同，在夜間蘋果識(shí)別過(guò)程中，需要通過(guò)圖像增強(qiáng)方法將較暗處的目標(biāo)蘋果果實(shí)凸顯出來(lái)，使輪廓和細(xì)節(jié)表達(dá)清楚，以便為后續(xù)的圖像分割和特征提取等提供可能。

圖2 蘋果圖像直方圖Fig.2 Apple image histogram

為進(jìn)一步檢查目標(biāo)蘋果果實(shí)邊緣灰度變化情況，繪制出夜間蘋果圖像的梯度矢量圖如圖3a所示。圖3b為圖3a中方框部分的局部放大圖，圖中箭頭方向代表的是梯度方向，即圖像灰度最大變化率的方向，它反映了圖像邊緣上的灰度變化；箭頭長(zhǎng)短代表的是梯度強(qiáng)度值，也就是灰度變化率的大小。圖中果實(shí)邊緣處的梯度強(qiáng)度值明顯大于其左右鄰域的梯度強(qiáng)度值，可見(jiàn)邊緣處大梯度像素多，邊緣的灰度變化劇烈。進(jìn)一步表明，夜間蘋果圖像中目標(biāo)蘋果果實(shí)邊緣梯度突變明顯。

圖3 夜間蘋果圖像梯度矢量圖Fig.3 Gradient vector drawing of apple night vision image

2 基于引導(dǎo)濾波的Retinex夜間圖像增強(qiáng)算法

傳統(tǒng)Retinex增強(qiáng)算法在估算圖像高對(duì)比度邊緣區(qū)域照度的時(shí)候，邊緣兩邊的高低值像素會(huì)相互影響對(duì)方的照度估計(jì)值。若直接對(duì)蘋果果實(shí)邊緣梯度突變的夜間圖像采用傳統(tǒng)Retinex算法，必然會(huì)造成梯度突變區(qū)域的照度估計(jì)失真。而具有平滑與邊緣保持特性的線性引導(dǎo)濾波進(jìn)行照度分量估計(jì)時(shí)，能夠避免高對(duì)比度邊緣附近高低像素之間的相互影響。因此，本文提出采用引導(dǎo)濾波進(jìn)行圖像照度分量估計(jì)的改進(jìn)Retinex圖像增強(qiáng)算法。具體實(shí)現(xiàn)流程如圖4所示：首先將夜間蘋果圖像由RGB顏色空間轉(zhuǎn)換到HSI（hue、saturation、intensity，色度、飽和度、亮度）顏色空間；對(duì)其顏色特征分量亮度圖像II采用引導(dǎo)濾波的方法進(jìn)行處理，精確地估計(jì)高對(duì)比度邊緣區(qū)域的照度分量圖像，并對(duì)照度分量進(jìn)行Gamma校正；其次利用單尺度Retinex算法對(duì)圖像進(jìn)行對(duì)數(shù)變換得到反射分量圖像，通過(guò)改進(jìn)的Gamma變換對(duì)反射分量進(jìn)行增強(qiáng)；然后再合成為新的增強(qiáng)圖像，并將圖像由HSI顏色空間轉(zhuǎn)換到RGB顏色空間，從而實(shí)現(xiàn)夜間蘋果圖像的增強(qiáng)。

圖4 本文算法流程Fig.4 Flow chart of proposed algorithm

2.1 顏色模型選取

由于Retinex算法是以灰度世界假設(shè)為基礎(chǔ)，因此，在RGB顏色空間中進(jìn)行增強(qiáng)處理時(shí)容易造成圖像顏色的失真[17]；而采用Retinex理論基于HSI顏色空間的亮度分量II估計(jì)夜間蘋果圖像的照度分量時(shí)，可以有效避免光照對(duì)夜間蘋果圖像的影響，達(dá)到好的增強(qiáng)效果[18]。因此，本文選取HSI顏色空間進(jìn)行圖像增強(qiáng)處理，將原始圖像由RGB顏色空間轉(zhuǎn)換為HSI顏色空間，轉(zhuǎn)換公式參見(jiàn)文獻(xiàn)[19]。在得到色調(diào)圖像IH、飽和度圖像IS、亮度圖像II后，采用引導(dǎo)濾波僅對(duì)亮度圖像II進(jìn)行光照估計(jì)，計(jì)算出夜間蘋果圖像的照度圖像。

2.2 基于引導(dǎo)濾波的照度分量估計(jì)

采用引導(dǎo)濾波估計(jì)照度分量時(shí)，設(shè)原圖像I為引導(dǎo)圖像，亮度圖像II為輸入圖像，q為濾波輸出圖像，即照度圖像L（x，y），本文研究的是彩色圖像，即引導(dǎo)圖像I為多通道圖像，考慮將引導(dǎo)濾波應(yīng)用到每個(gè)獨(dú)立的通道。此時(shí)，引導(dǎo)濾波可表示為局部線性函數(shù)模型：

式中Iv，j為3×1的顏色向量；ak為3×1的系數(shù)向量。設(shè)wk是半徑為r的方形窗口，k為窗口wk的中心像素，bk和qj是標(biāo)量。式（1）兩邊取梯度，可以得到：

式（2）表明q與I有相同變化情況的梯度，這也證實(shí)了引導(dǎo)濾波是具有邊緣保持特性的。

為了得到線性函數(shù)的系數(shù)ak和bk，采用線性回歸分析，也就是期望擬合函數(shù)的輸出值與輸入值之間的差距最小，即式（3）最小。

采用最小二乘法對(duì)式(3)逼近擬合，得到ak和bk表達(dá)式如下：

圖5 照度分量估計(jì)結(jié)果圖Fig.5 Estimation result of illumination component

2.3 反射圖像獲取

獲得了場(chǎng)景照度圖像之后，將其去除，得到包含圖像細(xì)節(jié)信息的反射圖像。根據(jù)Retinex理論，一幅給定的圖像I（x，y）可以分解為兩個(gè)不同的分量圖像：反射圖像R（x，y）和照度圖像L（x，y）。R（x，y）反映了圖像的本質(zhì)屬性，L（x，y）直接決定了圖像中像素所能達(dá)到的動(dòng)態(tài)范圍。一幅圖像可以看成是反射圖像R（x，y）和照度圖像L（x，y）的乘積，即

在實(shí)際應(yīng)用過(guò)程中，由于無(wú)法直接獲得物體的反射圖像R（x，y）。因此，在Retinex計(jì)算中通常先利用對(duì)數(shù)變換將乘積關(guān)系轉(zhuǎn)換為求和關(guān)系，即然后，將2．2節(jié)估計(jì)出的照度分量L（x，y）代入式（7），即可求得反射圖像R（x，y），如圖6所示。

圖6 反射圖像結(jié)果圖Fig.6 Reflection image

2.4 反射分量增強(qiáng)

2.3節(jié)所獲得的反射圖像包含了原始圖像的細(xì)節(jié)信息，對(duì)其進(jìn)行調(diào)整可提高圖像質(zhì)量，本文采用改進(jìn)Gamma校正方法進(jìn)行亮度調(diào)整[20]。首先將灰度動(dòng)態(tài)范圍壓縮到[0，1]，然后采用下述改進(jìn)Gamma變換對(duì)其增強(qiáng)：

式中γ為校正參數(shù)。圖7為反射圖像亮度映射圖。文中亮度調(diào)整的目的是實(shí)現(xiàn)低亮度區(qū)域的增強(qiáng)同時(shí)避免高亮度區(qū)域的過(guò)增強(qiáng)，且增大亮度差異范圍以獲得較高對(duì)比度圖像，此時(shí)，亮度映射曲線呈陡峭上升趨勢(shì)。

在圖7中，分別取γ=0.1，0.2，0.3，0.4，0.5，0.6，0.8，得到相應(yīng)的Gamma變換的映射關(guān)系，并在圖中繪制參考線y=0.8以便于觀察。當(dāng)輸入灰度和輸出灰度的映射關(guān)系滿足函數(shù)y=x時(shí)，圖像沒(méi)有變化。當(dāng)γ=0.6時(shí)，大部分較低像素增強(qiáng)后在函數(shù)y=x以上，小部分較高像素增強(qiáng)后在函數(shù)y=x以下，說(shuō)明除了可以對(duì)低亮度區(qū)域進(jìn)行增強(qiáng)還能夠有效抑制高亮度區(qū)域的過(guò)度曝光；當(dāng)γ=0.8時(shí)，小部分較低像素增強(qiáng)后在函數(shù)y=x以上，大部分較高像素增強(qiáng)后在函數(shù)y=x以下，說(shuō)明此曲線對(duì)于整體亮度較高的圖像具有更好的增強(qiáng)效果。

為了實(shí)現(xiàn)夜間低照度圖像的增強(qiáng)，本文將選擇校正參數(shù)γ小于0.6的數(shù)值。又由圖2b可知夜間蘋果圖像直方圖主要分布在[0.1，1]區(qū)間，因此只需要考慮各變換在輸入灰度大于0.1部分的增強(qiáng)情況。當(dāng)γ=0.5時(shí)，較高像素部分幾乎保持不變，并沒(méi)有得到增強(qiáng)；而當(dāng)γ分別取0.1，0.2，0.3，0.4時(shí)，得到的曲線與直線y=0.8夾角越大，曲線越發(fā)陡峭，也就意味著增強(qiáng)程度越加明顯。因此本文中取γ為0.4。采用Gamma校正后的反射分量如圖8a所示。

圖7 反射圖像亮度映射圖Fig.7 Luminance mapping of reflection image

2.5 合成增強(qiáng)圖像

在人工光源照度的影響下，采集到的原始圖像整體偏暗，對(duì)照度圖像的增強(qiáng)可以進(jìn)一步降低光照的影響。本文采用下面的Gamma變換

對(duì)估計(jì)出的照度圖像進(jìn)行增強(qiáng)。式中β為校正參數(shù)，取值范圍為1～+∞。本文取經(jīng)驗(yàn)值β=3。

最后，將增強(qiáng)后的兩部分分量合成，并由HSI顏色空間轉(zhuǎn)換到RGB顏色空間，所得到的增強(qiáng)圖像如圖8b所示?？梢?jiàn)增強(qiáng)后的圖像不僅減少了背景的干擾，而且蘋果果實(shí)形狀更加凸顯，細(xì)節(jié)表達(dá)更加清晰。

圖8 增強(qiáng)后圖像Fig.8 After enhancement

2.6 引導(dǎo)濾波參數(shù)分析

采用引導(dǎo)濾波估計(jì)照度分量時(shí)，濾波窗口半徑r與調(diào)整參數(shù)ε對(duì)濾波結(jié)果都會(huì)產(chǎn)生一定的影響。半徑r越大，引導(dǎo)圖像會(huì)在更大范圍內(nèi)進(jìn)行平均線性輸出，這使得得到的圖像邊緣細(xì)節(jié)更加豐富，過(guò)渡更加平滑。但當(dāng)r過(guò)大時(shí)，會(huì)將邊緣兩邊過(guò)度平均化，邊緣平滑更加明顯但保持性較差。參考文獻(xiàn)[21]，本文分別選取r為2，8，30，200進(jìn)行實(shí)驗(yàn)對(duì)比。圖9給出了輸入圖像大小為640像素×480像素，ε為10-3，r取不同值時(shí)的圖像增強(qiáng)結(jié)果，可以看出當(dāng)r=8時(shí)，增強(qiáng)效果較好，當(dāng)濾波半徑較小時(shí)，目標(biāo)果實(shí)邊緣出現(xiàn)了白色毛刺，當(dāng)濾波半徑增大時(shí)，邊緣更加平滑但引起模糊效應(yīng)，即邊緣保持性較差。故此本文r取為8。

圖9 不同濾波窗口半徑的增強(qiáng)結(jié)果圖Fig.9 Enhanced results for different filter windows

當(dāng)把引導(dǎo)濾波用作邊緣保持濾波器時(shí)，往往有I=II，如果ε=0，顯然a=1，b=0是E（a，b）為最小值的解，由式（1）可以看出，這時(shí)的濾波器沒(méi)有任何作用，將輸入原封不動(dòng)的輸出。如果ε＞0，在像素強(qiáng)度變化小的區(qū)域或單色區(qū)域，有a近似于（或等于）0，而b近似于（或等于）pˉk，即做了一個(gè)加權(quán)均值濾波；而在像素強(qiáng)度變化大的區(qū)域，a近似于1，b近似于0，對(duì)圖像的濾波效果很弱，有助于保持邊緣。而ε的作用就是界定像素強(qiáng)度變化大或者小，用于平衡平滑與邊緣保持的程度，其值越大越平滑，邊緣保持性越差。ε分別設(shè)為10-3，10-2，10-1時(shí)的增強(qiáng)結(jié)果如圖10所示。對(duì)比3幅效果圖，可以看出隨著ε的增大使濾波輸出在每個(gè)窗口內(nèi)的均值化程度明顯增強(qiáng)，邊緣過(guò)渡更為平緩，保持性越差，圖像邊緣趨于模糊，所以本文將ε設(shè)為10-3。

圖10 不同調(diào)整參數(shù)的增強(qiáng)結(jié)果圖Fig.10 Enhanced results for different adjustment parameters

3 試驗(yàn)結(jié)果與分析

試驗(yàn)用計(jì)算機(jī)配置為：CPU Intel（R）Core（TM）i3，2．27 GHz，RAM 2GB，顯卡ATI Mobility Radeon HD 4500/ 5100Series；運(yùn)行環(huán)境：32bit Windows 7，Matlab R2010b。

隨機(jī)選取2幅夜間蘋果圖像，利用本文算法，并與直方圖均衡算法[22]、同態(tài)濾波算法[23]和基于雙邊濾波[24]的Retinex算法進(jìn)行增強(qiáng)效果對(duì)比。本文中同態(tài)濾波算法的相關(guān)參數(shù)設(shè)置為：γH=1.2，γL=0.5，c=1，截止頻率D0=4；雙邊濾波算法的相關(guān)參數(shù)設(shè)置為：濾波器大小為15×15，σs= 100，σr=0.3。

3.1 圖像增強(qiáng)視覺(jué)效果對(duì)比

4種算法進(jìn)行圖像增強(qiáng)試驗(yàn)結(jié)果如圖11所示，可以看出：4種方法一定程度上的都有增強(qiáng)效果，采用直方圖均衡算法增強(qiáng)處理后，圖像亮度有較大的提升，但是蘋果上面的反光部分也被放大，且處于暗區(qū)域的蘋果果實(shí)沒(méi)有完全被顯示；采用同態(tài)濾波算法增強(qiáng)處理后，圖像出現(xiàn)過(guò)增強(qiáng)現(xiàn)象，對(duì)高亮反光區(qū)增強(qiáng)效果較差；采用雙邊濾波算法增強(qiáng)處理后，圖像邊緣和本文算法一樣也得到了較好的保持，但是在蘋果邊緣梯度突變區(qū)域有一圈白色的光暈；而采用本文算法增強(qiáng)后的蘋果果實(shí)更加凸顯，圖像較暗區(qū)域里細(xì)節(jié)清晰可見(jiàn)且未出現(xiàn)過(guò)增強(qiáng)現(xiàn)象，視覺(jué)效果得到了明顯地改善，同時(shí)目標(biāo)果實(shí)的輪廓清楚，光暈部分得到了很好的抑制。

為了更好地說(shuō)明本文算法的優(yōu)越性，對(duì)試驗(yàn)結(jié)果進(jìn)一步比較。圖12給出采用雙邊濾波算法和本文算法增強(qiáng)后圖像中的目標(biāo)蘋果果實(shí)局部放大效果，其中圖12a，12c分別為雙邊濾波算法增強(qiáng)后的2幅圖像，圖12b，12d分別為本文算法增強(qiáng)后的2幅圖像。從目標(biāo)果實(shí)的邊緣局部信息，可以看出，利用本文算法增強(qiáng)處理后，圖像亮度提高，邊緣細(xì)節(jié)信息增強(qiáng)，輪廓平滑，更加凸顯了圖像中蘋果果實(shí)，最重要的是蘋果邊緣處并沒(méi)有像雙邊濾波算法處理后的一層白色的光暈。

圖11 圖像增強(qiáng)處理結(jié)果Fig.11 Image enhanced processing results

圖12 目標(biāo)蘋果果實(shí)增強(qiáng)結(jié)果局部放大圖Fig.12 Local amplification of apple image enhancement

3.2 圖像增強(qiáng)前后分割識(shí)別結(jié)果對(duì)比

人工光源存在光照范圍有限，光線不均勻，穩(wěn)定性差等不足，熒光燈輔助照明下獲取的夜間圖像蘋果果實(shí)色彩比較鮮明，但存在高亮反光區(qū)且邊緣比較模糊，不能識(shí)別出完整的目標(biāo)蘋果果實(shí)。對(duì)2組原圖像和經(jīng)本文增強(qiáng)算法處理后的圖像分別都采用典型的R-G顏色分割算法，并經(jīng)過(guò)形態(tài)學(xué)濾波，閾值面積消除法等方法濾除噪聲后，得到的目標(biāo)蘋果果實(shí)的識(shí)別效果如圖13所示，其中圖13a，13c分別為2幅圖像未經(jīng)過(guò)增強(qiáng)的識(shí)別效果，圖13b，13d分別為2幅圖像經(jīng)過(guò)本文增強(qiáng)算法處理后的識(shí)別效果?？梢钥闯觯?jīng)過(guò)本文算法增強(qiáng)后的識(shí)別結(jié)果中，處于暗區(qū)域的蘋果果實(shí)部分被顯示出來(lái)，且輪廓清晰，識(shí)別出的目標(biāo)蘋果果實(shí)較為完整，有利于果實(shí)采摘。

圖13 圖像增強(qiáng)前后蘋果果實(shí)分割及識(shí)別效果對(duì)比圖Fig.13 Apple recognition result before and after image enhancement

3.3 圖像增強(qiáng)性能參數(shù)比較

為了比較不同圖像增強(qiáng)算法的性能優(yōu)劣，采用圖像的平均灰度值、信息熵、標(biāo)準(zhǔn)差、平均梯度、運(yùn)行時(shí)間等性能指標(biāo)衡量圖像增強(qiáng)質(zhì)量效果[25-27]。平均灰度值大小體現(xiàn)的是圖像亮度動(dòng)態(tài)的變化；而標(biāo)準(zhǔn)差越大，差異范圍越大，對(duì)比度也就越大；信息熵表示圖像中所含信息量的多少,通過(guò)比較信息量多少的變化即可判斷出圖像增強(qiáng)效果的好壞；平均梯度反映了圖像質(zhì)量的改進(jìn)程度以及微小細(xì)節(jié)反差變化的速率，平均梯度越大，圖像層次越多，也就越清晰。

將上述4種算法分別應(yīng)用于2幅圖像的增強(qiáng)質(zhì)量結(jié)果如表1所示，可以看出，4種方法都一定程度上增大了平均灰度值、標(biāo)準(zhǔn)差、信息熵、平均梯度等，說(shuō)明處理后的圖像亮度動(dòng)態(tài)范圍增大，對(duì)比度增強(qiáng)，清晰度增加。而本文方法相比其他增強(qiáng)方法具有明顯的優(yōu)勢(shì)。

表1 圖像增強(qiáng)質(zhì)量性能評(píng)價(jià)參數(shù)Table 1 Visual quality evaluation parameters of first image

為了進(jìn)一步驗(yàn)證本文算法的性能，對(duì)所采集的30幅夜間圖像進(jìn)行試驗(yàn)，記錄4種方法增強(qiáng)處理后的性能參數(shù)。統(tǒng)計(jì)分析顯示：本文算法處理后的30幅圖像的平均灰度值，分別比原始圖像、直方圖均衡算法、同態(tài)濾波算法和雙邊濾波算法處理后的圖像提高 230.34%、251.16%、14.56%、7.75%，標(biāo)準(zhǔn)差平均提高36.90%、-23.95%、53.37%、28.00%，信息熵平均提高65.88%、99.68%、66.85%、17.53%，平均梯度提高161.70%、64.71%、139.89%、17.70%?？梢?jiàn)采用本文算法處理后的圖像更加清晰，在增加平均灰度值的同時(shí)不會(huì)增強(qiáng)噪聲信號(hào)，還能提高圖像的信息熵，使得圖像包含更加豐富的細(xì)節(jié)信息。同時(shí)，本文算法相對(duì)于雙邊濾波算法耗時(shí)減少74.56%，進(jìn)一步體現(xiàn)了本文算法的實(shí)時(shí)性和高效性。

4 結(jié)論

針對(duì)夜間蘋果圖像的特點(diǎn)，本文提出了基于引導(dǎo)濾波的Retinex算法用于夜間蘋果圖像增強(qiáng)。該方法采用具有邊緣保持和平滑功能的線性引導(dǎo)濾波作為環(huán)繞函數(shù)估計(jì)夜間蘋果圖像的照度分量，更好地保持了果實(shí)邊緣信息，凸顯出目標(biāo)蘋果果實(shí)；然后利用單尺度Retinex算法對(duì)圖像進(jìn)行對(duì)數(shù)變換獲得僅包含物體本身特性的反射分量圖像；并分別采用不同的校正方法實(shí)現(xiàn)了圖像分量的增強(qiáng)，最終獲得夜間蘋果增強(qiáng)圖像。采用本文算法分別對(duì)30幅圖像進(jìn)行圖像增強(qiáng)處理，并與其他增強(qiáng)方法的實(shí)驗(yàn)對(duì)比結(jié)果顯示：

1.經(jīng)過(guò)本文算法處理后的30幅圖像的增強(qiáng)效果明顯優(yōu)于直方圖均衡化算法、同態(tài)濾波算法和雙邊濾波Retinex圖像增強(qiáng)算法。

2.采用本文算法增強(qiáng)圖像的平均灰度值、標(biāo)準(zhǔn)差、信息熵、平均梯度等性能參數(shù)都優(yōu)于直方圖均衡算法、同態(tài)濾波算法和雙邊濾波Retinex算法。

3.本文增強(qiáng)算法盡管在時(shí)間效率上低于直方圖均衡化算法和同態(tài)濾波算法，但增強(qiáng)效果遠(yuǎn)高于上述兩種方法。與最相近的雙邊濾波Retinex算法相比，運(yùn)行時(shí)間僅為該算法的四分之一。顯示出本文算法具有良好的實(shí)時(shí)性和準(zhǔn)確性，為后續(xù)夜視圖像的目標(biāo)分割和準(zhǔn)確識(shí)別奠定了基礎(chǔ)，有助于提高蘋果采摘機(jī)器人夜間采摘作業(yè)的準(zhǔn)確性和效率。

[1]朱鳳武，于豐華，鄒麗娜，等.農(nóng)業(yè)機(jī)器人研究現(xiàn)狀及發(fā)展趨勢(shì)[J].農(nóng)業(yè)工程，2013，3(6)：10－13. Zhu Fengwu,Yu Fenghua,Zou Lina,et al.Research status quo and future perspective of agricultural robot[J].Agricultural Engineering,2013,3(6):10－13.(inChinesewithEnglishabstract)

[2]畢昆，趙馨，侯瑞鋒，等.機(jī)器人技術(shù)在農(nóng)業(yè)中的應(yīng)用方向和發(fā)展趨勢(shì)[J].中國(guó)農(nóng)學(xué)通報(bào)，2011，27(4)：469－473. Bi Kun,Zhao Xin,Hou Ruifeng,et al.Application direction and development trend of robot technology in agriculture[J].Chinese Agricultural Science Bulletin,2011,27(4):469－473.(in Chinese with English abstract)

[3]呂繼東.蘋果采摘機(jī)器人視覺(jué)測(cè)量與避障控制研究[D].鎮(zhèn)江：江蘇大學(xué)，2012. Lü Jidong.Research on Visual Measurement and Obstacle Avoidance Control of Apple Picking Robot[D].Zhenjiang: Jiangsu University,2012.(in Chinese with English abstract)

[4]Payne A,Walsh K,Subedi P,et al.Estimating mango crop yield using image analysis using fruit at‘stone hardening’stage and night time imaging[J].Computers and Electronics in Agriculture, 2014,100:160－167.

[5]Font D,Pallejà T,Tresanchez M,et al.Counting red grapes in vineyards by detecting specular spherical reflection peaks in RGB images obtained at night with artificial illumination[J]. Computers and Electronics in Agriculture,2014,108:105－111.

[6] 趙德安，劉曉洋，陳玉，等.蘋果采摘機(jī)器人夜間識(shí)別方法[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2015，46(3)：15－22. Zhao Dean,Liu Xiaoyang,Chen Yu,et al.Research on image recognition of fruit picking at night[J].Transactions of the Chinese Society for Agricultural Machinery,2015,46(3):15－22. (in Chinese with English abstract)

[7]賈偉寬，趙德安，阮承治，等.蘋果采摘機(jī)器人夜間圖像降噪算法[J].農(nóng)業(yè)工程學(xué)報(bào)，2015，31(10)：219－226. Jia Weikuan,Zhao Dean,Ruan Chengzhi,et al.De-noising algorithm of night vision image for apple harvesting robot[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE),2015,31(10):219－226.(in Chinese with English abstract)

[8] 沈嘉勵(lì)，張宇，王秀壇.一種夜視圖象處理的新算法[J].中國(guó)圖象圖形學(xué)報(bào)，2000，5(6)：479－483. Shen Jiali,Zhang Yu,Wang Xiutan.A new algorithm for image processing at night[J].Journal of Image and Graphics,2000,5 (6):479－483.(in Chinese with English abstract)

[9]Sayed M S,Delva J.Low complexity contrast enhancement algorithm for nighttime visual surveillance[J].Intelligent Systems Design and Applications,2010,15(1):835－838.

[10]朱雙志，文建國(guó)，楊冬，等.基于Retinex理論的新型遙感圖像增強(qiáng)算法[J].遙感技術(shù)與應(yīng)用，2012，27(4)：549－554. Zhu Shuangzhi,Wen Jianguo,YangDong,etal.New enhancement algorithm for remote sensing image based on retinex theory[J].Remote Sensing Technology and Application, 2012,27(4):549－554.(in Chinese with English abstract)

[11]劉海波，楊杰，吳正平，等.基于暗通道先驗(yàn)和Retinex理論的快速單幅圖像去霧方法[J].自動(dòng)化學(xué)報(bào)，2015，41(7)：1265－1273. Liu Haibo,YangJie,Wu Zhengping,et al.A fast single image dehazing method based on dark channel prior and retinex theory [J].Acta Automatica Sinica,2015,41(7):1265－1273.(in Chinese with English abstract)

[12]Land E H,McCann J J.Lightness and retinex theory.Journal of the Optical society of America,1971,61(1):1－11.

[13]Meylan L,Susstrunk S.High dynamic range image rendering with a retinex-based adaptive filter[J].IEEE Trans.Image Processing,2006,15(9):2820－2830.

[14]Rao Y B,Hou L,Wang Z H,et al.Illumination-based nighttime video contrastenhancementusing genetic algorithm[J]. Multimedia Tools and Applications,2014,70(3):2235－2254.

[15]劉松，孫東，盧一相.基于單尺度Retinex霧天降質(zhì)圖像增強(qiáng)算法[J].微電子學(xué)與計(jì)算機(jī)，2013，30(11)：43－50. Liu Song,Sun Dong,Lu Yixiang.Fog-degraded image enhancement based on single-scale Retinex[J].Microelectronics &Computer,2013,30(11):43－50.(in Chinese with English abstract)

[16]方帥，楊靜榮，曹洋，等.圖像引導(dǎo)濾波的局部多尺度Retinex算法[J].中國(guó)圖象圖形學(xué)報(bào)，2012，17(7)：748－755. Fang Shuai,Yang Jingrong,Cao Yang,et al.Loacl multi-scale Retinex algorithm based on guided image filyering[J].Journal of Image and Graphics,2012,17(7):748－755.(in Chinese with English abstract)

[17]熊俊濤，鄒湘軍，王紅軍，等.基于Retinex圖像增強(qiáng)的不同光照條件下的成熟荔枝識(shí)別[J].農(nóng)業(yè)工程學(xué)報(bào)，2013，29 (12)：170－178. Xiong Juntao,Zou Xiangjun,Wang Hongjun,et al.Recognition of ripe litchi in different illumination conditions based on Retinex image enhancement[J].Transactions of the Chinese Society of Agricultural Engineering(Transactions of the CSAE), 2013,29(12):170－178.(in Chinese with English abstract)

[18]Jobson D J,Rahman Z,Woodell G A.A multiscale retinex for bridging the gapbetween colorimagesand the human observation of scenes[J].IEEE Transactions on Image Processing, 1997,6(7):965－976.

[19]張錚，倪紅霞，苑春苗，等.精通Matlab數(shù)字圖像處理與識(shí)別[M].北京：人民郵電出版社，2013.

[20]Hu W W,Wang R G,Fang S,et al.Retinex algorithm for image enhancement based on bilateral filtering[J].Journalof Engineering Graphics,2010(2):104－109.

[21]唐鑒波，江鐵，王田.基于引導(dǎo)濾波的單幅圖像去霧算法研究[J].科學(xué)技術(shù)與工程，2013，13(11)：3021－3025，3042. Tang Jianbo,Jiang Tie,Wang Tian.Precise integration method of the dynamic response of train-bridge coupling system[J]. Science Technology and Engineering,2013,13(11):3021－3025, 3042.(in Chinese with English abstract)

[22]He K M,Sun J,Tang X O.Guided image filtering[C].Lechture Notes in Computer Science,2010:1－14.

[23]張亞飛，謝明鴻.基于HSI和局部同態(tài)濾波的彩色圖像增強(qiáng)算法[J].計(jì)算機(jī)應(yīng)用與軟件，2013，30(12)：303－307. Zhang Yafei,Xie Minghong.Color image enhancemen based on HSI and local homomorphic filtering[J].Computer Applications and Software,2013,30(12):303－307.(in Chinese with English abstract)

[24]Elad M.On the origin of the bilateral filter and ways to improve it[J].IEEE Transactions On Image Processing,2002,11(10): 1141－1151.

[25]趙宏宇，肖創(chuàng)柏，禹晶，等.馬爾科夫隨機(jī)場(chǎng)模型下的Retinex夜間彩色圖像增強(qiáng)[J].光學(xué)精密工程，2014，22(4)：1048－1055. Zhao Hongyu,Xiao Chuangbo,Yu Jing,et al.A retinex algorithm for night color image enhancement by MRF[J].Optics and Precision Engineering,2014,22(4):1048－1055.(in Chinese with English abstract)

[26]Cui X N,Shi Z Y,Lin J N,et al.The research of image quality assessment methods[J].Physics Procedia,2012,25:485－491.

[27]Jiang G Y,Huang D J,Yu M,et al.Overview on image quality assessment methods.Journal of Electronics& Information Technology,2010,32(1):219－226.

Edge-preserving Retinex enhancement algorithm of night vision image for apple harvesting robot

Ji Wei1,2,LüXingqin1,Zhao Dean1,2,Jia Weikuan1,Ding Shihong1
(1.School of Electrical and Information Engineering,Jiangsu University,Zhenjiang 212013,China;2.Key Laboratory of Facility Agriculture Measurement and Control Technology and Equipment of Machinery Industry,Zhenjiang 212013,China)

In order to improve the adaptability and working efficiency of apple harvesting robot used to promptly pick the ripe apples,the harvesting robot has to work continuously at night.But the night vision image of apple has many dark spaces and shadows besides the low resolution.These negative factors bring difficulties for the harvesting robot to work at night.So this paper proposes an edge-preserving Retinex algorithm based on guided filtering to enhance apple night vision image.The illumination component is estimated by using the guided filtering which can be used as an edge-preserving smoothing operator,and then it is removed from the original image to obtain the reflection component with its own characteristics.After Gamma correction,the 2 parts of the image are synthesized into a new image.Finally the night vision image of apple is enhanced.The specific implementation process is stated as follows:firstly,an apple night vision image of the RGB(red,green,blue)is converted into HSI(hue,saturation,intensity)color space.Then the intensity of the image is processed by the guided filtering which has a function of edge-preserving.This algorithm is able to accurately estimate the illumination of the image in the edge area with high contrast.After that,a single scale Retinex algorithm is used for logarithmic transform to get the reflection image.Then,the Gamma corrections are used for reflection component and illumination component.The 2 parts of the image are synthesized into a new image and the resulting image is converted into RGB color space.Finally,the output of the apple image is the target enhancement image.This paper selects 30 apple night vision images collected under fluorescent lighting to make simulation experiment compared with histogram equalization algorithm,homomorphic filtering algorithm and Retinex algorithm based on bilateral filtering.From the visual effects,the 4 methods have a certain degree of enhancement.By using the histogram equalization algorithm,not only the brightness has improved greatly,but also the reflective part of the apple is magnified.And the apple in the dark area is not fully displayed. After using the homomorphic filtering algorithm,the night vision image is enhanced and the enhancement effect of the highlight reflective area is poorer.After using the bilateral filtering algorithm,the edge is also maintained as this proposed algorithm,but there is a circle of white halo at the area of the apple gradient mutation.However,after using the proposed algorithm to enhance the images,the apple fruit is more prominent.Its details are clearly visible in the dark areas and there is no phenomenon of over-enhancement.There are more obvious visual effect and clearer outline of the target fruit,and the halo part has been well suppressed.According to the objective performance indices of experiment results,it shows that the mean grey value of the 30 images after processed by the proposed method,compared with the original image,histogram equalization algorithms,homomorphic filtering algorithm and Retinex algorithm based on bilateral filtering,increases averagely by 230.34%,251.16%,14.56%and 7.75%,respectively,the standard deviation on average increases by 36.90%, -23.95%,53.37%and 28.00%,respectively,the information entropy increases averagely by 65.88%,99.68%,66.85%and 17.53%,respectively,and the gradient on average increases by 161.70%,64.71%,139.89%and 17.70%,respectively.The enhancement effect of proposed algorithm is superior to other 3 algorithms.In addition,compared with the Retinex algorithm based on bilateral filtering,the proposed algorithm has an average reduction of 74.56%in processing time,which reflects the timeliness and efficiency.In conclusion,this algorithm has an unique advantage for night vision image enhancement.So it can satisfy the actual demands and realize the continuous operation of apple harvesting robot at night.

robots;algorithms;fruits;apple night vision image;Retinex;image enhancement;guided filter

10.11975/j.issn.1002-6819.2016.06.026

TP24，TP391

A

1002-6819（2016）-06-0189-08

2015-10-16

2016-01-21

國(guó)家自然科學(xué)基金資助項(xiàng)目（31571571，61203014）；教育部高等學(xué)校博士點(diǎn)基金資助項(xiàng)目（20133227110024）；江蘇省高校優(yōu)勢(shì)學(xué)科建設(shè)工程資助項(xiàng)目（PAPD）

姬 偉，男，博士，副教授，碩士生導(dǎo)師，主要從事農(nóng)業(yè)機(jī)器人、智能控制研究。鎮(zhèn)江 江蘇大學(xué)電氣信息工程學(xué)院，212013。

Email：jwhxb@163.com（中國(guó)農(nóng)業(yè)工程學(xué)會(huì)高級(jí)會(huì)員：姬 偉（E041200689S））