基于圖像處理的蘋果外觀缺陷檢測

宋秋霜 ，楊金鵬

（四川信息職業(yè)技術(shù)學(xué)院智能控制學(xué)院，四川 廣元 628040）

1 研究背景

我國是世界上第一大的蘋果生產(chǎn)、消費(fèi)國[1]，年產(chǎn)量、種植面積高居世界第一[2]。高精度蘋果外觀質(zhì)量檢測有利于提高蘋果市場競爭力。然而大部分果農(nóng)對蘋果外觀質(zhì)量的檢測仍采用人工分級的方法，其分揀率低、分級精度不穩(wěn)定[3]，這嚴(yán)重影響了水果的品質(zhì)，制約了果品的價格[4]。

近年來，隨著計算機(jī)視覺的快速發(fā)展，利用圖像處理進(jìn)行蘋果品質(zhì)分級的技術(shù)愈加成熟[5]。其分級品質(zhì)把控好、效率高、人工費(fèi)用少，逐步替代了傳統(tǒng)的人工分級。在此背景下，本文將研究基于圖像處理技術(shù)提取蘋果圖像中的相關(guān)特征來實現(xiàn)對蘋果外觀缺陷的檢測。

2 外觀缺陷檢測的相關(guān)特征選取

色澤、大小和重量以及是否存在缺陷通常被用作為評判蘋果品質(zhì)的特征[6]。本研究以蘋果外觀缺陷為檢測對象，步驟是通過顏色、表皮紋理來檢測外觀缺陷有無，再利用輪廓、特定區(qū)域提取及區(qū)域像素個數(shù)統(tǒng)計，實現(xiàn)對外觀缺陷程度的計算。

基于顏色特征的缺陷檢測是依據(jù)直方圖統(tǒng)計圖像各個像素所有顏色通道數(shù)值數(shù)量的分布。其中，黑色灰度值為0、紅色灰度值為128、白色灰度值為255。若蘋果外表有缺陷，那么直方圖在灰度值0 附近的幅值較大；若蘋果外表沒有缺陷或很少，那么直方圖在0附近的幅值較小，在灰度值128附近的幅值較大。

基于紋理特征的缺陷檢測是依據(jù)新鮮、品質(zhì)好的蘋果表皮光滑、無疤痕裂紋和干癟不新鮮的蘋果表皮粗糙來進(jìn)行的。通過提取圖像像素點的LBP（Local Binary Pattern，局部二值模式）特征值，并將LBP 特征值保存為一系列數(shù)值，再將這些數(shù)值通過直方圖顯示出來。表皮光滑蘋果的直方圖數(shù)值小，且分布均勻；表皮干癟、有裂紋、粗糙的蘋果的直方圖數(shù)值較大，且分布不均勻。

通過特定像素區(qū)域提取計算蘋果缺陷程度，其步驟是先將蘋果壞的部分提取出來；再提取蘋果輪廓，目的是獲得整個蘋果所占圖像區(qū)域；最后計算蘋果腐壞部分像素個數(shù)與蘋果整個區(qū)域像素個數(shù)之比，即可作為蘋果腐壞程度的結(jié)果值。

3 基于顏色直方圖的蘋果外觀缺陷檢測

常見的蘋果品種很多，包括以紅富士為代表的紅色蘋果，以黃元帥為代表的黃色蘋果，以青香蕉為代表的青色蘋果，以黑卡為代表的黑色蘋果。紅富士蘋果作為我國蘋果的主栽品種，占全國蘋果種植面積的70%[7]，所以本研究的蘋果顏色為紅色。直方圖作為圖像處理的重要工具，一直被廣泛應(yīng)用。顏色直方圖從圖像內(nèi)部灰度級的角度出發(fā)，通過統(tǒng)計圖像內(nèi)各個灰度級出現(xiàn)的次數(shù)表述圖像。

本研究利用顏色直方圖進(jìn)行紅色蘋果外觀缺陷檢測。由于繪制直方圖的hist 函數(shù)只支持一維的數(shù)組，故先進(jìn)行灰度化處理。為避免圖片白色背景干擾，直方圖像素值范圍為[0，200]。X軸為像素值，Y軸為對應(yīng)像素具體個數(shù)。

直方圖頂點區(qū)域代表圖像的特征區(qū)域，由圖1 可以看到：蘋果1 集中在區(qū)間[100，175]，[0，75]像素個數(shù)少且增加比較緩慢。可以得出蘋果1 外觀顏色偏亮，存在缺陷的可能性較小；蘋果2 集中在[25，50]、[75，120]兩個區(qū)間，說明蘋果2外觀顏色明暗均包含，存在缺陷的可能性較大；蘋果3 集中在[0，30]區(qū)間，說明蘋果3外觀顏色偏暗，存在缺陷的可能性很大。

圖1 顏色直方圖結(jié)果圖

4 基于LBP紋理特征的蘋果外觀缺陷檢測

局部二值模式（LBP）可用來描述圖像局部特征的算子[8]，計算簡單，具有灰度不變性、旋轉(zhuǎn)不變性等優(yōu)點，在計算機(jī)視覺領(lǐng)域應(yīng)用廣泛。表面紋理特征是衡量水果外部品質(zhì)的重要特征[9]。

原始LBP 算子被定義在3×3 的像素鄰域內(nèi)，鄰域中心像素為判斷閾值，與周圍8 個像素灰度值比較：若相鄰點大于等于中心，則該相鄰點記作1，反之為0。用center 代表中心像素，pixel(i)代表各鄰域像素，判斷依據(jù)如下：

中心像素LBP 值可以表示像素周圍區(qū)域的紋理信息。另外，只有灰度圖才可用于LBP特征計算。

由圖2可以看出：蘋果1外表紋理光滑，其表面無裂紋、同時也未發(fā)生擠壓碰撞；蘋果2 表皮部分紋理光滑，部分紋理粗糙，其部分表面有裂紋，表明這部分可能發(fā)生了碰撞擠壓；蘋果3表皮大面積紋理粗糙，說明表面有裂紋，可能的原因是放置過久導(dǎo)致的干癟、蘋果成長期間的品質(zhì)差以及發(fā)生碰撞擠壓。

圖2 LBP紋理特征的圖譜

僅通過圖譜進(jìn)行蘋果品質(zhì)分析不如直方圖直觀，下面將利用直方圖對LBP 特征進(jìn)行分析。若僅用一張輸入圖像256 維的向量進(jìn)行分析，會因維度過小、輸入數(shù)據(jù)過少，出現(xiàn)相關(guān)信息缺失的問題。因此先對圖像分塊處理再提取LBP 特征值。但會導(dǎo)致輸出的LBP 維數(shù)很大。因此要降維處理，即Uniform LBP（LBP 等價模式）[10]，其既不失真還能降低維度。LBP、Uniform LBP的直方圖結(jié)果如圖3所示。

圖3 LBP紋理特征的直方圖

由于背景圖像對提取的蘋果紋理結(jié)果影響較大，故本研究只比較0～50 維的LBP 特征值。由圖3 可以看出，Uniform LBP 在降低維度的同時也沒有失真。蘋果1 在0～50 維的直方圖分布較均勻，蘋果2、蘋果3 在0～50 維分布不均，且蘋果3 較蘋果2 分布數(shù)值幅度偏大。由此可以推測，蘋果1 表皮光滑，蘋果2、蘋果3表皮有裂紋，且蘋果3 比蘋果2外表更加粗糙。

5 特定區(qū)域提取的蘋果外觀缺陷程度計算

下面先利用輪廓特征獲取蘋果全部區(qū)域，再提取有缺陷的區(qū)域，最后統(tǒng)計兩區(qū)域像素個數(shù)，用兩區(qū)域像素個數(shù)比值即可計算出蘋果外觀缺陷程度。具體的計算公式如下：

特定區(qū)域即視為蘋果腐爛的區(qū)域，提取依據(jù)是蘋果腐壞部分顯示為深褐色，蘋果完好部分呈現(xiàn)紅色。圖4為蘋果特定區(qū)域的提取過程。

圖4 腐爛區(qū)域提取結(jié)果

由圖4可以看出：蘋果1外表完好，外表沒有缺陷，提取的區(qū)域為蘋果柄，主要是因為蘋果柄的顏色偏深褐色。蘋果柄所占顏色像素小，對后續(xù)蘋果的腐爛程度的計算影響很小。蘋果2 不光對腐壞區(qū)域進(jìn)行了提取，還對部分干癟的紋理部分也進(jìn)行了提取，主要原因是光照導(dǎo)致陰影部分呈現(xiàn)深褐色。蘋果3 除了對腐壞區(qū)域進(jìn)行準(zhǔn)確提取，也同樣對蘋果柄進(jìn)行了提取。蘋果4、蘋果5對腐壞部分也實現(xiàn)對應(yīng)區(qū)域的提取。

由公式（2）可知還需要提取整個蘋果區(qū)域，下面將通過輪廓提取來實現(xiàn)蘋果整個區(qū)域的提取。由于特定區(qū)域提取結(jié)果圖片的背景為黑色，提取區(qū)域顯示為藍(lán)色，故為方便后續(xù)像素個數(shù)的計算，先將輪廓結(jié)果進(jìn)行顏色反轉(zhuǎn)處理，如圖5所示。

圖5 整個蘋果白色像素提取

由圖5 可以看到，蘋果圖像的反光部分經(jīng)輪廓提取會出現(xiàn)偏差，對后續(xù)處理得到的輪廓結(jié)果以及顏色反轉(zhuǎn)結(jié)果圖有一定的影響。這是因為拍攝時光照的緣故。下面再對提取到的蘋果腐爛部分進(jìn)行顏色反轉(zhuǎn)，為后續(xù)計算腐爛程度做好準(zhǔn)備。

在圖6 中，由反轉(zhuǎn)結(jié)果可以統(tǒng)計得到公式（1）中特定區(qū)域像素個數(shù)，由整個蘋果可以統(tǒng)計得到公式（1）中整個蘋果區(qū)域像素個數(shù)。所以蘋果腐爛程度計算結(jié)果如圖7所示。

圖6 腐爛區(qū)域顏色反轉(zhuǎn)

圖7 蘋果腐壞程度計算結(jié)果

由圖7 可知，蘋果1 腐爛程度僅為0.16%，接近于0，可以判定該蘋果沒有腐爛，這個判定結(jié)果與蘋果1 實際情況比較符合。由這個結(jié)果也可看出，錯誤檢測到的蘋果柄對腐爛程度計算結(jié)果的影響可以忽略不計。蘋果2 腐爛程度為29.83%，蘋果3 腐爛程度為40.17%，蘋果4 的腐爛程度為31.88%，蘋果5 的腐爛程度為38.18%。比較之下：蘋果2 的腐爛程度最輕微，蘋果3 的腐爛程度最高，這也比較符合蘋果2、蘋果3、蘋果4、蘋果5的實際情況。

6 結(jié)語

由圖1 統(tǒng)計結(jié)果可以看出，基于顏色直方圖獲取的顏色信息可以大致區(qū)分判斷出蘋果外觀缺陷的有無；由圖2、圖3 檢測結(jié)果可以看出，基于LBP 獲取的紋理特征也可以檢測到蘋果的表皮信息，實現(xiàn)其缺陷有無的檢測；由圖4 計算結(jié)果可以看出，依據(jù)公式（1）可以準(zhǔn)確計算出蘋果外觀缺陷的程度。但由于本研究的蘋果圖片拍攝角度比較單一，后續(xù)可通過對同一個蘋果進(jìn)行多角度拍攝研究，獲取到更準(zhǔn)確的腐爛程度計算的結(jié)果。另外還可以看到，光照對于檢測結(jié)果也有一定的影響，后續(xù)可以進(jìn)一步展開研究。