臍橙分選包裝表面損傷識別算法設計研究

,

(1.重慶工商大學機械工程學院,重慶 400067； 2.重慶工商大學圖書館,重慶 400020)

臍橙分選包裝表面損傷識別算法設計研究

楊祖彬1,曾莉紅2

(1.重慶工商大學機械工程學院,重慶 400067； 2.重慶工商大學圖書館,重慶 400020)

研究提出了一種改進的計算機視覺識別技術與圖像融合算法,并建立臍橙表面損傷識別系統,檢測中從圖像采集卡獲得數字化的圖像數據后,經過圖像二值化、邊緣檢測和灰度拉伸處理,再對圖像的行灰度均值變化曲線進行分析,加權濾波后提取特征圖像,以提高臍橙分選包裝的精度和速度。通過實驗測試表明：邊緣特征檢測方法對于模糊圖像的處理能力較強,算法設計中的損傷定位加快了系統的處理速度,其檢測速度達到了10.5個/s,具有精度高、通用性和穩定性好等特點。

分選包裝,損傷識別,邊緣檢測,灰度拉伸算法

臍橙色澤鮮艷、營養豐富,是世界各國競相栽培的良種果品,目前在我國江西贛南地區(占80%以上),四川、重慶奉節、湖北、廣東等都有大面積的種植,年產臍橙近100萬t[1]。臍橙的外觀特征是評價其品質的重要指標之一,對于臍橙的形狀、顏色和質量的判別是臍橙在分選包裝檢測中不可缺少的項目。其中,臍橙的表面缺陷程度是臍橙品質最直接的反映,國家標準GB/T12947.91對水果表面缺陷數量和面積大小已有嚴格的規定。目前,在臍橙的分選包裝過程中,對其表面缺陷的快速識別一直是品質檢測中的難題。在國內,臍橙損傷的判別一般采用人工外觀檢查和比較分析,存在精度不高、視覺容易疲勞、速度緩慢、缺乏客觀性等缺點,給臍橙的銷售和出口帶來了許多問題[2-3]。關于水果表面檢測有許多研究成果,如REHKUGLER等人[4]提出了基于蘋果圖像灰度的缺陷檢測方法,在此方法中采用的黑白二色攝像頭進行圖像采集。劉禾,汪懋華等人[5]提出了圖像分割的方法對蘋果進行檢測識別研究。在后來進一步的研究中,LEEMANS[6]等用3CDD相機及貝葉斯判別分析理論檢測蘋果表面缺陷與損傷,通過分析和評估顏色概率分布來確定是正常蘋果還是帶缺陷的蘋果。LEEMANS和DESTAIN[7]應用二次判別分析理論分類檢測方法,但其效果不佳。最近,Lopez-Garcia[8]等基于無監督多元圖像分析方法和主成分分析理論,設計了一種柑橘類水果缺陷檢測算法,結果顯示水果缺陷的檢測精度為91.5%。伴隨著計算機芯片處理速度的不斷提高,利用視頻采集系統的高分辨率和計算機模擬人類視覺的特點,在圖像分析與識別中采用計算機視覺技術已有很多的研究成果,如基于計算機視覺技術的玉米籽粒形態分類[9]、稻種圖像的特征識別[10]等。在此,以重慶奉節臍橙為例,提出了一種改進的計算機視覺識別技術與圖像融合算法,建立一個臍橙損傷的識別系統。重點研究從圖像采集卡獲得數字化的圖像數據之后,對數字化圖像進行識別與處理,以此來判斷臍橙表面有無損傷,即對臍橙表面的損傷圖像進行處理與識別研究,以提高臍橙分選包裝的精度和速度。

1 材料與方法

1.1材料與儀器

實驗材料以重慶市奉節臍橙為研究材料,隨機抽取480個臍橙進行實驗,將其分成3組,第一、二組均為120個,這兩組臍橙中每組有輕微損傷的臍橙36個,無任何損傷臍橙84個；第三組臍橙240個,其中有輕微損傷的臍橙72個,無任何損傷臍橙168個。第一組采取傳統方法進行損傷識別,第二、三組采取改進算法(本文設計的方法)進行損傷識別。

根據實驗要求,自行構建基于機器視覺技術的臍橙損傷檢測系統,該系統的主要設備有果品實驗箱、計算機、攝像頭、圖像采集等部件。圖像采集系統的攝像頭來自德國Baseler公司,其型號是SCA1390-17FC、鏡頭的型號是M1214-MP,采集卡型號是METEOR2-1394。檢測系統如圖1所示。實驗環境為AMD Athlon(tm)II X2,CPU 2.8GHz,2G內存,實驗源代碼采用C語言編寫,并在Visual C++6.0編譯環境進行仿真。

圖1 臍橙檢測系統圖

1.2臍橙表面缺陷的分類和損傷大小界定

臍橙損傷從表面缺陷分類主要有潰瘍果、薊馬果、炭疽病果、裂傷果、藥傷果、日灼果、風傷果、蟲傷果、異色條紋果、腐爛果和介殼蟲果等11種[1]。不同類型損傷的圖像在亮度變化上存在著較大的區別,李江波等[1]提出了臍橙表面亮度不均變化的照度-反射模型和單閾值缺陷分割算法。此亮度變化模型算法能將正常水果的表面標注為高亮區域,表面有缺陷標注為低灰度區域。基于此算法及單閾值分割理論能對上述11種臍橙表面缺陷進行分割。表面缺陷中介殼蟲果、薊馬果和蟲傷果是由蟲害所致,其損傷約為2～3mm。潰瘍是由病菌感染在臍橙表面形成圓形的病斑,病斑深度一般大于1mm[11]。藥傷果的表面缺陷通常在果臍周圍,其損傷面積較大,缺陷區域為臍橙表皮的14.3%[12]。以上缺陷在此稱為臍橙表面輕微損傷,對于表面損傷超過臍橙表面2/3的稱為重度損傷或腐爛(壞果),腐爛(壞果)可以通過人眼識別進行初篩選。

Blasco等[13]對柑橘的缺陷分類時,通過比較5種顏色空間的研究,對不同缺陷的識別中確定了HIS顏色空間(HIS Color Model)算法的高效性和準確性。實驗中對缺陷的近紅外(Near-infrared)、紫外(Ultraviolet)和熒光(Fluorescence)圖像對比分析。發現紫外圖像能較好地識別梗部損傷,近紅外圖像有利于識別真菌感染的缺陷和黑褐煤病缺陷,熒光圖像能有效地對薊馬、疤痕和腐爛進行準確地識別。兩年后,Blasco等[14]基于多視覺系統及缺陷形態學特征對柑橘類水果表面11種缺陷類型進行了檢測識別。

1.3檢測算法設計

首先將臍橙置于檢測系統平臺上,平臺為傳送帶,當傳送帶經過光照檢測箱時,由CCD攝像頭捕獲到臍橙的原始圖像。所采集的原始圖像經圖像采集卡在顯示器上以數字信號方式顯示。獲取的臍橙原始圖像,經過中值濾波消噪處理、圖像二值化和區域標記后,得到檢測臍橙總數量,記為T1。對臍橙損傷檢測并統計,數量計為T2。最后計算損傷率(T2/T1)并輸出損傷檢測結果。

圖2(a)是完好無損傷臍橙與有損傷臍橙(圖2(c))的原始采集圖像。完好無損傷臍橙經系統成像后形成如圖2(b)的檢測圖,有損傷臍橙經系統成像后形成如圖2(d)的檢測圖,與圖2(b)所不同的是圖2(d)中臍橙成像存在不同程度的白色標記區域。根據系統這一成像特征,提出一種有效的算法對臍橙損傷進行識別和判斷。

圖2 臍橙損傷檢測圖

2 圖像采集與邊緣檢測

2.1圖像采集

臍橙的圖像采集在帶環形發光二極管光源、背景為白色的實驗箱內進行,光源選取深圳寶光照明有限公司Led 20W環形光源,其型號為FLM223-20W,光量度為1600～1800lm,色溫為2800～9000K,顯色性為60～90Ra。臍橙圖像采樣時,要調整焦距和待測臍橙的相對位置,這樣才能使采集的圖像達到理想狀態,固定系統的檢測參數有利于后續圖像的獲取和采集,再將獲取的圖像數據通過系統的圖像采集卡傳輸到計算機進行識別與分析。數據采集前,要先設定好高光譜攝像頭的曝光時間參數,確保獲取清晰的高光譜圖像；另外,還需要設定傳動系統裝置的速度參數,以避免在數據采集時出現圖像尺寸和空間分辨率失真現象。成像系統的線陣探測器在X軸上進行橫向掃描,即光學焦面的垂直方向,以獲得條狀空間中各個像素點在每一波長的圖像信息。同時隨著臍橙在傳送系統的運動(Y軸方向),此時線陣探測器掃出了整個坐標平面,這樣圖像采集系統就完成了整幅圖像數據的采集,獲得了一幅高光譜臍橙圖像,其圖像大小為1280×1024×600。圖像采集系統如圖3所示。

圖3 圖像采集系統構成圖

2.2臍橙圖像的邊緣檢測

臍橙圖像的邊緣檢測在此研究中采用高斯低通濾波消除噪聲和拉普拉斯算子(Laplace Operator)相結合的方法。拉普拉斯算子(Laplace Operator)[14]定義如下：

系統圖像處理時,由于數字圖像的離散性特點,在圖像處理與計算識別過程中,用差分代替微分進行運算,其離散形式和高斯濾波表達式分別如下：

▽2f(x,y)=f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)

式(1)

g(x,y) =G(x,y)f(x,y)

式(2)

式(2)中σ為高斯函數的標準差。Laplace算子的特點是可以銳化圖像邊緣,具有各向同性,但在進行圖像處理時加大了噪聲。利用臍橙圖像二階導數的零交叉點,這種求邊緣的算法卻對噪聲十分敏感,圖像處理過程中要實現在邊緣增強之前濾除噪聲,為此,將拉高斯函數和普拉斯算子相結合,形成高斯-拉普拉斯算子,其算子如下：

式(3)

在此將高斯濾波和拉普拉斯邊緣檢測相結合,形成Gauss-Laplace算子(LoG),此方法的特點在于圖像先與高斯濾波器做卷積,以進行濾波處理,這樣既平滑了圖像又降低了圖像的噪聲,濾除了孤立的噪聲點與圖像中較小的結構組織,然后利用無方向性的Laplace算子實現系統的邊緣檢測[16-17]。

經過高斯-拉普拉斯算子濾波處理后的圖像進行二值化處理,可以得到閉合、輪廊連通的圖像,并且圖像中消除了所有的內部點[18-19]。臍橙的邊緣檢測如圖4所示。

圖4 臍橙圖像的邊緣檢測

3 臍橙損傷識別算法設計

3.1圖像中損傷的定位

臍橙經過系統檢測后,要對圖像的損傷有無進行識別或判斷,并對有損傷臍橙的損傷位置進行準確定位,在此研究中采用RLE算法,RLE(Run Length Encoding)壓縮算法是一種無損壓縮的方法。其算法特點是利用重復字節和重復的次數來描述以代替重復的字節。此壓縮算法簡單并且對于通常的壓縮非常低效,但是它卻非常實用[20-21]。文中用該算法設計損傷查找與定位算法,取得了理想的識別方法。此算法獲到了單純的損傷形狀圖像信息,其算法的描述如下:

RLE類的定義:

Struct RLE_ELEMENT

{

int iRLE_ID;#RLE類的ID號

int iRow;#RLE類的行號

int iStart_Pos,iEnd_Pos;#RLE類的起始位和結束位

int iNextELE;#指向RLE類中的下一個

};

定義損傷類:

Struct OBJECTS

{

Int ObjID;#損傷的序號

Int StartIndex;#損傷的起始RLE序號

Int TotalPixe;#損傷的像素統計計數

POINT COG;#損傷的重心位置

};

利用此算法可以實現對圖像的每行生成一個RLE元素,如果獲取的RLE元素有單個像素或者生成的RLE元素超出了紋理尺寸,則此算法將去除系統檢測中異常的RLE元素；如果圖像在檢測中相鄰行的兩個RLE元素形成了重疊,那么進行圖像連接,并自動指向下一個RLE類；若圖像中在相同行的相鄰的RLE元素間距是在給定值的范圍內,此時兩個RLE元素進行連接,形成了一個新的RLE元素,也即RLE[i]中iNextindex指向RLE[i+1],系統進行此算法處理后,將圖像中所有相連的RLE元素組成了一個臍橙損傷圖像整體,從而實現了臍橙圖像中的損傷定位。

3.2圖像處理

在上述方法中實現了臍橙圖像損傷定位,再對完好的與存在不同損傷的臍橙圖像采用逐個檢測的方法進行對比分析。從原始圖像中提取單個臍橙的灰度圖像,為了便于系統進行臍橙損傷的識別檢測,需對單體臍橙圖像進行預處理。在此為了方便描述,假設單個臍橙圖像的像素點表示為：m×n,其中m表示單個臍橙圖像在高度方向的像素點數,n表示臍橙圖像寬度方向的像素點數,x、y分別取小于或等于m和n的正整數,F(x,y)表示圖像在像素點(x,y)處的灰度值。為了避免系統成像背景及臍橙的果臍和果梗對損傷識別的影響,在圖像處理與識別過程中要突出臍橙的損傷特征,采用灰度拉伸算法對單個臍橙圖像進行了預處理。設采用灰度拉伸方法處理后的圖像在像素點(x,y)的灰度值為P(x,y),則有：

系統對待檢測臍橙圖像進行處理后,實驗結果表明：當系統檢測閥值的下限Smin為78、檢測閥值的上限Smax為166時,對臍橙損傷圖像特征的增強效果較為理想。圖5是圖2(c)中損傷臍橙圖像利用灰度拉伸算法得到的灰度拉伸圖像,與圖2(c)中相比,灰度拉伸后可以使單個臍橙圖像得到加強,且與圖2(c)中的損傷特征相比較,其識別圖像特征更為明顯,有利于臍橙損傷的檢測。

圖5 灰度拉伸后的臍橙圖像

在得到系統檢測的損傷圖像后,再計算圖像的行灰度均值。在此設Q為圖像灰度值P(x,y)在第x行不為零的像素點的個數,Z(x)表示灰度圖像第x行灰度值不為零的像素點的灰度均值,則有：

加權處理,設R(x)為對Z(x)進行加權處理后的值,則有：

2≤x≤m-1

圖2是運用本文算法對無損傷臍橙和有損傷臍橙圖像進行檢測后所得到的結果。無損傷臍橙的檢測結果的圖像為圖2(a),其檢測成像圖為圖2(b)；而有損傷臍橙檢測結果的圖像為圖2(c),其檢測成像圖為圖2(d),損傷臍橙圖像存在非常明顯的白帶色區,根據圖像中有無白帶色區以及白色線條的數量,即可判斷臍中是否存在損傷以及損傷的區域。圖像加權處理中,當x=1或x=m時,R(x)=Z(x)。圖6(a)和圖6(b)分別為圖2(a)與圖2(c)臍橙圖像的R(x)值曲線變化。可以從圖6中得到以下結論：完好臍橙圖像的R(x)曲線比較平滑,圖像曲線中無明顯的波谷；而有損傷臍橙的R(x)曲線則存在顯著的波谷特征。經分析研究表明,該圖像特征(曲線變化)為臍橙圖像中的損傷所致。

圖6 圖像灰度行均值變化曲線

4 實驗結果與分析

按照傳統檢測算法和圖像識別,對臍橙進行分級檢測和損傷區域檢測的研究成果較多。如李慶中[11]等的水果實時分級技術研究中,將每個水果采集兩幅圖像,其損傷缺陷檢測的速度達到了5個/s,但檢測誤差較大,如對于蘋果檢測,損傷檢測的準確率僅為51%。后來研究者在其設計上進行了改進,提出了雙金字塔數據形式的盒維數快速計算算法,以人工神經網絡(BP)作為模式識別器[22-24],其識別準確率為93%,圖像中1個可疑缺陷區的檢測判別時間為4～7ms。

表1 臍橙損傷的檢測對比分析

該項研究中臍橙樣本分為3組,第一、二組120個樣本,第三組的檢測樣本為240個,第一組采取傳統方法進行損傷識別,第二、三組采取改進算法(本文設計的方法)進行損傷識別,其結果如表1所示。從表1的檢測結果來看,第一組運用傳統損傷識別算法,36個輕微損傷的樣本臍橙被正確檢測出來的只有29個,系統檢測正確率為80.50%；而84個完好的樣本臍橙只有62個被檢測出來,其正確率僅為73.8%。而在該改進算法的實驗中,36個輕微損傷的臍橙樣本中有35個被正確檢測出來,檢測正確率為97.2%,錯檢的主要原因是訓練樣本數量和范圍不夠全面。改進的檢測算法比傳統檢測方法對臍橙損傷識別率要高,84個完好臍橙中有82個被檢測出來,正確率為97.6%。改進算法對于損傷檢測準確率提高了16.7%,完好臍橙的檢測準確率提高了23.8%。傳統檢測算法需用時(16800+7200)ms,系統檢測速度為5個/s；改進算法則用時(8000+3429)ms,系統檢測速度為10.5個/s；因此與傳統算法相比,系統檢測準確率明顯得到了提高,由于對成像系統進行了改進,同樣的檢測樣本,系統檢測速度提高了一倍。

為了避免因訓練樣本數量帶來的問題,在第三組測試中,將訓練樣本增加一倍(240個),其檢測準確率得到了提升,同時也說明了系統檢測的穩定性。傳統損傷識別算法中實驗結果表明：完好臍橙的檢測中(第一組),被正確識別的效果不理想,系統誤差偏大、檢測率較低,這主要是因為在圖像采集時,臍橙的形狀多樣和表面的凸凹不平都會造成在特征波長下的圖像失真,該區域的灰度與輕微損傷處灰度非常相似,從而造成了系統誤檢,該改進算法的檢測有效地克服了此項缺陷。

5 結論

利用了計算機視覺技術,對系統獲取的臍橙圖像進行邊緣檢測,并對圖像進行灰度拉伸處理,提取出圖像邊緣和損傷圖像的表面缺陷的特征參數,提出的邊緣特征檢測方法對于模糊圖像的處理能力較強,不僅系統處理速度快,而且不需要細化處理和序列化處理。該算法實現了臍橙分選包裝中對臍橙損傷的檢測,檢測精度高,并具有良好的通用性,實現了基于計算機視覺和圖像處理的臍橙損傷自動檢測。由于系統提取圖像特征參數不夠多,目前還不能實現對臍橙內部特征進行自動檢測,要實現對臍橙內部品質的檢測,首先要解決從快速運動的臍橙群體中提取有效的圖像信息,這是有待進一步研究要解決的關鍵性問題。

[1]李江波. 臍橙表面缺陷的快速檢測方法研究[D].杭州：浙江大學,2012.

[2]蘇東林,李高陽,何建新,等.近紅外光譜分析技術在我國大宗水果品質無損檢測中的應用研究進展[J].食品工業科技,2012(6)：460-464.

[3]王雪瑩,羅佳麗,黃明亮,等.熱成像技術在食品工業中的研究進展[J].食品工業科技,2013,34(1)：397-400.

[4]Rehkugler G,Throop A. Apple sorting with machine vision[J].Transactons of the ASAE,1985,29(5):1388-1395.

[5]劉禾,汪懋華.蘋果自動分級中的圖像分割[J].中國農業大學學報,1996,1(6):89-93.

[6]Leemans V,Magein H,Destain M. Defect segmentation,on ‘Jonagold’apples using colour vision and a Bayesian classification method[J]. Computers and Electronics in Agriculture,1999(23):43-53.

[7]Leemans V,Destain M. A real-time grading method of apples based on features extracted from defects[J]. Journal of Food Engineering,2004,61(l):83-89.

[8]Lopez-Garcia F,Andreu-Garcia G,Blasco J,etal. Automatic detection of skin defects in citrus using a multivariate image analysis approach[J]. Computers and Electronics in Agriculture,2010,71:189-197.

[9]Liao K,Paulsen M R,Reid J F,etal. Corn kernel breakage classification by machine vision using a neural network classifier[J]. Transactions of the ASAE,1994,36(6):1949-1953.

[10]喻擎蒼,嚴紅濱.一種基于圖像輪廓線的稻種模糊模式識別方法[J].農業工程學報,2002,18(1):150-153.

[11]Qin J W,Burks T,Ritenour M. Detection of citrus canker using hyperspectral reflectance imaging with spectral information divergence[J]. Journal of food Engineering,2009,93:183-191.

[12]李江波,饒秀勤,應義斌,等.基于高光譜成像技術檢測臍橙潰瘍[J].農業工程學報,2010,26(8):222-228.

[13]Blasco J,Aleixos N. Citrus sorting by identification of the most common defects using multispectral computer vision[J]. Journal of Food Engineering,2007,83:384-393.

[14]Blasco J,Aleixos N,Molto E. Recognition and classification of external skin damage in citrus fruits using multispectral data and morphological features[J]. Biosystems Engineering,2009,103:137-145.

[15]何東健,楊青.果實缺陷面積的計算機視覺測定研究[J].農業工程學報,1997,13(4):156-160.

[16](美)桑卡.圖像處理、分析與機器視覺(第3版)[M].北京：清華大學出版社,2011：48-56.

[17](英)阿瓜多著.李實英,楊高波譯.特征提取與圖像處理(第二版)[M].北京：電子工業出版社,2010：77-92.

[18]劉清,林土勝.數學形態學的邊緣檢測算法研究[J].計算機工程與應用,2008,44(35)：138-141.

[19]楊振亞,王淑仙,王成道.自適應圖像邊緣檢測算法[J].計算機應用,2003,23(5):15-17.

[20]章毓晉,黃翔宇,李睿.自動檢測精細印刷品缺陷的初步方案[J].中國體視學與圖像分析,2001(6):109-116.

[21]林睿.共焦掃描成像系統中串口通信的C+實現[J].重慶工商大學學報：自然科學版,2011,28(2)：168-171.

[22]李慶中,汪懋華. 基于計算機視覺的水果實時分級技術發展與展望[J]. 農業機械學報,1999,30(6)：1-7.

[23]李慶中,汪懋華. 基于分形特征的水果缺陷快速識別方法[J]. 中國圖象圖形學報,2000,5(2)：144-148.

[24]籍保平,吳文才.計算機視覺蘋果分級系統[J].農業機械學報,2000,31(6):118-121.

Navel orange sorting and packaging surface damage detection algorithm design based on computer vision and image processing

YANGZu-bin1,ZENGLi-hong2

(1.College of Mechanical,Chongqing Technology and Business University,Chongqing 400067,China; 2. Library,Chongqing Technology and Business University,Chongqing 400020,China)

In this research an improved computer vision detection technology and image fusion method had been proposed so as to create a navel orange surface damage detection system,i.e. firstly,digitized data in detection was collected from image collection card to be processed through image binarization,edge detection and grey stretch. Then the change curve of image grey-scale average was analyzed. Finally,feature image was extracted after weighted filtering so as to improve the precision and speed of navel orange sorting and packaging. The experiment showed that edge feature detection had strong ability in blurred image processing,and that damage location in algorithm design had speeded up the system processing with 10.5 oranges per second,which was characterized by high precision,generality and good stability.

sorting and packaging;damage detection;edge detection;gray stretch algorithm

2013-04-19

楊祖彬(1967-)，男，本科，副研究員，主要從事綠色包裝、食品包裝檢測技術方面的研究。

重慶市科委科學技術項目(CSTC2012CX-RKXA00024)；重慶市教委科學研究項目(KJ100710)；重慶市社科規劃項目(2012YBCB055)。

TS255

：A

：1002-0306(2014)01-0264-06