機器視覺油炸魚豆腐外觀缺陷識別與剔除系統(tǒng)

路丹丹，王永強，詹海翔，顏 飛，曹深深，韓文龍，全洪濤

(天津科技大學(xué)機械工程學(xué)院，天津 300222)

魚豆腐是以海水魚魚糜或淡水魚魚糜為原料，經(jīng)過一系列加工制成的一種深加工食品，因其形狀酷似豆腐，故而得名．魚豆腐的加工工藝過程包括配料、加熱蒸制、分切成塊和油炸等工序．在對產(chǎn)品進行油炸的過程中，如果油的溫度控制不當(dāng)，或者產(chǎn)品投放不均勻等，便會產(chǎn)生產(chǎn)品外觀顏色“過深”或“過淺”的問題．此外，個別產(chǎn)品的形狀不規(guī)則，也屬于外觀質(zhì)量不佳．目前，在產(chǎn)品生產(chǎn)中主要采用人工方式對上述不合格品進行挑選和剔除，不僅效率低，而且分揀剔除的標準不統(tǒng)一，在增加企業(yè)的生產(chǎn)成本的同時也不利于對產(chǎn)品的質(zhì)量的標準化．

目前，機器視覺技術(shù)已經(jīng)被廣泛應(yīng)用在國內(nèi)外各個行業(yè)[1–3]的自動檢測中，在食品生產(chǎn)領(lǐng)域[4–5]也有了長足的發(fā)展，利用機器視覺技術(shù)對油炸魚豆腐的顏色和形狀進行檢測和識別，國內(nèi)也有了相關(guān)研究[6]．本文設(shè)計了試驗系統(tǒng)，利用機器視覺技術(shù)對油炸魚豆腐產(chǎn)品的顏色和形狀特征進行檢測和識別，根據(jù)檢測結(jié)果自動剔除不合格品．

1 檢測原理

系統(tǒng)首先采集產(chǎn)品的圖像，對圖像進行分析處理，提取顏色特征和形狀特征，并以此作為判據(jù)，判斷產(chǎn)品的外觀質(zhì)量是否合格．特征檢測流程如圖 1所示．

圖1 特征檢測流程Fig. 1 Flow chart of feature detection

1.1 顏色特征提取

在 RGB顏色空間中，圖像中任意一點的顏色值都由紅、綠、藍三色組合得到[7]．在進行顏色特征提取時，可以將彩色圖像中的R、G、B三分量分別提取出來，并以灰度圖像形式單獨顯示，如圖2所示．

圖2 R、G、B分量的灰度圖Fig. 2 R，G，B gray image

通過比較可知，在以 B分量作為灰度值的圖像中，目標圖像與背景的明暗對比差異最大，故采用 B分量作為顏色特征參數(shù)，即

即使是顏色均勻的產(chǎn)品，在圖像中各像素點的B分量值也不會完全相同，在此采用 B分量均值來判定是否合格．

在求 B分量均值時，首先需要區(qū)分圖像中的前景圖像與背景圖像，設(shè) T為區(qū)分前景圖像與背景圖像的閾值，則灰度值在[0，T–1]區(qū)間內(nèi)的即為魚豆腐產(chǎn)品的圖像[8]，此區(qū)間內(nèi)B分量的均值為

式中：N為灰度值在[0，T–1]區(qū)間內(nèi)像素點的總個數(shù)；nj為灰度值為j的像素點個數(shù)．

閾值 T采用最大類間方差法(OTSU)求取[9]，原理如下：假設(shè)圖像中有 nj個灰度值為 j的像素點，所有像素點的灰度值均在范圍為[0，H–1]中，則圖像中像素點的總數(shù)為

灰度值為j的像素點出現(xiàn)的頻率為

假設(shè)存在灰度值T，使T在[0，H–1]區(qū)間內(nèi)依次取值，則彩色圖像中的像素點根據(jù) T分成 X和 Y兩類，X類中所有像素點的灰度值在[0，T–1]區(qū)間，Y類中所有像素點的灰度值在[T，H–1]區(qū)間中，則X和Y兩類像素點出現(xiàn)的概率分別為

X與Y兩類像素點的平均灰度分別為

則整幅圖像的平均灰度

兩類像素點的總方差為

T在[0，H–1]區(qū)間內(nèi)依次取值，可使兩類像素點的總方差最大的閾值T便是區(qū)分前景圖像與背景圖像的最佳分割閾值[10]．

在求得前景圖像的 B分量均值后，將其與區(qū)分合格品與不合格品的閾值 T1進行對比，即可判斷產(chǎn)品是否合格．求取閾值T1的方法是，對若干產(chǎn)品的圖像進行灰度化處理后進行統(tǒng)計，得到合格品的 B分量均值集合和不合格品的 B分量均值集 合．從合格 品 集 合中選取最小值，從不合格品集合中選取最大值，兩者的平均值即為閾值T1，即

將產(chǎn)品圖像的 B分量均值與1T比較，若大于1T則為合格品，否則為不合格品．

1.2 形狀特征提取

采用目標區(qū)域圖像的面積和矩形度作為形狀特征．首先將根據(jù)式(1)得到的灰度圖像二值化處理：

在二值化處理后的圖像 f(i，j)中，白色區(qū)域所有像素點的個數(shù)稱為目標區(qū)域圖像面積，記為 A．矩形度是指目標區(qū)域與最小外接矩形之間相似的程度，最大值為1，其數(shù)學(xué)模型為

式中：L為目標區(qū)域的最小外接矩形的長度；W 為目標區(qū)域的最小外接矩形的寬度[11]．

由于目標區(qū)域的邊界形狀不規(guī)則，選用旋轉(zhuǎn)法求取目標區(qū)域的最小外接矩形[12]：首先以當(dāng)前姿態(tài)目標區(qū)域的 4 個邊界坐標點(xmax，y1)、(xmin，y2)、(x1，ymin)、(x2，ymax)建立一個外接矩形，求外接矩形面積A0，然后使目標圖像旋轉(zhuǎn)角度 θ，用同樣的方法求當(dāng)前外接矩形面積 A1，直至旋轉(zhuǎn) 360°后，比較所求得所有的外接矩形面積，其中面積最小的即為目標圖像的最小外接矩形[13]．綜合考慮軟件系統(tǒng)的處理速度和計算精度要求，取 θ＝10°．圖像的最小外接矩形如圖3所示．

圖3 最小外接矩形Fig. 3 Minimum enclosing rectangle of image

2 系統(tǒng)結(jié)構(gòu)設(shè)計

2.1 系統(tǒng)構(gòu)成

外觀缺陷識別與剔除系統(tǒng)與魚豆腐的油炸生產(chǎn)線相連接，對生產(chǎn)線上炸制完畢后的產(chǎn)品進行檢測．系統(tǒng)主要由振動上料裝置、防重疊和防粘連的分列裝置、圖像采集裝置和剔除裝置構(gòu)成．圖 4為該系統(tǒng)的結(jié)構(gòu)示意圖．

圖4 系統(tǒng)結(jié)構(gòu)示意圖Fig. 4 Diagram of the system

振動上料裝置主要由傳送帶和振動上料機組成，產(chǎn)品沿傳送帶送入振動上料機構(gòu)中，通過振動上料機構(gòu)的振動將生產(chǎn)線輸出的粘連成堆的產(chǎn)品分散開，以便于后續(xù)裝置對產(chǎn)品的分離排序．

防重疊和防粘連裝置利用門型框架、分列裝置以及兩條差速傳送帶來完成產(chǎn)品的有序排列．其中，門型框架可將一級傳送帶上重疊在上層的產(chǎn)品阻擋下來，使其保持單層分布，門型框架的高度可根據(jù)產(chǎn)品調(diào)節(jié)；同時，分列裝置可將呈無序狀態(tài)的產(chǎn)品按列形成有序的排列．差速傳送帶利用先慢后快的兩條傳送帶之間的速度差將前后靠在一起的產(chǎn)品拉開一定的距離，以便之后的圖像采集裝置采集單粒產(chǎn)品的圖像，為后續(xù)不合格品的分揀剔除奠定基礎(chǔ)．

圖像采集裝置由對射式光電傳感器、單片機、工業(yè)相機、鏡頭、光源和燈箱組成．當(dāng)產(chǎn)品進入圖像采集區(qū)域時，觸發(fā)對射式光電傳感器發(fā)送信號至單片機，單片機控制相機進行單次圖像采集，相機將采集到的圖片傳輸至計算機，并且在計算機中對采集到的圖像進行分析處理，判斷產(chǎn)品是否合格．其中，燈箱為采集圖像提供避光的環(huán)境，以減少其他外界光源的干擾，燈箱的內(nèi)壁噴涂啞光涂料以減少反射．

剔除裝置為多個獨立的執(zhí)行機構(gòu)，與產(chǎn)品的分列相對應(yīng)，每個剔除裝置由電磁鐵和滑道構(gòu)成．單片機接收上位機給出的單列、單粒產(chǎn)品識別結(jié)果所生成的信息碼，在不合格品到達剔除機構(gòu)時，控制相應(yīng)列的電磁鐵驅(qū)動具有翻轉(zhuǎn)功能的滑道產(chǎn)生翻轉(zhuǎn)動作，剔除殘次品．剔除裝置簡圖如圖5所示．

圖5 剔除裝置簡圖Fig. 5 Diagram of the removing device

2.2 照明光源的設(shè)計

系統(tǒng)中的照明光源對采集到的圖像質(zhì)量有較大影響．本系統(tǒng)針對產(chǎn)品的表面特征進行檢測，因此選擇正光照射的方式，以充分顯現(xiàn)其表面特征．LED光源相比其他光源單個光源體積小，工作壽命長，價格低，實驗效果良好，因此選擇環(huán)形 LED光源．相機置于環(huán)形光源中央，與光源處于同一水平面內(nèi)，此種方式可以達到無陰影、足夠亮度的要求．

2.3 剔除信息碼

上位機經(jīng)圖像處理后傳輸給下位單片機完成針對每列不合格品剔除動作的控制碼稱為信息碼．本系統(tǒng)將產(chǎn)品分成5列檢測，對于每一列采集處理窗口內(nèi)的單粒產(chǎn)品檢測，合格用“0”表示，不合格用“1”表示；當(dāng)前窗口內(nèi)各列中沒有產(chǎn)品也用“0”表示．根據(jù)此原則，信息碼為 5位二進制編碼，每一位分別代表對應(yīng)列的檢測結(jié)果信息．例如 01101，表示其中 3列的當(dāng)前產(chǎn)品為不合格品，需要剔除，其他兩列為合格或者沒有產(chǎn)品．

3 實 驗

人工挑選出合格品和不合格品兩類產(chǎn)品，再將不合格品分為顏色不合格、形狀不合格、顏色和形狀都不合格3類，4類產(chǎn)品每類各150個，共600個樣本，測試系統(tǒng)的可靠性．先分別對每類產(chǎn)品進行檢測，再將 4類產(chǎn)品混合后進行檢測．實驗中，相機分辨率為130萬像素，一級傳送帶的速度為 0.03,m/s，二級傳送帶的速度為0.09,m/s．實驗結(jié)果見表1．

從表1可以看出：系統(tǒng)對各類產(chǎn)品的檢測正確率均在 96%,以上，對混合產(chǎn)品的檢測正確率在 98%,以上，表明本系統(tǒng)可以應(yīng)用于油炸魚豆腐的外觀質(zhì)量檢測與剔除．本次實驗中對合格品的檢測準確率最低，對顏色和形狀都不合格品檢測準確率最高．檢測受傳送帶速度、產(chǎn)品表面反射光線及產(chǎn)品自身顏色不均勻等因素影響，可能出現(xiàn)檢測誤差，當(dāng)可辨識的特征較明顯時，檢測準確度更高，當(dāng)傳送帶速度較高時會發(fā)生翻轉(zhuǎn)動作不及時而漏剔除，應(yīng)根據(jù)實際情況限定最高傳送帶速度．

表1 實驗結(jié)果Tab. 1 Results of the experiment

4 結(jié) 語

本文提出了一套基于機器視覺對油炸魚豆腐產(chǎn)品外觀質(zhì)量檢測與剔除的試驗系統(tǒng)．通過對產(chǎn)品外觀顏色和形狀的檢驗，判斷各列產(chǎn)品是否合格，通過信息碼控制電磁閥驅(qū)動翻板旋轉(zhuǎn)，從而實現(xiàn)對不合格產(chǎn)品的剔除動作．

［1］ 桂衛(wèi)華，陽春華，徐德剛，等. 基于機器視覺的礦物浮選過程監(jiān)控技術(shù)研究進展[J]. 自動化學(xué)報，2013，39(11)：1879–1888.

［2］ 胡煉，羅錫文，曾山，等. 基于機器視覺的株間機械除草裝置的作物識別與定位方法[J]. 農(nóng)業(yè)工程學(xué)報，2013，29(10)：2–18.

［3］ Heiskanen V，Marjanen K，Kallio P. Machine vision based measurement of dynamic contact angles in microchannel flows[J]. Journal of Bionic Engineering，2008，5(4)：282–290.

［4］ 周竹，黃懿，李小昱，等. 基于機器視覺的馬鈴薯自動分級方法[J]. 農(nóng)業(yè)工程學(xué)報，2012，28(7)：178–183.

［5］ 趙茂程，候文軍. 我國基于機器視覺的水果自動分級技術(shù)及研究進展[J]. 包裝與食品機械，2007，25(5)：5–8.

［6］ 周聰玲，宋振國，王永強，等. 油炸魚豆腐外觀質(zhì)量檢測方法研究[J]. 糧油加工，2015(3)：46–50.

［7］ 張?zhí)m鳳，郭丹. 利用 Matlab軟件對醫(yī)學(xué)彩色圖像的空間轉(zhuǎn)換[J]. 科技創(chuàng)新與應(yīng)用，2015(29)：43.

［8］ 陳蘊，陳松. 基于動態(tài)范圍調(diào)整的指紋圖像增強方法[J]. 計算機工程與應(yīng)用，2015，51(8)：183–188.

［9］ 朱齊丹，荊麗秋，畢榮生，等. 最小誤差閾值分割法的改進算法[J]. 光電工程，2015，37(7)：107–113.

［10］ 楊力，李東新. 基于遺傳算法的圖像閾值分割的研究[J]. 信息技術(shù)，2015(11)：116–120.

［11］ 孫麗媛，楊鴻玉，王汝梅. 圖像形狀匹配及特征識別在鐵礦石熔點檢測中的應(yīng)用研究[J]. 工業(yè)控制計算機，2010，23(6)：31–32.

［12］ 盧蓉，范勇，陳念年，等. 一種提取目標圖像最小外接矩形的快速算法[J]. 計算機工程，2010，36(21)：178–180.

［13］ 李洋，李岳陽. 一種快速提取植物葉片最小外接矩形的算法[J]. 江南大學(xué)學(xué)報：自然科學(xué)版，2015，14(3)：273–277.