基于視覺的乳品包裝日期噴碼缺陷檢測技術(shù)

孫曉娜劉繼超高國華

SUN Xiao-na1 LIU Ji-chao2 GAO Guo-hua1

(1. 北京工業(yè)大學(xué)機(jī)械工程與應(yīng)用電子技術(shù)學(xué)院，北京 100124；2. 北京三元食品股份有限公司，北京 100124)

(1. College of Mechanical Engineering and Applied Electronics Technology, Beijing 100124, China; 2. Beijing Sanyuan Foods Co., Beijing 100124, China)

機(jī)器視覺[1-2]是人工智能發(fā)展的重要方向之一。使用機(jī)器代替人眼來完成判斷和檢測，具有廣闊的應(yīng)用前景，將采集的目標(biāo)轉(zhuǎn)換成圖像，將信號輸送給圖像處理軟件，采用數(shù)字圖像處理技術(shù)[3]獲得目標(biāo)的各種信息，根據(jù)識別的結(jié)果來控制設(shè)備的運(yùn)行。

隨著數(shù)字化程度不斷提高，使用機(jī)器視覺獲取目標(biāo)的信息實(shí)現(xiàn)物體表面裂紋檢測[4-7]、物體輪廓形狀的檢測[8]以及表面?zhèn)Τ潭萚9]的檢測越來越普遍。

近年來，隨著居民收入和對健康關(guān)注程度的提高，人們越來越關(guān)注食品的安全問題，食品的生產(chǎn)日期是決定食品安全的重要因素，直接決定了食品是否達(dá)到可食用的條件[10]，眾所周知，乳品的保質(zhì)期短，因此，保證其生產(chǎn)日期信息清晰準(zhǔn)確顯得尤為重要。

企業(yè)采用噴碼機(jī)噴印生產(chǎn)日期，在此過程中易出現(xiàn)漏碼、模糊碼、重疊碼、錯印碼等缺陷[11]產(chǎn)品，需要對這些缺陷產(chǎn)品進(jìn)行剔除，以防影響企業(yè)的品牌及傷害到消費(fèi)者的健康。傳統(tǒng)的方法多采用人工剔除，勞動強(qiáng)度大，效率低，而采用機(jī)器視覺[12-13]的方法不會受到輪班、生病等因素的影響，且檢測的速度是人眼所達(dá)不到的，因此，開發(fā)一套生產(chǎn)日期缺陷檢測系統(tǒng)，對于企業(yè)的自動化生產(chǎn)具有重要的意義，也可極大程度降低企業(yè)成本。

本設(shè)計(jì)提出了一種應(yīng)用于乳品包裝生產(chǎn)日期噴碼缺陷的視覺檢測方案，擬通過采集乳品外包裝的圖像，利用圖像預(yù)處理、ROI區(qū)域提取、模板匹配等技術(shù)獲得生產(chǎn)日期的信息，實(shí)現(xiàn)缺陷檢測效果，為乳產(chǎn)品質(zhì)量檢測的研究提供參考。

1 檢測系統(tǒng)的整體概狀

生產(chǎn)日期的檢測系統(tǒng)由硬件系統(tǒng)和軟件處理系統(tǒng)兩大部分組成。

1.1 硬件系統(tǒng)

硬件系統(tǒng)主要包括光源、鏡頭、工業(yè)相機(jī)、輸送帶、相機(jī)支架、密封罩等，見圖1。

1.1.1 工業(yè)相機(jī) 工業(yè)相機(jī)的選擇主要考慮分辨率以及傳感器，分辨率越高，成像清晰，計(jì)算過程復(fù)雜，且成本高，傳感器分為CCD[14]相機(jī)和CMOS相機(jī)，綜合考慮，本系統(tǒng)選擇了Manta G-283B/C型相機(jī)(德國Allied Vision公司)。

1. 密封罩 2. 輸送帶 3. 相機(jī)支架 4. 奶盒 5. 光源 6. 相機(jī)

1.1.2 鏡頭 圖像采集時，視場、焦距和景深決定了鏡頭[15]的選型，該檢測系統(tǒng)主要獲取圖像生產(chǎn)日期的信息，因此既需要保證字符清晰但又不可發(fā)生畸變，結(jié)合工程的實(shí)際情況，本系統(tǒng)選用了LM5JCM型鏡頭(日本Kowa公司)。

1.1.3 光源 光源的穩(wěn)定性及可見光也影響著成像的質(zhì)量，可降低算法處理的難度，因此，光源的搭建須合理化。由于LED光源與其他光源相比，在照射角度、范圍以及平行度設(shè)計(jì)等方面，具有更大的靈活性，考慮到鏡頭的選型及生產(chǎn)線的布局，采用了RIN-90-4R-15X型環(huán)形光源(東冠科技公司)，使拍攝出的生產(chǎn)日期噴碼字符清晰完整。

1.2 視覺缺陷檢測系統(tǒng)的設(shè)計(jì)

基于視覺檢測噴碼字符缺陷的系統(tǒng)主要分為圖像采集模塊以及圖像后期處理模塊，采集模塊主要包括相機(jī)的調(diào)用以及對開發(fā)包的二次開發(fā)，該模塊的質(zhì)量直接決定了圖像后期處理模塊的復(fù)雜程度。圖像后期處理算法在Visual Studio平臺上進(jìn)行編程，檢測乳產(chǎn)品包裝的生產(chǎn)日期是否合格，是整個系統(tǒng)核心部分。

2 算法設(shè)計(jì)

算法主要包括對相機(jī)的調(diào)用以及圖像信息的獲取，該算法可以很好檢測到生產(chǎn)日期噴碼的缺陷，流程見圖2。

2.1 缺陷檢測關(guān)鍵算法

系統(tǒng)運(yùn)用模板匹配算法對圖像生產(chǎn)日期區(qū)域進(jìn)行定位，對生產(chǎn)日期字符進(jìn)行校正后，利用垂直投影法對生產(chǎn)日期的字符進(jìn)行分割，根據(jù)模板匹配算法及相似性度量篩選出有缺陷的產(chǎn)品。因此，在系統(tǒng)處理中，對感興趣的區(qū)域快速定位以及對待檢測的圖像進(jìn)行缺陷檢測，是要解決的主要問題。

2.1.1 模板匹配 模板匹配[16]的主流思路為設(shè)置一個模板圖像，在待檢測圖像S(m,n)中通過相關(guān)的搜索方法以及相似性度量函數(shù)，來找到與模板圖像T(h,w)最相似的區(qū)域，模板匹配的基本公式見式(1)。

(1)

式中：

圖2 檢測流程圖

E(i,j)——相似度；

H——橫坐標(biāo)搜索范圍，0

W——縱坐標(biāo)搜索范圍，0

h——像素點(diǎn)橫坐標(biāo)；

w——像素點(diǎn)縱坐標(biāo)；

T——模板圖像；

S——覆蓋子圖。

E值越接近100%，匹配度越好。

基于灰度的模板匹配穩(wěn)定性和可靠性比較優(yōu)越。利用灰度信息判斷2幅圖像的相似性，目前存在的相似性度量函數(shù)中，最基本的就是互相關(guān)法。

(2)

式中：

采用金字塔搜索[17]可以加快搜索速率，其分層的思想使得金字塔從最高層到最底層依次搜索模板，從而達(dá)到加速的目的。

2.1.2 垂直投影法 由于生產(chǎn)日期會隨著時間的變化而更改噴碼的內(nèi)容，因此需要對生產(chǎn)日期進(jìn)行字符分割，本研究基于垂直投影[18]的方法對字符進(jìn)行分割。

垂直投影法原理：投影法是根據(jù)圖像信息在某方向的投影分布特點(diǎn)來進(jìn)行檢測的方法，即像素的累加，其實(shí)是一種統(tǒng)計(jì)的方法。像素灰度值為f(x,y)時，其投影函數(shù)h(y)的值按式(3)計(jì)算。

(3)

式中：

M、N——圖像尺寸，像素；

c——圖像灰度值。

將投影值進(jìn)行歸一化，其計(jì)算公式：

(4)

以像素值為計(jì)算單位掃描二值圖像，像素點(diǎn)為1的累積結(jié)果即為垂直投影的結(jié)果，累加圖像所有列得到整幅圖像的垂直投影。

2.2 算法實(shí)現(xiàn)

2.2.1 ROI提取

(1) 創(chuàng)建模板：首先需要建立模板，利用模板匹配進(jìn)行定位。在創(chuàng)建模板時需要注意的原則：① 選取的字符具有不變性；② 關(guān)鍵點(diǎn)特征越多越好。結(jié)合實(shí)際條件，選擇不變字符“20”作為標(biāo)準(zhǔn)模板。對標(biāo)準(zhǔn)模板進(jìn)行初步的預(yù)處理，消除圖像采集中的細(xì)小噪聲干擾，創(chuàng)建魯棒性強(qiáng)的模板。

手動選取標(biāo)準(zhǔn)圖像見圖3(a)，在創(chuàng)建模板前需要對圖片進(jìn)行初步的預(yù)處理，圖像濾波算法能對圖像進(jìn)行平滑，減少噪聲對后續(xù)圖像處理的影響,在采集到的原始圖像中，奶盒表面不同位置明亮程度有所不同，會出現(xiàn)隨機(jī)性干擾紋理，因此需要對圖像噪聲進(jìn)行有效抑制。選擇計(jì)算鄰域均值的線性濾波器去除圖像中的細(xì)小噪聲，提高模板圖像魯棒性，濾波效果見圖3(b)，圖3(c)中方框區(qū)域?yàn)槟０鍏^(qū)域，圖3(d)為金字塔模板。

(2) 圖像預(yù)處理與定位：由于圖像在獲取過程中，需要對圖像模板匹配來實(shí)現(xiàn)生產(chǎn)日期的定位，通過尋找模板獲得匹配到的左上角坐標(biāo)(X1，Y1)，根據(jù)檢測ROI減小圖像的有效定義域，降低后續(xù)處理的數(shù)據(jù)量。模板匹配的結(jié)果見圖4，ROI區(qū)域的提取見圖5。

圖3 模板的創(chuàng)建

圖4 模板匹配結(jié)果

圖5 ROI區(qū)域提取

2.2.2 圖像分割 利用灰度值的差異性實(shí)現(xiàn)生產(chǎn)日期字符與背景的分割是最直接、高效及簡單的圖像分割方法，利用自適應(yīng)閾值(大津法)進(jìn)行分割，分割出字符的部分，見圖6。

圖6 字符分割

2.2.3 字符校正 在生產(chǎn)日期缺陷檢測系統(tǒng)中，生產(chǎn)日期字符存在一定的傾斜度，為后續(xù)的字符分割帶來了一定的困難，因此在后期的處理之前必須對其進(jìn)行傾斜校正[19]，通過計(jì)算生產(chǎn)日期的傾斜角，然后對生產(chǎn)日期字符圖像進(jìn)行旋轉(zhuǎn)，從而達(dá)到生產(chǎn)日期噴碼傾斜校正的目的。校正結(jié)果見圖7。

圖7 字符校正

2.2.4 字符分割 對生產(chǎn)日期二值圖像進(jìn)行垂直投影，投影結(jié)果見圖8。

通過垂直投影的特征，分割字符就可以轉(zhuǎn)化為所需區(qū)域的左右邊界。在字符的垂直投影圖上橫向從左到右順序檢測每個坐標(biāo)點(diǎn)的投影數(shù)值，檢測到第一個投影數(shù)值不為0的坐標(biāo)點(diǎn)，此坐標(biāo)點(diǎn)即第一個字符的左側(cè)邊界，順序向右檢測，在字符的第一個像素點(diǎn)和最后一個像素點(diǎn)畫直線，劃開區(qū)域，直至分割出每一個字符。

圖8 垂直投影結(jié)果

Figure 8 Split the result vertically

垂直分割結(jié)果見圖9，分割圖像保存見圖10。

圖9 垂直分割結(jié)果

圖10 字符分割圖像保存

2.2.5 缺陷檢測 缺陷檢測的基本原理是將分割后的字符灰度圖像與字符模板匹配，提取模板字符在待識別字符的灰度圖像上的灰度特征最大相關(guān)性，利用互相關(guān)法求出相似度，通過設(shè)置相關(guān)系數(shù)的閾值T，若min(R)

在進(jìn)行缺陷檢測之前，需要制造模板庫，由于分割的字符需要與所有模板庫去匹配，因此需擴(kuò)大模板庫的尺寸模板，保證最大的待檢測圖像尺寸小于最小的模板尺寸。

基于此，提出一種新的模板庫制造方法，以每個標(biāo)準(zhǔn)模板為中心，在其8鄰域周圍補(bǔ)充0像素值，在保證不丟失信息的前提下，又能保證模板匹配的精度。

標(biāo)準(zhǔn)模板創(chuàng)建結(jié)果見圖11。

圖11 標(biāo)準(zhǔn)模板創(chuàng)建

2.3 結(jié)果驗(yàn)證與分析

為了驗(yàn)證算法的嚴(yán)謹(jǐn)性與魯棒性，隨機(jī)選擇了各種缺陷產(chǎn)品做測試，包括缺碼、模糊碼。

將模板匹配算法及金字塔分層搜索策略應(yīng)用于生產(chǎn)日期的缺陷檢測中。典型的缺陷圖像見圖12(a)、(b),模板庫圖像見圖13。在Visual Studio+halcon+opencv平臺下實(shí)現(xiàn)提出的算法，建立模板庫，設(shè)置金字塔層數(shù)為3，計(jì)算分割字符與每個標(biāo)準(zhǔn)模板的最大相似度，設(shè)置閾值確定是否為缺陷字符，結(jié)果見圖14。

圖12 缺陷類型

圖13 缺陷字符與標(biāo)準(zhǔn)模板

圖14 結(jié)果顯示

取100個含有合格和缺陷的產(chǎn)品進(jìn)行試驗(yàn)測試，對缺陷檢測算法進(jìn)行了測試。表 1 是對不同缺陷類型及其檢測準(zhǔn)確率的統(tǒng)計(jì)結(jié)果，可以看出，對于模糊碼缺陷，誤檢數(shù)為2，無漏檢，正確率為 96.7%，對缺碼缺陷，誤檢數(shù)為1，無漏檢，正確率為97.5%，缺陷平均檢測準(zhǔn)確率為97%。達(dá)到預(yù)期檢測目標(biāo)。

表1 缺陷檢測結(jié)果

3 結(jié)論

生產(chǎn)日期噴碼的缺陷檢測，對消費(fèi)者的健康以及企業(yè)的形象有至關(guān)重要的影響，傳統(tǒng)的人工檢測方法具有一定的局限性，且成本高，效率低，本研究設(shè)計(jì)了一套基于機(jī)器視覺的生產(chǎn)日期噴碼缺陷檢測系統(tǒng)，對圖像處理的相關(guān)算法進(jìn)行了研究與編程，結(jié)果表明，此算法對生產(chǎn)日期缺碼、模糊碼等缺陷能進(jìn)行高效的檢測，不僅降低了工廠的生產(chǎn)成本，也提高了出廠產(chǎn)品的良品率，為生產(chǎn)日期的缺陷檢測提供了一種新的思路。