基于互信息和高斯金字塔的筆芯護套密封性檢測研究

李宏偉，李志偉,2*

（1.上海工程技術(shù)大學 電子電氣工程學院，上海 201620；2.東華大學 信息科學與技術(shù)學院，上海 201620）

0 引言

圓珠筆筆芯護套由橡膠材料制作而成，安裝在筆芯前端用于保護筆頭免受損壞。筆芯護套不僅能夠保護筆頭免受外物碰撞而損傷，其良好的密封性也可使筆芯不易漏墨、溢墨。如果護套密封性不好，油墨會在筆芯離心過程中從筆頭溢出而污染護套，更嚴重的可能會導(dǎo)致護套脫落，油墨污染離心機。因此，護套密封性是否良好決定了筆芯在離心過程中的安全性與可靠性。然而，傳統(tǒng)的筆芯護套密封性檢測方法為人工肉眼檢測，不僅檢測速度慢，而且由于人眼的視覺疲勞，易導(dǎo)致錯檢漏檢，傳統(tǒng)的人工檢測方法已不能滿足現(xiàn)代化生產(chǎn)對精度和效率的要求[1～3]。

機器視覺檢測技術(shù)具有效率高、系統(tǒng)穩(wěn)定性和連續(xù)性好、非接觸測量等優(yōu)點[4～7]，但在輕工制筆行業(yè)尚未得到良好應(yīng)用。在工業(yè)檢測領(lǐng)域，基于機器視覺的模板匹配技術(shù)、歸一化互信息和圖像金字塔算法得以廣泛應(yīng)用，并取得了較好的應(yīng)用效果[8～12]。互信息是信息論中一種有用的信息量，可用于配準多模圖像，具有魯棒性強、自動化程度高及無需圖像預(yù)處理等優(yōu)點，且歸一化互信可解決兩幅圖像之間重疊部分多的復(fù)雜圖像匹配問題。Jin[13]等人通過梯度和歸一化互信息結(jié)合的方法進行印刷圖像配準，配準誤差小、精度高；Chen[14]等人采用基于區(qū)域貢獻的歸一化互信息與多分辨率策略相結(jié)合的方法，實現(xiàn)了三維圖像和二維圖像的精確配準。高斯金字塔是常見的一種圖像金字塔，高斯金字塔中包含了一系列低通濾波器，通過對原始圖像降采樣和低通濾波器處理得到分辨率從下到上逐層降低的多尺度圖列，能夠?qū)D像進行多尺度描述。如，Ren[15]等人采用灰度值金字塔算法，對經(jīng)過灰度處理的原始圖像進行高斯金字塔分解，實現(xiàn)了對各類零件在旋轉(zhuǎn)、光照變化時的識別；Wu[16]等人將拉普拉斯金字塔和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合，采用區(qū)域拉普拉斯金字塔保存圖像更多的細節(jié)并對卷積神經(jīng)網(wǎng)絡(luò)進行改進，實現(xiàn)了效果良好的融合人圖像。盡管歸一化互信息和圖像金字塔算法各有自己的優(yōu)點，然而尚未有將歸一化互信息和圖像金字塔相結(jié)合的方法應(yīng)用于工業(yè)檢測的報道，尤其是輕工制筆行業(yè)。

為滿足現(xiàn)代化精益生產(chǎn)需要，解決筆芯護套人工檢測效率低、易錯檢漏檢等問題，提出一種歸一化互信息與高斯金字塔相結(jié)合的方法，實現(xiàn)筆芯護套良好密封性的實時在線檢測。首先進行需求分析，并設(shè)計筆芯護套密封性檢測系統(tǒng)的總體軟硬件框架；在灰度值匹配算法的基礎(chǔ)上，將歸一化互信息匹配與高斯金字塔分層處理有機結(jié)合，實現(xiàn)圖像匹配速度加快，同時圖像模糊不會引入其他噪聲，有效克服光照等外界因素的影響。實際場景應(yīng)用結(jié)果表明，所提方法具有檢測精度高、誤檢率低、檢測速度快等優(yōu)點。

1 筆芯護套密封性檢測需求及系統(tǒng)總體框架

圖1展示了三種待測筆芯樣品，其中圖1(a)為護套密封性良好筆芯，此時護套完全包裹筆頭且不易脫落；圖1(b)為筆芯護套漏裝或遺失，此時筆頭完全暴露在外；圖1(c)為護套密封不緊密筆芯，此時護套極易發(fā)生脫落，失去保護筆頭的作用。實際生產(chǎn)中，需要將圖1(b)和圖1(c)之類的不符合生產(chǎn)要求的筆芯進行檢測篩選并剔除。此外，依據(jù)實際生產(chǎn)需求，筆芯護套密封性檢測還需滿足如下要求：筆芯護套與筆芯前沿間隙（即密封間隙）不大于0.5mm；檢測精度不低于0.1mm；檢測速度每分鐘最快可達300支筆芯，能與筆芯裝配傳輸速率相匹配。

圖1 護套密封效果圖

依據(jù)檢測需求，所設(shè)計的筆芯護套密封性檢測系統(tǒng)硬件系統(tǒng)架構(gòu)圖如圖2(a)所示，硬件系統(tǒng)包括平板光源、工業(yè)相機、圖像采集卡、光源控制器、PLC控制器、工控機等。平板光源放置于待檢測區(qū)域正下方，用于對檢測區(qū)域提供強度可調(diào)的光照，發(fā)光區(qū)域長寬為180mm×100mm，能同時滿足四支以上筆芯的檢測。工業(yè)相機用于采集筆芯護套間隙的圖像信息，本設(shè)計采用大恒MER-500-14GM工業(yè)CCD相機，該相機具有高分辨率、高清晰度、高精度、低噪聲等特點，支持連續(xù)采集、軟觸發(fā)采集以及外觸發(fā)采集三種工作方式，適合筆芯生產(chǎn)線的復(fù)雜環(huán)境。相機的分辨率為800×400，鏡頭的分辨率為0.1mm×0.1mm，能滿足檢測精度為0.1mm的檢測需求。工控機通過人機交互界面，實現(xiàn)對在線采集的圖像進行識別處理，并輸出相應(yīng)的處理結(jié)果給執(zhí)行結(jié)構(gòu)單元，對不合格產(chǎn)品進行剔除等操作。

圖2 檢測系統(tǒng)硬件架構(gòu)圖

圖3為檢測系統(tǒng)框架流程圖，包括圖像采集、圖像處理、結(jié)果輸出三個步驟。虛線框為圖像采集模塊，包括平板光源，工業(yè)相機和圖像采集卡等，通過調(diào)節(jié)平板光源的光照強度可以得到不同光照下的實驗結(jié)果；圖像采集完成后經(jīng)過工控機內(nèi)的圖像處理單元進行匹配，并輸出檢測結(jié)果；最后輸出結(jié)果給PLC控制器完成筆芯的剔除等操作。

圖3 檢測系統(tǒng)框架流程圖

2 筆芯護套密封性檢測關(guān)鍵算法

由于安裝流水線機械振動等原因會出現(xiàn)護套未安裝或安裝不緊密等缺陷。為檢測筆芯護套密封性是否良好，本文提出一種基于互信息和高斯金字塔的護套密封緊密性檢測方法，其關(guān)鍵算法流程如圖4所示。

圖4 關(guān)鍵算法流程圖

首先，在采集的特征圖像（Feature image）和目標圖像（Target image）相似位置選取兩個大小相同的感興趣區(qū)域（Region of interest，ROI），ROI中包含匹配所需的灰度特征信息或梯度特征信息；其次，對選取的ROI進行歸一化互信息匹配，對灰度值相似的特征進行匹配，同時保證其他特征信息被均等處理；然后，對歸一化互信息處理后的特征區(qū)域進行灰度級相似特征提取，盡可能保留灰度值相近的特征；最后，對特征區(qū)域進行高斯金字塔分層處理，得到區(qū)域多尺度特征。經(jīng)過歸一化互信息和高斯金塔的結(jié)合處理后，得到灰度和梯度匹配的結(jié)果，設(shè)置相應(yīng)參數(shù)，即可完成結(jié)果的標識和輸出。

2.1 灰度值匹配算法

灰度值匹配[17，18]算法是機器學習中常用的方法之一，它是一種基于圖像和模板之間灰度值相似度的匹配算法，適用于不模糊、不缺失、灰度值不變化的對象。規(guī)定模板圖像在區(qū)域R內(nèi)自由平移，當模板移動到某一位置時，其相似度量定義為S：

其中R為感興趣區(qū)域，t(u，v)為模板中某一個像素點的灰度值，f(m+u，n+v)為圖像移動至模板區(qū)域內(nèi)的灰度值。為了將相似性度量具體化，引入模板灰度值與圖像灰度值之間差的絕對值的和SAD以及差值的平方和SSD：

其中n為模板感興趣區(qū)域像素點的總數(shù)量。相似性度量的值越大說明與模板差別大。

基于灰度值的匹配方法是初步的最基本的匹配方法，匹配結(jié)果受外界干擾影響大，為了提高匹配的魯棒性，在此基礎(chǔ)上進行相關(guān)性匹配能有效地提高匹配結(jié)果的穩(wěn)定性，采用歸一化互相關(guān)函數(shù)NCC來匹配圖像與模板，表達式為：

其中mt、為模板所有像素點灰度值的平均值和方差，uf(m，n)與(m，n)為平移到當前位置圖像所有像素點灰度值的平均值和方差。

2.2 歸一化互信息匹配算法

互信息[19]是用來評價一個事件的出現(xiàn)對于另一個事件的出現(xiàn)所貢獻的信息量，在灰度圖像匹配中可以理解為一個圖像中的灰度信息對于另一個圖像灰度信息出現(xiàn)的貢獻。歸一化互信息是機器學習中度量兩張圖片相似度的方法，對兩幅在灰度級數(shù)相似的圖片有很好的匹配精度和匹配可靠性。該算法通過計算目標圖像和模板的信息熵，然后計算聯(lián)合的信息熵來表示目標圖像和模板的匹配程度，聯(lián)合信息熵的值越大代表模板和目標的相似性越高[20]。

模板圖像的信息熵為H(X)，目標圖像的信息熵為H(Y)，聯(lián)合信息熵H(X，Y)，表達式分別為：

其中X，Y分別代表模板和目標圖像中的所有灰度級，概率密度pX(x)代表模板中某個灰度級的概率，概率密度pY(y)代表目標圖像中某個灰度級的概率，聯(lián)合概率密度pXY(x,y)代表模板圖像的灰度級x在模板的相同坐標下在目標圖像中灰度級為y的像素點個數(shù)與總像素點數(shù)的比值。然后計算歸一化聯(lián)合信息熵NMI(X，Y)，表達式為：

2.3 高斯金字塔算法

高斯金字塔[21，22]是通過連續(xù)高斯平滑和降采樣得到的一系列子圖像，底層為原始圖像，降采樣將圖像所有的偶數(shù)行和列去除得到上一層的圖像，這樣每層圖像的大小都為下面一層的四分之一。G0表示原始圖像，將G0作為金子塔的第零層，即最底層，構(gòu)造高斯金子塔的第k層圖像為：

式中：N為金字塔的層數(shù)；Rk和Ck分別表示高斯金字塔第k層圖像的行數(shù)和列數(shù)；w(m，n)是一個5×5的低通窗口函數(shù)，且滿足可分離性、歸一性、對稱性和奇偶項等4個約束條件，式(10)為一種常用5×5窗口的歸一化低通掩模；

通過式(9)可依次得到G0，G1，…，GN。

圖5為護套密封處灰度圖像經(jīng)過三層高斯金字塔分層后所得到的各子圖像。其中0為原始圖像，即第零層圖像G0；1、2、3分別為分解的各層圖像G1，G2，G3。從圖中可以看出，隨著層數(shù)的增加，圖片的分辨率和大小逐層減小，形成了多尺度的護套圖像。選取特征區(qū)域后，會在各個尺度上相同的位置進行匹配，增加了匹配的準確性。

圖5 筆芯護套灰度圖高斯金字塔分層圖

3 實驗結(jié)果及分析

所采用的檢測環(huán)境為：Windows7 X64系統(tǒng)，Inter Core i5主頻2.5GHz，8GB內(nèi)存。用VS2015編譯下的C++編程環(huán)境以及Qt5.11.0 MSVC2015和Halcon庫實現(xiàn)本文算法，所涉及圖像均在上海晨光文具股份有限公司筆芯裝配車間現(xiàn)場采集。圖6展示了待檢測筆芯及采用兩種不同特征模板的檢測效果圖。圖6(a)中紅色橢圓區(qū)域為待檢測密封間隙區(qū)域；圖6(b)為灰度特征模板，圖中ROI下方選取的區(qū)域綠點部分周圍有明顯的灰度差異；圖6(c)為梯度特征模板，圖中ROI下方選取的區(qū)域中綠點部分具有明顯“凸”起的部分，梯度特征明顯。選取的兩種不同模板的ROI，通過將“小”的間隙轉(zhuǎn)換為“大”的特征點之間的距離，然后與測得的標準樣品特征點之間的距離進行比較，進而得到密封間隙的長度。選取的特征區(qū)域經(jīng)過圖像金字塔處理會在分解的各層中進行匹配，得到護套區(qū)域的多尺度特征匹配結(jié)果，圖中綠點代表匹配結(jié)果。實際測試場景中，采用梯度特征模板具有比采用灰度特征模板更高的精確度。

圖6 兩種模板

針對筆芯生產(chǎn)中的各類情況，對300支筆芯進行了模板學習和識別。首先對本文提出的方法在兩種不同模板條件下分別與灰度值匹配算法、高斯金字塔匹配算法進行了比較，采用真正率（Pse）、真負率（Psp）和準確率（Pac）作為評價標準，其定義為：

上式中，TP表示合格產(chǎn)品被識別為合格的數(shù)量，F(xiàn)P表示不合格產(chǎn)品被識別為合格的數(shù)量，F(xiàn)N表示合格產(chǎn)品被識別為不合格的數(shù)量，TN表示不合格產(chǎn)品被識別為不合格的數(shù)量。Pse代表真正率，表示合格產(chǎn)品被檢測為合格的比率；Psp代表真負率，表示不合格產(chǎn)品被檢測為不合格的比率；Pac代表準確率，表示檢測總的準確率。實驗對10000支筆芯進行在線檢測，不同算法處理結(jié)果如表1所示。

表1 實驗測試結(jié)果（%）

從表1可以看出，選取模板b和模板的情況下，本文算法三項指標均為最高。剔除率分別為98.67%和98.34%，漏檢率分別為1.33%和1.66%；準確率分別為97.35%和97.18%，誤檢率分別為2.65%和2.82%。選取模板b時，灰度值匹配算法的剔除率和準確率比高斯金字塔匹配算法更高，因為模板b下方選取的特征區(qū)域種灰度差異較大，提取灰度特征信息更有利。選取模板c時，高斯金字塔匹配算法比灰度值匹配算法的剔除率和準確率高，因為模板c下方的特征區(qū)域包含更多的梯度信息，更適合使用金字塔算法來提取特征點。從本文算法的結(jié)果可以看出，選擇梯度模板的剔除率比灰度模板高0.33%，準確率高了0.17%，主要是因為高斯金字塔在分解圖像的高層提取圖像的準確率更高。

光照是檢測過程中最重要的干擾因素，在照明條件變化時會對檢測結(jié)果造成不同程度的影響。選取檢測準確度更高的模板c，分別對其在強光、正常光、弱光下進行檢測，為了驗證本文算法檢測的效果，將本文算法與歸一化互信息、高斯金字塔、變換域特征和SIFT特征算法進行對比，實驗結(jié)果如圖7所示。實驗圖像合格的標準距離范圍為375±10，單位為像素。圖中綠色數(shù)字代表檢測結(jié)果在誤差允許范圍內(nèi)，數(shù)值越接近375表示結(jié)果越精確；“-1”代表模板匹配失敗；紅色數(shù)字代表檢測結(jié)果在誤差允許范圍外。可以看出當光照改變時，基于變換域的特征匹配算法和歸一化算法會出現(xiàn)匹配失敗或者匹配誤差較大的情況。當檢測結(jié)果合格時，除本文算法外，其余算法特征區(qū)域匹配點會發(fā)生不同方向的偏移，導(dǎo)致檢測結(jié)果不精確。

圖7 不同光照條件下各算法實驗結(jié)果

為了進一步展示本文算法的優(yōu)勢，我們進行了定量分析，表2給出了本文算法與當前各類匹配算法在上述圖像下的定量結(jié)果檢測對比，還對各算法的運行時間進行了評估。為了保證定量分析的標準一致，統(tǒng)一選取特征點距離為375個像素長度的圖像，錯誤閾值為10個像素長度，即算法檢測結(jié)果與標準距離相差10個像素以上即為誤點匹配。最后統(tǒng)計各算法在上述實驗條件下檢測100次的平均誤差率以及平均的運行時間。表2可以看出，不同光照條件下本文算法的匹配誤差率分別為1.34%、1.07%、1.15%，均優(yōu)于其他算法；隨著光照的改變各算法匹配誤差率都有不同程度的增加，光照因素對本文算法檢測和SIFT結(jié)果影響不大，但會使變換域匹配算法和歸一化互信息算法出現(xiàn)失配和匹配誤差大的情況；從運行時間來看，本文所提算法平均運行時間為0.82s，相較于歸一化互信息和高斯金字塔雖然有所增加，但在匹配精度上有了較大的改進；本文所提算法與深度學習方法SIFT相比，在匹配精度差異不大的情況下，運行時間明顯更短。實際上，本文所選的兩個特征區(qū)域較小，且特征區(qū)域中包含有明顯的灰度或梯度特征，再經(jīng)過歸一化互信處理后區(qū)域內(nèi)的特征也變少，此時高斯金字塔算法在進行多尺度分層時所涉及的運算量也較少，所以本算法相較于歸一化互信息和高斯金塔算法所增加的運行時間也較少。

表2 實驗測試結(jié)果對比（%）

綜合實驗結(jié)果分析得出，實驗中目標的檢測距離單位為像素值，所用相機的分辨率實際距離間的轉(zhuǎn)換關(guān)系為1像素=0.8mm，檢測結(jié)果精確到小數(shù)點后三位，實際整體檢測精度高于0.1mm，能達到檢測精度需求。在實際檢測過程中，相機每次拍攝四支筆芯，以四支筆芯為一組進行匹配，算法每次匹配的時間約為0.8s，其檢測速度最快約為300支/分鐘，能滿足檢測速度需求。

4 結(jié)語

基于歸一化互信息和高斯金字塔匹配算法，設(shè)計并實現(xiàn)一種筆芯護套密封性檢測方法。通過分析處理在線采集的護套圖像，準確、高效地檢測出護套密封的缺陷。采用歸一化互信息和高斯金字塔結(jié)合的方法，有效地找出護套區(qū)域多尺度匹配特征，相比傳統(tǒng)的灰度值匹配和高斯金塔算法，該方法匹配準確度更高，并且能有效地解決光照因素的影響。實驗結(jié)果顯示，總體的檢測漏檢率和誤檢率僅為1.49%和2.73%，檢測誤差不超過0.1mm，檢測效率最高為300支/分鐘，能達到實際生產(chǎn)的檢測要求。