高頻噪聲下的螺栓表面缺陷檢測(cè)

嚴(yán) 琴， 趙全育*

(1.湖南飛沃新能源科技股份有限公司，湖南 常德 415701； 2.湖南省高強(qiáng)度緊固件智能制造工程技術(shù)研究中心，湖南 常德 415701)

隨著國(guó)家生產(chǎn)力的提高與產(chǎn)業(yè)升級(jí)，對(duì)高質(zhì)量工件的需求也在不斷擴(kuò)大。螺栓作為高強(qiáng)度緊固件，在風(fēng)電、核電、軍工、高鐵等高端裝備領(lǐng)域有著廣泛應(yīng)用。然而工廠在大批量生產(chǎn)螺栓的過(guò)程中，部分螺栓有一定概率會(huì)存在缺陷問(wèn)題，如表面瑕疵、裂紋等，導(dǎo)致產(chǎn)品質(zhì)量不達(dá)標(biāo)，可能在后期使用過(guò)程中造成安全隱患。因此，針對(duì)螺栓表面的缺陷檢測(cè)是螺栓生產(chǎn)、加工環(huán)節(jié)中至關(guān)重要的一步。

常見(jiàn)的螺栓缺陷檢測(cè)方法除了人工檢測(cè)外還包括射線檢測(cè)[1]、超聲波脈沖檢測(cè)[2]、紅外波檢測(cè)[3-4]和基于機(jī)器視覺(jué)的表面缺陷檢測(cè)。射線檢測(cè)能夠在不損傷工件的前提下觀察物體表面缺陷，但射線會(huì)對(duì)檢測(cè)員身體造成傷害并污染環(huán)境。超聲波脈沖檢測(cè)不會(huì)對(duì)人體或環(huán)境產(chǎn)生影響，但對(duì)工件表面平整度要求嚴(yán)格，應(yīng)用場(chǎng)景受限。基于超聲紅外波成像方法并非在所有材質(zhì)上表現(xiàn)良好。上述檢測(cè)方法雖然具有一定優(yōu)勢(shì)，但均受到不同方面的制約。隨著數(shù)字圖像處理技術(shù)的發(fā)展與計(jì)算機(jī)、傳感器等硬件成本的不斷降低，利用機(jī)器視覺(jué)進(jìn)行表面缺陷檢測(cè)不僅檢測(cè)成本低廉，而且不會(huì)受檢測(cè)人員主觀意識(shí)的影響，具有廣泛的應(yīng)用前景。

近些年國(guó)內(nèi)外學(xué)者在工業(yè)產(chǎn)品表面缺陷檢測(cè)任務(wù)上提出了許多基于機(jī)器視覺(jué)的檢測(cè)方法。文獻(xiàn)[5]在對(duì)圖像進(jìn)行中值濾波與離散余弦變換圖像增強(qiáng)后，使用統(tǒng)計(jì)過(guò)程控制二值化算法完成了外螺紋表面缺陷檢測(cè)。文獻(xiàn)[6]通過(guò)最大類空間方差二值化算法檢測(cè)加工過(guò)程中齒輪端面缺陷，由于檢測(cè)對(duì)象模式單一，該方法能較好地檢測(cè)出缺陷。文獻(xiàn)[7]提出利用邊緣檢測(cè)算法辨別布匹瑕疵部位，取得了不錯(cuò)的效果。Chen等[8]創(chuàng)新性地提出了差影法計(jì)算檢測(cè)圖像與模板之間的差值信息，實(shí)現(xiàn)零件缺陷檢測(cè)。Li等[9]通過(guò)圖像處理技術(shù)和卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)懸鏈線懸掛裝置缺陷。文獻(xiàn)[10]通過(guò)多層次特征融合卷積網(wǎng)絡(luò)獲得圖像特征圖，以分類回歸網(wǎng)絡(luò)完成缺陷的分類與位置定位。然而，上述方法大部分只能作用在背景噪聲少或模式簡(jiǎn)單的圖像中，基于深度學(xué)習(xí)的視覺(jué)檢測(cè)方法雖然能夠較好地抵御噪聲影響，但絕大部分效果優(yōu)異的算法都是基于監(jiān)督學(xué)習(xí)技術(shù)，訓(xùn)練過(guò)程需要大量人工標(biāo)注的圖像作為金標(biāo)準(zhǔn)，這一步驟將花費(fèi)高昂成本，與實(shí)際工業(yè)生產(chǎn)需要獲得更高收益的目的相違背。

本文針對(duì)電子掃描顯微鏡下的螺栓表面圖像，利用局部自適應(yīng)二值化算法與連通域?qū)傩苑治觯O(shè)計(jì)基于自定義形狀描述子的濾波算法，能夠自動(dòng)高效地檢測(cè)出具有高頻噪聲的螺栓表面缺陷部位，對(duì)于表面紋理復(fù)雜或噪聲難以去除的工業(yè)產(chǎn)品檢測(cè)具有借鑒意義。

1 基于機(jī)器視覺(jué)的檢測(cè)算法

圖1為電子掃描顯微鏡下有缺陷的螺栓表面，也是本文需要檢測(cè)缺陷的對(duì)象。檢測(cè)對(duì)象呈現(xiàn)出3個(gè)明顯的特點(diǎn)：① 缺陷出現(xiàn)的位置與形狀沒(méi)有固定的模式，無(wú)法使用模板匹配等相關(guān)算法進(jìn)行檢測(cè)；② 缺陷顏色與背景、紋理幾乎一致，因此也不能簡(jiǎn)單地通過(guò)閾值分析劃分出缺陷部位；③ 由于螺栓材質(zhì)以及電子顯微鏡的放大效果，圖中的螺栓紋理有非常多的高頻噪聲。

圖1 電子掃描顯微鏡下有缺陷的螺栓表面

邊緣檢測(cè)算法通過(guò)求取像素值的變化識(shí)別出圖像中的邊緣部分，一般而言，由于無(wú)缺陷的物體表面結(jié)構(gòu)簡(jiǎn)單，且與具有缺陷部分的表面有明顯差異，因此物體表面的缺陷可以當(dāng)作邊緣被檢測(cè)。但圖1展示的螺栓表面紋理復(fù)雜，與缺陷部分無(wú)明顯差異，理論上普通的邊緣檢測(cè)算法無(wú)法達(dá)到本文缺陷檢測(cè)目的。圖2驗(yàn)證了理論猜想結(jié)果，以圖1左上角圖像為實(shí)驗(yàn)對(duì)象(圖2～圖9均是以該圖作為處理對(duì)象)，圖2(a)為進(jìn)行均值濾波預(yù)處理后在水平方向與豎直方向分別用Canny算子求取梯度后，再融合的邊緣檢測(cè)結(jié)果，圖2(b)為用Sobel算子進(jìn)行邊緣檢測(cè)的結(jié)果。從圖2中可以發(fā)現(xiàn)，背景噪聲與缺陷部分均被無(wú)差異地檢測(cè)出大量邊緣，導(dǎo)致無(wú)法分辨缺陷具體位置，即使Canny算子處理前已經(jīng)使用了均值濾波，Sobel邊緣檢測(cè)算法中也會(huì)自動(dòng)進(jìn)行高斯濾波，但在這種大面積都是對(duì)比度明顯的高頻噪聲情景下，濾波預(yù)處理也無(wú)法消除紋理本身呈現(xiàn)出高頻噪聲的特性。考慮到深度學(xué)習(xí)技術(shù)使用受限、普通機(jī)器視覺(jué)檢測(cè)算法不適用于當(dāng)前圖像，本文創(chuàng)新性地提出了在高頻噪聲下基于連通域自定義形狀描述子的濾波算法，以低成本、高精度的方式實(shí)現(xiàn)螺栓表面缺陷的快速自動(dòng)檢測(cè)。

圖2 邊緣檢測(cè)結(jié)果(右側(cè)圖像為左側(cè)圖像紅色框內(nèi)放大效果)

2 高頻噪聲下的缺陷檢測(cè)方法

本文的檢測(cè)方法主要分為4個(gè)步驟，流程如圖3所示。首先對(duì)輸入圖像進(jìn)行去噪預(yù)處理，考慮到數(shù)字圖像的主要噪聲為光學(xué)、電子器件引入的非線性噪聲，這一部分噪聲屬于由外界引入的不必要污染，與螺栓表面復(fù)雜紋理呈現(xiàn)出的高頻噪聲不同，本文采用中值濾波進(jìn)行預(yù)處理，接下來(lái)通過(guò)局部自適應(yīng)二值化與基于連通域的濾波以及一系列后處理過(guò)程完成螺栓表面缺陷檢測(cè)，得到最終的檢測(cè)結(jié)果。

圖3 檢測(cè)方法整體流程

2.1 局部自適應(yīng)二值化

一幅圖像能否被正確地解析，很大程度上取決于二值化效果的好壞。一般的二值化算法直接根據(jù)圖像均值或全局屬性設(shè)定閾值，但在實(shí)際生產(chǎn)中，不同的螺栓顏色深淺有區(qū)別，不同區(qū)域的亮度差異明顯，因此直接設(shè)置全局閾值效果不佳，在對(duì)原始圖像進(jìn)行灰度處理后，全局二值化算法的結(jié)果如圖4所示。圖4中僅背景被有效分離，而螺栓表面的缺陷與非缺陷區(qū)域卻無(wú)法區(qū)分。

圖4 全局二值化結(jié)果(為便于顯示，人工增加了外部邊緣)

因此，文本采用局部自適應(yīng)二值化算法[11]對(duì)螺栓表面圖像進(jìn)行處理。該算法通過(guò)計(jì)算圖像內(nèi)不同矩形塊的像素均值確定當(dāng)前小范圍內(nèi)的閾值，同時(shí)利用積分圖手段提升算法速度。積分圖計(jì)算方法為

I(x,y)=F(x,y)+I(x-1,y)+I(x,y-1)-I(x-1,y-1)

(1)

式中，F(xiàn)(x,y)代表圖像在(x,y)位置處的灰度值，計(jì)算完積分圖后，再通過(guò)式(2)便能在常數(shù)時(shí)間內(nèi)獲得像素在鄰域(x1,y1)到(x2,y2)范圍的平均灰度值，從而確定當(dāng)前矩形范圍內(nèi)的局部閾值。

I(x1-1,y2)+I(x1-1,y1-1)

(2)

使用局部自適應(yīng)二值化算法處理完成后再進(jìn)行黑白翻轉(zhuǎn)，效果如圖5所示。與圖4全局二值化的結(jié)果相比，該方法能顯著提升缺陷區(qū)域的視覺(jué)效果，為后續(xù)缺陷檢測(cè)提供基礎(chǔ)。

圖5 局部自適應(yīng)二值化結(jié)果

2.2 基于連通域的濾波

完成圖像的局部自適應(yīng)二值化后，圖像紋理部分的噪聲與缺陷均被提取，但這些噪聲不同于普通圖像在產(chǎn)生與傳輸過(guò)程中的脈沖噪聲、感光片顆粒噪聲或量化噪聲。當(dāng)前場(chǎng)景下的噪聲屬于背景紋理，因此單個(gè)噪聲的面積占比較大，若試圖用形態(tài)學(xué)操作去除噪聲，則會(huì)同時(shí)過(guò)濾掉需要檢測(cè)的缺陷。仔細(xì)觀察圖5二值化后的結(jié)果可以發(fā)現(xiàn)，噪聲相比較于瑕疵部位面積更小，而且缺陷表現(xiàn)為細(xì)長(zhǎng)狀，噪聲則多為點(diǎn)狀。針對(duì)這種情況，本文提出一種計(jì)算簡(jiǎn)單、高效的濾波算法，通過(guò)自定義形狀描述子對(duì)二值化后圖像中的所有連通域進(jìn)行濾波，排除掉不符合形狀描述子的區(qū)域，準(zhǔn)確地去除高頻噪聲。

在連通域上定義的形狀描述子包括了面積與偏心率兩個(gè)屬性，面積A統(tǒng)計(jì)該連通域內(nèi)的像素個(gè)數(shù)，偏心率E則通過(guò)式(3)求得。

(3)

式中，W,H分別為任意形狀連通域最小外界矩形的寬和高，若連通域越細(xì)長(zhǎng)，則離心率E越趨近0。因此，設(shè)定面積閾值CA與離心率閾值CE后，便能確定形狀描述子S:

(4)

式(4)中的D為二值圖像中的連通域，若連通域D滿足形狀描述子設(shè)定的閾值，將保留該連通域，否則將該連通域內(nèi)的所有像素值均設(shè)置為0。本文在對(duì)樣本進(jìn)行測(cè)試后，最終使用八鄰域的連通域標(biāo)記法。形狀描述子將根據(jù)閾值濾除可能為噪聲的連通域。使用連通域?yàn)V波后的結(jié)果如圖6所示，可以發(fā)現(xiàn)，噪聲已經(jīng)被基本去除。

圖6 基于連通域的濾波結(jié)果

檢測(cè)流程的后處理步驟將完善檢測(cè)結(jié)果并消除背景與紋理分隔邊界被當(dāng)成缺陷而沒(méi)有被過(guò)濾的部分。在實(shí)際應(yīng)用中，可以抽取檢測(cè)對(duì)象少量樣本統(tǒng)計(jì)連通域面積、離心率等形狀相關(guān)屬性，從而確定適用于當(dāng)前場(chǎng)景的形狀描述子。

2.3 后處理

得到已經(jīng)濾除噪聲的圖像后，缺陷內(nèi)部可能有細(xì)微斷裂現(xiàn)象，為了獲得完整的缺陷信息，使用形態(tài)學(xué)開(kāi)操作填充缺陷部位內(nèi)部小孔洞。此時(shí)還需要去除背景邊界，首先用全局二值化算法處理原圖像獲得大致的感興趣區(qū)域，接著利用形態(tài)學(xué)閉操作平滑邊界，最后通過(guò)腐蝕，適當(dāng)向外擴(kuò)展背景區(qū)域，得到感興趣區(qū)域的掩膜圖像。每一步的處理結(jié)果如圖7所示。

圖7 感興趣區(qū)域的掩模圖像(為便于顯示，人工增加了外部邊緣)

將掩膜圖像與圖6進(jìn)行“與”操作，獲得了如圖8所示的缺陷部位圖像。

圖8 經(jīng)過(guò)后處理的連通域?yàn)V波結(jié)果

2.4 實(shí)驗(yàn)結(jié)果與分析

利用所提出的算法對(duì)實(shí)際工業(yè)生產(chǎn)中的螺栓表面進(jìn)行缺陷檢測(cè)，檢測(cè)圖像為電子掃描顯微鏡下螺栓R角處放大500倍后的成像，原始圖像大小為2048像素×1536像素，裂紋缺陷實(shí)際寬度大體集中在0.3～7.5 μm。長(zhǎng)度范圍跨度較大。最終檢測(cè)結(jié)果改變色彩通道后與原圖融合，示例效果如圖9所示。

圖9 最終缺陷檢測(cè)結(jié)果

實(shí)驗(yàn)結(jié)果表明，基于連通域自定義形狀描述子的濾波算法能夠成功地檢測(cè)出螺紋表面缺陷，僅在少量圖像上存在細(xì)微的假陽(yáng)性反應(yīng)，如圖10中紅色方框內(nèi)的區(qū)域。對(duì)比圖10原圖與檢測(cè)結(jié)果圖可以發(fā)現(xiàn)，少量屬于紋理的噪聲被當(dāng)作缺陷檢出。

圖10 假陽(yáng)性結(jié)果示例

針對(duì)這種情況，可以在實(shí)際工業(yè)生產(chǎn)中調(diào)整形狀描述子閾值，在缺陷檢測(cè)敏感度與檢出率之間找到平衡。以本文數(shù)據(jù)為例，在圖像預(yù)處理和局部自適應(yīng)二值化后，隨機(jī)抽取少量待檢測(cè)圖像，對(duì)圖像連通域的屬性進(jìn)行統(tǒng)計(jì)分析。統(tǒng)計(jì)分析后得到的連通域面積與離心率分布直方圖如圖11所示，從圖11中可以觀察到，連通域面積分布大部分集中在500以內(nèi)，而連通域離心率則集中在0.5～1.0之間，即大部分噪聲的形狀接近圓形，與前文分析一致。可見(jiàn)噪聲與缺陷部位能夠通過(guò)由面積和離心率定義的形狀描述子進(jìn)行區(qū)分。

為了更好地找到關(guān)于連通域面積屬性的閾值，將區(qū)間500以上的部分重新作圖進(jìn)行分析，結(jié)果如圖12所示，實(shí)驗(yàn)中最終選定的面積閾值CA為1300，離心率閾值CE為0.5。因此，檢測(cè)結(jié)果中少量的假陽(yáng)性反應(yīng)可能是由于部分噪聲面積超過(guò)了1300或離心率小于0.5所致，在實(shí)際生產(chǎn)中，可以根據(jù)檢測(cè)任務(wù)的要求與檢測(cè)對(duì)象的連通域?qū)傩越y(tǒng)計(jì)結(jié)果，具有針對(duì)性地選擇形狀描述子閾值，甚至能夠自定義形狀描述子，從其他屬性進(jìn)行閾值選擇，從而篩選出待檢測(cè)部位。

圖12 連通域面積分布直方圖

3 結(jié)束語(yǔ)

針對(duì)螺栓表面缺陷檢測(cè)任務(wù)中圖像存在高噪聲的問(wèn)題，創(chuàng)新性地提出了基于連通域的濾波方法，利用噪聲與缺陷區(qū)域形態(tài)上的區(qū)別，通過(guò)連通域面積與離心率綜合確定連通域形狀描述子，從而過(guò)濾噪聲，保留需要檢測(cè)的缺陷部分，取得了較好的檢測(cè)效果。本文方法通過(guò)對(duì)圖像的二值化、濾波與形態(tài)學(xué)操作完成缺陷檢測(cè)，計(jì)算快速并且不需要訓(xùn)練數(shù)據(jù)，符合工業(yè)生產(chǎn)檢測(cè)需求，并為高頻噪聲下的圖像檢測(cè)提供了新的思路。實(shí)際應(yīng)用中還能針對(duì)具體場(chǎng)景自定義連通域形狀描述子，對(duì)不同類型的區(qū)域?qū)崿F(xiàn)高效濾波。