一種汽車剎車油管環形接頭缺陷檢測新方法*

□ 張澤文 □ 鄭志軍 □ 白永潔 □ 徐 值 □ 余卉卉 □ 張巨豪 □ 殷安民

1.寧波大學機械工程與力學學院 浙江寧波 315211 2.浙江省零件軋制成形技術研究重點實驗室 浙江寧波 315211 3.寧波亞大自動化科技有限公司 浙江寧波 315143 4.寧波福士汽車部件有限公司 浙江寧波 315145

1 研究背景

汽車剎車系統常見的剎車失靈、剎車距離過長等故障,大多是由于剎車油管環形接頭密封不良導致,因此,對剎車油管環形接頭進行表面缺陷檢測,是消除剎車油管漏油隱患,保證汽車行車安全的重要措施。環形接頭由于表面存在高反光鍍膜,在機器視覺采集時常常導致微小缺陷處圖像欠曝光或過曝光,環形接頭高反光、微缺陷的特性同時給檢測提高了難度。

目前,已有較多學者提出了改進方法,對高反光零件進行缺陷檢測。Pizzichemi等[1]提出一種利用數字對象唯一標識符信息對正電子發射斷層顯像探測器進行優化的方法,通過優化正電子發射斷層顯像模塊的時序性能,提升對原始圖像的動態分辨率。文獻[2-3]提出一種不需要高動態范圍相機的多曝光圖像融合技術,通過計算不同曝光強度圖像的權重因子矩陣,將一組圖像融合為一張曝光合適的圖片。這一方法實現了對高反光零件的圖像采集,并且能有效抑制過曝光現象。文獻[4-5]針對屏幕面板光線反射度高所導致的低對比度微小缺陷難以檢出的問題,提出一種明暗場融合圖像處理的微缺陷檢測系統。試驗證明,這一系統的視場寬度可達88.7 mm,分辨精度可達10 μm。文獻[6-7]提出一種基于澤尼克矩陣改進的亞像素邊緣提取零件缺陷檢測算法,利用小波分解方法在頻域上對圖像信息進行預處理,增強相關目標信息。這一方法可以降低金屬零件的高光噪聲,實現對金屬零件的高反光抑制。目前,針對高反光特性汽車剎車油管環形接頭亞毫米級缺陷檢測,研究仍比較少。

筆者針對汽車剎車油管環形接頭所具有的微米級缺陷、高反光能力等特點,在圖像融合的基礎上,提出一種新型感興趣區域融合差值法,先對零件進行感興趣區域提取,基于疊加因子權重矩陣進行融合,再對圖像進行差值運算,提高缺陷部分與正常部分的分離度,進而提升機器視覺識別系統對缺陷的檢出率。

2 特征圖像采集

汽車剎車油管環形接頭如圖1所示。剎車油管環形接頭待檢測區域是直徑約為15 mm的圓環,肉眼可見的點狀缺陷非常細微。對于此類微缺陷,若由人工進行檢測,則檢出率較低,缺陷位置較難確定,缺陷處容易被忽略。

▲圖1 汽車剎車油管環形接頭

圖像采集系統如圖2所示,相機的型號為MER-504-10GM-P,鏡頭的型號為XF-5MDT05X178,采用DHJ-COX2-85W型白色同軸光源,圖像工作站使用M4800型,采用i7-4930MQ型處理器、K4100M型圖像顯示卡,具有4 GiByte顯存、32 GiByte大容量內存。原始采集圖像如圖3所示。

▲圖2 圖像采集系統

▲圖3 原始采集圖像

3 多曝光圖像感興趣區域融合

前期圖像處理主要分為感興趣區域提取和基于疊加因子權重矩陣的多圖像融合。其中,疊加因子矩陣由亮度因子矩陣、對比度因子矩陣加權相乘而得。

3.1 感興趣區域提取

由于原始圖片中存在汽車剎車油管環形接頭多余部分的影響,因此首先需要進行目標檢測區域的提取。提取時,采用坎尼算子計算圖片中像素的強度梯度,使用findContours函數RETR_EXTERNAL檢索模式進行父級輪廓尋找,使感興趣區域中保留最外層多個相互獨立的圓形輪廓。將所有檢索到的輪廓置于純黑掩模中進行開運算,便可得到感興趣區域外層圓輪廓。感興趣區域外輪廓提取流程如圖4所示。

▲圖4 感興趣區域外輪廓提取流程▲圖5 感興趣區域提取流程▲圖6 融合過程

由于感興趣區域的內外輪廓都為圓形,因此可以使用findContours函數RETR_LIST檢索模式進行圖中全部輪廓的尋找,再利用內外圓輪廓直徑的比值范圍剔除過小的圓輪廓,進行純黑填充,得到圖像掩模,與原圖像疊加后,即可得到所需的感興趣區域。感興趣區域提取流程如圖5所示。

3.2 圖像融合

傳統多曝光圖像融合中,常使用曝光亮度特征因子、圖像細節特征因子、圖像飽和度特征因子[8]。由于工業電荷耦合器件相機拍攝的圖像為灰度圖,因此飽和度不再作為圖像融合的考慮因素。從亮度和對比度兩方面入手,進行權重疊加,對多曝光圖像進行融合。融合過程如圖6所示。首先對所采集的原始圖像進行掩模處理,將提取到的感興趣區域掩模疊加于原始圖層,得到感興趣區域圖Rk(i,j),k指多曝光圖片集中第k張圖片。然后針對感興趣區域圖Rk(i,j),根據亮度因子和對比度因子,計算疊加因子矩陣Wk(i,j),并進行歸一化。最后針對感興趣區域圖Rk(i,j),采用疊加因子矩陣Wk(i,j)進行疊加融合,得到最終的融合圖像F(i,j)。

在融合過程中,對提取到的感興趣區域圖Rk(i,j)像素灰度值進行歸一化,得到灰度值Gk(i,j)。對灰度值Gk(i,j)進行閾值處理,保留中部合適的灰度值,再進行分配合理權重。采用標準正態分布,對灰度值Gk(i,j)分配權重。

亮度因子矩陣Ek(i,j)為:

Ek(i,j)=

(1)

(2)

式中:GT為灰度閾值,取0.1。σ為灰度值Gk(i,j)的標準差,取0.2;μ(i,j)為灰度值Gk(i,j)的數學期望。

當GT

在多曝光圖像疊加融合過程的權重分配中引入對比度因子,可以有效抑制圖像的高反光現象。主要采用拉普拉斯算子濾波的方式[9]。

對于一個二維圖像f(x,y)而言,拉普拉斯濾波矩陣如圖7所示。

▲圖7 拉普拉斯濾波矩陣

對灰度值Gk(i,j)進行拉普拉斯變換,得到對比度增強部分Dk(i,j)。再對對比度增強部分Dk(i,j)取絕對值,進行高斯低通濾波,即可得到對比度因子矩陣Ck(i,j)。

將亮度因子矩陣Ek(i,j)與對比度因子矩陣Ck(i,j)相乘并歸一化,得到疊加因子矩陣Wk(i,j),即:

wk(i,j)=Ek(i,j)Ck(i,j)

(3)

(4)

歸一化是為了使多張曝光圖中相同像素點的各項權值和為1。

最后得到融合圖像F(i,j),為:

(5)

汽車剎車油管環形接頭融合結果如圖8所示。

▲圖8 汽車剎車油管環形接頭融合結果

4 差值運算表征缺陷

在對相機采集的原始圖像進行前期感興趣區域提取和多曝光圖像疊加融合后,缺陷部分和正常表面的分離度不高。為了進一步提升前景和背景之間的分離度,引入拉普拉斯局部特征差值相減法來凸顯缺陷區域,對汽車剎車油管環形接頭缺陷處進行表征。

4.1 差值運算

對預處理的融合圖像進行均值濾波,得到均值濾波圖。對融合圖像進行拉普拉斯銳化和二值分割,得到拉普拉斯二值圖。然后對處理后的均值濾波圖與拉普拉斯二值圖做差,使缺陷部位更加清晰。差值步驟如圖9所示。

▲圖9 差值步驟

經過差值運算,融合圖像對比度進一步提升,缺陷部分得到增強,差值前后圖像細節對比如圖10所示。

▲圖10 差值前后圖像細節對比

4.2 缺陷降噪

由于汽車剎車油管環形接頭表面存在一些非缺陷噪聲,拍攝過程中相機自身也會產生椒鹽噪聲等圖像噪聲痕跡,因此需要對差值運算后的圖像進行降噪處理。采用中值濾波和形態學變換來進行降噪。圖像中存在的噪聲大多為顆粒狀椒鹽噪聲,對比均值濾波、高斯濾波、中值濾波的降噪效果,中值濾波的降噪效果較為明顯,可有效濾除圖像中的椒鹽噪聲。不同方法降噪效果對比如圖11所示。

▲圖11 不同方法降噪效果對比

為進一步去除噪聲中非椒鹽類型噪聲,對圖像進行形態學變換,采用尺寸為7像素×7像素的結構元素對圖像進行閉運算遍歷,圖像噪聲得到較好抑制,汽車剎車油管環形接頭表面缺陷部分得到保留。形態學處理前后對比如圖12所示。

▲圖12 形態學處理前后對比

5 試驗驗證

采用VS2019平臺驗證筆者方法的效果,并與文獻[10]傳統融合算法、文獻[11]非銳化掩模算法進行對比。傳統融合算法對多曝光圖像進行加權融合,是最常用的高反光處理方案,具有較強的代表性。非銳化掩模算法也是圖像處理中常用的算法之一,采用非銳化掩模圖像增強法,對圖像進行平滑處理做差后,得到圖像高頻細節,再將高頻細節覆蓋于原圖像,完成對原始圖像的高反光抑制。

5.1 圖像處理效果對比

從汽車剎車油管環形接頭的缺陷類型中挑選出三種具有代表性的點、線、面缺陷類型進行圖像采集和處理,分別為銹蝕、劃痕、凹坑。

銹蝕缺陷圖像處理效果如圖13所示。原始圖像中極難分辨銹蝕區域與正常區域。采用文獻[10]算法,銹蝕區域平均灰度過高,缺陷部分對比度不大。采用文獻[11]算法,銹蝕區域得到增強,能與正常部分相互區分,但是正常區域中圖像噪聲也被放大。采用本文方法,銹蝕區域也得到有效增強,與正常部分區分度高,正常區域中圖像噪聲抑制明顯。

▲圖13 銹蝕缺陷圖像處理效果

劃痕缺陷圖像處理效果如圖14所示。原始圖像左上方有明顯灰度值較低的劃痕,并且圖像整體灰度值分布不均衡。采用文獻[10]算法,整體灰度值分布均勻,但是劃痕區域不明顯。采用文獻[11]算法,雖然整體灰度值與原始圖像相比均衡化有所增強,劃痕部分區分度明顯,但是正常區域中出現點狀圖像噪聲。采用本文方法,劃痕區域區分度高,并且正常區域中圖像噪聲削弱明顯。

▲圖14 劃痕缺陷圖像處理效果

凹坑缺陷圖像處理效果如圖15所示。原始圖像中可以看到明顯黑色凹坑,左下角白色反光噪聲明顯。采用文獻[10]算法,灰度值上升,缺陷輪廓模糊,目標區域噪聲信號有所抑制。采用文獻[11]算法,凹坑處缺陷輪廓明顯,但是圖像噪點較多。采用本文方法,凹坑缺陷處與周圍對比明顯,并且噪點得到抑制。

▲圖15 凹坑缺陷圖像處理效果

綜上所述,通過本文方法進行增強的圖像具有良好的視覺檢出效果,圖像融合機制可以有效避免汽車剎車油管環形接頭高反光特性帶來的圖像灰度值不均衡問題,拉普拉斯銳化能夠有效表征正常區域中的缺陷部分,同時中值濾波對非缺陷部分椒鹽噪聲抑制效果明顯。

5.2 圖像量化數據對比

對于圖像處理結果,還需要進行客觀上的有效性分析[12]。筆者圖像處理目標是突出汽車剎車油管環形接頭缺陷部分,并抑制正常部分噪聲,灰度值均衡化。

對此,筆者從三個方面對不同方法處理結果進行衡量:信息熵、峰值信噪比、變異因數。

信息熵指標可用于衡量圖像中像素位置的灰度信息與鄰域內灰度分布的綜合特征,因此信息熵可以量化圖像信息,通過熵值的大小來表示圖像信息的復雜程度[13]。信息熵值越大,包含的信息量越多,被保留的圖像細節也就越多。信息熵IE為:

(6)

(7)

式中:PF(i,j)為灰度值相對圖像的統計概率;I(i,j)為原始圖像灰度值;M、N分別為圖像的長和寬。

峰值信噪比指標可用于對圖像處理前后的相似程度進行檢測,衡量圖像處理之后的失真程度和噪聲大小[14]。通常峰值信噪比越大,表明處理后的細節保留程度越高,處理效果越好。峰值信噪比PSNR為:

(8)

(9)

式中:Imax(i,j)為圖像最大灰度值;K(i,j)為處理后圖像灰度值;MSE(I,K)為原始圖像和處理后圖像間的均方誤差。

變異因數又稱離散因數,是標準差與平均值之比,可以抵消不同圖像的不同灰度均值對圖像灰度值離散程度的影響[15]。變異因數越小,說明圖像變異程度越低,圖像處理質量越高。變異因數COV為:

(10)

(11)

三種方法不同缺陷汽車剎車油管環形接頭圖像處理后的信息熵對比見表1。

表1 信息熵對比

由表1數據可以看出,對于相機采集到的原始圖像,三種方法都能夠實現對圖像細節部分的提升,但是由于文獻[10]算法沒有差值化步驟,因此總體來看文獻[10]算法提升不明顯。文獻[11]算法和本文方法都具備差值化環節,對具備高反光環形特征的圖像的細節部分提升較大,因此處理后信息熵值較大。本文方法還針對汽車剎車油管環形接頭采用中值濾波降噪模塊,因此塊狀缺陷區域的降噪效果較好,圖像細節及有效信息的保留優于另外兩種算法。

三種方法不同缺陷汽車剎車油管環形接頭圖像處理后的峰值信噪比對比見表2。

表2 峰值信噪比對比

由表2數據可以看出,本文方法圖像處理后的峰值信噪比大于另外兩種算法。由于本文方法在融合疊加基礎上添加了差值運算和降噪模塊,因此處理效果良好,尤其在凹坑缺陷處理中,缺陷輪廓增強明顯。結合峰值信噪比的特性可知,本文方法對圖像中的噪聲信號抑制效果較好,對于缺陷部分的檢出效果也得到提升。

三種方法不同缺陷汽車剎車油管環形接頭圖像處理后的變異因數對比見表3。

表3 變異因數對比

由表3數據可以看出,本文方法變異因數最小,處理效果最為理想。結合另外兩種算法的原理分析,文獻[10]算法沒有差值化處理,對灰度值分布的優化效果較弱,文獻[11]算法沒有加權融合環節,無法抑制過高灰度值和提升過低灰度值。本文方法對于圖像灰度值離散程度的抑制效果最好,灰度值分布較為均衡,圖像處理效果優于另外兩種算法。

6 結束語

針對汽車剎車油管環形接頭的缺陷表征,提出一種基于多曝光融合疊加的差值處理算法,利用兩種算子對采集到的圖像進行感興趣區域劃分,對感興趣區域計算不同圖層的權重,進行加權融合疊加,差值處理疊加后的圖像,并對汽車剎車油管環形接頭特有的椒鹽噪聲采取中值濾波進行降噪,最終達到對圖像噪聲的有效抑制,缺陷區域及缺陷輪廓部分灰度值加強,增大缺陷與正常區域的對比度,提高機器視覺對缺陷的敏感度及檢出率。結合試驗對比,三種方法對不同缺陷的處理結果與處理方法的算法特性相吻合,本文方法圖像處理后的信息熵值與峰值信噪比較大,變異因數較小,可較好地保留圖像細節特征,有效抑制圖像的噪聲信號,均衡圖像的灰度值分布,對汽車剎車油管環形接頭圖像具有良好的處理效果。