球粉板表面缺陷在線檢測

吳方貴，劉文文，陶婷婷，曾 昊

(合肥工業大學 儀器科學與光電工程學院，合肥 230009)

球粉板表面缺陷在線檢測

吳方貴，劉文文，陶婷婷，曾 昊

(合肥工業大學 儀器科學與光電工程學院，合肥 230009)

為快速準確檢測球粉板表面缺陷，對球粉板表面光學特性不一致性和缺陷類型的多樣性等關鍵問題進行了分析，以利于有效地解決關鍵問題；論文提出采用基于模板圖片創建矯正模板來解決被測板材表面光學特性變動的均化問題、自適應萃取二值化閾值解決二值化閾值整定問題，以提高軟件的執行魯棒性；通過自定義算法實現了細線型缺陷修補，有效地提高了劃痕類缺陷檢測的精度和可靠性；提出了篩查模型實現了符合缺陷檢測精度要求的噪點篩除；通過大量現場實驗驗證了本系統能夠正確高效實現球粉板表面缺陷檢測定位標識和面積測量功能，以及達到了目標檢測精度；本系統能很好地勝任球粉板在線表面缺陷檢測;實驗證明檢測系統非常高效精準，極大地提高了生產線自動化能力。

球粉板; 表面缺陷; 在線檢測; 圖像處理

0 引言

球粉板是無油自潤滑材料，是在冷軋鋼板或酸洗鋼板上均勻涂覆銅粉和配方面料，經過鋪粉、燒結、冷卻、軋制、校平、取樣性能檢測等工藝制成，采用流水線卷料連續生產方式。由于生產工藝的不完備，包括帶料與設備導輥打滑刮擦，異物掉入帶面軋制，帶料的抖動和基板熱容量不勻等原因，在生產過程中經常容易出現各種表面缺陷，諸如：凹坑凸起、麻坑、劃痕和黑印等表面缺陷，見圖1。

圖1 球粉板表面缺陷

球粉板的表面質量直接影響無油軸承的質量，決定了應用裝備的性能、安全和使用壽命。目前，未見面向球粉板表面缺陷的有效檢測方法，生產企業以人工目視方式檢測，其檢測效率低且難以實時監測，工人勞動強度大，難以滿足現代化生產要求，企業生產效益難以提升。

球粉板表面缺陷檢測的難點在于表面銅粉顆粒材質和尺寸的不同引起表面光學特性隨板材的型號不同而改變、板材幅度寬帶來的光照不均，以及表面缺陷的多樣性。目前，視覺檢測技術在表面缺陷檢測方面正發揮著重要的作用。論文面向企業提出的表面缺陷檢測要求，諸如在線快速檢測，定位缺陷，計算缺陷面積大小，記錄檢測結果；基于對球粉板表面缺陷產生機理的研究認識，借助于主流開源計算機視覺庫(OpenCV)開發面向球粉板的表面缺陷的在線檢測系統。通過平滑照明不均實現二值化閾值的自適應整定，以提高表面缺陷辨識的魯棒性；通過正常噪點篩除前的細線型缺陷修補有效地提高了劃痕類缺陷檢測的精度和可靠性。大量實驗驗證了系統的信息處理速度滿足生產效率要求，正確實現了表面缺陷檢測定位和面積測量功能。

1 缺陷檢測系統設計

1.1 光學系統設計

光學系統設計關乎缺陷辨識的方法和缺陷檢測的可靠性?？紤]到企業工人的文化水平不高，要求盡量減少測量過程中的參數設定和調節環節，缺陷辨識方法需要具有較好的魯棒性。因此采用板材兩側用平行光管的側向照明，見圖2，使凹坑、凸起、麻坑、劃痕等缺陷部分形成明顯陰影，見圖1，利用亮度的變化來辨識和測量球粉板表面缺陷。

圖2 光學系統

1.2 處理流程

二值化處理是常規的表面缺陷辨識方法的第一步，不同型號的板材表面光學特性有明顯差異、照明板材幅度寬等原因造成板材表面光照不均勻，那么固定的二值化閾值等圖像處理參數難以適應不同區域的處理，給缺陷辨識帶來難度。應對的策略是在開始一卷板材生產時，拾取一幅沒有表面缺陷的板材圖片，稱為模板圖片，模板圖片沒有缺陷，包含照明不均和不同型號的板材表面光學特性的信息，據此創建矯正模板，對后續拍攝測量圖片進行矯正，以消除不同材質和不同區域對同一組圖像處理參數的不適應性，提高對缺陷辨識的可靠性。缺陷檢測軟件的準備工作流程如圖3所示，基于模板圖片通過特定算法創建矯正模板并萃取自適應二值化閾值。缺陷確認閾值告訴軟件多大面積的缺陷可以認為是缺陷，該指標標志著軟件的測量精度，也是算法收斂的依據。

圖3 參數設置流程圖

采用即拍即測的工作模式。在由走帶速度和攝像機縱向視場尺寸決定的時間內，執行拍攝、辨識定位測量缺陷面積工作，并標記保存辨識結果。軟件采用定時器控制，一個定時周期內的算法工作流程如圖4。軟件提供基于矯正模板和基于即拍圖片的自均化照明處理方法、基于自適應二值化閾值和基于經驗二值化閾值的圖像二值化處理方法供用戶選擇，使得軟件在圖像處理方法上具有更大的靈活性以應對板材表面缺陷形式的多樣性。

圖4 即拍即測流程

2 關鍵問題及其解決

光照均勻化處理以減小其對表面缺陷正確辨識帶來的困擾；面對不同型號板材表面光學特性的不同，圖像二值化閾值的自適應設置策略；正常噪點篩除和細線型缺陷修補是面向球粉板表面缺陷檢測軟件設計中的關鍵問題，這些問題直接影響到缺陷辨識測量的可靠性和精度。

2.1 均勻化處理

由于拍攝的圖像明暗不均勻，使同一張圖像不同區域不能適應統一的二值化閾值。見圖5(a)與(b)，將生圖直接進行二值化處理后，明亮區域缺陷被抹除，暗沉區域缺陷被正常噪點淹沒。見圖5(c)，均化處理后使處理后的圖像變得明暗均勻；見圖5(d)，均化處理后可以使用統一的二值化閾值進行二值化處理，顯然處理后噪點分布均勻、劃痕突出。

圖5 均化與二值化處理

可以使用矯正模板對獲取的圖像進行均化處理。矯正模板來自于拾取的模板圖片，創建矯正模板的基本思想是：在模板圖片φ(k,l),k=0,1,…，H，l=0,1,…,W上，共劃分(M*N)個、尺寸為(w*h)的子區域，定義模板圖片平均亮度與各個子區域平均亮度的比值為模板數據，見式(1)，顯然矯正模板η(m,n),m=0,1,…,M,n=0,1,…,N就是一數據矩陣。

(1)

創建模板是在參數設置過程中完成，見圖3，將即拍圖片相應位置的像素值乘以相應的矯正模板數據即實現了均化處理。數學模型見式(2)。

g(mh+i,nw+j)=η(m,n)f(mh+i,nw+j)

(2)

其中:f(mh+i,nw+j)和g(mh+i,nw+j)分別為即拍圖片數據和光照均化后的圖片數據。

如果即拍圖片中缺陷尺寸相對較小，亦可使用自均化處理模式，將即拍圖片當作模板圖片，將f(k,l),k=0,1,…,H,l=0,1…，W取代φ(k,l)帶入式(1)創建及時模板，同樣利用式(2)進行光照均化處理。兩種處理方式的不同在于子區域的劃分，若采用矯正模板進行均化處理，應適當取小的子區域尺寸，均化效果好；若采用自均化處理，子區域尺寸應大于缺陷尺寸的10倍，原則上推薦使用矯正模板。比較圖6(a)與(b)，通過均勻化處理后的圖像光照均勻，且表面缺陷對比度未見弱化。

圖6 均化處理

2.2 獲取二值化閾值及處理

由于各條生產線所處光照環境的不同、球粉板表面光學特性隨板材的型號不同而改變等將致使不同型號板材圖像亮度波動大、像素灰度值分布范圍區間變動明顯，因此需要設置不同的二值化閾值以應對整體亮度的波動，使程序不易于操作，為此這里提供兩種二值化處理方法。

自適應二值化閾值獲取方法：基于模板圖片，通過遍歷二值化閾值0到255循環統計模板圖片二值化后圖上的顆粒噪點占圖總大小的百分比，以占1%左右為標準，獲得此時的二值化閾值，以此值為同卷板材二值化標準閾值。1%標準是通過大量實驗比較得來，通過二值化標準閾值測試的圖片顆粒噪點會呈現均衡分布，通過判斷統計噪點分布方差是否滿足均勻分布的要求最終確定二值化閾值，獲取自適應二值化閾值流程見圖7，這一過程是在參數設置中完成，再基于圖4進行常規二值化處理。

圖7 自適應二值化閾值獲取

基于直方圖均衡化的二值化處理方法是對均化處理后的圖像進行直方圖均衡化，統一像素分布區間在[0,255]，不僅可以拉伸像素強度分布范圍增強了圖像對比度，而且使不同缺陷像素分布于[0,b1],[0,b2],…,[0,bn]，其有著公共區間[0,min(b1,b2,…,bn)]。通過對大量不同型號、不同環境的球粉板圖片的分析，經驗二值化閾值取min(b1,b2,…,bn)，對直方圖均衡化處理后的圖像進行常規二值化處理均獲得了好的效果。

2.3 噪點篩除和缺陷修補

由于球粉板表面布滿銅粉顆粒，進行二值化處理后，其正常部分出現大量的均勻分布的顆粒噪點，劃痕型缺陷也呈現顆粒特性，見圖5(d)。要提取缺陷部分，首先需要將正常的顆粒噪點篩除?；舅枷耄赫Ｔ朦c為均勻分布的小顆粒，缺陷部分顆粒較為集中形成大的團塊或排列成細線形狀，這里將噪點顆粒比作谷粒，缺陷形成的團塊比作稻草和樹葉，線型缺陷形成的細線形狀比作細棍子或樹枝，通過篩子可以將谷粒與稻草、樹葉、樹枝等分離。因此首先構建篩眼矩陣，見式(3):

(3)

其中:篩眼尺寸α為用戶設置的缺陷確認閾值。若二值化后圖像上一點p(i,j)的灰度為min，說明該點不是噪點就是缺陷，此時用篩眼作評估計算:

如果φ(i,j)max，則說明點p(i,j)為噪點，應該濾除，點p(i,j)及其周圍的灰度設置為max；如果φ(i,j)

當篩除顆粒噪點后，塊狀缺陷邊緣遭到輕微削弱，但不影響邊緣檢測。而細線型劃痕在二值化處理后呈現斷斷續續的顆粒線型特征見圖5(d)，若不先行修補，在后續的噪點篩除處理中極易削弱或丟棄，見圖8(a)?？紤]到細線型劃痕方向總是平行于走帶方向，修補基本思想是在篩除噪點之前，在二值化圖像中任意取hs×ws窗口數據，設min=1,max=0，將此窗口中的數據以與走帶方向垂直方向進行“或”運算；在走帶方向上進行“加”運算；計算線狀排列統計量與hs的比值，判斷其是否基本滿足線狀排列條件，若滿足則將窗口數據全部賦值min，將其進行修補加強，若不滿足條件則不進行處理。

(4)

例如取窗口尺寸為7*3，在二值化圖像中任意取一窗口數據，見式(4),按行進行“或”運算后得到向量T=[1 1 1 1 1 0 1]T，那么，線狀排列統計量η=6/7=85%，在此設線狀排列條件為η≥50%，顯然線狀排列條件得以滿足，將該窗口內全部數據用min賦值。將這一過程遍歷整個圖像，即實現了細線型劃痕的修補，隨后再進行噪點篩除，劃痕得到的連接和加強，見8(b)。

圖8 噪點篩除

3 檢測系統的實現

本軟件采用VS2010環境下基于MFC單文檔模板開發界面，使用OpenCV2.4.9版庫函數并結合自行開發的面向球粉板表面缺陷檢測圖像處理模塊，實現了對表面缺陷的快速有效檢測，大量的實際測試表明軟件簡潔高效，實現了根據設置缺陷確認閾值標記缺陷。

3.1 圖像處理過程的實現及結果

軟件根據式(1)定義了方法void CreateTemplet (Mat& src//in, Mat& temp//out, int xblock//in, int yblock//in)、根據圖7定義方法int GetAdaption Threshold(Mat& src//in)，在參數設置階段調用兩方法實現基于模板圖片的矯正模板創建和自適應二值化閾值萃取。

軟件定義了方法void BalanceLight (Mat& src//in/out, int xblock//in, int yblock//in, bool IsTemplet//in)實現即拍圖像的均化處理，如果IsTemplet=true，則根據式(2)執行基于矯正模板的均化處理；否則，根據式(1～2)執行基于即拍圖片的自均化處理。軟件定義了方法void BinaryImage (Mat& src//in/out, int section//in, bool IsAdaption//in)執行二值化處理，如果IsAdaption=true，使用自適應閾值；否則調用直方圖均衡化函數equalizeHist()后，再使用經驗閾值調用Threshold()函數進行二值化處理。

軟件定義了方法void LinkFlawOfLine(Mat& image//in/out, int ws//in, int hs//in, int mstep//in, double link//in)執行缺陷修補；void SieveFunc (Mat& image//in/out, int hole//in)執行噪點篩除，在此，link 是線狀排列條件、hole賦值用戶設置的缺陷確認閾值。

以上處理完成后，圖像中只留有缺陷信息，調用OpenCV中findContours()函數執行邊緣檢測，通過測試其返回值中邊緣個數計數器確定即拍圖片是否有表面缺陷。如果測試結果不為“零”，則調用OpenCV中drawContours()函數畫出所有缺陷輪廓，如圖9(a)，再使用rectangle()函數對缺陷部分進行重構融合成一個缺陷，如圖9(b)，再重新利用find Contours()函數檢測其邊緣，并計算其面積大小，后根據要求將缺陷在原圖進行標記保存。

圖9 邊緣檢測與融合

3.2 實驗結果與分析

球粉板表面缺陷檢測系統采用大恒水星系列數字工業相機在線采集板材圖片，其分辨率為500萬。經過現場對不同型號板材的實際測試，證明本系統能夠快速檢測定位標記表面缺陷，誤判率滿足項目要求，圖像處理時間約0.6～0.9秒。相對于球粉板生產過程中的走帶速度(1米/分)，運行效率在滿足檢測效率要求的同時還有較長時間富余，因此還可通過在一個視場內多次采集處理來增加檢測的可靠性，進一步減小誤判率。

4 結論

基于對球粉板表面缺陷產生機理的研究和對球粉板表面缺陷檢測中的關鍵問題分析，論文提出采用基于模板圖片創建矯正模板并萃取自適應二值化閾值的方法來解決表面光學特性變動的均化問題、實現二值化閾值的自適應整定問題，以提高軟件的執行魯棒性；通過自定義算法實現了劃痕型缺陷修補，有效地提高了劃痕類缺陷檢測的精度和可靠性；提出了篩查模型實現了符合缺陷檢測精度要求的正常噪點篩除。通過大量現場實驗驗證了本缺陷檢測系統的信息處理速度和誤判率完全滿足生產要求，正確實現了缺陷定位標識和面積測量功能。

[1] Wang P, Zhang X W, Mu Y, et al. The copper surface defects inspection system based on computer vision[A].Fourth International Conference on Natural Computation[C]. Jinan, 2008: 535-539.

[2] Tang B, Kong J Y, Wang X D, et al. Surface inspection system of steel strip based on machine vision[A].First International Workshop on Database Technology and Applications[C]. Hubei, 2009:359-362.

[3] Park C, Bae H, Yun J, et al. The automated surface inspection system for hot slab[A].13th International Conference on Control, Automation and Systems (ICCAS)[C]. Gwangju, 2013:1733-1735.

[4] Sekhar P. Duct fan based wall climbing robot for concrete surface crack inspection[A]. Annual IEEE India Conference (INDICON)[C]. Pune, 2014:1-6.

[5] Martínez S S, Vázquez C O, García J G, et al. Image fusion for surface finishing inspection[A]. IEEE International Conference on Imaging Systems and Techniques (IST)[C]. Macau, 2015: 1-6.

[6] 甘勝豐. 帶鋼表面缺陷圖像檢測與分類方法研究[D]. 武漢:中國地質大學,2013.

[7] 韓芳芳. 表面缺陷視覺在線檢測關鍵技術研究[D]. 天津:天津大學,2012.

Online Detection of Surface Flaws on Spherical Powder Plate

Wu Fanggui, Liu Wenwen, Tao Tingting, Zeng Hao

(Hefei University of Technology, Hefei 230009, China)

In order to detect the surface flaws of the spherical powder plate quickly and accurately, the paper analyzes the key problems, such as the diversity of flaws and the optical inconsistency for different types, and the corresponding solutions are proposed. A correction template is created based on a template image which is collected from the flawless surface to realize the optical homogenization of the detected surface. The binary threshold is extracted automatically according to the template image of different type plate to improve the robustness of the software execution. A custom algorithm, which can effectively improve the precision and reliability of detecting the scratch type flaw, is used to compensate the loss of the fine line flaws in screening the flaws. In addition, screening model is established to remove the noise coming from the spherical powder according to the accuracy requirements. A lots of experiments show that the system can accurately and efficiently detect flaws on the spherical powder plate surface and achieve the identification, the location and the area measurement of the surface flaws in the production line, and meet the target accuracy. The system can be well qualified for online detection the flaws in surface of the spherical powder plate. Experimental results show that the detection system is very efficient and accurate, which greatly improves the automation of production line.

spherical powder plate; surface flaw; online detection; image processing

2016-09-18；

2016-11-03。

吳方貴(1989-)，男，安徽池州人，碩士研究生，主要從事圖像處理方向的研究。

1671-4598(2017)03-0029-04DOI：10.16526/j.cnki.11-4762/tp

TP

A