金屬管器件表面缺陷實時檢測技術研究

黨領茹，朱 丹，佟新鑫

（1.中國科學院沈陽自動化研究所，沈陽 110016；2.中國科學院大學，北京 100049；3.中國科學院光電信息處理重點實驗室，沈陽 110016）

金屬管器件表面缺陷實時檢測技術研究

黨領茹1～3，朱 丹1,3，佟新鑫1,3

（1.中國科學院沈陽自動化研究所，沈陽 110016；2.中國科學院大學，北京 100049；3.中國科學院光電信息處理重點實驗室，沈陽 110016）

0 引言

金屬管器件廣泛應用于汽車、航天、軸承、氣動元件、液壓、機械加工等各個領域，而在金屬管器件生產過程中，由于原材料，生產設備，加工工藝，加工環境等因素的影響，導致金屬管器件表面出現各種瑕疵和缺陷，而缺陷的存在對器件的質量和性能產生一定的影響。目前，國內對于金屬管器件的外觀質量檢測主要采用人工檢測的方法，不僅占用大量的人力，而且勞動強度大，檢測結果容易受人為因素的影響，智能化程度低。

近年來，隨著圖像處理技術方面的不斷發展和成熟[1,2]，機器視覺技術在缺陷檢測方面得到了廣泛的推廣和應用[3～5]。對于平面結構目標的檢測，如PCB，鋼板等[6,7]，多采用差影法[8]。此算法簡單易操作，但實際生產條件下很難找到一個標準模板圖像。對于曲面結構目標，如水果，鋼管等，采集圖像時會出現光照不均勻問題，針對這一問題，馮斌等采用建立目標光照模型的方法[9]，一定程度上削弱了曲面結構帶來的光照不均問題，但此方法要求目標與攝像機擺放的相對位置具有高度一致性，實際中很難實現。張建軍等采用線性濾波原理對圖像進行背景光擬合[10]，有效的改善了光照不均勻現象。但窗口較大時，在硬件上很難實現。李江波等提出一種基于照度-反射模型的亮度均一化方法[11]，利用頻域的低通濾波獲取圖像的亮度分量，對原圖進行光照校正，取得一定效果，但仍存在實時性的問題。

本文研究的是基于機器視覺的金屬管器件表面缺陷檢測系統，不僅檢測精度要求高，而且對實時性也有嚴格的要求。同時，由于金屬表面的強反光特性和結構自身的曲面特性，給圖像處理方面帶來了很大檢測難度。本文提出了實時表面缺陷檢測系統的整體設計方案，并詳細的闡述了圖像處理系統的具體實現細節。克服了傳統人工在線檢測的各種弊端，提高了生產效率及檢測準確性，實現了實時連續檢測。

1 在線表面缺陷檢測系統整體設計

本系統的總體結構設計方案如圖1所示，整個系統包括自動上料機構、傳輸機構、圖像采集系統、圖像處理系統以及分選機構五個部分。其中圖像采集系統包括光學系統的設計，以及攝相機的選取和安置；圖像處理系統為整個系統的軟件設計部分，也是整個視覺系統的核心部分，包括圖像目標分割、缺陷檢測和缺陷定位識別三大方面。

在整體系統設計中，考慮到周圍環境對圖像采集的影響，我們將圖像采集系統放在一個暗室中完成。這樣可以避免由于外界光照以及生產環境變化對成像效果的影響，得到一個相對穩定的圖像采集環境。

圖1 總體結構設計方案流程圖

系統的工作過程為：首先，金屬管器件由自動上料機構，按順序傳送到帶有固定卡槽的傳送帶上。然后，借助器件與傳送帶之間的滑動摩擦力，金屬管器件將靠緊卡槽的一邊做自轉運動，保證器件在攝相機視場中時，能夠通過拍攝多幅圖像獲取到整個金屬管表面的圖像，系統中每個器件采集5幅圖像。然后，將獲取的圖片發送給圖像處理系統進行缺陷檢測，如果存在缺陷，則由分選機構將其剔除，如果為合格產品，則通過篩選。

2 圖像處理系統設計

圖像處理環節是整個機器視覺系統最為重要的環節。本文提出的用于金屬管器件表面缺陷檢測的圖像處理系統，設計中綜合考慮了算法的時間復雜度和有效性。

系統拍攝的圖像中包含背景區域，目標區域以及目標上的缺陷區域三部分，如圖2所示。系統中圖像處理算法的本質目的就是將三個區域區分開，定位出目標上缺陷區域的位置。首先，需要將背景區域與目標區域區分開，實現目標分割；然后，需要在目標區域中提取出缺陷，完成缺陷的檢測。最后，定位出缺陷的具體位置，并進行缺陷的識別。

圖2 原始圖像

2.1 目標分割

圖像中背景區域并不是單一均勻的，這是由于傳輸機構中卡槽的顏色與傳送帶顏色不一致導致的。其中，背景區域中較亮部分為卡槽，較暗部分為傳送帶。同時，器件本身有著它獨特的金屬顏色。因此，本文利用顏色信息的特定關系進行目標分割。

彩色圖像中包含著豐富的信息量，可以通過挖掘不同區域顏色信息中的特定關系，將背景與目標區分開。首先，對RGB顏色空間中的顏色分量進行觀察分析，發現各顏色分量中目標與背景灰度級范圍重疊在一起，在單個顏色分量中不可能通過閾值實現分割；然后，隨機取圖像某一行的R，G，B分量進行觀察，發現紅色分量中目標區域和背景亮區域呈現較高的灰度值，而背景中的暗區域帶則呈現較低的灰度值，如圖3a所示。并且發現背景亮區域中藍色分量遠大于綠色分量，而目標區域中藍色分量基本小于紅色分量，圖3b中為圖像第100行中藍色分量減去紅色分量后的曲線圖。依據此特殊關系，設計了適用于本系統的目標分割算法。

圖3 單行圖像色彩信息分析曲線

具體算法步驟為：

Step1：提取原圖像中的紅色分量圖像I_b和藍色分量圖像I_c。

Step2：設定固定閾值，對紅色分量圖像I_b進行二值化，大于閾值的像素置為1，小于閾值的像素置為0，得到圖像I_d，如圖4d所示，圖中得到了目標區域和背景亮區域位置信息。

Step3：結合圖像I_b和I_c的信息，將藍色分量大于紅色分量10個灰度值的像素位置置為1，反之則置為0，得到圖像I_e，如圖4e所示，圖中得到背景亮區域位置信息。

Step4：將圖像I_e取反，然后與圖像I_d進行相與運算，去除背景亮區域，得到圖像I_f，如圖4f所示。

Step5：對圖像I_f進行形態學開運算，去除噪聲點，平滑目標邊緣。處理后得到圖像I_g，結果如圖4g所示。

Step6：將得到的圖像I_g與原圖像相乘得到目標分割后的圖像，如圖4h所示。

圖4 圖像目標分割過程圖

2.2 缺陷檢測

由于金屬管器件表面反射和曲面結構特性，使得拍攝得到的金屬管圖像出現嚴重的光照不均現象。圖像中可以看出，目標區域中中間部分亮度較高，邊緣附近出現明顯的暗區域帶。這種現象的存在導致處在不同區域的缺陷亮度特性差異大，很難使用固定閾值進行缺陷分割。圖5為使用大津法閾值分割的結果，從結果中可以看出，缺陷檢測出來的同時出現嚴重的誤檢現象，即將亮區域中缺陷檢測出來的同時，暗區域部分區域也檢測為缺陷。

圖5 自適應閾值缺陷分割結果

針對此種情況，本文設計了一種實時光照校正算法，去除光照影響，保留缺陷。考慮到光照變化是一種大尺度緩慢的變化行為，而缺陷相對于目標本身是一個低亮度的小結構體，表現為小尺度范圍內劇烈的變化。本算法的思想是：根據原圖像的大小和缺陷大小關系，確定縮放比例，通過對原圖像進行縮小，并進行均值濾波，將大尺度緩慢變化的信息保留下來，將小尺度劇烈變化的信息去除；然后將圖像放大到原圖像大小，所得圖像即為光照變化圖像。最后，從原圖像中減去光照圖像，得到去除光照后的圖像。

算法具體步驟如下：

Step1：由圖像預處理完后的彩色圖像I_a，獲取平均灰度圖像I_b，如圖6b所示，轉換公式為：

式中，I_r，I_g，I_b分別為彩色圖像I_rgb的紅色分量，綠色分量和藍色分量。常規的灰度圖像是選擇r，g，b分量中最大值作為該點的灰度值，主要體現的是目標亮度情況。而平均灰度圖像更能體現目標顏色上的差異特點。

Step2：用雙線性插值算法，將平均灰度圖像I_b，縮小為原圖像大小的1/5，得到圖像I_c，如圖6c所示。其中，通用的插值方法有最近鄰插值法，雙線性插值和三次卷積法。最近鄰插值后會產生嚴重的鋸齒效應，后兩種方法縮放后圖像質量高，不會出現不連續現象，三次卷積法的計算精度高，但計算量大，因此選用了雙線性插值法進行縮放；縮放比例的選取綜合原圖像中目標的大小和缺陷大小來考慮，原圖像大小為250×250，塊狀缺陷尺寸大小一般在10×10范圍內，線形缺陷的寬度一般在10個像素內。選擇縮小比例為1/5能夠將缺陷尺寸縮小在2×2的范圍內。

Step3：選用3×3的模板，對縮小后的圖像I_c進行均值濾波，得到濾波后圖像I_d，如圖6d所示。均值模板大小的選取，依據的是縮小后圖像缺陷尺寸大小。在經過縮放后，缺陷大小縮小到2×2的范圍內，算法中選用3×3的模板，既能夠保留好背景的光照信息，也能夠將缺陷平滑掉。

Step4：同樣選用雙線性插值算法，將濾波后圖像I_d放大到原圖像大小，得到背景光照圖像I_e，如圖6e所示。

Step5：將平均灰度圖像I_b與背景光照圖像I_e相減，得到去除背景光照的圖像I_f，如圖6f所示。

Step6：選取固定閾值，對去除背景光照后的圖像I_f進行二值化，結果如圖6g所示。從圖像I_f中可以發現，缺陷和目標之間存在較大灰度差，因此可以使用固定閾值對其進行分割，固定閾值分割大大減少了算法的時間復雜度。

圖6 缺陷檢測過程圖

2.3 缺陷定位識別

為了識別缺陷，首先要對缺陷進行定位，找出缺陷所處的具體位置，然后根據缺陷的具體特征，判斷是否是缺陷。本文采用方向投影法實現缺陷的定位。該方法簡單，快速，準確性高。

具體步驟如下：

Step1：將得到的缺陷二值圖像進行水平方向和垂直方向的投影，投影結果如圖7所示。

Step2：分別對水平和垂直方向的投影曲線進行掃描，記下每對0到非0和非0到0的跳變點。

Step3：將水平和垂直方向的點對進行組合，對組合形成的所有矩形區域分別進行面積統計，面積值為0，則說明此區域為非缺陷區域，面積值不為0，則說明此區域為待判斷缺陷區域，對其進行標記。

圖7 缺陷圖像水平方向和垂直方向投影曲線

采用面積作為判斷缺陷的標準，當待判斷缺陷區域的面積超過設定值時，則認為此區域為缺陷區域，否則認為此處為噪聲干擾。最后，綜合某一金屬管器件的所有圖像的判斷結果，如果其中存在含有缺陷區域的圖片，則判定此鋼管器件有缺陷，為不合格產品；否則，判定為合格產品。

3 實驗結果分析

本文對400個金屬管器件圖像的處理結果進行了統計分析。圖8中給出了典型缺陷類型的檢測結果，圖中可以看出，本文算法對各類缺陷都有很好的檢測效果。表1中給出了400個圖像的缺陷檢測的統計結果。

圖8 不同缺陷檢測結果

本文采用識別率，虛警率兩個指標來衡量算法的有效性，計算公式如下：

識別率 = 檢測出的缺陷數目/缺陷樣本總數

虛警率 = 誤檢為缺陷的數目/合格樣本總數

從表格中數據可以看出，識別率達到98.8%，虛警率為1.3%。其中，出現漏檢現象主要原因是缺陷出現在目標邊緣區域，缺陷的亮度與邊緣區域趨于一致，難以檢測出來，但由于會采集多幅金屬管表面缺陷圖像，出現在邊緣區域的缺陷在其它圖像的其中一幅中會出現在比較明顯的位置，保證缺陷能夠被檢測出來，使缺陷產品的檢測率達到100%。而由于缺陷產品和合格產品的區分邊界定義的不確定性，一定概率的虛警現象的存在是在廠商允許范圍內的。

表1 樣本缺陷檢測結果統計

為驗證算法的實時性，采用配置為Pentium(R)Dual-core CPU E6600 3.06GHz，2.00G內存的計算機，運用Visual C++6.0和OpenCV編程，對分辨率為250×250像素的彩色圖像進行處理。結果表明，處理每幅圖像的時間基本小于0.042s，平均每個金屬管器件(5幅圖像)的檢測時間在0.21s內，可以保證系統運行的實時性。

4 結論

針對金屬管器件表面缺陷檢測問題，設計了基于機器視覺的檢測系統。結合金屬管器件圖像的特性，通過顏色信息的特定關系，實現目標的簡單準確分割。在目標分割圖像基礎上，提出實時光照校正算法，有效的解決了光照不均帶來的分割閾值選取困難的問題，實現使用固定閾值的缺陷分割。并且采用方向投影的方法定位缺陷位置，使用面積參數作為判斷缺陷與否的依據。算法步驟簡單、有效，能夠實現實時在線檢測。

本系統采用機器視覺技術，解決了金屬管器件表面缺陷檢測的問題。實現了檢測的自動化和智能化，提高了檢測的速度和準確率，應用于工業生產中，有效的提高了生產的效率。

[1]Newman T S, Jain A K. A survey of automated visual inspection[J].Computer vision and image understanding,1995,61(2):231-262.

[2]Malamas E N, Petrakis E G M, Zervakis M, et al. A survey on industrial vision systems, applications and tools[J].Image and vision computing,2003,21(2):171-188.

[3]謝佩軍,計時鳴,程越.基于計算機視覺的晶振帽缺陷自動檢測系統[J].儀器儀表學報,2008,29(5):1079-1083.

[4]應義斌,景寒松.機器視覺技術在黃花梨尺寸和果面缺陷檢測中的應用[J].農業工程學報,1999,15(1):197-200.

[5]劉佳男.基于機器視覺的水果表面缺陷識別方法的研究[D].江南大學,2012.

[6]彭向前,陳幼平,余文勇.一種基于機器視覺的浮法玻璃質量在線檢測系統[J].制造業自動化,2008,29(12):50-52.

[7]李煒,黃心漢.基于機器視覺的帶鋼表面缺陷檢測系統[J]. 華中科技大學學報:自然科學版,2003,31(2):72-74.

[8]楊慶華,陳亮,荀一,等.基于機器視覺的 PCB 裸板缺陷自動檢測方法[J].中國機械工程,2012,23(022):2661-2666.

[9]馮斌,汪懋華.計算機視覺技術識別水果缺陷的一種新方法[J].中國農業大學學報,2002,7(4):73-76.

[10]張建軍,胡惠靈,劉征宇,等.光照不均管道內圖像增強算法的研究與應用[J].計算機工程,2011,37(16):227-229.

[11]李江波,饒秀勤,應義斌.基于照度-反射模型的臍橙表面缺陷檢測[J].農業工程學報,2011,27(7):338-342.

Research of metal tube device surface defect real-time detection technology

DANG Ling-ru1～3, ZHU Dan1,3, TONG Xin-xin1,3

針對金屬管器件的表面缺陷檢測進行研究，以機器視覺技術為基礎，設計了金屬管器件表面缺陷在線檢測系統。根據生產線的實際檢測要求，提出了檢測系統的整體設計方案。針對金屬管器件圖像特點，設計了簡單有效的圖像處理算法。首先，提出了基于顏色統計特性的目標分割算法，實現了目標與背景的準確分割。然后，提出的實時光照校正算法，克服了光照影響，實現固定閾值的缺陷分割。最后，使用方向投影的方法定位缺陷區域，并采用面積指標對缺陷進行有效判定。實驗結果表明，該方法對于每個器件的平均檢測時間為0.21秒，缺陷產品的檢測率為100%，能夠滿足金屬管器件表面質量實時檢測的要求。

機器視覺；光照不均；缺陷檢測

黨領茹（1989 -），女，河北石家莊人，碩士研究生，研究方向為數字圖像處理，機器視覺。

TP27

A

1009-0134(2014)05(下)-0039-05

10.3969/j.issn.1009-0134.2014.05(下).11

2014-02-23