一種金屬帶材表面缺陷檢測方法

徐曉龍，張學武，趙沛然，張 琳（河海大學物聯網工程學院，常州　213022）

?

一種金屬帶材表面缺陷檢測方法

徐曉龍，張學武，趙沛然，張 琳
（河海大學物聯網工程學院，常州213022）

摘 要：由于金屬板帶表面反光強烈，缺陷成因復雜，使得缺陷檢測系統性能的進一步提升遇到了瓶頸。為打破瓶頸，提出了一種融合缺陷成因和統計特征的雙向協同視覺注意方法。金屬表面缺陷的產生與生產設備和工藝流程密切相關，將缺陷成因和統計特征分層量化，通過學習和訓練加入先驗知識庫，在自底向上的視覺注意模型中，分別對初級視覺特征提取，多特征圖合并和顯著圖三個層次施加權值控制，以引導視覺注意過程，從而實現自底向上和自頂向下的雙向協同，可有效提升檢測效率和檢出率。通過實驗對比分析，結果表明，該方法在檢測性能和效率方面有很大提高。

關鍵詞：金屬帶材；機器視覺；缺陷成因；統計特征，雙向協同；視覺注意；缺陷檢測

1 引 言

由于金屬板帶表面反光強烈，缺陷成因復雜，使得缺陷檢測系統性能的進一步提升遇到了瓶頸。同時復雜的現場環境導致圖像的信噪比低，對識別系統的可靠性、實時性、穩健性都提出了很高要求［1］。傳統檢測方法是做圖像去噪、圖像增強等圖像預處理來消除噪聲的影響，增強和突出目標特征，使其更容易從背景中分離出來。傳統方法的缺點在于適應性差，對圖像質量要求高，在噪聲比較大的情況下，過度的去噪，不僅會損失缺陷本身的特征，也會影響監測的實時性［2］。

視覺注意機制是在應用場景中快速獲取興趣目標，從而做出理解和判斷。將視覺注意機制引入視覺檢測領域，使現有的圖像處理過程具備一定的理解能力，能夠模仿視覺感知系統，快速獲取信息中的感興趣區域，使有限的計算資源能夠集中去處理那些影響圖像性質、有意義的區域或者物體［3-4］，這對

?解決如今視覺檢測領域中所面臨的數據篩選問題、圖像處理實時性問題，以及提高處理效率和機器視覺的智能性都具有重要意義。

由于工業生產環境復雜、光照及高速運動所造成的圖像質量不理想，并且缺陷所占比重較小，如果單單應用數據驅動的自底向上的視覺注意機制，雖然可以突出圖像區域的顯著部分，實現目標搜索，但是由于缺乏針對性而產生的低效率，無法滿足高速并行處理的檢測需求［5］。工業檢測中，在具備缺陷特征等先驗知識的情況下，脫離具體的檢測任務和目標特征，僅使用自底向上的視覺注意機制無疑具有很大的局限性。自頂向下的任務驅動視覺注意機制將高層知識和任務帶入處理過程，可以極大提高檢出率和效率。而在現階段的很多研究中，一方面沒有充分結合應用背景，僅從圖像的角度去解決問題，沒有根據應用特點進行一定的簡化或擴展；另一方面沒有充分融合底層數據，使得檢測過程過于復雜，在實際應用中不易實現。

提出了一種融合缺陷成因和統計特征雙向協同的視覺注意方法。該方法將缺陷成因和統計特征分層量化，通過學習和訓練加入先驗知識庫，在自底向上的視覺注意模型中，分別對初級視覺特征提取，多特征圖合并和顯著圖三個層次施加權值控制，以引導視覺注意過程，從而實現自底向上和自頂向下的雙向協同，有效提升了檢測效率和檢出率。

2 基于雙向協同視覺注意機制的檢測方法

2.1雙向協同注意信息加工方法

金屬帶材表面缺陷特征有一定的特殊性，它是由生產設備的故障或缺陷所導致的，因此可以通過對成因的統計分析，獲得部分缺陷特征，使得自頂向下的任務引導有了數據基礎。結合自底向上與自頂向下兩種模型的優點，將缺陷特征和檢測任務相結合，處理時，按相應的權重，用底層特征來影響顯著圖的求解，從而實現自底向上和自頂向下的雙向協同。

采用對特定頻率和朝向敏感的Gabor濾波器構成濾波器組，提取輸入信號的頻率和朝向。通過選取合適的參數值放大濾波器之間的差異，使響應能夠與激勵有相同頻率和方向分布的濾波器相一致［6］。

雙向協同信息加工方法流程如圖1所示。整體模型以視覺注意領域最為經典的Itti模型為基礎，結合異向抑制模型的思想，將任務信息和先驗知識進行量化，分別從初級視覺特征提取、不同特征圖歸一化合并以及最終的顯著圖三個層次加入與知識庫相關的權值來實現注意引導。

圖1 雙向協同注意信息加工流程圖

圖1中雙向協同信息加工主要體現在3個層次，通過先驗知識庫對每一層次的權值矩陣進行量化，從而實現視覺注意引導。第一層次為初級視覺特征合成，由于亮度特征沒有其他分量，這里對應顏色、朝向2個初級特征權值。

由于所討論的應用場景是確定的，因此可以從最底層特征開始進行權值分配，底層特征提取后，按照權值生成對應的特征圖。不同類型缺陷對應的特征顯著性有所不同，例如劃痕和凹坑相比在顏色、亮度等特征均非常相似，但是劃痕在朝向特征上就更為明顯，因此在多特征圖合并階段，根據先驗知識使用第二層次的權值進行量化。

通過權值量化合成顯著圖S，通過勝者為王機制進行注意掃視，然而在很多應用中檢測目標的空間分布有一定的概率。例如在交通標志檢測應用中，交通標志位于路面右側，因此在圖像右上方出現的概率要遠大于其他區域。在金屬帶材表面缺陷檢測應用中同樣可以通過缺陷成因分析和統計得出目標缺陷的分布概率，通過統計概率再次對顯著圖進行加權，可以優化缺陷注意和圖像分割的優先級，提升系統的實時性。

設GC（y）為權值矩陣，每個子區域顯著性為Sx，y，在金屬帶材的檢測應用中，檢測目標在生產線上水平運動，為了簡化模型，P調整為一維矩陣，即垂直于運動方向上的分布概率。權值定義如下：

其中ET（y）為時空能量，用于描述空間位置y處當前存在缺陷的可能性；max（E）為時空能量的上限，用于對時空能量進行歸一化。

由定義可知，時空能量ET（x）將隨著缺陷出現概率的增大而升高。假設當前x處能量為E，并且連續Nf幀在該位置都存在缺陷，那么x處的能量將升高為。相反，如果位置x處在當前時刻能量為E，在連續幀Nt都沒有缺陷，那么在位置x處的時空能量就衰減為E×γNt。常量Tenergy和γ需要事先確定，Tenergy的取值并不需要非常嚴格，Tenergy與能量更新率γ共同確定在有缺陷的過程中能量遞增的趨勢，在應用中通過測試和實驗選取經驗值。

能量更新率γ決定了衰減的速度，該值使時空能量隨著圖像幀數以指數形式進行衰減。該值的確定取決于系統本身的狀況，由于生產線上缺陷產生的概率比較小，為了準確估測下一個可能出現缺陷的位置，該時空能量就需要持續較長的時間，要求衰減的速率盡可能慢，因此γ需要選取一個接近1的值。

在顯著圖中，圖像的顯著性以灰度形式表示，若顯著圖在位置（x，y）處的顯著性為S（x，y），則按照式（5）進行顯著圖調整。

調整后，缺陷出現概率大的區域顯著性將被增強，概率小的則被抑制，從而減少焦點個數，提高搜索速度，也能夠在指定任務的情況下提高指定缺陷的檢出率。

2.2融合缺陷成因與統計概率的視覺注意機制

（1）常見缺陷分析

這里以帶鋼為例對缺陷進行分析。帶鋼的生產過程包含多道工序，在每一個工序的任意一個環節都有可能導致表面缺陷，其成因涉及工藝、裝備等多個環節，因此表面缺陷的種類和成因非常復雜［7］。雖然成因復雜，但是相關缺陷仍然有一定規律，對生產工藝的分析和統計顯示，冷軋是眾多環節中產生質量缺陷的主要環節［8］。

這里以冷軋缺陷為例，結合寶鋼集團《冷軋產品表面質量評定手冊》與實驗室測試的銅帶缺陷樣品，對常見缺陷進行分析。常見的表面缺陷有夾雜、結疤、孔洞、輥印、壓痕、銹斑、劃傷、油斑等幾十種，導致這些缺陷的原因也不盡相同，缺陷產生的部位、形狀等特征往往和產生原因有一定關聯，分析常見的缺陷類型與成因，能夠進一步獲取不同類型缺陷出現的規律與特點，這是進行表面缺陷檢測的數據基礎。例如劃傷缺陷一般與軋制方向平行，呈線狀，多為單條或者平行的多條，可能產生在任意部位。劃傷缺陷多是由于被動輥子卡住或者導板位置不當造成的。劃傷多是與運動方向相平行。

（2）特征量化

特征量化分為定性分析和定量測試。定性分析是確定權值層次和分量，定量測試則是根據實際應用采集樣本，針對具體缺陷進行訓練，獲得最佳參數。不同類型的缺陷特征不一致，因此同時檢測的缺陷類型越多，在進行相應的權值調整時出現顧此失彼的情況就越突出，對應的檢出率就越低，所以任務劃分時將缺陷特征相近的交由一個前端進行檢測。

下面以劃傷缺陷為例給出定性分析過程。根據上文所述成因特征，生產線上的劃痕呈線狀，是生產設備刮擦導致，因此方向與運動方向平行。在初級視覺特征提取時，式（2）中，θ= 0°的角度應當得到增強，而其他角度需要抑制，劃傷為三維缺陷，因此在暗域成像中會表現為明顯的白色，在指紋、油污等干擾情況下，亮度和朝向特征相對顏色特征更加突出，因此在第二層次的權值中GBO＞GBI＞GBC，通過抑制顏色特征分量突出劃傷所對應的特征顯著性。

劃傷缺陷是生產設備刮擦所導致，因此一旦出現后，再次出現的可能性就很大，并且在垂直方向上的分布位置會相同。在對缺陷進行統計分析后，針對出現概率較高的缺陷進行針對性的權值配置，并根據缺陷分布情況對第三層次分布權值進行調整，對已經得到的顯著圖再次進行加權就能夠進一步突出需要檢測缺陷的顯著性。

針對多個檢測任務，通過訓練的方式來獲得最佳權值，訓練過程如圖2所示。程序通過定性分析，已經確定了每個分量與對應缺陷的對應關系，在提交缺陷樣本，標記與檢測任務對應的缺陷區域和類型后，程序按照設定的步進增量進行迭代檢測，通過前后的檢測結果對比進行不斷迭代，最終尋找最優解。

3 實驗結果與分析

（1）缺陷樣本初級視覺特征提取與顯著性檢測

利用從江蘇興榮公司獲取的缺陷圖像，提取了初級視覺特征并進行顯著性檢測，這里選取三個樣本進行簡要分析。選取的樣本以及檢測結果對比如圖3所示。

（2）基于雙向協同視覺注意機制的金屬帶材表面缺陷檢測

為了驗證本文所提出的檢測算法的有效性，我們選取了實驗室條件下干擾較多的樣本進行實驗，與Itti自底向上視覺注意機制的實驗結果進行對比分析。實驗樣本如圖4所示。

采用經典的Itti模型在不對特征分量施加任何權值的情況下，生成的特征顯著圖如圖5所示。通過顯著圖可以看出最顯著區域位于左上角與中間上方，通過和圖4對比可以看出，顯著區域并不是我們所需要檢測的缺陷。

圖2 采用迭代訓練方法的參數定量分析流程

圖3 缺陷樣本初級特征提取與顯著性檢測

圖4 實驗樣本

圖5 自底向上視覺注意機制的顯著圖

在注意焦點轉移過程中，通過勝者為王和禁止返回機制競爭產生的一系列興趣圖如圖6所示。注意焦點共經過6次掃視，掃視過程如圖7所示，通過實驗可以發現，總共轉移了5次才檢測出所需要檢測的缺陷，第1、2、4次掃視區域均為干擾區域。

圖6 采用自底向上視覺注意機制的興趣圖

圖7 采用自底向上視覺注意機制的注意焦點轉移圖

采用本文提出的雙向協同視覺注意方法進行實驗，顯著圖如圖8所示。與圖5對比就能夠發現左上角和中上部的指紋干擾區域的顯著性被明顯抑制，注意焦點轉移圖如圖9所示。通過本次實驗可以發現，只需要進行3次掃視就可以獲得全部缺陷區域，而且沒有一次掃視到干擾區域。

圖8 采用雙向協同方法的顯著圖

提取兩次實驗的數據，分別填寫在表1和表2中。通過數據可以看出Itti經典模型由于沒有根據缺陷特征和檢測任務對顏色特征等分量進行抑制，使得在0、1、4次轉移中干擾區域競爭獲勝。通過對實驗數據進行進一步分析可知，針對本次實驗樣本，本文所采用的算法對特征選擇更加明確，整體效率更高。

圖9 采用雙向協同方法的焦點轉移圖

由于樣本中缺陷數量、干擾目標均不盡相同，為了能夠客觀體現算法性能，這里主要統計兩個指標：

缺陷檢出率=檢出缺陷數量/實際缺陷數量

檢測效率=檢出缺陷數量/最后一個缺陷掃視次數

對每一幅樣本分別計算上面兩個指標，對比算法的缺陷檢出率和檢測效率分別為：94.3%和71.4%；本文提出算法對應值分別為：97.6%和92.6%。

表1 采用自底向上視覺注意機制的實驗數據

表2 采用本文雙向協同方法的實驗數據

4 結束語

通過以上統計分析，可以發現使用的算法對缺陷檢出率和檢測效率均有改進，這對節省計算資源，提升系統實時性都有重要意義。

參考文獻：

［1］張學武，丁燕瓊，段敦勤，等.基于視覺仿生機理的銅帶表面缺陷檢測［J］.中國圖象圖形學報，2011，16 （4）：593-599.Zhang Xuewu，Ding Yanqiong，Duan Dunqin，et al.Surface defects inspection of copper strips based on vision bionics［J］.Journal of Image and Graphics，2011，16（4）：593-599.

［2］Malamas E N，Petrakis E G，Zervakis M，et al.A survey on industrial vision systems，applications and tools［J］.Image and vision computing，2003，21（2）：171-188.

［3］田明輝.視覺注意機制建模及其應用研究［D］.合肥：中國科學技術大學，2010.Tian Minghui.Research on modeling and application of visual attention mechanism［D］.Hefei：University of Science and Technology of China，2010.

［4］Gayubo F，Gonzalez J L，de la Fuente E，et al.On-line machine vision system for detect split defects in sheet-metal forming processes［C］.2006.IEEE，2006.

［5］Yan F，Liu C L，Yu K Q.Analysis of Surface Defects on Stainless Steel Cold Rolling Strip［J］.Applied Mechanics and Materials，2012，148：684-687.

［6］Itti L.Models of bottom-up and top-down visual attention［Z］.California Institute of Technology，2000.

［7］Zhenglian L F Y X，Jian H.Identification and Control of Surface Defects on Cold Rolled Strip［J］.Metallurgical Equipment，2010，1：19.

［8］亓愛濤.冷軋帶鋼表面缺陷及控制［J］.中國科技投資，2013（25）：2336-2339.Qi Aitao.Surface defects and control of cold rolled strip ［J］.Chinese Investment in Science and Technology，2013 （25）：2336-2339.

A Detection Method for Defect on Metal Strip Surface

Xu Xiaolong，Zhang Xuewu，Zhao Peiran，Zhang Lin
（College of Internet of Things Engineering，Hohai University，Changzhou 213022，China）

Abstract：Because of strong reflection on metal plate surface and complicated defect formations，it is difficult to further improve performance of the detection system.A bidirectional synergy visual attention method，mixing defect formation and statistical characteristics together，is put forward in this paper.Because the generation of metal surface defects is closely related to the production equipment and technological process，the defect formation and statistical characteristics are layered in quantizing and the priori knowledge is joined by learning and training.In order to guide the process of visual attention，in the bottom-up visual attention model，primary visual feature extraction，several characteristic figure merging and salient map are controlled respectively in weight to realize two-way collaboration，and thus testing efficiency and detection rate are promoted.The experiment results show that the method improves detection performance and efficiency obviously.

Key words：Mmetal strip；Machine vision；Defect formation；Statistical characteristics；Two-way collaboration；Visual attention；Defect detection

DOI：10.3969/j.issn.1002-2279.2016.02.015

中圖分類號：TN911

文獻標識碼：A

文章編號：1002-2279（2016）02-0056-05

基金項目：?國家自然科學基金（61273170）；高等學校博士學科點專項科研基金（20120094120023）

作者簡介：徐曉龍（1974-），男，山東聊城人，實驗師，碩士研究生，主研方向：表面缺陷檢測，EDA技術。

收稿日期：2015-06-12