視覺顯著性模型在帶鋼缺陷動態檢測中的應用

徐帥華,陳龍龍,管聲啟,李 婷

(西安工程大學 機電工程學院,陜西 西安 710048)

0 引 言

隨著國民經濟的快速發展,汽車、鐵路、航空航天和造船等行業對帶鋼的需求越來越多,其表面的質量直接影響最后產品的優劣,對其有效的監督是提高產品質量的重要手段.因此,對帶鋼表面缺陷進行在線實時檢測是很有必要的[1-3].目前,國內外對帶鋼表面缺陷在線實時檢測技術研究較多,也取得了一些成功的實例.文獻[4]根據帶鋼表面缺陷圖像的特點,提出一種利用圖像灰度投影進行目標檢測的算法,利用投影均值找出最大與最小的差值,超過了給定的閾值即認為是存在缺陷.文獻[5]研究了一種基于機器視覺的帶鋼表面缺陷檢測系統,它采用模塊化硬件設計,圖像處理軟件滿足實時檢測要求,可以有效地檢測出生產線上的帶鋼表面缺陷.但是,帶鋼表面缺陷具有形態各異、種類繁多、出現位置時間不同、灰度特征相似、紋理特征具有方向性的特點,并且工作現場環境復雜多變,因此,如何快速準確地從大量的數據圖像中檢測到缺陷的存在是研究中亟需解決的問題[6-7].

根據人類視覺感知理論,人類可以在大面積的圖像中快速尋找到感興趣的區域和重要的、值得注意的信息.所謂感興趣的區域就是最能引起人們關注的區域,可以區分出圖像中不同區域的重要程度,在一定程度上去除了冗余的信息,為后續的分析識別提供幫助[8-9].基于視覺感知理論的特點,提出基于視覺注意機制模型的檢測方法,該方法能夠有效地減少噪聲等影響,計算速度快,從而為帶鋼缺陷的檢測提供了一種有效的途徑.

1 帶鋼缺陷檢測算法

人類獲取外界環境信息最主要的手段是視覺,大約有80%的信息都來源于視覺,面對時刻變化的外部環境,人類視覺可以感知到與自己相關的信息和辨識出信噪比極低的圖像中的有效信息,并且能夠在極短時間內完成對信息的理解、處理和做出相應的反應[10-11].

隨著計算機技術和圖像處理技術的快速發展,國內外學者對視覺處理信息的過程進行了大量的研究.視覺檢測是模仿人類視覺功能,從中提取有效信息,具有高效、高精度、非接觸式、獲取信息豐富等優點.現在最經典的模型是1998年美國加州理工學院的Itti提出的一種基于初級視覺特征的視覺注意機制模型[12].該模型經過許多學者的研究,應用在人臉識別、視覺導航、遙感圖像處理和醫學圖像處理等方面,本文結合帶鋼缺陷特點,提出視覺注意機制的帶鋼缺陷檢測方法.圖1為缺陷檢測過程.

圖1 缺陷檢測過程

1.1 顏色特征預判

本文根據帶鋼缺陷圖像的特點,將原圖像信息為灰度圖像的視為無顏色圖像,若帶鋼圖像存在顏色信息即為有色缺陷存在.利用顏色特征進行預判,根據顏色特征與設定閾值比較選擇不同算法檢測,分別為顯性缺陷檢測和隱形缺陷檢測,提高檢測效率和準確率.

1.1.1 顯性缺陷檢測 針對有顏色缺陷,采用顏色通道的差異運算得到圖像的特征圖,對特征圖進行閾值分割和區域生長，從而分割出缺陷區域,提高檢測效率.紅斑缺陷檢測過程如圖2所示.

紅斑 顏色特征 注意圖(缺陷)圖2 紅斑缺陷檢測

1.1.2 隱性缺陷檢測 針對無顏色缺陷,提取圖像的亮度和方向特征,通過對亮度和方向特征進行Gabor濾波和中央周邊差操作得到特征差分子圖.在此基礎上,特征差分子圖進行融合得到缺陷顯著圖;然后通過閾值分割和區域生長分割出缺陷注意區域;最后融合處理多幅缺陷注意圖得到帶鋼缺陷的完整圖像.

1.2 視覺特征提取

對原圖像經過高斯濾波后,提取出了圖像的亮度和方向多尺度信息,能全面地表達圖像的信息,更加符合人類視覺功能.

(1) 假設r(t),g(t),b(t)為一幅圖像的紅藍綠3個基本通道,亮度是圖像注意到的第一個特征,利用高斯金字塔模型對每一層圖像提取亮度特征.特征提取公式為

I(t)=(r(t)+g(t)+b(t))/3.

(1)

(2) Gabor濾波器是多尺度多分辨率分析方法的代表,可以很逼真地模擬視覺皮層對方向的敏感,亮度特征I經過二維Gabor濾波器濾波分析后得到4個方向的特征,用O(t,θ)表示亮度特征在尺度t上θ方向的金字塔,其中θ的取值為(0°，45°，90°，135°),其特征圖如圖3所示.

亮度特征 0°方向 45°方向 90°方向 135°方向圖3 特征圖

1.3 缺陷顯著圖構造

構建缺陷顯著圖的目的是為了增大缺陷信息與背景信息的對比度(顯著度),從而為缺陷分割提供條件.顯著圖構建過程如圖4所示.

圖4 顯著圖構建

1.3.1 高斯濾波和中央周邊差 人眼視覺系統是一個多通道的處理系統,具有多信道的分解特性,高斯濾波的特性具有緊支性、正交性、近似對稱性,對圖像信息進行多通道的濾波后得到不同層次的信息,形成一個高斯金字塔的結構,具有與人眼視覺相匹配的特性.

在一幅圖像中,通常最引起視覺注意的是最特殊的部分,與周圍其他部分相比更加凸顯,為模擬中心的興奮區域與周邊抑制區域的拮抗結構,故采用中央周邊差操作.感受視野中心尺度c對應分解后的高分辨率子圖金字塔的1,2層,視野周邊尺度t=c+δ,其中δ∈(1,2),由于錐形結構上下層的大小不同,要對外圍進行插值,兩者之間作差,計算過程表示為Θ,最后形成亮度差分子圖和方向差分子圖.計算過程如下:

(2)

特征差分子圖中的缺陷特征顯著度明顯增強,兩幅子圖作差,消除光照不均的影響,可為缺陷分割提供有利條件.

1.3.2 特征圖合并策略 多特征圖的合并采用常用的直接相加,沒有考慮到特征圖的優先級,需對其歸一化處理N(·),可以凸顯顯著區域,進一步提高顯著度.對于同一類型的特征圖相加處理得到特征顯著圖,分別為亮度顯著圖和方向顯著圖.計算公式如下:

(3)

其中n為特征差分子圖個數,n=3.

多特征圖合并融合策略效果如圖5(a),(b)所示,從圖5(a),(b)可以看出缺陷區域得到明顯的呈現,為后續處理打下基礎.

1.4 注意區域的形成

通過自底向上模型的計算,可以得到以注意焦點為中心不同區域的顯著圖,為了獲得圖像的準確信息,檢測時會循環進行注意焦點的轉移.本文采用閾值分割和區域生長形成注意區域.劃分圖像為4*4的區域為注意焦點,進行均值化處理,消除噪聲影響,通過設定閾值，采用閾值分割出注意區域;采用區域生長得到總的注意區域,消除背景信息.圖5(c),(d)為亮度和方向注意區域圖,可以看出背景變為黑色,消除了對缺陷檢測的影響.對亮度注意圖和方向注意圖進一步歸一化整合處理得到帶鋼缺陷的檢測結果,如圖5(e)所示.

(a) 亮度顯著圖 (b) 方向顯著圖 (c) 亮度注意圖 (d) 方向注意圖 (e) 缺陷圖5 缺陷檢測結果

2 結果與分析

為了驗證文中提出的基于視覺注意機制模型在帶鋼缺項圖像中應用的準確性和適應性,在電腦上采用MATLAB環境編輯模型.

對夾雜缺陷圖像添加椒鹽噪聲,從圖6(a)和圖6(b)可以看出，該方法在檢測缺陷目標時,能快速準確地檢測出缺陷區域,具有對噪聲的魯棒性.當外部環境造成光照不均時,在對特征子圖中央周邊差操作時,可消除光照不均的影響,如圖6(c)和圖6(d)所示.表明該算法對于圖像因光照不均而造成的影響有很好的抑制作用.

(a) 夾雜噪聲圖像 (b) 檢測結果 (c) 抬頭紋光照不均 (d) 檢測結果圖6 本文缺陷檢測算法

對夾雜缺陷圖像分別采用灰度差影算法、零均值化算法和本文檢測算法做對比實驗，如圖7所示.從圖7可以看出，本文方法能準確檢測目標,文獻[5]的灰度差值法最后檢測的結果容易湮沒在背景中,極易造成漏檢;文獻[7]的零均值化算法處理結果缺陷信息未全部檢測出來,不利于后續的識別處理;本文方法利用注意機制快速捕捉信息,提高顯著度,可以有效避免環境因素和噪聲的影響.若為有顏色缺陷圖像,預判后通過閾值分割和區域生長得到帶鋼缺陷區域.

(a) 夾雜缺陷圖像 (b) 灰度差影算法 (c)零均值化算法 (d) 本文算法圖7 對比試驗檢測結果

表1 算法運算時間

對四者運行時間進行比較,可以看出本文提出的算法可以快速地檢測缺陷,特別是缺陷為有顏色時,可以快速通過閾值分割得到,提高檢測速度,可以滿足實時在線檢測的要求.

3 結束語

根據人類視覺感知理論和帶鋼缺陷的特點,本文提出一種基于視覺注意機制的帶鋼缺陷檢測算法.對輸入圖像提取視覺特征,利用顏色特征進行預判,對有顏色缺陷的圖像采用閾值分割得到缺陷目標圖像,提高檢測效率.對無顏色缺陷的圖像利用亮度和方向特征,采用構建顯著圖方式提高缺陷顯著度;最后通過閾值分割出缺陷注意區域.相比于傳統的圖像處理方法,具有較高的檢測準確性和快速性.實驗結果證明該方法對于低對比度和含有噪聲的缺陷目標也能獲得滿意的結果,具有對噪聲的魯棒性.但是該方法未能解決存在偽目標和直接相加容易降低目標顯著度的問題,需在以后的研究中進行改進.

參考文獻：

[1] 張鵬.圖像信息處理中的選擇性注意機制研究[D].長沙:國防科學技術大學,2004:20-35.

[2] 張學武,范新南.視覺檢測技術及智能計算[M].北京:電子工業出版社,2013:32-60.

[3] ITTI L,KOCH C,NIEBUR E.A model of saliency—based visual attention for rapid scene analysis[J].IEEE Trans Pattem Analysis and Machine Intelligence,1998,20(11):1254-1259.

[4] 李煒,黃心漢,王敏,等.基于機器視覺的帶鋼表面缺陷檢測系統[J].華中科技大學學報：自然科學版,2003,31(2):72-74.

[5] 王宏,朱德生,唐威.一種基于灰度投影的帶鋼表面缺陷檢測算法[J].東北大學學報：自然科學版,2008,29(3):375-377.

[6] 孟琭.基于視覺注意機制的彩色圖像顯著性區域提取[J].計算機應用研究,2013,30(10):3159-3161.

[7] 管聲啟,師紅宇,王燕妮.基于圖像零均值化的帶鋼缺陷檢測[J].鋼鐵研究學報,2013,25(4):59-62.

[8] WEI Yulan,LI Bing,ZHANG Dan.The strip steel surface defects detection adaptive preprocessing method based on double field[J].Advanced Materials Research,2012,6(5):576-579.

[9] QIN Xiansheng,HE Feng,LIU Qiong.Online defect inspection algorithm of bamboo strip based on computer vision[C]//Proceedings of the IEEE International Conference on Industrial Technology.Shanghai:IEEE Computer Society Press,2009:58-65.

[10] FRANCISCO G B,DANHIEL F G,JULIO M.Detection through a vision-based technique periodic defects in steel strips[J].IEEE Industry Applications Magazine,2013,13(2):39-46.

[11] 叢家慧,顏云輝.視覺注意機制在帶鋼表面缺陷檢測中的應用[J].中國機械工程,2011,22(10):1189-1192.

[12] ITTI L,KOCH C.Computational modeling of visual attention[J].Nature Reviews Neurosdence,2001,2(3):194-203.