基于圖像顯著性特征的鑄坯表面缺陷檢測

吳家偉，嚴京旗，方志宏，夏勇，陸敏健

(1.上海交通大學圖像處理與模式識別研究所，上海 200030;2.寶山鋼鐵股份有限公司研究院，上海 201900;3.寶山鋼鐵股份有限公司設備部，上海 201900)

基于圖像顯著性特征的鑄坯表面缺陷檢測

吳家偉1，嚴京旗1，方志宏2，夏勇2，陸敏健3

(1.上海交通大學圖像處理與模式識別研究所，上海 200030;2.寶山鋼鐵股份有限公司研究院，上海 201900;3.寶山鋼鐵股份有限公司設備部，上海 201900)

針對鋼鐵鑄坯表面檢測的缺陷復雜性問題，從圖像處理及圖形特征角度提出一種基于顯著性區域特征的算法.該算法首先對源圖像進行顯著性特征區域處理和Gabor小波濾波處理，得到了對應的特征圖像;然后再將2幅圖像中的特征區域進行融合，得到可信度較高的缺陷特征區域圖像;最后在缺陷區域中用訓練好的Adaboost分類器檢測缺陷，得到最終的缺陷定位結果.該算法結合了顯著性特征和Gabor小波特征，既縮小了Adaboost分類器的搜索范圍，也提高了排除偽缺陷的能力，具有較快的定位速度和較高的準確率.實驗結果表明，該算法能獲得較好的效果，具有較高的實用價值.

鑄坯表面;缺陷檢測;顯著性區域;特征提取;Gabor小波;Adaboost分類器

作為鋼鐵材料最為重要的質量因素之一，鋼鐵鑄坯的表面質量的優劣直接影響其產品的性能和質量.由于設備和工藝等影響鋼板表面會出現不同類型的缺陷.這些缺陷不僅影響產品外觀，而且降低了產品的抗腐蝕性、耐磨性和強度等性能.因此如何在生產過程中在線檢測鋼鐵鑄坯的表面缺陷，從而控制和提高鋼鐵產品的表面質量，一直是鋼鐵生產企業非常關注的問題.

目前關于表面缺陷檢測比較有效的方法有基于對比的模糊增長方法［1］、基于SVM的顯著區域提取方法［2］和譜分析能量分割法等.但是為了快速準確地檢測出鋼板表面的實際缺陷，需要盡可能縮小檢測范圍，同時減少漏檢情況，保證在有多處缺陷的同一鋼板上至少能檢測出一處缺陷.針對快速檢測要求，選用計算神經科學中模擬視覺檢索的顯著性檢測模型，利用圖像的統計特性，通過加入可變化的彈性閾值，快速檢測出圖像中的顯著區域，并通過自動反饋修改閾值，調節顯著區域面積大小.本文主要結合在Lab顏色空間下的圖像顯著性區域和Gabor小波處理所得到的區域進行檢測，在縮小檢測范圍的同時提高檢測速率和準確率.

1 顯著性區域

首先，有必要了解一下視覺顯著性.如在圖1中，A要比其他部分更加突出，因此能夠迅速引起觀察者的注意.這種突出性就是視覺顯著性，突出性較強的A部分就是該圖像的顯著區域.心理學研究發現，那些能夠產生新異的、較強的和人所期待的刺激場景區域容易引起觀察者的注意.據此，可以將視覺顯著性劃分為2種類型:一種是基于低級視覺，由數據驅動的自下向上的視覺顯著性(bottom－up saliency)，圖2中的視覺顯著性就屬于這種類型;另一種是基于高層視覺，由知識驅動的自上向下的視覺顯著性(top－down saliency).由于這2種視覺顯著性的形成機理存在較大差異，因此有必要分別對其展開研究.本文的研究就是針對前者展開的.

圖1 視覺顯著性示例Fig.1 Example of saliency

圖像的顯著性區域檢測是計算機視覺中的挑戰性難題之一.由于依賴于顯著性區域的應用種類繁多，因此存在很多不同的顯著性區域定義和感興趣區域的檢測算法.有一類顯著性區域檢測算法關注于找出人類觀察者第一眼所注意到的固定點或對象，這類顯著性對于理解人類關注點和特定的應用(如自動聚焦)都非常重要.其他的顯著性檢測算法更加注重于檢測圖像中的單個主要對象.

Itti等［3］根據早期原始視覺系統的行為和神經網絡結構提出了一個視覺關注系統.Itti等的算法將多尺度的圖像特征組合到一個單一視覺顯著性圖中，這些多尺度的圖像特征包括6個亮度特征圖、12個彩色和24個方向特征圖.為了快速地檢測這些多尺度的圖像特征，他們僅在較為粗糙的層面上大致計算了圖像的特征圖.實際上，該方法只生成了一個很模糊的視覺顯著性區域圖.本文方法與其不同之處在于，快速生成了一個精細的并與輸入圖像尺寸相同的顯著性圖.

Goferman等［4］提出了一種基于上下文的顯著性區域算法，其目標是檢測圖像中代表某些場景的圖像區域.他們認為像素的顯著性應該由以該像素為中心的圖像塊表示或與之相關，因為這樣才反應了像素所在位置的圖像上下文信息.這樣，如果以像素i為中心的圖像塊pi與圖像中所有其他的圖像塊差異都非常大，那么可以將像素i認為是顯著的.

定義dc(pi，pj)為向量化了的圖像塊pi和pj之間在CIE Lab顏色空間中的Euclid距離，并且歸一化到［0，1］;當dc(pi，pj)對任意的圖像塊pj都非常大時，則認為像素i(圖像塊pi)是顯著的.再定義dp(pi，pj)為圖像塊pi和pj所在位置之間的Euclid距離，并且也被歸一化到［0，1］.基于上面的思想，Goferman等定義了一個衡量一對圖像塊的相似性的方法:

在Goferman等提出的方法中，只考慮K個最相似的圖像塊(如果最相似的圖像塊都明顯地不同于圖像塊pi，那么顯然圖像中的所有圖像塊都明顯地不同于圖像塊pi).因此，對于每一個圖像塊pi，在輸入圖像中根據式(1)找出K個最相似的圖像塊，并根據式(2)計算位置i處像素的顯著性.

Itti等的方法和Goferman等的方法都能有效地檢測出輸入圖像的視覺顯著性區域，但是由于在精細的原圖上直接檢測視覺顯著性圖的計算量巨大，所以他們都只制作了一個粗略檢測的視覺顯著性圖［5］.

2 顯著性區域檢測模型

本文提出的鋼鐵鑄坯表面缺陷顯著性區域的檢測模型如圖2所示.其模型總共包含3個模塊，即預處理模塊、生成顯著性圖和感興趣區域提取.首先將原始圖像進行預處理，包括濾波、圖像尺寸調整和顏色空間轉換;然后通過計算圖像中每個像素的全局對比度，繼而得到原圖的顯著性區域圖，再對顯著性區域圖進行閾值選取，提取得到具有極高顯著性的大致輪廓和區域;最后再結合Gabor小波的濾波處理結果，可以準確地標注出更為可靠的顯著性區域，并從原圖中分割出來.

圖2 鑄坯表面顯著性區域檢測的模塊流程Fig.2 The flow chat of saliency region detecting model

2.1 圖像預處理

2.1.1 高斯濾波

在鋼鐵鑄坯表面圖像采集的過程中，由于環境影響、鑄坯表面氧化、保護渣及冷卻水殘留，都會導致圖像有一定的噪聲和失真，因此源圖像需要進行濾波處理.濾波可以在空域進行，也可以在頻域進行，空域濾波常用的方法有高斯濾波、均值濾波和中值濾波法等.高斯濾波是用卷積核與輸入圖像的每個點進行卷積，最終將計算結果作為輸出圖像的濾波結果.它是一種非線性濾波法，是最常用的預處理技術，能有效地濾除隨機脈沖噪聲，但在消除噪聲的同時也會使圖像細節變得模糊，這樣無法同時保護圖像邊緣信息的完整性，使得濾波后的圖像輪廓比較模糊.由于顯著性區域算法并不完全依賴于邊緣信息，因此采用高斯平滑濾波，并且其基本思想是空間內相鄰像素變化緩慢，因此相鄰點的像素變化不會太明顯，并且由于空間噪聲沒有相互關系，這可能會造成很大的像素差.基于此原因的高斯濾波在保留信號的條件下盡量降低了噪聲的影響.

2.1.2 顏色空間轉換

Lab顏色空間是由國際照明委員會(international commission on illumination，CIE)于1976年制定的色彩模式，它用3個基本坐標L、a、b分別表示顏色的亮度(L=0表示黑色，L=100表示白色)，在紅色、品紅色和綠色之間的位置(a為負值表示綠色，正值表示品紅色)以及在黃色和藍色之間的位置(b為負值表示藍色，正值表示黃色).

Lab色彩模型不僅包含了RGB的所有色域，并且RGB不能表現的色彩都能通過Lab模型表現出來，而且這些色彩是用人的肉眼就能感知的色彩.Lab色彩模型的優點還在于它彌補了RGB模型色彩分布不均的不足，RGB模型在藍色到綠色之間的過渡色彩過多，而在綠色到紅色之間又缺少黃色和其他色彩.從RGB顏色空間到Lab顏色空間的轉換公式為式(3):

2.2 顯著性區域提取

2.2.1 顯著性區域

在實際工程中，圖像中的一個顯著性區域不是通過該區域的某些像素灰度值體現出來的，而是通過該區域與其周圍區域的對比度體現出來的，并且圖像中具有高對比度的區域很容易引起人的注意.因此，通過計算圖像中每個像素的全局對比度便可以得到每個像素的顯著性，一些文獻已經給出了計算對比度的方法［6－8］，但實現起來都比較復雜，本文采用一種簡單有效的計算對比度的方法，計算像素x的色調全局對比值如式(4):

式中:L(x)表示像素x的亮度值，HL為圖像亮度值的直方圖，VL，min和VL，max分別是圖像亮度值的最小值和最大值.同理，計算像素x在維度a和維度b的對比值的方法如式(5)和(6)所示，其中各個變量的含義與式(4)相似.

因此，利用式(7)便可計算出圖像中每個像素的顯著性.

2.2.2 選取彈性閾值

顯著性圖像統計特性往往是目標檢測的重要特征，并且通過限定研究的目標環境，這都能為鋼板表面的實際缺陷這一特定問題進行特定研究提供方便.國外眾多學者研究發現，自然圖像中存在一定的統計特性，如圖3所示，2幅自然圖像的傅里葉譜能量的分布雖然不是標準高斯分布，但二者形狀類似，且都具有低頻能量的高密度分布(很高的尖端)和存在高頻能量的可能性較高(很長的尾部)的特征［9］.

圖3 2幅自然圖像及其對應的傅里葉能量譜Fig.3 Fourier energy spectrum of two natural images

經過數據模擬發現，多幅圖像平均的傅里葉譜能量分布服從1/fα律，其中1≤α≤2，如圖4所示.同樣地，人們發現單幅圖像的傅里葉譜能量分布雖然并不較好地服從1/fα律，但是如果對其進行平滑處理，如采用局部平均即可得到平滑的傅里葉譜能量分布，結果則能夠比較好地用1/fα律來描述，如圖4所示.

圖4 單幅圖像的對數譜和多幅圖像的平均對數譜Fig.4 Logarithmic spectrum of single-image and multiimages

對于單幅圖像的傅里葉譜能量分布不能很好地服從1/fα律的現象，可以認為那些和1/fα律不相符的地方恰恰有可能是與背景有顯著差異的物體在圖像上所產生的頻譜變化.因此利用譜殘差R(f)的傅里葉逆變換S(x)來表示顯著物體所在的區域.

譜殘差R(f)中只有極少數地方具有較高能量的頻譜，這很可能對應的是顯著目標.而由S(x)求得的顯著性圖表達了不同像素的顯著程度，采用彈性閾值對顯著性圖像進行二值化處理以獲得最后的顯著目標區域［10］.如圖5所示，在對各種已有鋼板的表面樣本圖進行檢測實驗后，筆者發現閾值0.2能獲得一個普遍較好的顯著目標區域.而相較于0.2的閾值，0.1的閾值會增加顯著性區域圖像的干擾噪聲點(即非顯著性區域).閾值為0.5時雖然干擾噪聲點明顯減少，但同時丟失了過多的細節信息，這樣在后續的與Gabor小波特征融合時會產生影響.對于個別圖像，可以通過判斷顯著目標區域面積大小或者是顯著目標區域的數量來自動放大或縮小閾值.

圖5 不同圖像在不同閾值下的顯著性區域Fig.5 Saliency regions in different images under different thresholds

3 實驗結果及分析

3.1 實驗步驟及結果

實驗測試平臺選用的PC配置為Intel Core(TM)2 Duo CPU E7400 2.80GHz、2GB RAM，圖像尺寸約為840×540大小.圖6(a)是原始的鋼鐵鑄坯表面灰度圖，可以清楚地看到其右表面上有1條縱向的劃傷，以及中部附近有殘留物壓入，這類表面缺陷的危害性極大.圖6(b)是原圖經過顯著性區域處理后得到的灰度圖像，圖中縱向孔洞區域的位置顯著性特征非常明顯，由于得到的顯著性圖像進行了拉伸歸一化，使處理之后的灰度范圍變為［0，255］，所以就可以將T=0.2的閾值設定為T=50以提高運行速度.圖6(c)是原圖經過Gabor小波變換得到的圖像，由于Gabor小波變換是沿0°方向進行，因此這里需對Gabor圖像進行預處理，去除大部分微小噪聲干擾點，使縱向缺陷區域在Gabor圖上表現明顯.圖6(d)是將顯著性區域圖像和Gabor小波圖像融合后得到的結果，這里和圖6(c)中一樣，還需要對融合圖像進行去除噪聲干擾處理，這2步必須分開做且不可省略，否則微小噪點相融合之后可能成為較大的噪點且不易去除.圖6(e)是圖6(d)經過種子點生長之后并對融合圖像進行篩選(以去除微小噪點)，最后從原圖上截取出來的疑似缺陷區域，可以看出表面顯著性區域保留下來的地方不多，且縱向孔洞的缺陷區域幾乎完整地被保留下來，其余不相關的區域全部被抹去.圖6(f)則是原圖經訓練好的AdaBoost分類器檢測出來的缺陷區域，其中白色矩形框表示此處可能是存在缺陷區域的候選區域，通過與圖6(e)得到的結果比較可以看出，圖像顯著性特征算法在原圖上已經比較準確地定位出了鋼坯表面缺陷區域.

圖6 顯著性區域算法檢測表面缺陷的過程Fig.6 The steps of surface defects detection by saliency region algorithm

3.2 實際缺陷檢測結果及分析

將一組新的有缺陷的鋼坯數據樣本作為輸入放入鋼鐵鑄坯表面檢測系統中，根據檢測系統的輸出來判斷系統輸出的缺陷區域類型，并記錄下其測試結果，與真實缺陷位置做比較確認其準確性.實驗選擇了72個缺陷樣本圖像對基于顯著性區域特征改進算法的檢測系統進行了鋼鐵鑄坯表面缺陷檢測.測試結果如表1所示.

表1 鋼鐵鑄坯表面缺陷檢測結果Table 1 Testing results of the slab surface defect detection system

完成顯著性檢測之后的圖像與經過Gabor小波處理得到的圖像進行融合，通過區域生長和區域篩選之后得到可信度較高的可能缺陷區域.測試結果如表2所示(此結果含有表1中定位失敗和其他顯著性區域定位的結果).

表2 鋼鐵鑄坯表面偽缺陷排除結果Table 2 Pseudo-defect removing results of the slab surface defect detection system

通過表1、2的實驗結果可知，基于圖像顯著性特征的鑄坯表面缺陷檢測算法效果較好，這是由算法本身的特點決定的:1)鑄坯表面缺陷有很多種，僅使用單一缺陷特征難以有效地定位出缺陷區域的位置;2)有些鑄坯表面缺陷并非只有一處缺陷，直接在整幅圖上進行檢測很容易產生虛警和漏檢;3)由于該測算法在進入檢測階段之前已經對整幅圖像進行了篩選，故其對檢測環境的適應性較強，通過實驗表明其虛警率與漏檢率都較低.

4 結束語

本文提出了一種基于顯著性區域特征的改進算法來進行鋼鐵鑄坯表面缺陷檢測，并結合Gabor小波處理得到的結果來分析和篩選缺陷區域，能排除大量非缺陷的顯著性區域.實驗結果表明提出的鋼鐵鑄坯表面缺陷檢測方法可信度較高，具有較好的實用價值.

但是由于該系統對于每張輸入的樣本圖像都需要進行較長時間的顯著性區域檢測，因此后面還可以進一步對顯著性區域算法進行優化加速.而且在實際情況中有些缺陷本身不具有亮度和緯度上的顯著性特征，如何使得檢測系統能夠對這些顯著性特征不足的樣本進行較好的識別定位，也將是下一步工作的重點.

［1］MA Yufei，ZHANG Hongjiang.Contrast－based image atten－tion analysis by using fuzzy growing［C］//Proceedings of the 11th ACM Intemational Conference on Multimedia.New York，USA:ACM，2003:374－381.

［2］KO B C，KWAK S Y，BYUN H.SVM－based salient region(s)extraction method for image retrieval［C］//Proceedings of the 17th International Conference on Pattern Recognition.Washington，DC，USA:IEEE Computer Society，2004:977－980.

［3］ITTI L，KOCH C，NIEBUR E.A model of saliency－based visual attention for rapid scene analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1998，20(11):1254－1259.

［4］GOFERMAN S，ZELNIK－MANOR L，TAL A.Context－aware saliency detection［C］//2010 IEEE Conference on Computer Vision and Pattern Recognition.San Francisco，USA，2010:2376－2383.

［5］ZHAI Y，SHAH M.Visual attention detection in video sequences using spatiotemporal cues［C］//Proceedings of the 14th Annual ACM International Conference on Multimedia.New York，USA:ACM，2006:815－824.

［6］CHENG Mingming，ZHANG Guoxin，MITRA N J，et al.Global contrast based salient region detection［C］//2011 IEEE Conference on Computer Vision and Pattern Recognition.Providence，USA，2011:409－416.

［7］鐘微，謝雪梅，石光明.一種靈活的圖像頻譜分割與去噪方法［J］.西安電子科技大學學報，2007，34(6):935－938.

ZHONG Wei，XIE Xuemei，SHI Guangming.Image spectrum segmentation and de－noising based on multi－channel nonuniform filter banks［J］.Journal of Xidian University，2007，34(6):935－938.

［8］張紅梅，卞正中，郭佑民，等.感興趣區域高效提取算法［J］.軟件學報，2005，16(1):77－88.

ZHANG Hongmei，BIAN Zhengzhong，GUO Youmin，et al.An efficient approach to extraction of region of interest［J］.Journal of Software，2005，16(1):77－88.

［9］HOU Xiaodi，ZHANG Liqing.Saliency detection:a spectral residual approach［C］//2007 IEEE Conference on Computer Vision and Pattern Recognition.Minneapolis，USA，2007:1－8.

［10］畢為民，孫才新，姚陳果.基于門限值小波包變換抑制局部放電白噪干擾［J］.重慶大學學報，2003，26(6):53－55.

BI Weimin，SUN Caixin，YAO Chenguo.Wavelet packet decomposition based on entropy threshold for white－noise rejection in PD signal［J］.Journal of Chongqing University，2003，26(6):53－55.

吳家偉，男，1988年生，碩士研究生，主要研究方向為圖像處理、機器學習與生物特征識別.

嚴京旗，男，1975年生，副教授.參與并主持了多項國家自然科學基金項目.主要研究方向為圖像圖形綜合技術、可視計算、三維生物特征識別等.

方志宏，男，1968年生，副教授，博士.主要研究方向為冶金自動化、圖像處理、信號處理和電子技術的應用等.

Defect detection on a steel slab surface based on the characteristics of an image’s saliency region

WU Jiawei1，YAN Jingqi1，FANG Zhihong2，XIA Yong2，LU Minjian3
(1.Institute of Image Processing＆ Pattern Recognition，Shanghai Jiao Tong University，Shanghai 200030，China;2.Institute of Baoshan Iron ＆ Steel Co.，Ltd.，Shanghai 201900，China;3.Equipment Department of Baoshan Iron ＆ Steel Co.，Ltd.，Shanghai 201900，China)

In considering complex defect conditions in steel slab surface detection，a new defect detection method based on the saliency region was presented from the viewpoint of image processing and graphics features.First，by the processing of saliency region characteristics and Gabor wavelet filtering，the feature image was obtained，and then the characteristic regions in the two images were fused to obtain a highly reliable image of the defect region characteristics.Finally，the defect was detected by a well－trained Adaboost classifier in the fused defect region，thereby obtaining the final defect positioning result.The algorithm combines saliency region characteristics and Gabor wavelet features;it not only narrows the search range of the Adaboost classifier，but also improves the ability to exclude pseudo－defects.Consequently，it has faster positioning speed and higher accuracy.The algorithm performed well in the experiment and possesses high practical value.

steel slab surface;defect detection;saliency region;feature extraction;Gabor wavelet;Adaboost classifier

TP391.4

A

1673－4785(2012)01－0075－06

10.3969/j.issn.1673－4785.201111020

2011－11－23.

國家自然科學基金資助項目(60873137).

嚴京旗.E－mail:jqyan@sjtu.edu.cn.