低比度鋼板微小缺陷的圖像增強和分割

杜緒偉，陳 東

(青島科技大學機電工程學院，山東 青島 266061)

0 引言

鋼板在制造過程中，會產生劃傷、銹斑、翹皮、和孔洞等表面缺陷。這些表面缺陷不僅影響產品的外觀還降低了產品性能。隨著科技的進步與經濟的發展，人們對鋼制工件的需求大大增加，但隨之而來的質量要求也越來越嚴格，所以企業對鋼制工件的表面檢測越來越重視[1]。鋼板圖像中的背景、缺陷和噪聲等信息都包含在一個較小的灰度范圍內，造成圖像對比度較低，不易分割。在圖像采集過程中，還容易受到光照、鋼板自身反射等因素的影響造成圖像的灰度不均[2]。并且缺陷部位占的整體面積比例較小，不易分辨，這些都為后續有效地分析和識別缺陷增大了難度。為了克服這些因素以便更好地對缺陷進行識別與分割，本文采用先對圖像進行圖像增強以突出缺陷信息，并在此基礎上進行圖像分割，以達到缺陷部位從背景中分割出來的目的。

針對低對比度的常用圖像增強方法有灰度變換法、同態濾波法和直方圖均衡化法等[3-5]。灰度變換法是通過一定的點運算修改圖像的像素灰度來擴展圖像的對比度，分為線性灰度變換、非線性灰度變換2大類，非線性變換的增強效果通常比線性的增強效果好，但有變換函數困難、通用性較差等問題；同態濾波法通過映射原有信號轉換到線性濾波器的不同域進行運算，運算完成后再映射到原始域，可以去除乘性噪聲使亮度變得均勻、細節得到增強，但同態濾波也會帶來過增強及對高光區增強效果差的問題；直方圖均衡化法是通過擴展輸入圖像直方圖的動態范圍來實現增強對比度的功能，這種方法雖然對背景和缺陷都太亮或者太暗的圖像效果不錯，但是它不僅可能會降低有用信號的對比度，還會增加噪聲的對比度。

針對同態濾波增強效果不明顯的問題，本文利用小波變換的“變焦”特性使得根據不同的特性得到不同的局部化特征，對低頻部分進行光照校正，對高通部分進行高通濾波使微小缺陷從背景中突出[6]。采用小波-同態濾波增強圖像后，對其進行圖像分割得到缺陷區域，選擇一個圖像分割方法也尤為重要。常見的Sobel算子、Roberts算子、Prewitt算子和Kirsch算子對低對比度圖像的邊緣檢測效果也并不優異[7-10]。Canny算子目前在邊緣檢測方面仍然得到廣泛的運用，但它的分割效果容易受到閾值的影響[11]。針對這一問題，本文采用粒子群算法優化最大類間方差法(PSO-Otsu)確定最佳閾值，并結合Canny算子進行鋼板微小缺陷的分割。

1 圖像增強

1.1 同態濾波

同態濾波是一種在頻域中將頻率過濾和灰度變換結合起來的圖像處理方法，在照明不均引起的圖像降質方面用得很多。其頻域處理的基礎是圖像的照度反射模型，利用圖像的灰度范圍的調整減輕動態范圍過大和照度不均對圖像質量的影響。由于它是將圖像中所有的像素都進行了處理, 所以它不僅可以保持較亮區域的信息，還可以增強較暗區域的信息，因此具有全局性。

一般圖像f(x,y)可以看做由照射分量i(x,y)和反射分量r(x,y)的乘積表示，即

f(x,y)=i(x,y)·r(x,y)

(1)

0

其中，i(x,y)的頻譜在低頻區域，r(x,y)的頻譜在高頻區域。因為照射分量的性質由光照條件來決定，所以其在空間上的變化比較緩慢；反射分量由物體的表面特性來決定，用來反映圖像的細節。同態濾波就是為了消除照度不均的影響，并且在保證不損失亮區信息的同時增強暗區的細節信息。由于照射分量和反射分量的乘積是非線性的，所以將式(1)進行對數及傅里葉變換便可得經同態濾波增強后的圖像：

g(x,y)=exp(i(x,y)+r(x,y))=

i0(x,y)r0(x,y)

(2)

增強后的照射分量和反射分量分別為i0(x,y)，r0(x,y)。同態濾波的流程如圖1所示。

圖1 同態濾波流程

1.2 小波變換

小波變換是一種新的變換分析方法，作為應用數學和工程學科中一個迅速發展的新領域，小波變換可以覆蓋整個頻域，同時具有多尺度分析能力，可以極大地減少或去除所提取的不同特征之間的相關性，可以多分辨率地分析信號，在圖像處理領域被廣泛應用。

由于圖像信號一般用二維信號來描述，因此采用二維離散小波來對圖像進行分解，根據Mallat快速分解算法，可以將1幅圖像f(x,y)表示為

(3)

圖2 圖像二級小波分解示意

由于低一維的低頻系數進行小波分解，分解的結果是某一維的高頻系數，通過該維的小波分解又可以得到高一維的小波系數。所以同一維的高頻系數的頻率高于低頻系數，高維高頻系數的頻率低于低維高頻系數的頻率。通過低頻部分反映了圖像的基本面貌，細節特征則可以通過高頻部分反映出來。

1.3 特征提取

經同態濾波處理過的圖像，雖然可以使亮度得到增強并且得到較均勻的亮度。但由于不能考慮到空域的局部特征，當處理低對比度的微小缺陷圖像時，效果并不是很理想。同態濾波算法中，使用傅里葉變換來進行圖像處理，但是傅里葉變換的濾波是面對整幅圖像的，只能反映頻率在信號中的總強度，會刪除一些有用信息[12]。與傅里葉變換相比，小波變換能夠更加充分地了解頻域的各種特性和圖像的空間域，并且可以利用空間域和頻域的“變焦”特性，根據其不同的分辨率、頻率和方向特性得到任一時間域和頻率域的局部化特性[13]。將小波變換與同態濾波相結合，便可以利用小波變換的空域和頻域的“變焦”特性，對低頻成分進行非均勻光照校正，對高頻成分進行高通濾波以突出表面缺陷特征。經過在MATLAB 2019b上進行仿真實驗，得到該改進算法在圖像增強的效果上明顯優于經典算法。結合小波變換的同態濾波流程如圖3所示。

圖3 小波-同態濾波流程

為驗證本文缺陷分割算法的優異性，增加了直方圖均衡化、線性灰度變化法、非線性灰度變換冪 律法、同態濾波和本文所運用的小波-同態增強方法。不同算法的圖像增強效果如圖4所示。

圖4 不同算法的圖像增強

2 表面缺陷分割

2.1 最大類間方差法

最大類間方差法(Otsu)算法是憑借閾值展開圖像分割，通過圖像目標與背景之間最大方差的計算進行動態獲取來得到最佳閾值[14]。若圖像I(x,y)有L個灰度級[0,1,…,L-1],灰度級為i的像素點有ni個，那么像素點的總個數為N=n1+n2+…+nL，則各個灰度值概率pi=ni/N。以閾值k作為界限將圖像劃分為2個區域：C0為灰度級為[0,1,…,k]的像素組，C1為灰度級為[k+1,…，L-1]的像素組。C0、C1產生的概率和平均值分別為：

(4)

(5)

(6)

(7)

ω0ω1(μ1-μT)2

(8)

2.2 PSO-Otsu算法

粒子群算法是一種模仿鳥群的覓食行為的算法[15]。在粒子群算法中，每個優化問題的潛在解都被看做為粒子，使其在約束條件下進行自動尋優。它的基本原理如下所述。

假設在1個D維空間的求解空間中，有N個粒子組成的1個群落，算法要做的就是在D維空間中通過更新速度和位置來逐步逼近最優解。其中，第i個粒子表示為1個D維向量Xi=(xi1,xi2,…,xiD)；第i個粒子的速度為Vi=(vi1,vi2,…,viD)；第i個粒子能搜索到的最優個體位置記為Pbest=(pbesti1,…,pbestiD)；整個粒子群能搜到的最佳全局位置記為Gbest=(gbesti1,…,gbestiD),i=1,2,…，N。粒子群體根據式(9)和式(10)更新自己速度和位置。

vid=ω·vid+c1r1(pid-xid)+c2r2(pgd-xid)

(9)

xid=xid+vid

(10)

c1和c2為學習因子；r1和r2為[0,1]之間的均勻隨機數。

粒子群優化最大類間方差法(PSO-Otsu)是利用PSO在Otsu的基礎上進行最佳的閾值搜索，得到最佳的閾值后結合Otsu分割圖像，執行過程如圖5所示。由Otsu算法的分割過程可知，其算法本質就是找到1個可以得到最大值的灰度值t。由于原始算法存在計算量大、耗時多等問題，本文將PSO算法應用在Otsu中，利用Otsu里的各個參數匹配到PSO算法里來進行迭代。將類間方差σ2作為PSO的適應度函數，閾值更新速度作為粒子的飛行速度，在PSO中搜索可以使σ2得到最大值的灰度值。

圖5 PSO-Otsu算法流程

2.3 Canny邊緣檢測算法

由于Otsu法對噪聲和目標物的大小比較敏感，對于對比度較低的工件進行圖像分割時，單一使用Otsu法難以取得較好的結果[16]。Canny算子在抗噪聲和邊緣精確定位方面效果較好，Canny算法采用高斯函數濾波器來平滑圖像，并對圖像矩陣執行卷積運算，實現圖像的消除噪聲和平滑處理[17]。高斯函數的表達式為

(11)

平滑后的圖像表達式I(x,y)為

I(x,y)=G(x,y)·f(x,y)

(12)

f(x,y)為原圖像的函數；σ為高斯濾波器分布參數。

Canny算法利用2×2的模板來計算圖像梯度。用X、Y方向像素的一階偏導來確定圖像的梯度和幅值。

用X、Y方向的偏導數分別與圖像f(x,y)進行卷積運算，得到輸出公式：

(13)

(14)

令A(i,j)和?(i,j)來代表點(i,j)處的梯度幅值和方向，則梯度幅值為

(15)

梯度方向為

(16)

2.4 融合算法

由于Canny算子是在2×2的鄰域內進行計算，處理對比度較低的工件時對噪聲過于敏感，導致容易丟失邊緣信息并且易增加過多干擾信息[18]。所以本文利用基于小波變換的同態濾波對圖像進行預處理，以提高圖像對比度，使缺陷部分和背景的區分更加明顯。

在處理圖像過程中，需要分割的缺陷目標和背景的大小差異性過大，并且受到光照及其他外部條件的影響，直接用Canny算法檢測時，分割效果并不優異。當閾值過高時在清除噪聲的過程中會過度清除掉圖像的邊緣信息和漏掉微小缺陷信息；當閾值過低時，檢測會受到噪聲的干擾，故利用PSO-Otsu得到的閾值作為Canny算子的高閾值來檢測缺陷邊緣，避免因為閾值過低、過高造成的影響。

3 實驗結果及分析

鋼板表面缺陷視覺檢測系統主要由硬件系統和軟件系統組成。硬件系統主要由1臺線陣CMOS相機、1個LED光源、工業計算機和編碼器組成。系統結構如圖6所示。其中，LED光源將被測鋼板表面照亮，編碼器觸發線陣CMOS相機采集鋼板的表面圖像，系統根據采集到的圖像對相機的曝光時間進行調節，保證圖像灰度值的均勻性。

圖6 圖像檢測系統結構

系統使用相機型號為DALSA P4-CM-08K070工業線陣CMOS相機。該相機的分辨率為8 192×2，像元尺寸為7.04 μm×7.04 μm，最高頻率為140 kHz，本系統選用了50 mm的鏡頭。由1.3節可知，本文選擇的小波-同態圖像增強算法可以有效地增強工件的低對比度問題，所以采用圖像增強后的結果圖來進行圖像分割。圖7和圖8分別為圖像增強前和增強后的缺陷檢測，并對比了Otsu閾值法、Canny算子和本文PSO-Otsu優化閾值的改進Canny算法的檢測結果。

圖7 圖像增強前的缺陷檢測

圖8 小波-同態濾波算法增強后的缺陷檢測

由圖7和圖8可知，Otsu閾值法在圖像增強前和圖像增強后都不能有效地把缺陷和背景分離出來；傳統Canny算子由于沒有找到合適的閾值造成缺陷被噪聲所淹沒。所以在處理低對比度的圖像時，Otsu閾值法和傳統Canny算子都不能有效地解決圖像分割問題。為了進一步校對對比度是否增強對于圖像分割的影響，截取圖7和圖8的缺陷區域進行對比得圖9。

圖9 細節對比

對比圖9b和圖9c可知，本文算法可以將缺陷有效地分割出來，但是未經小波-同態濾波增強的分割圖像雖然被檢測出來，但圖像封閉性較差。經過小波-同態增強后的圖像缺陷的細節信息更加明顯且圖像的封閉性較好。為驗證小波-同態濾波后的圖像分割效果，增加2組圖像進行對比試驗如圖10和圖11所示。

由圖10和圖11可知，本文算法無論圖像增強與否，都可以將缺陷從背景中分離出來，但是經過小波-同態濾波進行對比度增強之后的圖像分割，可以得到的缺陷細節信息更加豐富，缺陷輪廓也更加封閉。

圖10 第1組分割對比

圖11 第2組分割對比

4 結束語

當處理低對比度工件的表面微小缺陷時，不進行圖像預處理，直接運用Otsu、Canny算子和本文的改進分割算法等圖像分割方法，都不能使缺陷和背景及噪聲有效的分離。當對圖像進行小波-同態圖像增強后增強了圖像對比度，傳統Otsu算法雖然處理一般圖像時具有良好的分割效果，但當缺陷較小時并不能有效地將缺陷和背景進行分離；傳統的Canny算子由于固定的雙閾值，適應性不強，其2×2的鄰域模板會對噪音比較敏感，容易丟失邊緣信息且易增加過多干擾信息，致使檢測精度過低。

運用PSO-Otsu結合Canny算法可以使微小的缺陷和背景有較好的分離效果，也避免被噪聲干擾的問題，對低對比度工件的微小缺陷檢測具有較好的效果。本文的下一步工作主要是針對分割出的微小缺陷進行識別，利用機器學習方法完成對缺陷的分類和評級。