基于噪聲估計的鋼材表面圖像增強與缺陷檢測

陳波，朱英韜

1. 武漢科技大學 武漢科大自控系統有限公司，湖北 武漢 430081

2. 武漢科技大學 信息科學與工程學院，湖北 武漢 430081

得益于其快速有效且節省成本的優勢，基于機器視覺的鋼材表面圖像缺陷檢測方法[1-2]應用越來越廣泛，然而在利用工業相機對鋼材表面圖像進行采集時，光學系統的不穩定、環境光的影響、鋼材表面反光等因素都會導致采集到的圖像光照不均、對比度很低且帶有大量噪聲。此類低質量的圖像給缺陷分割和識別帶來了很大的困難，為此在進行缺陷檢測前對鋼材表面圖像進行光照均衡化和增強非常必要。

基于直方圖均衡化[3-4]是低光照低對比度圖像增強的經典方法，然而這類方法往往需要經驗地設置閾值參數且操作復雜。基于同態濾波[5-6]是將像素域變換和頻域濾波有效結合處理的一類圖像增強算法，此類方法首先考慮在頻域處理圖像的照度，然后對亮度分量進行動態范圍壓制并調整對比度以獲得高清晰度的圖像，但存在過度增強，高亮區域壓縮不夠等問題。此外，基于視網膜大腦皮層理論（retina + cortex, Retinex）模型[7-8]的方法也是低光照低對比度圖像增強的常用方法。Retinex 模型假設拍攝設備獲得的圖像是由入射光（光照分量）和反射光（反射分量）的相互作用形成。此類方法只對光照分量進行分離就可以單獨調整圖像的亮度信息而不影響其他分量，但這種方法計算復雜度較高，且容易在像素飽和處產生顏色擴散和光暈效應。基于深度學習的方法[9-10]是近年來比較火熱也是效果最好的方法，然而此類方法依賴于準確的模型建立和大量的訓練樣本，且訓練時間較長，缺少理論性分析，實踐應用并不普及。

上述介紹的算法都取得了較好的效果，但是這些方法都忽略了一個重要的問題，即低光照低對比度的圖像往往被大量噪聲所污染，這些方法都對噪聲敏感，特別是在噪聲水平較高的時候算法性能急劇下降。為了解決這一問題，本文提出了一種基于噪聲水平估計的鋼材表面圖像分解與增強算法。最后使用基于Canny 邊緣檢測[11]和基于大津算法（nobuyuki Otsu method, Otsu）[12]2 種分割算法對增強的鋼材表面圖像進行缺陷檢測。實驗結果表明本文方法無論是在圖像增強還是缺陷檢測方面的性能都優于最新的方法。

1 基于噪聲水平估計的圖像分解

使用工業相機采集到的鋼材表面圖像往往光照不均，對比度低且帶有大量噪聲。一般情況下，直接改善圖像的光照也會放大噪聲，這會增加噪聲抑制或去除的難度。通過分解圖像的不同結構信息，可以在基礎層（圖像結構信息）中調整亮度，在細節層（圖像細節信息和突出的缺陷）中實現噪聲抑制。在本文中沒有直接去除細節層，而是在細節層實現了噪聲抑制和細節增強。首先，輸入的低光照低對比度鋼材表面圖像I(x,y)（RGB 三通道分別處理）可以看作是基礎層Ib(x,y)和細節層Id(x,y)的疊加：

然后，基于文獻[13] 中提出的總變分（total variation, TV）正則化，通過最小化以下目標函數得到基礎層：

該目標函數包括2 項：第1 項是與紋理成分相適應的差分項，用于保留有意義的結構；而第2 項是基于總變差的正則化項，這將限制圖像細節在細節層。 ?為梯度運算符， λ在本文設置為全局噪聲估計（ σ）的2 倍，即λ=2σ。設置λ=2σ的主要目的是確保噪聲和部分高頻細節（如缺陷）被劃分到細節層。因此，可以在細節層中實現噪聲抑制和細節增強，而不受低頻信息的干擾。

全局噪聲估計 σ可由文獻[14]計算為

式中：*為卷積運算符；W和H分別為圖像I(x,y)的寬度和高度；N為卷積模板，定義為

利用式（3），可以粗略估計高頻分量的大小，并用于確定式（2）中的正則化參數。因此，本文提出的方法能夠自適應地確定將被分配到細節層中的高頻分量。通過求解式（2）將得到包含鋼材表面圖像主體結構的基礎層。然后通過求殘差可以簡單地獲得細節層為

圖1 示出了具有全局噪聲估計的圖像分解的一個示例，其中原始圖像是具有劃痕的鋼材表面圖像。從圖1 可以清楚地看到亮度信息主要被分離到基礎層，而細節層中則出現了細節和噪聲。因此，基礎層中的亮度調整不會放大細節層中存在的噪聲。另一方面，與亮度分離的細節層將促進噪聲在基礎層的抑制。對于圖1，細節層中3 個通道的噪聲水平分別為σR=5.117、σG=4.221、σR=5.128。

圖1 基于全局噪聲估計的TV 正則化圖像分解

2 鋼材表面圖像增強

通過TV 模型的分解，可以獲得一個低光照低對比度的結構分量即基礎層Ib(x,y)和一個細節分量即細節層Id(x,y)。本文目的是對基礎層進行光照均衡化，對細節層進行噪聲抑制并保留圖像的細節信息。為了得到一個較為平滑且光照均衡的基礎層，本文利用Retinex 模型將基礎層分解成光照分量和反射分量并分別增強，再利用高斯平滑估計細節層的增強權重并抑制多余的噪聲以獲得一個高信噪比的細節層；最后將增強后的基礎層和增強后的細節層以一個倍數相加得到最終的高質量圖像。

2.1 增強基礎層

為了使用Retinex 模型，本文將基礎層RGB圖像Ib(x,y)轉換到HSI 顏色空間，該空間可以更準確地描述圖像的色調（H）、飽和度（S）和強度（I）的變化，該模型只處理強度層I。在本文中，使用Ii(x,y)描述強度層I。Ii(x,y)可以被分解為光照分量L(x,y)以及反射分量R(x,y)，根據Retinex模型：

通常情況下，光照分量由底層圖像的動態范圍決定，而反射分量則取決于底層圖像中目標的內在特征。式（4）一般轉換為對數域，使乘法變成加法。光照分量可以通過多種方法得到，最常見的就是基于低通濾波器，既要保持邊緣又要保證平坦區域的平滑，為此，本文采用保邊效果優異又快速的引導圖像濾波器（guided image filter,GIF）[15]來提取光照分量為

式中GIF(·)表示引導圖像濾波器[15]。反射分量為

為了統一和方便，將光照分量重新定義為Ll(x,y)=L(x,y)，反射分量重新定義為Rl(x,y)=lg(R(x,y))。

2.1.1 增強光照分量

通常，基于光照-反射模型的方法是在不考慮光照分量的情況下提取并增強反射分量。這種處理導致灰度之間缺乏協調，并產生顏色失真。為了解決這個問題，Nuri 等[16]提出了將光照分量與反射分量一起增強的方法。基于此思想，本文通過非線性拉伸Sigmoid 變換處理光照分量，在文獻[17]中指出，Sigmoid 變換具有銳化圖像、突出局部細節、拉伸圖像對比度的能力。非線性拉伸Sigmoid 變換為

式中：Lsig(x,y)為自定義的Sigmoid 非線性函數，其范圍為[0，1]；rmin和rmax分別為反射分量的最小值和最大值。值得注意的是，式（5）有2 個重要參數α 和 β，其中參數 α控制圖像的增強方式，參數 β控制對比度增強。一般來說，一個較大的 α可以在很大程度上增強圖像。另一方面，一個較小的 β可以增強暗區域的對比度，并且一個較大的 β可以增強亮區域的對比度。受文獻[16]啟發，下面給出α 和 β的取值范圍為

針對本文的數據集[18]，參數 α和 β分別取2 和0.004。增強后的光照分量為

式中：Ll(x,y)為初始光照分量，Le(x,y)為增強后的光照分量。

2.1.2 增強反射分量

眾所周知，人眼對高亮度差異的敏感度很低，但對低亮度的微小差異很敏感。因此，伽馬變換通常用于增強反射分量：

式中：c為常數；Rl(x,y)為原始反射分量；當γ<1時伽馬變換會拉伸低灰度區域，并且壓縮高灰度區域；當γ>1時伽馬變換會增強高灰度區域。受文獻[19]啟發，c和γ的取值范圍分別為c∈[0.15,0.65]，γ ∈[0.5,1.5]，在本文中，選擇c=0.3和 γ=0.6。

通過對光照分量和反射分量進行反對數處理可以得到增強后的圖像，即HSI 圖像的強度層I。新的HSI 圖像由增強后的強度層I、原始色調層H 和原始飽和度層S 組成。然后將增強后的HSI 圖像轉換為RGB 圖像，得到最終的基礎層的增強圖像Ib_e(x,y)。

圖2 示出了對基礎層增強后的對比圖，其中原始圖像是含有斑塊缺陷的鋼材表面圖像。從圖2 可以看出經過本文方法增強后的基礎層比原圖和原始基礎層光照更均衡，特別是圖像左半部分的暗區與缺陷很好地分離，缺陷被凸顯出來，即使對缺陷作分割操作也能被很好地提取出來。

圖2 基礎層的增強對比

2.2 細節層噪聲抑制

低光照低對比度鋼材表面圖像通常會受到嚴重的噪聲污染，尤其是在使用低質量相機時。為了提高圖像的質量，噪聲抑制是一個必要的步驟。在本文中，采用了噪聲抑制而非去噪的策略來抑制噪聲并保留細節。此外，在細節層進行噪聲抑制，在一定程度上避免了低頻信息的干擾。考慮到噪聲具有平穩的特性，為此假設具有最低局部能量的區域代表圖像的噪聲水平，因為具有最低能量的區域通常是主要包含噪聲的平滑區域（如天空）。相反，其他能量較高的區域應該是局部細節和噪聲的結合。

因此，本文使用細節層的局部能量來估計細節保留的權重ω(x,y)為

式中：*為卷積運算符；G(x,y)為高斯濾波器，定義為

本文取高斯標準差δ=21，如式（7）所定義，一個較小的權重ω(x,y)表示點(x,y)將位于平滑區域中，該區域只有噪聲，不包含任何圖像細節，應被抑制。相比之下，一個非常高的權重ω(x,y)表示點(x,y)可能位于包含細節的區域中，應予以保留。因此，可以通過在細節層中實現細節保留的同時對噪聲進行抑制：

圖3 示出了對細節層進行噪聲抑制后的對比圖，其中原始圖像為帶有劃痕的鋼材表面圖像。從圖3 可以看出基于全局噪聲水平估計分解的細節層包含大量的噪聲和缺陷的輪廓信息，通過對噪聲的抑制，大部分噪聲被去除掉，并且細節信息被很好地保留下來，噪聲抑制后的細節層非常干凈清晰。

圖3 細節層的噪聲抑制對比

2.3 重構最終的圖像

通過基礎層和細節層對輸入圖像進行處理，得到基礎層的亮度增強圖和細節層的噪聲抑制細節圖。最后，根據處理后的基礎層和細節層可以得到最終的結果為

式中θ用于平衡細節增強和噪聲抑制。通過像素歸一化的后處理，得到最終的低光照低對比度鋼材表面圖像增強結果圖。更多的增強結果可在實驗部分得到。

3 實驗結果與分析

為了驗證所提方法的有效性，本文在東北大學（NEU）鋼材表面缺陷數據庫[17]進行了測試，該數據庫收集了熱軋鋼帶的6 種典型表面缺陷，即軋制氧化、斑點、開裂、點蝕表面、內含物和劃痕。該數據庫的NEU-CLS 部分包含1 800 張大小為200×200的圖像，即6 種不同類型的典型表面缺陷各300 個樣本，NEU-DET 部分是對這些圖像缺陷位置的標記。所有實驗均在MATLAB 2019a環境下進行。本文方法參數設置為：式（5）中α=2 、β=0.004；式（6）中c=0.3、 γ=0.6；式（8）中δ=21；式（9）中θ=5。對比方法參數設置均為原文獻推薦的參數。

3.1 鋼材表面圖像增強

在本節中，對比了經典的圖像增強算法，分別為基于直方圖均衡化的方法[4]、基于同態濾波的方法[6]和基于Retinex 模型的圖像增強方法[8]。

圖4 是各種方法的增強示例，其中的原始圖像含有斑點缺陷和氧化缺陷。從圖4 可以看出原始圖像較暗，基于直方圖均衡化、基于同態濾波和基于Retinex 模型增強后的結果并不理想，不僅出現局部的過度增強，還含有大量的噪聲，導致增強后的圖像較為模糊，特別是圖像左半部分的灰度被過度拉伸，導致缺陷的紋理被淹沒，而本文方法則很好地把缺陷都凸顯出來，并且信噪比較高。

圖4 各種增強方法對比

圖5 是一個劃痕的增強示例，可以看到基于直方圖均衡化的方法過度地增強了亮度，導致缺陷和背景難以分割，基于同態濾波和基于Retinex模型效果較好，但是相比于本文方法沒有把缺陷增強，作缺陷檢測的時候難于分割背景和缺陷。

圖5 各種增強方法對比

為了客觀地展示本文方法的圖像增強性能，本文還根據不同的性能指標[20]比較了各種方法的增強性能。這些度量是：1）新添加的可見邊的比率e=(nr-n0)/n0，其中n0和nr表示原始和增強圖像中可見邊集的基數。因此，它測量了增強前后可見邊緣的對比度變化。2）可見邊的歸一化梯度平均值其中表示增強圖像中所考慮缺陷的可見性水平，L0i表示原始圖像中所考慮缺陷的可見性水平。3）飽和黑色或白色像素的百分比 σ。更大θ 和或更小的σ，表明更好的增強效果。表1 是不同方法性能的平均值。

表1 各種增強方法的平均性能

從表1 可以看出，本文方法在增強后的可見性優于基于直方圖均衡化、基于同態濾波和基于Retinex 模型的方法，并且飽和像素的比率低于其他方法。

3.2 鋼材表面圖像缺陷檢測

為了全面地展示所提增強方法在缺陷檢測方面的性能，本文對比了沒有進行增強的鋼材表面圖像缺陷檢測和利用3.1 節的方法增強后的鋼材表面圖像缺陷檢測。本文所用到的圖像分割方法為基于Canny 邊緣檢測的方法[11]和基于Otsu 的方法[12]。

基于自適應Canny 邊緣檢測的方法[11]首先對圖像的梯度進行非極大值抑制，然后使圖像梯度值與Canny 算子的高閾值和低閾值進行比較，若圖像中某個像素位置的梯度值大于高閾值時，則該像素值被標記為邊緣像素。若圖像中某個像素位置的梯度值小于低閾值時，則該像素被去除。

基于閾值優化的Otsu 方法[12]首先使用頂帽變換和同態濾波對常規缺陷和低對比度缺陷去光照不均處理，然后對缺陷特征相對較明顯的常規缺陷選擇Sobel 算法進行邊緣檢測。對于特征相對不明顯的低對比度缺陷采用基于Otsu 確定閾值的Canny 算法進行分割。

圖6 是使用Canny 邊緣檢測對圖4 進行處理的結果對比，可以看出對原始圖像，基于直方圖均衡化方法、基于同態濾波方法增強后的圖像進行檢測的效果不理想，只能檢測出一小部分缺陷，而經過基于Retinex 模型和本文方法增強后的圖像可以檢測出更多的缺陷，且本文的方法檢測出來的缺陷更全面。

圖6 Canny 邊緣檢測對圖4 處理的結果比較

圖7 是使用Otsu 算法對圖5 進行閾值分割的結果對比，可以看出直接對原始圖像進行分割會使缺陷和背景融合在一起；由于直方圖均衡化過度增強圖像，導致缺陷無法被分割開來；同態濾波方法和Retinex 模型能較好地檢測出缺陷，但仍然將非缺陷區域即圖像上部分也當作缺陷進行二值化；得益于在細節層對噪聲的抑制，對本文方法增強后的圖像進行分割可以檢測出只含較少背景且干凈的缺陷。

圖7 Otsu 算法對圖5 處理的結果比較

為了更客觀地比較每種方法的檢測性能，本文對NEU-CLS 數據集進行增強與檢測，并與NEUDET 標記數據集進行對比。檢測的準確率為準確檢測的圖像數量與總圖像數量的比值，結果如表2 所示，可以看到經過本文方法增強后的鋼材表面圖像無論采用Canny 邊緣檢測還是Otsu 算法檢測，均比其他方法至少提高15%的準確率。

表2 各種方法對缺陷檢測的準確率%

4 結論

由于設備或環境的影響，利用工業相機對鋼材表面圖像進行采集時難免光照不均且易引入噪聲。為了解決這一問題，本文提出了一種基于噪聲水平估計的圖像分解并增強的方法，首先對分解后的基礎層利用Retinex 模型再分解成光照分量和反射分量并分別增強使光照均衡化。對分解后的細節層進行噪聲抑制后再重新添加回基礎層以得到高質量的圖像。最后使用最新的基于Canny邊緣檢測和基于Otsu 圖像分割方法對增強后的鋼材表面圖像進行缺陷檢測。實驗結果表明無論是低光照低對比度增強還是缺陷檢測，所提方法的性能均優于對比方法，且經過本文方法增強后的圖像更易于后續的其他處理如缺陷識別與缺陷分類。