基于形態學增強和圖像融合的板帶鋼缺陷檢測

王 凡,彭國華,謝昊伶

(西北工業大學理學院,陜西 西安 710000)

1 引 言

隨著冷軋帶鋼技術的快速發展,板帶鋼產量日益增加,但是質量仍然不能完全滿足市場需求,其中影響質量的重要因素之一是板帶鋼表面缺陷。目前板帶鋼表面缺陷的主要檢測方法以人工目視和頻閃儀檢測為主,但是由于軋制速度快,導致其無法滿足在線生產的需求[1]。缺陷檢測算法的關鍵是在精確提取缺陷的同時抑制噪聲并且不受光照干擾。

數學形態學的運算是非線性的,幾何特性比較明顯,可以在提取完整的目標邊緣的同時抑制噪聲。文獻[2]針對板帶鋼缺陷的種類、方向和噪聲等問題,采用修正的抗噪膨脹腐蝕性邊緣檢測算法,可以提取板帶鋼中的微小缺陷,但是算法的魯棒性較差。文獻[3]針對噪聲采用改進多尺度形態學的帶鋼缺陷圖像邊緣檢測算法,具有較強的抗噪性。但是上述提出的算法無法解決光照不均問題,文獻[4]針對光照問題提出基于形態學商圖像的光照歸一化算法,能有效增強光照不均圖像。本文采用改進的多結構形態學熵圖像增強算法和多結構形態學邊緣增強算法分別對板帶鋼缺陷圖像增強,最后對圖像進行加權融合。本文算法具有較強的抗噪性,可以有效地提取光照不均圖像中的缺陷。

2 形態學增強

2.1 灰度形態學的基本運算[5]

灰度形態學膨脹和腐蝕運算即以結構元素e(i,j)為模板,分別搜尋圖像I(x,y)在結構基元大小范圍內的灰度和的極大值和灰度差的極小值,膨脹記作I?e,腐蝕記作I⊙e;而開運算則是對圖像先腐蝕后膨脹,記作I∨e;閉運算是對圖像先膨脹后腐蝕,記作I∧e。開運算可以消除孤立的毛刺,也可以濾除比結構元素小的正脈沖噪聲。閉運算可用于填充目標之間狹小的裂縫,同樣可以濾除比結構元素小的負脈沖噪聲。

2.2 多結構形態學熵圖像增強算法

板帶鋼在軋制過程中由于軋機振動和軋制環境等因素的影響,采集到的缺陷圖像中可能會存在光照不均和噪聲,根據圖像特征建立板帶鋼缺陷圖像的數學模型[4]:

I(x,y)=Ir(x,y)·Ig(x,y)+ρ(x,y)

(1)

其中,I(x,y) 為原圖像;Ir(x,y)為校正圖像;Ig(x,y)為圖像的背景;ρ(x,y)為噪聲。

根據式(1)可知,首先需對原圖像進行濾波去噪,其次提取缺陷圖像的背景Ig,最后采用無噪圖像和圖像背景作商得到校正圖像Ir。文獻[4]采用閉運算提取去噪圖像的背景,該算法只適用于目標像素值小于背景像素值的圖像。由于板帶鋼圖像中缺陷的像素值有可能比背景的像素值大,所以本文采用開閉運算相結合的方法來提取圖像背景。除此之外,開運算和閉運算結合可以有效濾除正負脈沖噪聲。

為了防止濾波時模糊圖像目標的細節并同時能獲得更好的去噪能力,本文首先采用0°,45°,90°,135°這4個方向的線性結構元素ei(i=1,2,3,4) 和結構元素e按照式(2)濾除圖像中的噪聲。其次選取較大的結構元素按式(3)消除目標(缺陷)提取圖像背景,但是結構元素太大會導致提取的背景圖像出現較嚴重的塊狀效應,本文選擇結構元素g。定義的結構元素如下:

(2)

Ig=I∧g∨g

(3)

根據光照不均的數學模型,得到圖像的增強公式如下:

(4)

由于板帶鋼缺陷的幾何特性,以及結構元素g選取的局限性,對于缺陷形狀較小的圖像,本文算法得到了很好的實驗結果。但是當缺陷的形狀大于結構元素g的尺寸時,提取的圖像背景效果較差,導致多結構商圖像增強效果不理想。針對該算法中存在的弊端,本文采用多結構形態學邊緣增強算法提取圖像中的帶鋼缺陷。

2.3 多結構形態學邊緣增強

傳統的邊緣檢測算子利用單尺度形態學梯度變換來增強目標的邊緣,提取的目標邊緣不完整[6]。本文采用上述結構元素ei(i=1,2,3,4) 對圖像Ie進行形態學梯度邊緣增強,最后按式(5)對不同方向的增強圖像進行均值加權融合。

(5)

該算法能準確提取形狀較大且對比度較明顯的缺陷,可以彌補熵圖像增強算法的不足,而且抗噪能力強。

3 圖像融合

針對上述兩種形態學增強算法得到的實驗圖像,按公式(6)進行加權融合,其流程如圖1所示。

G=(n-1)·IR+n·IE

(6)

其中,IR和IE是分別對增強圖像R,E歸一化處理后得到的圖像;n為融合系數。

圖1 增強圖像的融合流程圖

基于光照可將圖像分為兩類,即光照均勻和光照不均的缺陷圖像。光照均勻的圖像背景像素值分布較均勻,相反光照不均的圖像背景像素值分布不均勻。根據兩種圖像背景像素值分布的特點,本文采用熵來判斷圖像光照均勻性,公式如下[7]:

(7)

其中,Pi表示圖像中像素值為i的像素在圖像中出現的頻率。當圖像較均勻時,熵也較大,相反熵較小。

由于熵圖像增強會出現過增強的情況,即將背景中的細節增強導致像素均值增大,而對于嚴重光照不均的圖像,多結構邊緣增強會檢測出強光區域的邊緣,從而導致像素均值增大,所以本文根據像素均值比和背景熵確定融合系數。首先按式(8)、(9)對增強后的圖像進行歸一化處理,然后根據公式(10)計算圖像的像素均值比r,其中M,N分別表示圖像的高度和寬度:

(8)

(9)

(10)

首先根據實驗經驗確定熵H的閾值T1和像素均值比r的閾值T2,最后根據閾值T1和T2確定融合系數n。

權系數n的確定流程:

Step1:計算圖像背景Ig的熵H;

Step2:計算IR與IE的像素均值比r;

Step3:確定n

1)當H>T1時,n=0.5;

2)當HT2時,n=0;

3) 當H

為了便于缺陷的識別及分類,需對融合圖像進行二值化處理。首先求融合圖像每行每列的最大像素值點[8],其次描繪出每行最大像素值點的曲線圖,按照同樣的方法描繪出每列最大像素值點的曲線圖如圖2所示,最后根據曲線圖選取圖像分割的閥值T。

圖2 閾值選取示意圖

4 實驗結果與分析

給原圖像中加入密度為0.001的椒鹽噪聲,現采用MATLAB 2016b進行試驗比較,本文采用三組不同類型的板帶鋼缺陷圖像,通過本文算法與文獻[2]、文獻[3]提出的算法作對比,如圖3所示。

圖3 算法實驗結果

考慮到檢測的缺陷區域是否與原圖像中的缺陷區域重合,如果發生較大偏移則說明檢測結果背離原始信息,為了評價算法的有效性,本文提出用人工分割的缺陷區域和本文算法分割缺陷區域的“差異度”來作為檢測效果評價測度,通過采用上述三種算法與人工分割得到的結果作差,用作差的標準差作為差異度來分析實驗的有效性,如表1所示,差異度越低,效果越好。其次采用缺陷面積來評價,檢測出的缺陷區域可能會因為噪聲或光照等因素出現過分割或欠分割導致檢測結果面積變小或變大,因此用缺陷面積結合差異度共同評價檢測效果,采用二值圖像的像素總和作為面積[9]。

由表1和表2可知,第一組是由于文獻[3]缺陷檢測不完整且含有微量噪聲,文獻[2]中含有大量噪聲,從而導致差異度較大且像素面積過大。第二組由于文獻[2]和文獻[3]所提出的算法都無法檢測暗區域中的缺陷,而且文獻[2]檢測的結果中含有大量噪聲,致使差異度較大和像素面積較小。第三組中文獻[3]檢測的缺陷區域不完整,文獻[2]出現嚴重漏檢且含有噪聲,從而使得差異度較大,像素面積較小。

綜上所述,與文獻算法相比,本文檢測結果的差異度較低,檢測出的缺陷面積更接近人工檢測的缺陷面積,所以檢測結果更接近人工分割的缺陷區域。而且由表3可知,本文算法的實時性和通用性更好,而且本文算法的去噪能力比文獻[2]與文獻[3]的去噪能力強。

表1 缺陷差異度

表2 缺陷面積(像素數)

表3 算法實用性

5 結 論

針對光照不均和噪聲并存的板帶鋼缺陷圖像,本文首先采用多結構形態學增強可以有效提取光照不均圖像中的形狀較小的缺陷,算法不僅具有較強的去噪能力,而且可以保留缺陷的細節。其次將兩種增強算法根據背景熵和像素均值比進行加權融合,克服了傳統算法針對一種圖像的弊端,提高了算法的通用性。除此之外,本文算法的實時性比較強。

[1] LI Jun,YAN Yunhui,ZHANG Yao.Research on real-time detection architecture for surface quality of steel strip[J].Computer Engineering and Design,2008,29(20):5368-5371.(in Chinese)

李駿,顏云輝,張堯.板帶鋼表面質量實時監測體系研究[J].計算機工程與設計,2008,29(20):5368-5371.

[2] XU Hao,SUN Jianyi,TANG Bo,et al.The surface detect of strip steel based on mathematical morphology[J].Machinery Design & Manufacture,2012,6:206-208.(in Chinese)

許豪,孫建益,湯勃,等.基于數學形態學的帶鋼表面缺陷邊緣提取[J].機械與制造,2012,6:206-208.

[3] ZHANG Lihong,LIANG Yingbo,WU Dingyun,et al.Strip steel surface defects imaging edge inspection based on improved multi-scale morphology[J].Laser & Infrared,2014,44(3):330-334.(in Chinese)

張利紅,梁英波,吳定允,等.基于改進多尺度形態學的帶鋼缺陷圖像邊緣檢測[J].激光和紅外,2014,44(3):330-334.

[4] He Xiaoguang,Tian Jie,Wu lifang,et al.Illumination normalization with morphological quotientImage[J].Journal of Software,2007,18(9):2318-2325.

[5] DAI Qingyun,YU Yinglin.The advances of mathematical morphology in image processing[J].Control Theory & Applications,2001,18(4):478-482(in Chinese)

戴青云,余英林.數學形態學在圖象處理中的應用進展[J].控制理論與應用,2001,18(4):478-482.

[6] WANG Huifeng,ZHAN Guili,LUO Xiaoming.Research and application of edge detection operator based On rathematicai morphology[J].Computer Engineering and Applications,2009,45(9):223-226.(in Chinese)

王慧鋒,戰桂禮,羅曉明.基于數學形態學的邊緣檢測算法研究及應用[J].計算機工程與應用,2009,45(9):223-226.

[7] CAO Jiannong.Review on image segmentation based on entropy[J].Pattern Recognition and Aitificial Intelligence,2012,25(6):958-971(in Chinese)

曹建農.圖像分割的熵方法綜述[J].模式識別與人工智能,2012,25(6):958-971.

[8] Guan Shengqi.Strip steel defect detection based on saliency map construction using gaussian pyramid decomposition[J].ISIJ International,2015,55(9):1950-1955.

[9] CHEN Yue.Segmentation results evaluation method of steel plate surface defects images[J].Manufacturing Automation,2015,37(18):66-68.(in Chinese)

陳躍.鋼板表面缺陷圖像分割效果評價方法[J].制造業自動化,2015,37(18):66-68.