楊成立 殷 鳴 蔣紅海 向召偉 殷國富
(1.四川大學制造科學與工程學院, 成都 610065; 2.昆明理工大學機電工程學院, 昆明 650500)
基于非下采樣Shearlet變換的磁瓦表面裂紋檢測
楊成立1殷 鳴1蔣紅海2向召偉1殷國富1
(1.四川大學制造科學與工程學院, 成都 610065; 2.昆明理工大學機電工程學院, 昆明 650500)
針對磁瓦表面裂紋缺陷圖像背景不均勻、對比度低和存在紋理干擾等特點,提出了一種基于非下采樣Shearlet變換(Nonsubsampled Shearlet transform, NSST)的裂紋檢測方法。首先對原始圖像進行多尺度、多方向NSST分解,得到一個低頻子帶和多個高頻子帶,然后利用各向異性擴散和改進的γ增強方法對高頻子帶進行濾波和增強;同時利用二維高斯函數對低頻子帶進行卷積操作來構造高斯多尺度空間,估計出圖像的主要背景,并通過背景差法得到均勻的低頻目標圖像。最后通過重構NSST系數得到去噪和增強后的均勻目標圖像,利用自適應閾值分割和區域連通法提取裂紋缺陷。實驗結果表明,所提方法檢測準確率達92.5%,優于基于形態學濾波方法、基于Curvelet變換方法和基于Shearlet變換方法等現有磁瓦表面裂紋檢測方法。
磁瓦; 非下采樣Shearlet變換; 高斯多尺度空間; 各向異性擴散; 裂紋檢測
磁瓦被廣泛應用于永磁電機中,其結構強度對電機性能有至關重要的影響。磁瓦加工過程中,由于配料、壓制速度和燒結溫度等因素的影響,不可避免地出現各種外部缺陷。其中,裂紋缺陷最常見,對結構強度破壞性也最大。目前,磁瓦表面缺陷的檢測仍然由人工視覺完成,由于裂紋缺陷尺寸小、對比度低,導致人工檢測的漏檢率較高。因此,磁瓦表面缺陷檢測工序的自動化成為提高檢測精度和降低成本的必要選擇。
在眾多的自動化檢測手段中,機器視覺檢測憑借速度快、成本低等優勢被廣泛應用于表面缺陷檢測中[1-7]。近年來,在小波變換的基礎上,出現了多種改進的多尺度分析方法,其中具有代表性的有Curvelet變換[8]、Contourlet變換[9]和Shearlet變換[10]。與以上方法相比,非下采樣Shearlet變換(Nonsubsampled shearlet transform, NSST)不僅具備多方向、多尺度和各向異性等共性,同時具備計算效率高、平移不變和分解方向數量沒有限制等特質[11-12],適用于磁瓦表面裂紋缺陷的檢測。本文提出基于NSST的磁瓦表面裂紋缺陷檢測方法。首先利用NSST對細節良好的表達能力,將圖像分解為一個低頻子帶和多個高頻子帶。然后利用各向異性擴散良好的方向性對高頻子帶進行濾波。同時利用二維高斯函數的對稱性和嚴格遞減性,構建低頻子帶高斯多尺度空間,并在此空間中完成背景估計和背景移除。最后通過重建處理后的分解系數可得消除紋理和噪聲干擾,背景均勻的增強圖像,從而準確地提取出缺陷區域。
1.1 NSST原理
NSST是EASLEY等[13]在保留Shearlet變換優勢基礎上提出的一種具有平移不變性的多尺度分析方法。Shearlet變換由于構造簡單、計算效率高并且對高維幾何奇異性表達性能良好, 被廣泛應用于圖像處理中[14-16]。設定維數n=2,具有合成膨脹的仿射系統定義如下[17-18]
MAB(ψ)= {ψj,l,k(x)=|detA|j/2ψ(BlAjx-k);
j、l∈Z,k∈Z2} (ψ∈L2(R2))
(1)
其中

(2)
式中j——尺度因子l——剪切因子k——平移因子B——剪切矩陣A——各向異性膨脹矩陣

(3)

(4)
(5)


[22j-4,22j-1],|ξ2/ξ1+l2-j|≤2-j}
(6)

圖1 Shearlet頻域剖分圖和頻域支撐區間Fig.1 Shearlet frequency subdivision and frequency support bases
NSST的實現分為兩步:首先是多尺度分解, 每層均采用非下采樣金字塔(Nonsubsampled Laplacian pyramid, NSLP)將圖像分解成一個低頻圖像和一個高頻圖像,j層分解最終得到j個高頻圖像和1個低頻圖像。然后利用改進的剪切濾波器(Improved shearing filter, ISF)完成多方向分解,NSST將標準的剪切濾波器從偽極化網格系統映射到笛卡爾坐標系統中,進行逆傅里葉變換,然后可直接通過二維卷積完成分解,從而避免了下采樣過程。當剪切分解因子為l時,該層高頻圖像分解為2l個高頻子帶。2層NSST的結構如圖2所示。

圖2 2層NSST分解結構Fig.2 Diagram of two levels NSST
1.2 高斯多尺度空間
高斯多尺度空間本質上是一種多尺度高斯濾波表示,通過采用可變尺度的二維高斯函數與輸入圖像進行卷積構建。設定輸入圖像為I(x,y),則高斯多尺度空間L(x,y,σ)定義如下[19]
L(x,y,σ)=G(x,y,σ)*I(x,y)
(7)
其中
(8)
式中 *——卷積運算σ——尺度因子G(x,y,σ)——高斯函數
σi+1=kgσi,kg>1,控制平滑的程度。隨著σ的增大,I(x,y)中越來越多的細節被平滑,L(x,y,σ)逐漸接近圖像的背景。綜合以上分析,當選擇不同的尺度因子,就可以得到不同程度的平滑圖像,將這些近似圖像按平滑的程度排列即可構建高斯多尺度空間。然后可根據應用需求,利用部分特定尺度的組合來表達圖像。
1.3 各向異性擴散
各向異性擴散由PERONA等[20]提出,其原理是根據圖像在不同方向上的梯度大小以確定擴散程度,所以其平滑過程具有很好的方向性,克服了傳統線性微分方法中細節丟失的問題。其數學定義如下
(9)

各向異性擴散的離散表達式為[21]
(10)
其中
(11)

選擇擴散系數為

(12)
式中k——梯度閾值
由于背景區域通常較為平滑,梯度小,擴散系數大,可有效地濾除。反之灰度變化劇烈的目標區域,由于梯度大,擴散系數小,使擴散得到抑制,從而被保留。

圖3 磁瓦裂紋缺陷原始圖像Fig.3 Original magnetic tile crack image
圖3為一幅光照不均勻的磁瓦表面裂紋缺陷圖像,可以看出,磁瓦表面顏色偏暗,磨削紋理沿垂直方向分布,且存在噪聲干擾;同時圖像在特定的光照條件下,背景表現出明顯的不均勻性,裂紋缺陷面積占圖像比重小,部分缺陷與背景的對比度低。結合以上觀察可知,在缺陷提取過程中,必須消除不均勻背景、磨削紋理和噪聲對缺陷提取的干擾。同時應注意到,部分缺陷信號強度較弱,在處理過程中,應保證這部分缺陷的完整并進行適當的增強。由NSST的原理和磁瓦裂紋缺陷圖像的特點可知,分解所得高頻系數的主要成分包括:高頻缺陷、大部分磨削紋理和噪聲。而大部分背景、少量噪聲和缺陷的低頻部分均集中在低頻子帶中。根據以上分析,本文提出了一種基于NSST的磁瓦表面裂紋缺陷檢測算法,具體步驟如下:
(1) 對原始圖像進行多層多方向NSST變換。 綜合考慮算法的效果和效率,本文對原始圖像進行2層NSST分解,每層高頻系數的分解方向數均為8。
(2) 采用各向異性擴散對高頻分解系數進行濾波。采用改進的γ增強方法增強低強度目標信號。
(3) 利用高斯多尺度空間在低頻子帶中估計背景,并通過圖像減法得到背景均勻的低頻系數。
(4) 對處理后的分解系數進行非下采樣Shearlet逆變換,再使用自適應閾值分割方法提取出目標區域。
(5) 最后通過區域連通法去除二值圖像中的孤立噪聲點,從而實現裂紋缺陷的準確提取。
本文算法的流程如圖4所示。

圖4 本文算法流程Fig.4 Flowchart of the proposed method
2.1 高頻系數濾波和增強
分解所得第1層的8個高頻子帶的三維圖像如圖5所示。可以看出,高頻子帶中強缺陷信號與背景之間的對比度較高,但磨削紋理和噪聲對弱信號造成嚴重干擾。同時注意到,磨削紋理模值小,且僅分布在垂直方向附近,而強噪聲與缺陷信號相比無結構性,僅存在于個別方向中。針對磨削紋理和噪聲的特殊性,本文采用各向異性擴散對高頻子帶進行濾波處理,目的是在保留低強度目標信號的同時去除紋理和噪聲。低強度目標的分解系數模值小,與背景的對比度低,應進行增強以便于提取,本文采用改進的γ增強方法[22],定義如下

圖5 NSST第1層8個高頻子帶圖像Fig.5 Original Shearlet coefficients at level 1
(13)
其中
Te=μe+keσe
(14)

濾波和增強后的NSST第1層高頻子帶如圖6所示。
2.2 基于高斯多尺度空間的低頻子帶背景去除
由1.2節可知,隨著σ的增大,高斯多尺度空間中估計的背景越準確,所以利用原始圖像與高斯多尺度空間中的估計背景圖像作圖像減法,可得到背景均勻的目標圖像。鑒于少量噪聲的存在,有必要對原始低頻子帶進行低強度的濾波處理,本文以底層(σ0)估計圖像作為輸入圖像,相應地,高斯多尺度空間中的底層估計圖像尺度因子變為σ1。目標圖像D(x,y)的表達式為
(15)
其中
(16)
Di(x,y)=|L0(x,y,σ0)-Li(x,y,σi)| (i≥1)
(17)
式中M——尺度空間層數λi——每層估計目標的歸一化權重系數Di(x,y)——每層估計的目標圖像
高斯多尺度空間結構及以上背景估計和目標提取的過程如圖7所示,去除背景后的目標如圖8所示。

圖6 濾波和增強后的NSST第1層8個高頻子帶圖像Fig.6 Distributions of Shearlet coefficients at level 1 after filtering and enhancement

圖7 高斯多尺度空間中的背景估計和目標提取Fig.7 Background estimation and target extraction in Gaussian multi-scale space

圖8 背景均勻的低頻子帶Fig.8 Approximation subband with even background
2.3 缺陷提取


圖9 缺陷提取Fig.9 Defect extraction

(18)
其中
T=μt+ktσt
(19)
式中T——閾值kt——人為設定的閾值系數,控制提取缺陷的精度


為了保留低強度目標信號,高頻子帶中的濾波有所保留,所以提取出的目標區域中存在少量孤立噪聲點干擾,本文采用區域連通法予以去除,圖3中缺陷的最終提取結果如圖9b所示。
為驗證本文算法檢測磁瓦表面裂紋缺陷的可行性和優越性,測試了4幅不同對比度、不同光照條件和不同缺陷尺寸的典型裂紋缺陷圖像,以及1幅合格磁瓦圖像。實驗圖像均為96像素×224像素,全部處理均由Matlab 2012a完成,實驗硬件Windows 7系統臺式計算機,4核CPU,3.3 GHz主頻,8 G內存。綜合考慮效率和效果,本文算法的實驗參數設置為:NSST的尺度為2,每層分解方向數均為8;各向異性擴散中,第1層高頻子帶擴散強度系數λ=0.04,梯度閾值系數k=1,迭代次數N=20,第2層高頻子帶則分別取λ=0.02,k=1,N=20;改進的γ增強中,第1層高頻子帶防干擾系數Ts=1.1,閾值控制系數ke=2,增強系數γ=0.5,第2層則分別取Ts=1.2,ke=2,γ=0.5;本文所構建高斯多尺度空間選擇底層尺度因子σ0=1,kg=1.4,同時綜合考慮算法的效率和背景估計的準確性,選擇空間層數M=21;自適應閾值提取中,閾值系數kt=3.9。與此同時,將本文算法檢測結果與OTSU算法和文獻[5-7]中算法進行對比,結果分別如圖10所示。

圖10 5種算法檢測結果對比Fig.10 Comparison results of five methods
從圖10可看出,由于裂紋缺陷與背景之間對比度低,且占圖像比重小,OTSU算法無法從不均勻背景中準確提取出缺陷。文獻[5]中的算法可有效定位裂紋缺陷,但在低對比度圖像中,該算法將大量磨削紋理誤檢為缺陷,嚴重地降低了該算法檢測的準確性。文獻[6]中的算法有效地抑制了噪聲的干擾,準確地檢測出裂紋缺陷的輪廓。但由于對紋理和缺陷對應的分解系數進行了相同的閾值處理,導致當磨削紋理和缺陷強度近似時,該算法對合格磁瓦產生了誤判。文獻[7]中的算法能有效地增強背景與缺陷之間的對比度,并抑制不均勻背景、磨削紋理的干擾,檢測出小尺寸缺陷,但高強度噪聲污染導致檢測結果不準確,對合格磁瓦誤檢率高。與之相對,本文方法有效地消除了圖像中噪聲、磨削紋理和不均勻光照的影響,準確地提取出了磁瓦表面的裂紋缺陷區域,同時對合格磁瓦圖像作出了準確的判斷,表現出明顯優于其余4種算法的檢測精確性。
值得注意的是,當檢測極細的暗裂紋缺陷時,由于裂紋對比度低,并且與磨削紋理的灰度和結構非常接近,本文算法中的各向異性擴散模塊可能將部分微弱裂紋缺陷誤檢為背景而去除,從而導致微弱裂紋的不完全檢測,與此同時,部分顯著磨削紋理干擾被誤檢為裂紋缺陷。如圖11所示。

圖11 低對比度裂紋檢測Fig.11 Detection for low contrast crack
此外,本文就檢測準確率和效率進行了定量對比實驗。實驗共選擇了60幅合格磁瓦圖像和60幅裂紋缺陷圖像進行測試,并與文獻[5-7]算法進行對比。準確性指標為假陽性率(False positive rate,FPR)、假陰性率(False negative rate,FNR)和準確率(Accuracy,AC),定義如下
(20)
(21)
(22)
式中P——合格樣品數N——缺陷樣品數TP——被準確檢測為合格的樣品數TN——被準確檢測為缺陷的樣品數FP——被誤檢為合格的樣品數FN——被誤檢為缺陷的樣品數
檢測準確性的對比結果如表1所示。從表1可以看出,本文算法的FPR為11.7%,漏檢的主要原因為各向異性擴散過程中部分微弱缺陷被丟失。FNR為3.3%,誤檢的主要原因為將部分顯著紋理檢測
為缺陷。最終檢測準確率AC為92.5%,明顯高于其余3種對比算法。檢測效率的對比結果如表2所示,本文算法的效率為0.527幀/s。由于各向異性擴散算法計算復雜度高,耗時長,本文算法的執行效率明顯低于其余3種對比算法。

表2 4種算法檢測效率對比Tab.2 Comparison of detection efficiency for four methods
針對磁瓦表面裂紋缺陷圖像中存在的背景不均勻、對比度低和紋理干擾等問題,本文提出了一種基于NSST的裂紋缺陷檢測方法。該方法首先利用NSST對細節良好的表達能力對原始圖像進行多尺度和多方向的分解。然后在高頻域使用各向異性擴散和改進的γ增強方法實現了去噪、去紋理和弱小目標增強。在低頻域采用高斯多尺度空間實現了不均勻背景成分的去除。最后采用自適應閾值分割和區域連通法準確地從重建圖像中提取出了磁瓦表面裂紋缺陷。實驗結果表明,本文算法對常見磁瓦表面裂紋缺陷的檢測準確率達到92.5%,明顯優于文中測試的3種現有算法。值得注意的是,本文算法無法完整地檢測出低對比度細微裂紋,且算法效率低,尚無法滿足工程應用效率需求, 需要在未來的工作中繼續改進。
1 黃鋒華, 張淑娟, 楊一, 等. 油桃外部缺陷的高光譜成像檢測[J/OL]. 農業機械學報, 2015, 46(11): 252-259. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20151134&journal_id=jcsam. DOI: 10.6041/j.issn.1000-1298.2015.11.034. HUANG Fenghua, ZHANG Shujuan, YANG Yi, et al. Application of hyperspectral imaging for detection of defective features in nectarine fruit [J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(11): 252-259.(in Chinese)
2 張怡卓, 許雷, 丁亮, 等. 基于圖像融合分割的實木地板表面缺陷檢測方法[J]. 電機與控制學報, 2014, 18(7): 113-118. ZHANG Yizhuo, XU Lei, DING Liang, et al. Defects segmentation for wood floor based on image fusion method [J]. Electric Machines and Control, 2014, 18(7): 113-118.(in Chinese)
3 SUN Lu, QIAN Zedong. Multi-scale wavelet transform filtering of non-uniform pavement surface image background for automated pavement distress identification [J]. Measurement, 2016, 86: 26-40.
4 賀振東, 王耀南, 劉潔, 等. 基于背景差分的高鐵鋼軌表面缺陷圖像分割[J]. 儀器儀表學報, 2016, 37(3): 640-649. HE Zhendong, WANG Yaonan, LIU Jie, et al. Back ground differencing-based high-speed rail surface defect image segmentation [J]. Chinese Journal of Scientific Instrument, 2016, 37(3): 640-649.(in Chinese)
5 余永維, 殷國富, 蔣紅海, 等. 磁瓦表面圖像的自適應形態學濾波缺陷提取方法[J]. 計算機輔助設計與圖形學學報, 2012, 24(3): 351-356. YU Yongwei, YIN Guofu, JIANG Honghai, et al. Defect extraction method of arc magnet surface image based on adaptive morphological filtering [J]. Journal of Computer-Aided Design & Computer Graphics, 2012, 24(3): 351-356.(in Chinese)
6 LI Xueqin, JIANG Honghai, YIN Guofu. Detection of surface crack defects on ferrite magnetic tile [J]. NDT & E International, 2014, 62: 6-13.
7 XIE Luofeng, LIN Lijun, YIN Ming, et al. A novel surface defect inspection algorithm for magnetic tile [J]. Applied Surface Science, 2016, 375: 118-126.
8 KAR S S, MAITY S P. Blood vessel extraction and op tic disc removal using curvelet transform and kernel fuzzy c-means [J]. Computers in Biology and Medicine, 2016, 70: 174-189.
9 SADREAZAMI H, AHMAD M O, SWAMY M N S. A study on image denoising in contourlet domain using the alpha-stable family of distributions [J]. Signal Processing, 2016, 128: 459-473.
10 LAKSHMAN H, LIM W Q, SCHWARZ H, et al. Image in terpolation using Shearlet based iterative refinement [J]. Signal Processing: Image Communication, 2015, 36: 83-94.
11 高國榮, 許錄平, 馮冬竹. 基于非抽樣剪切波變換的遙感圖像融合方法[J/OL]. 農業機械學報, 2013, 44(12): 221-226. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20131237&journal_id=jcsam. DOI: 10.6041/j.issn.1000-1298.2013.12.037. GAO Guorong, XU Luping, FENG Dongzhu. Fusion method in remote sensing image based on NSST[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2013, 44(12): 221-226.(in Chinese)
12 SINGH S, GUPTA D, ANAND R S, et al. Nonsubsampled Shearlet based CT and MR medical image fusion using biologically inspired spiking neural network [J]. Biomedical Signal Processing and Control, 2015, 18: 91-101.
13 EASLEY G, LABATE D, LIM W Q. Sparse directional image representations using the discrete Shearlet transform [J]. Applied and Computational Harmonic Analysis, 2008, 25(1): 25-46.
14 陶飛翔, 吳一全. 非下采樣Shearlet變換與參數化對數圖像處理相結合的遙感圖像增強[J]. 測繪學報, 2015, 44(8): 884-892. TAO Feixiang, WU Yiquan. Remote sensing image enhancement based on non-subsampled Shearlet transform and parameterized logarithmic image processing model [J]. Acta Geodaetica et Cartographica Sinica, 2015, 44(8): 884-892.(in Chinese)
15 YANG Hongying, WANG Xiangyang, NIU Panpan, et al. Image denoising using nonsubsampled Shearlet transform and twin support vector machines [J]. Neural Networks, 2014, 57: 152-165.
16 高國榮, 劉艷萍. 基于非抽樣Shearlet變換的紅外與可見光圖像融合方法[J/OL]. 農業機械學報, 2014, 45(3): 268-274. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?flag=1&file_no=20140344&journal_id=jcsam. DOI: 10.6041/j.issn.1000-1298.2014.03.044. GAO G R, LIU Y P. Infrared and visible light images fusion algorithm based on non-subsampled Shearlet transform[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(3): 268-274.(in Chinese)
17 GUO Kanghui, LABATE D. Optimally sparse multidimensional representation using Shearlets [J]. SIAM Journal on Mathematical Analysis, 2007, 39(1): 298-318.
18 LIM W Q. The discrete Shearlet transform: a new directional transform and compactly supported Shearlet frames [J]. IEEE Transactions on Image Processing, 2010, 19(5): 1166-1180.
19 LOWE D G. Distinctive image features from scale-invariant keypoints [J]. International Journal of Computer Vision, 2004, 60(2): 91-110.
20 PERONA P, MALIK J. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.
21 YU Yongjian, ACTON S T. Speckle reducing anisotropic diffusion [J]. IEEE Transactions on Image Processing, 2002, 11(11): 1260-1270.
22 龍建武, 申鉉京, 臧慧, 等. 高斯尺度空間下估計背景的自適應閾值分割算法[J]. 自動化學報, 2014, 40(8): 1773-1782. LONG Jianwu, SHEN Xuanjing, ZANG Hui, et al. An adaptive thresholding algorithm by background estimation in Gaussian scale space [J]. Acta Automatica Sinica, 2014, 40(8): 1773-1782. (in Chinese)
Detection of Surface Crack Defects in Magnetic Tile Images Based on Nonsubsampled Shearlet Transform
YANG Chengli1YIN Ming1JIANG Honghai2XIANG Zhaowei1YIN Guofu1
(1.SchoolofManufacturingScienceandEngineering,SichuanUniversity,Chengdu610065,China2.SchoolofMechanicalandElectricalEngineering,KunmingUniversityofScienceandTechnology,Kunming650500,China)
A novel algorithm based on nonsubsampled Shearlet transform (NSST), Gaussian multi-scale space and anisotropic diffusion was proposed for detecting crack defects with uneven background, low contrast, noise corruption and textured interference in magnetic tile surface images. Firstly, NSST was employed to decompose the source magnetic tile image into one low-pass subband and a series of high-pass subbands. Then the anisotropic diffusion and the modifiedγenhancement method were applied to remove the noise and enhance the weak object information in the high-pass subbands, respectively. Meanwhile, the background was estimated in the Gaussian multi-scale space constructed by convolving the low-pass subband with a varied two-dimensional Gaussian functions, and the even low-pass object could be obtained by using background subtraction. Finally, inverse NSST was utilized to reconstruct the enhanced object image which was free from noise and grinding texture interference, and crack defects could be segmented from the reconstructed image by applying the adaptive threshold method and regional connectivity function. Experimental results demonstrate that compared with four existing methods (OTSU method, method based on the adaptive morphological filtering, method based on Curvelet transform and texture feature measurement and method based on Shearlet transform), the proposed method achieves better performance in terms of defect detection accuracy.
magnetic tile; nonsubsampled Shearlet transform; Gaussian multi-scale space; anisotropic diffusion; crack detection
10.6041/j.issn.1000-1298.2017.03.052
2016-10-18
2016-12-22
“十二五”國家科技支撐計劃項目(2015BAF27B01)和四川省科技支撐計劃項目(2016GZ0160)
楊成立(1988—),男,博士生,主要從事機器視覺檢測研究,E-mail: clyang_scu@163.com
殷國富(1956—),男,教授,博士生導師,主要從事智能制造和機器視覺檢測研究,E-mail: gfyin@scu.edu.cn
TP391
A
1000-1298(2017)03-0405-08