光伏玻璃的缺陷顯著圖檢測①

王 哲, 李文書

1（浙江理工大學,杭州 310018）

2（上海交通大學 生命科學與技術學院,上海 200240）

光伏玻璃的工業生產對質量要求非常高,任何一個細微的技術差錯會使玻璃出現開口泡、圓泡、結石和臟污等缺陷. 有些缺陷會破壞生產過程,甚至危及生命安全. 而傳統的人工檢查不能時刻保持較低的誤檢率,因此智能缺陷檢測也逐漸被應用于工業生產中. 盡管如此,如何從光伏玻璃中的紋理中提取缺陷在圖像處理中始終是一個課題. 視覺顯著圖通過模擬人的視覺特點,能夠使目標物體或目標像素區別于周圍[1].

早期Itti利用一種二層的生物學顯著性模型,定義了一種中央-周邊方法來計算各個特征,最終線性組合得到顯著圖[2]. 隨后,不同于Itti,Harel利用馬爾科夫方法穩定分布的特性來提出了一種基于圖論的顯著圖（GB）[3]. Hou 提出了譜殘差法 （SR）,該方法主要在頻域中去除背景[4],其處理速度明顯優于前算法. 因此一些在頻域中結合傅立葉變換的算法也逐漸流行[5].Achanta等人使用低層特征來生成高分辨率的顯著圖[1],并且其速度快于Itti的模型. 但這個模型還存在問題,之后Achanta引入了一個更好的模型——頻率調諧[6],該方法通過分析空間頻率的中央像素與周邊像素的顏色和亮度等特征來計算顯著性圖,該方法在保證較高運行速度的同時能得到一個良好的顯著圖. 然而該方法無法區分感興趣區域和背景區域間對比不明顯的圖像. 盡管如此,一些基于此方法的算法陸續被提出[7,8]. Kulshreshtha在圖像平滑中選擇小波變換使算法的性能達到最佳[7]. 類似地,Zhai和Shah在基于全局對比度的基礎上利用直方圖對像素進行操作[9]. Ming-Ming Cheng利用直方圖對像素進行顏色對比,產生顯著圖[10],在文章的最后,他也對該方法進行了改進,提出了一種包含空間權重的區域對比算法（RC）.

文章在第1部分介紹了頻率調諧方法,第2部分介紹了圖像簽名方法,隨后第3部分提出了基于圖像對比和圖像簽名相結合的算法對玻璃圖像的缺陷進行準確的提取和定位. 為了評估算法的性能,第4部分對比了7種優秀的算法,實驗結果表明本文算法能較好地提取玻璃缺陷. 第5部分是對本文的總結.

1 頻率調諧

頻率調諧方法（FT）是利用中央-周邊的顏色對比來計算顯著圖[6]. 圖像I在被高斯模糊后轉換到L*a*b顏色空間中,在求取每個顏色空間的平均特征向量后,通過歐式距離求取顯著圖.

計算公式如下：

其中ILab（x,y）是高斯模糊后的圖像在各個顏色空間中的像素坐標,‖ ‖代表歐式距離,Imean為圖像的平均特征向量,它的計算公式如下：

在公式中,H和W分別代表圖像的高和寬,I（i,j）是輸入圖像I在各個顏色空間中的像素點坐標.

2 圖像簽名

在文獻[11]的方法中,輸入圖像I首先通過離散余弦變換進行轉化,然后對轉化后的圖像進行sign操作,生成簽名圖像,該過程由以下公式表示：

其中ISig為簽名圖像.I為輸入圖像,sign（）為矩陣的符號函數. 為了簡化公式,將作為輸入圖像I的離散余弦變換. 為了準確地檢測空間分布上稀疏的像素信息并有效地抑制噪聲,反離散余弦變換用于重構圖像簽名. 重構過程定義如下：

然后運用一個高斯核對經過分素乘積運算的重構圖像進行平滑,其定義如下：

其中g是高斯核,*是卷積運算,? 是分素乘積運算.

3 基于圖像對比和圖像簽名的方法

為了滿足實時檢測的需求,該方法對灰度圖像進行處理. 首先,候選顯著圖S1通過FT算法計算得到,在計算過程中用均值濾波替換了傳統的高斯模糊. 本文選用3×3的濾波窗口,并在圖像的邊緣部分對其進行弱化處理. 但是當玻璃的自然紋理和缺陷圖像都比較明顯的時候,傳統的FT算法會將背景紋理當作缺陷,因此生成的候選顯著圖S1除了顯示玻璃缺陷信息外還顯示了背景紋理,并不能夠有效地區分背景紋理和缺陷區域. 為了解決這個問題,本文引入圖像簽名方法計算重構圖像S2. 一般來說,一副圖像可以分為前景和背景. 不同于以往算法,圖像簽名著重于提取圖像的前景信息,由于前景信息在圖片的空間分布中是稀疏的,可以通過離散余弦變換和符號操作對圖像進行處理. 最終的顯著圖S是由候選顯著圖S1和重構顯著圖S2通過線性乘融合得到. 新算法的顯著圖不僅保留了FT算法顯著區域邊緣輪廓的特性,還在提取前景信息（缺陷區域）的基礎上抑制了背景信息（周期性紋理）,保證了圖像的處理速度. 其融合公式如下：

簡而言之,該算法（見圖1）可以分成兩部分,第一部分是獲得候選顯著圖S1,第二部分是計算重構的顯著圖S2. 具體流程如下：

測和定位玻璃缺陷方面有較好的性能. 表1顯示的是在各個分辨率圖像中的AUC值,在不同的分辨率中,本文的算法都有最高的AUC值,且不隨分辨率的改變而發生性能的改變,保持著良好的穩定性. 而SR算法的AUC值隨著分辨率的增加而大幅度降低. 因此本文算法適合實際工業生產中的大玻璃.

4.2 顯著性區域檢測

召回率(Recall)和精確率(Precision)能夠準確地表示顯著圖的結果,精確率指正樣本占預測為正的樣本比率,召回率指樣本中正例的預測比率,公式如下：

F-measure (Fm)是一個結合召回率和精準率的綜合指標,用于進一步評估顯著圖的分割情況,其參數β用于調整召回率和精準率的比例. 本文選用β2=3來提高精準率的比例,公式如下：

表1 不同圖像分辨率下的AUC值

本文將改進的算法和7個顯著性模型進行比較.圖3顯示的PR曲線FT,LC和HC算法的精準率值隨著召回率值的增加而急劇減少. RC算法在檢測缺陷區域方面擁有較好的穩定性. 表2記錄了各個算法的精準率值,召回率值和F-measure值. 從表中可以看到,GB,IT和LC算法具有較高的召回率值,但是其精確率值低,F-meaure值綜合起來比較低. RC算法結合了區域對比和空間權值的特性,其F-measure值具有較高的穩定性. 本文算法擁有最高的精準率且相對較低的召回率值,因此,其F-measure值最高.

圖3 PR曲線

表2 召回率,精準率和F-measure值

為了更直觀地對比各個算法生成的顯著圖,本文選用實驗數據中的4組樣本進行展示(見圖4),SR算法擁有最弱的識別玻璃缺陷能力. IT和GB算法能夠對玻璃缺陷區域進行檢測但缺陷區域的邊界模糊,其他幾個算法能夠檢測出缺陷區域,但在有些圖像中,不能抑制玻璃的背景紋理和噪聲. 本文提出的算法能夠處理多種圖像質量下的復雜缺陷,最終在提取良好缺陷信息的基礎上抑制了周期性的背景紋理,生成的缺陷顯著圖為后期分割提供了良好的基礎.

4.3 運算速度

為了比較各個算法的執行效率,本文在不同分辨率下對各個算法進行比較. 其中RC,SR,FT,HC和LC算法是純C++代碼. GB和IT是由Matlab v8.4.0.150421 (R2014b)編寫. 為了直觀地對各個算法做比較,本文的算法分別由Matlab和C++編寫. 從表3可以看出HC算法難以應對大分辨率的玻璃圖像,由于RC算法需要花時間對圖像進行分塊并求區域權值,因此其執行效率低下. GB算法在各種分辨率下的處理速度相對穩定. IT,SR,FT,LC算法執行效率高. 由于本文算法基于圖像對比和圖像簽名,其執行效率相對來說略微慢于SR,FT等單一的算法,但生成的顯著圖能夠較好地檢測玻璃缺陷并抑制玻璃的背景紋理,總體來說滿足實時檢測的需求.

圖 4 不同算法的顯著圖對比圖

5 結論

在玻璃生成過程中,即使是最小的缺陷也會導致生產故障和崩潰,而人工檢測并不能保證24小時都處于工作狀態,因此智能缺陷檢測便成為工業生產環節必不可少的一部分. 本文引入了圖像對比和圖像簽名相結合的算法對玻璃缺陷進行檢測,在有效分離缺陷的基礎上抑制了玻璃的自然紋理. 所有的實驗數據是在玻璃廠采集并手工標記生成真值圖. 最后通過不同指標對算法性能進行評估和比較,綜合各個實驗,本文提出的算法具有優越性,能夠適應實際的工業生產.

表3 不同圖像分辨率下的算法運算速度

1 Achanta R,Estrada F,Wils P,et al. Salient region detection and segmentation. Proceedings of the 6th International Conference on Computer Vision Systems. Santorini,Greece.2008. 66-75.

2 Itti L,Koch C,Niebur E. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence,1998,20(11)：1254-1259. [doi：10.1109/34.730558]

3 Harel J,Koch C,Perona P. Graph-based visual saliency.Proceedings of the Twentieth Annual Conference on Neural Information Processing Systems. Vancouver,BC,Canada.2006. 545-552.

4 Hou XD,Zhang LQ. Saliency detection：A spectral residual approach. IEEE Conference on Computer Vision and Pattern Recognition. Minneapolis,MN,USA. 2007. 1-8.

5 Guo CL,Ma Q,Zhang LM. Spatio-temporal saliency detection using phase spectrum of quaternion Fourier transform. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage,AK,USA. 2008. 1-8.

6 Achanta R,Hemami S,Estrada F,et al. Frequency-tuned salient region detection. IEEE Conference on Computer Vision and Pattern Recognition. Miami,FL,USA. 2009.1597-1604.

7 Buzatu OL,Savin A. Saliency based on human visual sensitivity and phase spectrum of the quaternion Fourier transform. 2013 International Symposium on Signals,Circuits and Systems. Iasi,Romania. 2013. 1-4.

8 Guo CL,Zhang LM. A novel multiresolution spatiotemporal saliency detection model and its applications in image and video compression. IEEE Transactions on Image Processing,2010,19(1)：185-198. [doi：10.1109/TIP.2009.2030969]

9 Zhai Y,Shah M. Visual attention detection in video sequences using spatiotemporal cues. Proceedings of the 14th ACM International Conference on Multimedia. Santa Barbara,CA,USA. 2006. 815-824.

10 Cheng MM,Mitra NJ,Huang XL,et al. Global contrast based salient region detection. IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3)：569-582.[doi：10.1109/TPAMI.2014.2345401]

11 Hou XD,Harel J,Koch C. Image signature：Highlighting sparse salient regions. IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(1)：194-201. [doi：10.1109/TPAMI.2011.146]

12 Vikram TN,Tscherepanow M,Wrede B. A saliency map based on sampling an image into random rectangular regions of interest. Pattern Recognition,2012,45(9)：3114-3124.[doi：10.1016/j.patcog.2012.02.009]

13 Davis J,Goadrich M. The relationship between precisionrecall and ROC curves. Proceedings of the 23rd International Conference on Machine Learning. Pittsburgh,PA,USA.2006. 233-240.