基于RPCA和視覺顯著性的風機葉片表面缺陷檢測

曹錦綱，楊國田，楊錫運

基于RPCA和視覺顯著性的風機葉片表面缺陷檢測

曹錦綱1，楊國田2，楊錫運2

(1. 華北電力大學控制與計算機工程學院，河北 保定 071003；2. 華北電力大學控制與計算機工程學院，北京 102206)

針對風機葉片表面缺陷檢測問題，提出了一種基于魯棒主成分分析(RPCA)和視覺顯著性的表面缺陷檢測方法。在RPCA的基礎上，通過增加噪聲項和考慮像素的空間關系，以利于缺陷的分割，即通過F范數正則項抑制高斯噪聲和光照不均，利用Laplacian正則項約束像素的空間關系，以保持顯著圖中具有相似顯著值且空間相鄰超像素的局部一致性和不變性。首先，對輸入的風機葉片表面圖像進行超像素分割和特征提取，得到圖像的特征矩陣；然后，利用改進的RPCA法得到稀疏矩陣，根據稀疏矩陣和視覺顯著性方法計算出缺陷區域的顯著圖；最后，優化顯著圖并采用自適應閾值分割實現缺陷的檢測。通過實驗仿真和對實驗結果定性定量分析，表明該方法具有較高的準確率。

RPCA；視覺顯著性；缺陷檢測；風機葉片

風機葉片是風力發電機組的力源和主要承載部件，也是最昂貴和最易受損的部件，暴風雨、風沙和雷擊等都有可能損傷葉片。隨著國內風電場運行時間的增加，風機葉片表面缺陷的快速、高效檢測變得越來越重要。傳統的人工巡檢已難以滿足要求，隨著圖像處理技術的發展，無人機巡檢等基于機器視覺的缺陷檢測得到了快速發展。基于機器視覺的缺陷檢測的關鍵是將缺陷區域從圖像中分割出來，生成缺陷的二值圖像。常見的圖像分割方法主要包括基于統計、濾波和模型3種[1]。當前，深度學習發展迅速，具有較好的性能且多用于分類，但實際應用于檢測的較少，原因有2點：一是缺陷數據庫太小，無法滿足深度網絡訓練學習的要求而易導致過擬合；二是大規模缺陷圖像收集費時且人工標記開銷大。

近年來，魯棒主成分分析(robust principal component analysis, RPCA)[2]被應用于圖像重建、目標識別和缺陷檢測等。在進行缺陷檢測時，可將有缺陷的圖像分為無缺陷背景紋理區和缺陷前景區2部分，分別用低秩矩陣和稀疏矩陣表示。文獻[3]用RPCA批量檢測同一場景、同一光源下的多幅圖像，將一幅圖像變成矩陣的一列，為了能將圖像以低秩和稀疏矩陣表示，待檢圖像必須有多幅；文獻[4-5]利用RPCA，通過低秩分解得到織物疵點顯著圖，并對顯著圖優化和閾值分割完成疵點檢測。文獻[6]用低秩分解得到缺陷特征矩陣，獲得缺陷區域的初始顯著圖，再利用超像素分割和視覺顯著性精確定位太陽能電池片表面缺陷區域；文獻[7]將RPCA應用于紙病圖像的分割，但紙病圖像背景情況單一；文獻[8]用RPCA對鋁箔圖像進行低秩分解，實現背景圖像和缺陷圖像的分離，達到鋁箔表面缺陷檢測的目的。但當表面存在較大低對比度缺陷區域時，缺陷檢測的連續性不能令人滿意。文獻[9]將低秩分解應用于LCD表面缺陷檢測，但主要針對背景紋理簡單的LCD圖像，擴展性不強；文獻[10]提出了帶有噪聲項的RPCA模型—(NRPCA)，用于織物缺陷的檢測，該模型忽視了稀疏像素間的連接性，無法檢測連續的缺陷區域；文獻[11]用F范數代替RPCA模型中的核范數和2范數，而F范數并不與核范數和2范數相同，因此有些情況，檢測效果并不好，檢測的缺陷區域邊界很模糊。

以上采用RPCA進行缺陷檢測時，均未考慮圖像的光照問題，而通過無人機巡檢采集的風機葉片圖像，由于圖像的拍攝角度不同，光照不均不可避免。同時，為了更好地檢測出連續的缺陷區域，本文提出了一種考慮像素空間關系和帶有噪聲項的RPCA風機葉片表面缺陷檢測方法，以抑制高斯噪聲和光照不均的影響。

1 本文方法

圖1是本文風機葉片表面缺陷檢測流程圖。

圖1 風機葉片表面缺陷檢測流程圖

1.1 超像素分割

超像素分割將具有相似特征的像素聚集在一起，形成一個超像素。以超像素作為圖像處理的基本單位可以大大降低維度和剔除一些異常像素點。而風機葉片的表面缺陷部分和無缺陷部分，具有不同的特征(顏色和紋理等)，通過超像素分割可將缺陷部分有效的聚集起來。本文采用SLIC算法[12]實現超像素分割。

1.2 特征提取

本文提取圖像的顏色特征、Gabor特征和方向可控金字塔特征。

(1) 顏色特征。采用圖像的RGB 3顏色通道以及HSV顏色空間的H和V2通道共5個特征表示葉片圖像的顏色特征。每個超像素所包含像素的平均顏色特征，即為超像素的顏色特征，則圖像的顏色特征矩陣5×K，其中為超像素的個數，以下同。

(2) Gabor特征。Gabor濾波器的頻率和方向與人類的視覺系統類似，特別適合于紋理表示與判別。用Gabor特征能夠描述圖像紋理信息，而且其具有良好的空間局部性和方向選擇性，對光照等具有一定的魯棒性。本文對圖像采用3尺度8方向進行Gabor濾波，其Gabor特征矩陣24×K。

(3) 方向可控金字塔特征。方向可控金字塔具有尺度和方向子帶的圖像表示，且不會混疊。本文對缺陷圖像采用2尺度6方向濾波，其方向可控金字塔特征矩陣12×K。

將上述圖像的3種特征組合在一起，便構成圖像的特征矩陣41×K。

1.3 改進的RPCA方法

RPCA的基本思想是將受到干擾的矩陣分解成低秩矩陣和稀疏矩陣兩部分，即

=+(1)

其中，為特征矩陣；為低秩矩陣；為稀疏矩陣。將式(1)轉化為式(2)的最優化問題，即

為實現對光照不均的抑制和能夠檢測連續的缺陷區域，在RPCA的基礎上，增加F范數正則項抑制光照不均的問題，利用Laplacian正則項約束像素的空間關系，則式(3)可變形為

其中，,,,×K分別為特征矩陣、低秩矩陣、稀疏矩陣和噪聲矩陣，為超像素數目，為特征數(本文取值為41)；(,)為Laplacian正則項；為矩陣的F范數；，和為罰參數。Laplacian正則項可以保持顯著圖中具有相似顯著值并在空間相鄰的超像素的局部一致性和不變性，從而有利于缺陷的分割，而噪聲項則可以抑制高斯噪聲和光照不均。

其中，w，×K為超像素間的連接權值矩陣；為CIE-Lab顏色空間中超像素和在、和顏色通道的歐氏距離，×K為Laplacian矩陣，即

式(4)經過松弛后，變為

令=，則

其增廣拉格朗日函數為

因此，式(10)可轉換為優化問題，即

利用ADM算法[13]求解，，和。

(1) 更新

對求導，并令其值為0，得到

(2) 更新

則

(3) 更新

整理得

則，

更新

對求導，并令其等于零，則

算法描述：

輸入：特征矩陣。

輸出：低秩矩陣，稀疏矩陣和噪聲矩陣。

步驟2. 按照式(13)，(15)，(19)和式(21)更新，，和；

步驟4. 更新迭代次數；

步驟5. 判斷是否達到最大迭代次數max。是，則結束，輸出，和，否則轉步驟2。

1.4 圖像缺陷區域顯著圖及其優化

由所得稀疏矩陣，可計算超像素的顯著值，即

通過對求導，并令其為零，得

通過該優化，缺陷區域的顯著值增大，非缺陷區域的顯著值減小，從而使缺陷的顯著圖更加突出，如圖2所示。最后對顯著圖使用大津法進行自動閾值分割，二值圖像中的白色部分即為表面缺陷。

2 實驗結果與分析

(1)定性比較。圖3為本文算法和相關算法檢測的顯著圖。其中，圖3(1)和(2)分別是原始圖像和人工標注圖；圖3(4)和(5)分別為RPCA和NRPCA算法，其檢測連續的缺陷區域效果較差，對光照不均圖像的缺陷檢測基本失效，雖然NRPCA通過增加F范數正則項，在一定程度上抑制了噪點，但是檢測效果并不理想。PNRPCA在NRPCA的基礎上，考慮了稀疏像素間的權值，從圖3(6)可以看出，在圖像光照均勻時，檢測效果較好，但是圖像光照不均時，則出現很大的誤檢。基于視覺顯著性的SR和FF算法，缺陷的顯著性圖較為模糊、難以分辨，檢測效果很差，如圖3(7)和(8)所示；圖3(9)是FT歸一化后的顯著圖，其能夠檢測出缺陷區域，但是也存在大量的干擾，總體檢測效果較差；從圖3(10)可見，CA算法的顯著圖能夠突出缺陷區域，但是邊界較為模糊，不利于區域的準確定位。如圖3(3)所示，對于連續缺陷區域和光照不均圖像，均能夠較準確的檢測缺陷區域，從而說明了本文算法的可行性和有效性。

(1) (2) (3) (4) (5) (6) (7) (8) (9) (10) (a) 圖像1(b) 圖像2(c) 圖像3(d) 圖像4(e) 圖像5(f) 圖像6(g) 圖像7(h) 圖像8

(2) 定量比較。本文采用了PR曲線、F-measure曲線、ROC曲線和AUC圖對缺陷區域檢測的精確性進行評價。查準率()、查全率()、假陽率()和真陽率()定義為

其中，、、和分別為顯著圖中的真陽數、真陰數、假陽數和假陰數。

PR曲線以“P(Precision)”為縱坐標，“R(Recall)”為橫坐標。PR 曲線越靠近右上角性能越好。圖4為各算法的PR曲線圖，從圖中看出，本文算法相較其他算法，曲線更加靠右上角，說明本文算法在相同情況下，具有更高的“查準率”和“查全率”。

由于查準率和查全率無法全面地對顯著性圖進行評估，又采用了F-measure評價指標，即查全率和查準率在非負權重下的加權調和平均值。其綜合了和的結果，當measure較高時，說明方法比較有效

根據經驗，一般取值為0.3。圖5是各算法的F-measure曲線，從圖中可以看到，本文算法具有更高的Fmeasure值。

圖5 各算法F-measure曲線比較

以FPR為橫軸，TPR為縱軸，即可得到ROC曲線，ROC曲線的面積值即為AUC (area under curve)，AUC越大，準確率越高。圖6和圖7是各算法的ROC曲線和AUC圖。從圖7可以看到，只有本文算法的AUC大于0.9，說明本文算法具有較高的準確率。

圖6 各算法ROC曲線比較

圖7 各算法AUC圖比較

3 結束語

本文結合視覺顯著性檢測和RPCA，提出了一種風機葉片表面缺陷的檢測方法，通過在RPCA模型中增加F范數和Laplacian正則項，抑制光照不均和利用像素間的空間關系，實現風機葉片表面缺陷的檢測。實驗結果表明，本文算法對于風機葉片表面缺陷圖像的檢測具有較高的準確性。然而，由于本文算法在檢測過程中，以超像素為基本的檢測單元，而超像素分割對于微小缺陷的分割并不夠理想，因此本算法在檢測表面微小缺陷時，效果欠佳，這也是需要進一步研究的。

[1] Kumar A. Computer-vision-based fabric defect detection: A survey [J]. IEEE Transactions on Industrial Electronics, 2008, 55(1): 348-363.

[2] Candès E J, Li X D, Ma Y, et al. Robust principal component analysis? [J]. Journal of the ACM, 2011, 58(3): 1-37.

[3] 姚明海, 李潔, 王憲保. 基于RPCA的太陽能電池片表面缺陷檢測[J]. 計算機學報, 2013, 36(9): 1943-1952.

[4] 李春雷, 高廣帥, 劉洲峰, 等. 應用方向梯度直方圖和低秩分解的織物疵點檢測算法[J]. 紡織學報, 2017, 38(3): 149-154.

[5] Li C L, Liu C D, Gao G S, et al. Robust low-rank decomposition of multi-channel feature matrices for fabric defect detection [EB/OL]. Multimedia Tools and Applications. (2018-08-09) [2018-12-26]. https://doi.org/ 10.1007/s11042-018-6483-6.

[6] 錢曉亮, 張鶴慶, 張煥龍, 等. 基于視覺顯著性的太陽能電池片表面缺陷檢測[J]. 儀器儀表學報, 2017, 38(7): 1570-1578.

[7] 亢潔, 潘思璐, 王曉東. 基于RPCA的紙病圖像分割算法[J]. 中國造紙學報, 2017, 32(2): 39-44.

[8] 王輝, 孫洪. 魯棒主成分分析的鋁箔表面缺陷檢測方法[J]. 信號處理, 2017, 33(4): 577-582.

[9] Cen Y G, Zhao R Z, Cen L H, et al. Defect inspection for TFT-LCD images based on the low-rank matrix reconstruction [J]. Neurocomputing, 2015, 149: 1206-1215.

[10] Cao J J, Wang N N, Zhang J, et al. Detection of varied defects in diverse fabric images via modified RPCA with noise term and defect prior [J]. International Journal of Clothing Science and Technology, 2016, 28(4): 516-529.

[11] Cao J J, Zhang J, Wen Z J, et al. Fabric defect inspection using prior knowledge guided least squares regression [J]. Multimedia Tools and Applications, 2017, 76(3): 4141-4157.

[12] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[13] LinZ C, Chen M M, Ma Y. The augmented lagrange multiplier method for exact recovery of corrupted low-rank matrices [R]. Champaign: University of Illinois-Urbana-Champaign, 2009.

[14] Zhu W J, Liang S, Wei Y C, et al. Saliency optimization from robust background detection [C]// 2014 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2014: 2814-2821.

[15] Hou X D, Zhang L Q. Saliency detection: A spectral residual approach [C]//2007 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2007: 1-8.

[16] 李富生, 李霞, 陳宇. 基于改進四元傅里葉變換的顯著性檢測及其視頻編碼應用[J]. 計算機應用研究, 2015, 32(5): 1540-1545.

[17] Achanta R, Hemami S, Estrada F, et al. Frequency-tuned salient region detection [C]//2009 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2009: 1597-1604.

[18] Goferman S, Zelnik-Manor L, Tal A. Context-aware saliency detection [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(10): 1915-1926.

Surface Defect Detection of Wind Turbine Blades Based on RPCA and Visual Saliency

CAO Jin-gang1, YANG Guo-tian2, YANG Xi-yun2

(1. School of Control and Computer Engineering, North China Electric Power University, Baoding Hebei 071003, China; 2. School of Control and Computer Engineering, North China Electric Power University, Beijing 102206, China)

Aiming at the problem of surface defect detection of wind turbine blades, a method based on robust principal component analysis (RPCA) and visual saliency is proposed. Based on RPCA, the method adds the noise term and Laplacian regularization term to facilitate the segmentation of defect images, that is, suppressing Gaussian noise and uneven illumination by F-norm regularization term, and constraining the spatial relationship of pixels with Laplacian regularization term which can preserve invariance and the local consistency among the spatially adjacent sub-regions with similar saliency values in a saliency map. Firstly, superpixel segmentation and feature extraction are performed on the surface image of input wind turbine blades to obtain the feature matrix of the image. Then, the sparse matrix is obtained by the improved PRCA, and the saliency map of the defect region is calculated according to the sparse matrix and visual saliency method. Finally, the saliency map is optimized and the adaptive threshold segmentation algorithm is used to detect defects. Through experimental simulation, the experimental results are qualitatively and quantitatively analyzed, which indicates that the proposed method has high detection accuracy.

RPCA; visual saliency; defect detection; wind turbine blades

TP 391

10.11996/JG.j.2095-302X.2019040704

A

2095-302X(2019)04-0704-07

2018-12-29；

定稿日期：2019-01-17

中央高校基本科研業務費專項資金(2018MS072)

曹錦綱(1981-)，男，湖北宜昌人，講師，博士研究生。主要研究方向為智能系統與模式識別、計算機視覺等。E-mail：caojg168@126.com

楊國田(1962-)，男，遼寧義縣人，教授，博士，博士生導師。主要研究方向為人工智能與模式識別等。E-mail：ygt@ncepu.edu.cn