結合噪聲估計的NRLBP 鉚釘表面缺陷檢測

楊 飛，羅建橋，李柏林，熊 鷹

（西南交通大學機械工程學院，四川 成都 610031）

1 引言

鉚釘是一種重要的緊固件，其質量直接影響了鉚接性能。傳統的鉚釘缺陷檢測依靠人工抽檢完成，效率低、可靠性差，難以滿足現代化生產的需求。因此，通過機器視覺的方式，基于鉚釘圖像完成表面缺陷的檢測具有重要的工程價值。目前有許多缺陷檢測的方法，文獻[1]由差影法得到差分圖像，設定閾值去除偽輪廓和噪聲，完成軸承缺陷的檢測，可靠性差。文獻[2]通過形態學和自適應閾值處理，分割出板材缺陷區域，易受到噪聲點的干擾。改進的OTSU方法[3]在保證類間方差最大的同時使類內方差最小，可以有效地分割出背景和鉚釘圖像，減少背景的影響。由于生產工藝的問題，常見的鉚釘表面缺陷有凹坑、裂紋、折疊等，如圖1 所示。由于鉚釘表面的缺陷形式多樣，形態不定，上述方法對于隨機紋理表面的檢測效果不佳。鉚釘表面缺陷檢測的實質是紋理分類問題，局部二值模式（Local Binary Pattern，LBP）作為目前最好的紋理描述子之一，廣泛應用于紋理缺陷的檢測。文獻[4]通過提取LBP 紋理特征，完成對拉鏈布邊的缺陷檢測。文獻[5]將織物圖像劃分子塊，提取子塊圖像的LBP 和方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征，獲取準確的紋理信息，檢測并標記出有缺陷的子塊。但LBP 對噪聲十分敏感，鄰域像素值的細微變化將導致局部模式的不同。研究發現，圖像的紋理信息大多在均勻模式，噪聲信息大多處于非均勻模式[6]。文獻[7]的均勻模式LBP，根據相鄰二元值的跳變次數，將LBP 編碼分類為均勻模式和非均勻模式，可以一定程度消除噪聲。文獻[8]的局部三值模式（LocalTernaryPatterns，LTP）算子采用兩個量化閾值得到三進制模式編碼，增強了抗噪性能；在LTP 的基礎上，文獻[9]提出了一種抗噪LBP 編碼算法（Noise-Resistant LBP，NRLBP），引入模糊性編碼，通過誤差糾正機制完成特征編碼，提高了對于噪聲的魯棒性。NRLBP 閾值的選取需要大量的實驗驗證，難以選取合適的閾值。由文獻[9]可知，NRLBP 的閾值是對圖像噪聲的抑制，閾值t與圖像的噪聲水平成正相關，若能計算出圖像噪聲水平，則可以得到合適的閾值。文獻[10]通過PCA 分解，將圖像子塊的協方差矩陣的最小特征值作為噪聲估計，估計值小于真實噪聲水平。文獻[11]將圖像子塊PCA 分解后，選取m個最小特征值的中值作為噪聲估計，較準確地估計出圖像的噪聲水平。

圖1 不同類型的鉚釘圖像Fig.1 Rivet Images of Different Types

綜上所述，鉚釘表面缺陷檢測存在以下問題：鉚釘表面缺陷復雜多變，LBP 對噪聲十分敏感，改進的LBP 難以選取合適的閾值等。針對以上問題，提出一種自適應閾值抗噪LBP 的鉚釘表面缺陷檢測算法（Adaptive Threshold NRLBP，AT_NRLBP），在繼承NRLBP 優點的基礎上，通過圖像子塊的噪聲估計，自適應選取編碼閾值，更準確地獲取鉚釘表面的紋理特征信息。首先，將圖像均勻分塊并標記出背景子塊和鉚釘子塊；然后，對鉚釘子塊圖像的協方差矩陣PCA 分解后，從大到小排序特征值λ，選取m個最小特征值的中值作為噪聲估計σ；根據噪聲強度σ 計算閾值t，編碼鉚釘子塊得到NRLBP 特征；最后，在SVM 中訓練子塊特征得到單分類器，完成鉚釘表面缺陷的分類。實驗結果表明，這里方法可以有效地檢測出鉚釘表面的缺陷。

2 LBP 算子

2.1 傳統的LBP

LBP 通過比較中心像素x與其鄰域系統像素xi的大小，記Δ=xi-x，若Δ≥0，則標記s為1；否則，標記s為0。將所得標記S按順序排列成一個局部二進制模式，其對應的十進制即為中心像素點的LBP 值，統計所有像素LBP 值的概率分布直方圖h表示圖像的紋理信息。s×s的矩形鄰域系統，如圖2 所示。由式（1）標記鄰域系統后，按順序排列標記得到8 位二進制數：11010011，中心像素的LBP 值為211。

圖2 LBP 編碼Fig.2 The Coding of LBP

為適應不同尺度的紋理特征，可用圓形鄰域系統代替矩形鄰域系統，且鄰域系統可以擴展到任意大小。給定中心像素x及半徑為r的圓周上等角間距均勻分布的p個鄰域像素xi=［x0，x1，…，xp-1］，通過改變參數對（r，p）的值，可以獲得不同尺度上的LBP模式，如圖3 所示。

圖3 圓形鄰域系統的LBPFig.3 Round Field System of LBP

圓形LBP 模式為：

式中：s（Δ）—一個符號函數。

若中心像素x位于原點（0，0），則鄰域像素的坐標為（-rsin（2πn/p），rcos（2πn/p），沒有位于圖像像素中心位置的鄰域像素采用雙線性差值方式獲得。基于p個鄰域像素的LBP 模式總共有2p種，對應的直方圖矢量維數為2p。因此，全局LBP 直方圖矢量的維數隨著p的增加成指數增長。

2.2 改進的LBP

為了解決二進制模式維數過多的問題，可將傳統LBP 模式分為均勻模式和非均勻模式兩類。定義U表示LBP 二進制模式的圓周上，相鄰兩個二元值跳變（0→1 或1→0）的次數，例如：11000111 的U值為2，01010111 的U值為6。由式（3）可知，當U≤2 時的LBP 值歸類為均勻模式，當U＞2 時的LBP 值歸類為非均勻模式。

圖4 圖像噪聲對LBP 編碼的影響Fig.4 The Image Noise Influence on LBP Coding

圖5 LTP編碼Fig.5 The Coding of LTP

為更好解決噪聲對編碼結果的干擾，NRLBP 提出了一種誤差糾正機制：將閾值t內的像素編碼為模糊值X，X可取值0 或1，改變X的值使LBP 編碼滿足均勻模式，無法生成均勻模式的編碼則歸類為非均勻模式。NRLBP 可以修正部分因噪聲而變成非均勻模式的編碼。

圖6 NRLBP 編碼Fig.6 The Coding of NRLBP

按式（6）進行NRLBP 編碼，每個像素位置可以產生多個LBP 模式，如圖6 所示。編碼NRLBP 時，保留多個LBP 模式中的均勻模式，丟棄非均勻模式。具體編碼過程如下：

（1）模糊編碼。按式（6）得到模糊編碼C（X）；

（2）NRLBP 編碼。改變模糊編碼中X的值，使NRLBP 編碼滿足均勻模式，記m為NRLBP 中均勻模式的個數；

（3）NRLBP 直方圖。若m=0 則，非均勻模式累加1；若m＞0，按1/m權值累加均勻模式。

在實際NRLBP 編碼過程中，建立特征編碼映射表，實現特征值與編碼結果的對應，極大地提高計算速度。

2.3 不同編碼方式的比較

對同一張鉚釘圖像進行紋理特征編碼，不同編碼方式的直方圖，如圖7 所示。

圖7 不同編碼方式的直方圖Fig.7 Histograms of Different Coding Methods

LBP 特征維數最高，共256 維；LTP 特征由正、負兩個二值模式串聯，共118 維；均勻模式LBP 和NRLBP 的特征維數均為59 維。其中，LTP 的第59 維和第119 維、均勻模式和NRLBP 的第59 維是非均勻模式。對比不同特征的直方圖可知：（1）均勻模式LBP 降低了特征維數，提高了特征的統計性，但其第59 維所占比例較大，許多有用信息被噪聲淹沒；（2）LTP 可以減少噪聲的影響，但是LTP 缺乏一種噪聲修正機制，其非均勻模式中仍包含許多被噪聲污染的均勻模式；（3）NRLBP 中的非均勻模式由14.8%減少到6.1%，NRLBP 的誤差糾正機制可以修正許多由噪聲引起的非均勻模式，從噪聲中提取有用的信息，準確表達圖像內容。

3 噪聲估計與閾值選取

NRLBP 的本質是從噪聲中獲取有用的紋理信息，在編碼前對圖像進行噪聲估計，根據圖像噪聲σ 與閾值t的相關性，編碼圖像的NRLBP 特征，更加準確地獲取圖像紋理特征。

3.1 噪聲與閾值的相關性

為分析圖像噪聲與NRLBP 閾值的相關性，文獻[9]從AR 人臉數據庫中選取具有高分辨率、高質量，且沒有圖像噪聲的圖像，人為添加均值零均值高斯噪聲N（0，σ2）。分析不同噪聲強度下，閾值與圖像識別率的關系可以得出以下結論：（1）隨著噪聲σ 的增加，整體的識別率降低。這是因為隨著噪聲的增多，噪聲對NRLBP 特征編碼的干擾增大，識別難度增加。（2）最佳閾值t與噪聲強度σ 成正相關，在t之前，識別率隨閾值的增大而增長；在t之后，識別率隨閾值的增大而降低。這是因為NRLBP 的閾值t是對噪聲的抑制，在t之前，隨著t的增加，可以修正更多由噪聲引起的非均勻模式；在t之后，隨著t的增加，許多真實的噪聲也被修正為均勻模式，反而影響了識別率。由實驗結果可知，噪聲強度σ 與最佳閾值t的關系為：t＝100σ。

由于鉚釘表面的紋理較復雜，固定的閾值t難以準確表達圖像的紋理細節。這里算法將圖像均勻分塊后，估計圖像子塊的局部噪聲，自適應選取閾值編碼NRLBP 特征，消除全局噪聲的影響，更準確地描述圖像局部的紋理信息。

3.2 噪聲估計

圖像子塊協方差矩陣Σ 的特征值與圖像噪聲水平成強相關性。PCA 分解Σ，將特征值作為噪聲估計。對于圖像I∈RM×N，將其均勻劃分成大小為d子塊B=｛b1，b2，…，bn｝，其中bi∈Rd×d，n=（M-d+1）（N-d+1），子塊的左上角坐標為（｛1，…，M-d+1｝，｛1，…，N-d+1｝）。計算過程中，子塊bi重新排列成一個向量r∈R1×d2。圖像噪聲模型為：

3.3 算法流程

由于鉚釘異常樣本難以獲取，鉚釘表面紋理缺陷的形式多變且不可預測，采用SVM 單分類器完成鉚釘表面缺陷的檢測。算法流程，如圖8 所示。具體過程如下：

（1）均勻分塊。將圖像均勻分成n塊，B=｛b1，b2，…，bn｝；

（2）選取目標子塊。設定閾值ε0，若子塊bi二值圖像中白色像素占比大于ε0，則標記1，表示鉚釘子塊；反之，則標記0，表示背景子塊；

（3）噪聲估計。PCA 分解鉚釘子塊的協方差矩陣∑，由3.2 節的噪聲估計算法得到圖像的噪聲強度σ。

（4）NRLBP 特征。根據t=100σ，自適應選閾值t，由2.2 節的NRLBP 編碼算法得到鉚釘子塊的紋理特征。

（5）分類器。訓練NRLBP 特征得到SVM 單分類器。

圖8 算法流程圖Fig.8 Algorithm Flow Chart

4 實驗結果及分析

4.1 實驗數據及配置

實驗數據來自鉚釘實拍圖像和KTH-TIPS 數據庫。對于鉚釘圖像，對比文本算法與其他算法的分類結果，檢測并標記出缺陷類別子塊；對于KTH-TIPS 數據庫，分別用這里算法和其他紋理分類算法提取特征，測試算法性能。計算機處理器為Intel（R）Core（TM）i5-6400 CPU@2.70GHz2.71GHz，內存8.00GB，在Matlab 2014a 環境下進行實驗，實驗結果為多次實驗的平均值。

4.2 實驗與結果分析

4.2.1 鉚釘缺陷檢測

經相機標定，圖像測量分辨率為0.01mm。鉚釘缺陷檢測要求為：寬度大于0.05mm、長度大于2mm 的裂紋；面積大于2mm2的塊狀缺陷。鉚釘圖像大小為1000×1000，在圖像均勻分塊時，圖像子塊太大，會造成圖像細節的丟失，降低識別率；圖像子塊太小，特征維數增加，計算量增大。為滿足檢測要求，選取子塊大小40×40，步長為20。鉚釘原圖及二值圖，將鉚釘圖像分塊后，若子塊的白色像素的占比ε 大于0.9，標記為1，表示鉚釘區域；否則標記為0，表示背景區域，如圖9 所示。

圖9 鉚釘原圖及二值圖Fig.9 Rivet Image and Rivet Binary Image

為加快鉚釘檢測速度，這里算法僅處理標記為1 的子塊。鉚釘子塊分類為正常和缺陷兩類，正常類別對應鉚釘頂面的正常區域，缺陷類別包括裂紋、凹坑、折疊等區域。實驗數據集共100 張鉚釘圖像，訓練集和測試集各50 張，其中正常類20 張，三類缺陷各10 張。實驗參數設置為：鄰域半徑取2，鄰域個數為8；NRLBP 的固定閾值取t=5。將子塊編碼特征輸入單分類SVM[5]，確定圖像子塊類別。將正常類別檢測為缺陷類別稱為誤檢，誤檢率=誤檢圖像/缺陷類圖像總數100%；將錯誤類別檢測為正常類別稱為漏檢，漏檢率=漏檢圖像/真實缺陷圖像總數100%。實驗結果，如表1 所示。

表1 各紋理特征分類結果（%）Tab.1 Classification of Texture Features（%）

分析表1 的實驗結果，可以得出以下結論：（1）LBP 特征的誤檢率最高，算法誤檢率最低。這是因為LBP 特征共256 維，由于噪聲的影響，容易將正常類圖像檢測為缺陷；均勻模式LBP 將特征統計為均勻模式和非均勻模式兩類，減少了噪聲影響，誤檢率降低；NRLBP 通過誤差糾正機制，進一步提取了噪聲中的紋理信息；這里算法自適應選取閾值，準確地獲取圖像的紋理特征，誤檢率最低。（2）這里算法與LBP 的漏檢率相當。這是因為LBP 特征保留了圖像子塊的所有紋理特征信息，對缺陷類別的描述更豐富；均勻模式LBP 在統計過程中丟失了部分紋理信息，漏檢率最高。NRLBP 和這里算法修正了部分由噪聲引起的非均勻模式，降低了漏檢率。綜上所述，這里算法對于鉚釘缺陷的檢測效果最好。

此外，設計一種可視化實驗：在檢測鉚釘缺陷的過程中，對于背景、邊緣和正常子塊，將像素置0；對于缺陷子塊，在圖中標記出。實驗結果，如圖10 所示。算法能有效地檢測出鉚釘表面缺陷。

圖10 鉚釘缺陷檢測結果Fig.10 The Results of Rivet Defect Detection

4.2.2 與其他算法的對比

為測試算法的性能，在公共數據庫上，將算法與其他紋理特征算法對比。KTH-TIPS 數據庫包含了810 張圖像，共10 類，每類81 張，其中每類圖像的光照條件、拍攝角度以及尺度不同。在數據庫圖像中添加不同強度的高斯噪聲σ，如圖11 所示。每類圖像隨機選取50 張作為訓練集，余下的圖像作為測試集，分別用算法和其他LBP 算法（包括傳統LBP、均勻模式LBP 和NRLBP）提取圖像紋理特征，完成圖像的識別。參數設置與實驗1 相同，實驗結果，如表2 所示。分析表2 的實驗結果可知，算法性能最好。這是因為傳統LBP 編碼過程單一，容易受到噪聲的影響，識別率較低；均勻模式LBP 提高了特征的統計性，但是丟失了部分紋理信息；NRLBP 通過誤差糾正機制，提取非均勻模式中的紋理信息，抑制了部分噪聲的影響。算法通過噪聲估計自適應選取編碼閾值，更準確地表達圖像，分類準確率最高。

圖11 不同強度的高斯噪聲圖像Fig.11 Gaussian Noise Images of Different Intensities

表2 KTH_TIPS 數據庫中不同算法的識別結果（%）Tab.2 The Results of Different Algorithms in KTH_TIPS Database（%）

5 結論

鉚釘缺陷檢測可以看作紋理分類問題，傳統的紋理特征提取容易受到噪聲的干擾，無法準確表達圖像內容。通過圖像噪聲估計自適應選取閾值，完成NRLBP 特征編碼，可以準確地獲取圖像紋理信息。實驗結果表明，這里算法能較好的分類鉚釘表面缺陷，誤檢率低，在KTH-TIPS 數據庫中的分類準確率較高。此外，映射表的建立極大地加快了檢測速度，算法能滿足檢測需求，適用于現代化生產。