基于低秩分解的織物疵點檢測

楊恩君， 廖義輝， 劉安東， 俞 立

(浙江工業大學 信息工程學院， 浙江 杭州 310023)

織物的瑕疵點檢測是生產流程中的關鍵步驟，傳統人工檢測由于工人的視覺疲勞，往往容易造成疵點的誤檢和漏檢[2]。相比于人工檢測，機器檢測則是通過軟件分析采集到的織物圖像來標識疵點區，其檢測標準更客觀，且不存在人工視覺疲勞問題，從而可有效地提高疵點檢出率和檢測速度。然而，由于織物背景紋理各不相同，疵點類型多種多樣，如何準確區分織物的正常紋理和疵點是實現機器檢測的關鍵。

針對疵點檢測問題，常見的方法有：統計學方法、頻域變換法、基于模型的方法、圖像分解法等。然而，統計學方法[3-5]只適用于簡單紋理，其應用范圍有限。頻域變換法[6-8]的檢測效果依賴于濾波器的選擇，在復雜紋理結構上表現不佳。基于模型的方法[9-11]建模過程復雜，計算量大。圖像分解法是將原圖像分解為背景和疵點，其適用范圍比統計學方法廣，同時計算量比基于模型的方法小，如相對全變分方法[12]、形態學成分分析[13-14]、殘余共振奇異值法(RRSVD)[15]。由于織物圖案具有周期性，且疵點區一般較小，因此織物的背景紋理和疵點分別具有低秩性和稀疏性。上述圖像分解方法雖將織物圖像分解為背景和疵點兩部分；但未考慮織物紋理特有的低秩性和稀疏性，因此對于復雜周期性紋理的織物可能會出現完全無法識別疵點的情況。

低秩分解方法[16-17]是從低秩和稀疏屬性出發對織物圖像進行分解的一種方法，故比上述圖像分解方法更契合圖案紋理織物的疵點檢測。文獻[18]通過對織物圖的Gabor與方向梯度直方圖(HOG)組合特征矩陣進行低秩分解實現了疵點檢測，但由于Gabor不同特征分量間存在冗余，導致檢測效率較低。文獻[19]用Frobenius范數代替傳統低秩分解中的核范數，提高了檢測速度，但由于Frobenius范數無法精確描述矩陣的低秩特性，因此檢測精度有所下降。文獻[20]利用先驗信息圖引導低秩分解，提高了檢出率；但傳統低秩分解的核范數在低秩逼近時存在局限性，且存在織物彈性導致的歪斜問題，因此分割出的疵點圖帶有許多干擾。

本文針對織物的疵點檢測問題，提出了一種基于改進的低秩分解方法。傳統低秩分解方法用核范數近似描述矩陣的秩，但這種近似存在較大誤差，為了提高近似精確度，本文采用Beta范數進行改進，解決了由近似不精確引起的圖像信息過度丟失問題。為了抑制織物彈性引起的歪斜干擾，在改進低秩分解方法的基礎上，通過織物圖的方向梯度直方圖特征構造后驗信息圖，對低秩分解得到的稀疏分量進行加權處理，仿真驗證了本文所提算法的有效性。

1 基于低秩分解的疵點檢測算法

本文方法的流程圖如圖1所示。主要包含以下3個步驟：構建先驗信息圖，基于低秩分解的顯著圖，疵點分割。

圖1 本文方法流程圖Fig.1 Flow chart of proposed method

1.1 先驗信息圖構造

低秩分解雖契合織物紋理與疵點的特性，但對于復雜的織物紋理和疵點，往往需要借助特征提取。目前，大多數文獻先進行特征提取，再對提取出的特征矩陣進行低秩分解[17-18]，進一步分割疵點。由于低秩分解以特征矩陣為基礎，檢測效果較大程度取決于特征提取，而提取出適用于所有織物紋理和疵點的特征幾乎是不可能的，因此對特征矩陣進行低秩分解的做法具有一定局限性，同時沒有讓低秩分解方法的效果最大化。

本文以低秩分解為主體，將織物圖像的特征作為先驗信息輔助分解。先驗信息圖的具體構造過程如下。

1)
圖像分塊。將檢測圖像P進行重疊式滑窗分割，分為m×n大小的圖像塊Pi，相鄰2個滑窗重疊區大小為(m/2)×(n/2)，得到N個圖像塊。

2) 對每個圖像塊提取基元特征[21]向量fi，并利用向量2范數計算各圖像塊的相對數值：

3) 根據圖像塊滑窗覆蓋情況，統計各像素點對應的數值，即可得到先驗信息圖，每個像素點的值表示該點為疵點的概率大小。

1.2 基于低秩分解的顯著圖

由于織物背景紋理的重復性和疵點的稀疏性，可將低秩分解分割織物疵點的過程描述為以下優化問題：

(1)

式中：L和S分別為織物圖像P的背景紋理和疵點部分，且滿足P=L+S；rank(·)為矩陣的秩，‖·‖0為矩陣的L0范數；λ為平衡常數。一般文獻在處理該問題時，采用最優凸近似理論[22]，分別用矩陣核范數和矩陣L1范數代替式(1) 中的秩函數和L0范數。

然而，在描述實際織物圖像低秩特性時，由于核范數對不同大小的奇異值采用相同的收縮力度，導致圖像的重要信息過度丟失，因此，本文采用Beta范數‖L‖β代替核范數，對不同的奇異值施加不同的權重，具體形式如下：

(2)

式中：σi為矩陣L的奇異值；β取0.001。

此外，實際疵點往往具有結構化分布特征，而傳統低秩分解方法用L1范數描述稀疏屬性時假設每個元素是獨立分布的，由此得到的疵點圖中往往包含部分背景紋理，因此將1.1節中構造的先驗信息圖作為稀疏項的權重矩陣，引導低秩分解。通過引入實際疵點的先驗信息，進一步提升算法描述疵點稀疏屬性的能力。同時，由于光照、陰影會導致織物圖中存在高斯噪聲，因此存在高斯噪聲情況下的模型可描述為

(3)

通過引入拉格朗日乘子Y，利用增廣拉格朗日乘子法將模型式(3)改寫為如下形式：

(4)

式中：<·>表示內積；參數η>0。

由于模型式(4) 中有5個變量，為此采用交替方向乘子法，分別給出L、S、F、Y、η的迭代表達式。其中，尋找最優L時采用文獻[23]提出的基于奇異值梯度的迭代方法。具體過程如下。

步驟1：設定最大迭代次數T，當前迭代數t=0，允許誤差ε，并初始化L0、S0、F0、Y0、η0。

步驟2：利用文獻[23]中基于奇異值梯度的迭代方法更新第t+1次的迭代值Lt+1。

步驟3：在更新St+1時，將Lt+1、Ft、Yt、ηt看作常量，并對S求導尋最值可得：

(5)

同理可得Ft+1的更新公式：

(6)

式中，G=P-Lt+1-Ft+Yt/ηt。

步驟4：根據增廣拉格朗日乘子法，Yt+1和ηt+1的更新公式分別為

Yt+1=Yt+ηt(P-Lt+1-St+1-Ft+1)

(7)

ηt+1=ρηt

(8)

式中，ρ為常數。

步驟5：判斷迭代是否結束。若滿足t=T或‖P-Lt+1-St+1-Ft+1‖F/‖P‖F>ε，則結束迭代，并輸出S；否則跳轉至步驟2)，且t=t+1。

1.3 疵點分割

經過低秩分解得到的稀疏分量S中包含織物疵點信息，但對于部分織物圖像，仍存在一些干擾。圖2示出4種不同疵點在各環節的相應圖像。由圖2可知，低秩分解得到的稀疏分量S中包含較強的干擾。雖然模型式(3) 的最小化目標中加入了高斯噪聲項，去除了織物圖中的高斯噪聲；但由于稀疏分量中的干擾不是由高斯噪聲引起，因此，無法通過算法求解將其去除。

圖2 后驗信息圖和顯著圖Fig.2 Posterior map and saliency map. (a) Segmentation result of broken end; (b) Segmentation result of netting multiple; (c) Segmentation result of hole;(d) Segmentation result of oil

事實上，由于織物具有一定的彈性，且生產線上的機器對織物有一定拉扯，會導致織物發生細微形變，這些形變是可恢復的。若設備采集圖像的瞬間正好記錄下形變的織物，則某些直線紋理在圖像中呈現出來變成了有高有低、有左有右的曲線，導致圖像中反映出來的矩陣秩比真實情況大。而低秩分解方法以矩陣的秩最小為其中一個優化指標，當指標達到最優時輸出檢測結果，顯然此時包含歪斜干擾，因此，需要對低秩分解后的稀疏分量進行干擾抑制。

針對上述問題，本文通過提取織物圖的HOG特征構造后驗信息圖，并利用后驗信息圖和稀疏分量構造顯著圖抑制干擾。具體過程如下。

1) 對圖像進行重疊滑窗分塊，再對每個圖像塊提取HOG特征向量，最后將各重疊圖像塊的相應數值分別對應到每個像素點，由此構造后驗信息圖。

2) 利用后驗信息圖對低秩分解得到的稀疏分量矩陣S進行哈達瑪乘積得到顯著圖。在S和后驗信息圖中，像素點為疵點的概率越大則該點的數值越大。由于構造后驗信息圖的過程與秩無關，因此后驗信息圖中不存在歪斜干擾。雖然S中歪斜干擾像素點的數值較大，但在后驗信息圖對應位置的數值則較小；而真實疵點在S和后驗信息圖中均有較大數值，因此，其哈達瑪乘積值遠超歪斜干擾像素點。相對而言，在顯著圖中真實疵點比其他像素點更亮，歪斜干擾像素點則被淡化，從而抑制織物彈性引起的干擾。

3) 利用最優閾值分割算法分割顯著圖，得到疵點檢測結果。

2 仿真結果與分析

本文使用香港大學的印花織物圖像數據集(FID)，包含星型、方格型、圓點型等3種不同的紋理，其中星型有25張疵點圖和25張參考圖(正常紋理)，方格型有26張疵點圖和30張參考圖，圓點型有30張疵點圖和30張參考圖，每張疵點圖都有其對應的疵點標定圖。本文仿真均在Intel(R) Core(TM) i5-6200U 2.3GHZ CPU、4 GB內存環境下進行，使用MatLab 2018b軟件實現。經多次試驗，本文參數設置如下。最大迭代次數T=500，允許誤差ε=10-2，增廣拉格朗日參數初始值Y0=0,η0=1×10-6，低秩分解3個分量的初始值L0=S0=F0=0，常數ρ=1.1。

為了驗證所提算法的有效性，本文從檢測效果和檢測時間兩方面，分別和RRSVD方法[15]、GHOG-RPCA方法[18]、PG-LSR方法[19]、PN-RPCA方法[20]進行比較。

2.1 檢測效果對比

圖3示出5種算法對FID數據集的部分星型紋理織物的檢測結果。

圖3 星型紋理檢測結果Fig.3 Detection results for star-patterned fabric image. (a) Fabric image; (b) Method of reference [15];(c) Method of reference [18]; (d) Method of reference [19]; (e) Method of reference [20]; (f) Method of this paper; (g) Ground-truth

由于星型紋理的重復單元較小，因此在相同面積下，其紋理單元的排列比FID數據集中其他2種紋理更密集。當星型紋理織物的瑕疵區很細微時，易發生漏檢甚至完全檢測不出瑕疵區的情況，因此本文選擇數據集中瑕疵區較小的織物圖進行效果對比。其中，文獻[15]的方法未能很好地將疵點區和正常紋理有效分離，這可能是星型紋理單元排列過于密集導致的，如圖3(b)中星型斷頭、星型多斷頭和星型破洞；對于某些細微的疵點甚至完全失效，如圖3(b)中星型多破洞。文獻[18]的方法能較好地檢測出疵點，但其分割出的疵點輪廓明顯大于實際輪廓，因此其在輪廓細節刻畫方面還有待改進。文獻[19]方法能較好地標識出疵點的位置，如圖3(d)中星型斷頭和星型破洞；但其存在漏檢情況，未能標記出疵點的全部區域，如圖3(d)中星型多破洞所示，文獻[19]方法只標注出了2個疵點區中的1個。文獻[20]方法較好地檢測出了疵點，且其輪廓比前3種方法更接近疵點標定圖，如圖3(e)中星型斷頭和星型多破洞；但結果中包含歪斜干擾，如圖3(e)中星型斷頭、星型破洞和星型多網。本文算法可以較好地檢測出疵點區位置，且疵點輪廓與疵點標定圖相近，如圖3(f)中星型斷頭和星型多破洞；同時基本消除了文獻[20]結果中的歪斜干擾，如圖3(f)中星型斷頭、星型破洞和星型多網。

圖4示出5種算法對方格型紋理的檢測結果。

圖4 方格型紋理檢測結果Fig.4 Detection results for box-patterned fabric image.(a) Fabric image; (b) Method of reference [15]; (c) Method of reference [18]; (d) Method of reference [19]; (e) Method of reference [20]; (f) Method of this paper; (g) Ground-truth

其中文獻[15]方法對于方格型紋理織物的檢測效果比星型紋理稍好，如圖4(b)中的方格斷頭(縱)、斷頭(橫)和方格油污，可以在一定程度上識別出疵點位置，但不能很好地將其與背景分離。文獻[18]基本可以檢測出大致的疵點區，效果明顯優于文獻[15]，但引入了一些細微噪聲，如圖4(c)中方格細緯。文獻[19]出現了大量虛警現象，將大量背景識別為瑕疵區域，如圖4(d)中方格斷頭(橫)和方格破洞，這是由于其采用的Frobenius范數不能很好地近似矩陣的秩。文獻[20]方法檢測出的疵點輪廓比前3種方法更精準、細膩，但有很多歪斜干擾，如圖4(e)中方格斷頭(橫)和方格破洞。本文算法基本對每張織物圖都實現了疵點區與背景紋理的分離，且沒有文獻[20]中的歪斜干擾，如圖4(f)中方格斷頭(橫)和方格破洞，但本文算法在圖4(f)方格斷頭(縱)的檢測效果比文獻[20]稍差。

對于圓點型紋理織物，本文方法同樣可以有效抑制歪斜干擾，同時對疵點的輪廓細節描述較其他4種算法更細膩。

2.2 檢測時間對比

衡量算法優劣的另一個指標是檢測時間。為此將以上幾種方法在統一仿真環境下進行對比，其中文獻[18]、文獻[19]、文獻[20]等方法的相關MatLab代碼均由論文作者提供。由于文獻[18]對每張疵點圖的平均處理時間在8 s左右，與文獻[19]、文獻[20]等不在一個量級，因此該方法不參與此環節的對比。圖5示出文獻[15]、文獻[19]、文獻[20]以及本文方法處理FID數據集中每張疵點圖的耗時對比。

圖5 單張織物圖的用時對比Fig.5 Compared results of time for single fabric image

整體上看，文獻[15]耗時最久，其次是文獻[19]與文獻[20]，本文算法檢測時間最短。為了更精準地比較各方法耗時，本文以平均耗時為衡量指標，其結果如表1所示。

表1 平均用時對比Tab.1 Compared results of average time

由表1可知，本文算法用時最短，隨后依次是文獻[19]、文獻[20]、文獻[15]，以上幾種方法對單張疵點圖的處理時間都在1 s以內，相差很小。當處理的疵點圖數量增加時，這種差距就不可忽視，如圖6所示。

圖6 FID數據集的總用時對比Fig.6 Compared results of total time for processing FID database

由圖5可知，同一方法對不同疵點圖的處理時間存在差異，其中一些疵點圖的處理時間明顯多于平均用時。這是由于該方法對此類紋理或疵點效果不佳，優化時遲遲達不到目標的誤差范圍。若針對不同的疵點圖，檢測時間有較大波動，則表明該方法穩定性不夠好，適用范圍有限，很難推廣到其他紋理的織物檢測，因此，從圖5中不僅可得到每種方法檢測時間的對比情況，還可分析出各方法的穩定性。

本文以標準差作為衡量各方法穩定性的指標，結果如表2所示。可以看出，穩定性從弱到強分別是文獻[15]、文獻[19]、文獻[20]、本文算法。其中文獻[20]與本文算法的穩定性相差不多，這與圖5中曲線變化反映的情況一致，同時也說明了本文算法具有較好的適應性和推廣性。

表2 算法穩定性對比Tab.2 Compared results of algorithms stability

3 結束語

為了解決傳統低秩分解方法中采用核范數近似矩陣秩導致的圖像信息過度丟失問題，采用更精準且計算量更小的Beta范數代替核范數，在解決圖像信息過度丟失問題的同時，提高了算法的檢測速度；利用織物圖的HOG特征構造后驗信息圖，對低秩分解的疵點顯著圖進行修正，解決了織物彈性引起的歪斜問題；最后通過仿真分析驗證了本文方法的有效性和適用性。下一步研究的方向主要著眼于直接從低秩分解模型本身入手，使模型變“軟”，可以容忍正常范圍內的織物變形，無需后驗信息圖即可解決織物彈性導致的歪斜問題，進一步提高檢測效率。