基于圖像增強和CNN的布匹瑕疵檢測算法

俞文靜，劉 航，李梓瑞，賴冬宜

(廣州大學華軟軟件學院，廣東 廣州 510990)

0 引 言

在紡織工業生產中，影響布匹質量和生產效率的主要因素是紡織機器的故障或者人工操作失誤所造成的布匹疵點和破損，傳統檢測方法以人工方式肉眼觀察為主要手段。檢測者憑借眼睛去觀察，發現布匹的瑕疵并判斷布匹出現瑕疵的原因，對生產機器和人工操作做出及時調整，減少生產損失。人眼檢測的效率低下，人工成本較大，耗時耗力。因此，研究自動化、智能化的針織物瑕疵檢測的應用設施已經成為紡織行業、信息技術行業的熱點。

近年來，國內外將機器視覺技術應用于布匹瑕疵檢測已取得一些成果，其中具有代表性的Ye[1]提出基于圖像直方圖統計變量的模糊推理，對瑕疵具有旋轉平移不變性的優點，但是對圖像的噪聲特別敏感；基于Gabor變換的方法[2]和基于濾波器的方法[3-4]能夠基于不同的尺度圖像獲得較高維度的特征空間，對于邊緣瑕疵、孔洞具有很好的檢測效果，但是濾波器的參數值較難優化且算法計算量大。

綜上所述，已有的研究成果在保持瑕疵變換不變性和邊緣檢測等方面有很好的效果，但是容易受到圖片噪聲的影響和計算量大的制約。借鑒于此，結合卷積神經網絡圖像識別算法，該文提出一種基于圖像增強和CNN的單色布匹瑕疵檢測方法。

1 算法思路及設計

如今，卷積神經網絡(convolutional neural network，CNN)在圖像識別領域冠絕一時，不僅對圖像中的無數特征有著強大豐富的表達能力，且在圖像變換不變性、背景復雜的條件下依然有很強的分類與泛化能力[5-7]。傳統的深度學習模型(如AlexNet[8]，VGGNet[9]，ResNet[10])在1 000種物體的分類精度已達到很高的水平，因此近年來有一些將傳統的深度CNN模型用于布匹瑕疵檢測的嘗試。然而大型卷積神經網絡模型的層次較深、參數數量龐大，容易導致模型出現過擬合，效果不太理想。

結合以上分析，針對布匹瑕疵特征數據量小和受到布匹紋理特征干擾大的特點，考慮到傳統圖像增強方法對布匹瑕疵檢測容易受到光照不均勻、圖像噪聲的影響，該文設計了一個含有3個卷積層、3個池化層、2個全連接層的CNN模型。然后提出一種結合圖像增強技術的模型訓練方法，將原始圖片樣本進行特征增強[11-12]提高樣本圖片的對比度，增強了布匹樣本中的特征點，以此來提升模型訓練效果。

該文將CNN應用于布匹瑕疵檢測，首先對布匹圖像中出現的瑕疵特征進行取樣和分類，包括5種瑕疵(毛斑、吊經、扎洞、織稀、跳花)及正常布匹共6種樣本圖像，建立實驗所需要的圖像樣本庫。然后將原始樣本數據集拷貝為兩份，分別劃分訓練集、驗證集和測試集：其中一份不做圖像增強處理，直接作為文中模型的輸出層數據訓練分類模型；另一份先進行圖像增強處理，再利用增強后的數據集訓練分類模型。最后利用測試集分別對兩組實驗模型的性能進行測試。采用方法的步驟具體如下：

①對布匹樣本圖像進行取樣和分類，建立樣本庫。

②將原始樣本庫拷貝為兩份，分別劃分為訓練集、驗證集和測試集。

③對其中一份數據集進行圖像增強，提高圖片的對比度，降低噪聲，增強邊緣特征。

④分別構建并訓練CNN模型。

⑤測試模型性能。

整個檢測流程見圖1。

圖1 檢測流程

2 圖像增強

2.1 直方圖均衡化

在圖像的灰度直方圖中，灰度分量較低的部分代表了圖像的暗區域，而灰度分量較高的部分代表了圖像的亮區域。直方圖均衡化[13]是一種常用的灰度變換方法，通過將原始圖像中高低不等、分布不均衡的灰度分量進行調整，使得灰度值在整個直方圖中近似于均勻分布，也就是圖像像素在[0,255]這個灰階范圍上的分布更加均衡，那么圖像的灰度動態范圍和明暗對比度就得到了提高，圖像的細節就得到了增強。

對于灰度級范圍為[0,L-1]的數字圖像，其直方圖可以表示為一個離散函數：

h(rk)=nk

(1)

其中，nk是第k級灰度值rk的像素個數。也就是說，橫坐標代表了灰度值rk，縱坐標代表了該灰度級的個數nk。實際應用中，通常要先對直方圖進行歸一化，假設灰度圖像的維數是M×N，MN表示圖像的像素總數，則歸一化直方圖可以表示為：

(2)

其中，p(rk)表示灰度級rk在圖像中的出現概率，歸一化直方圖所有分量之和等于1。

2.2 圖像降噪

圖像降噪采用均值濾波，主要方法是先定義一個固定大小和參數的濾波器模板，該模板通過領域平均法來計算中心像素點的值，對整幅圖像的像素值重新賦值，以達到圖像降噪的目的，但同時會模糊圖像的邊緣。對于布匹瑕疵圖像，該文使用的是簡單有效的算數均值濾波器。令Sxy表示中心點在(x,y)處，大小為m×n的濾波器窗口。算術均值濾波器計算中心點領域像素均值并賦給中心點的過程可以表示為：

(3)

其中，g(s,t)表示原始圖像，f(x,y)表示均值濾波后得到的圖像。

2.3 邊緣檢測

邊緣檢測是圖像增強中的一個重要部分，它通過檢測圖像中亮度變化梯度大的像素點識別圖像的邊緣部分，根據特定需求可以大幅度地減少原始圖像中的無效數據量，保留了圖像重要的結構屬性。該文選擇Sobel邊緣檢測算子，它包含兩組3×3的矩陣，分別為橫向及縱向模板，可以分別檢測圖像的垂直邊緣和水平邊緣。在瑕疵布匹圖像中，瑕疵部分一般都與正常部分的像素值不同，并且在布匹瑕疵檢測中并不關心正常布匹的紋理特征。而Sobel算子恰好對此細紋理不敏感，因此可以大幅度減少布匹中與瑕疵部分無關的特征信息，這大大減少了之后卷積神經網絡學習中需要提取的數據信息量。

通常將以下兩個模板(見式(4)、式(5))與圖像作平面卷積來檢測圖像邊緣，就可以分別獲得圖像橫向及縱向的亮度差分近似值。

檢測水平邊沿橫向模板Gx：

(4)

檢測垂直邊沿縱向模板Gy：

(5)

圖像中每一個像素點的橫向和縱向梯度近似值的大小可用式(6)來計算：

(6)

通常，為了提高效率，使用不開平方的近似值表示為：

|G|=|Gx|+|Gy|

(7)

如果梯度G大于某一閾值，則認為該點(x,y)為邊緣點。

3 CNN

3.1 經典CNN模型結構

經典的CNN模型[14-16](見圖2，圖中省略了激活函數層)包括卷積層、池化層、全連接層、激活函數層ReLU和分類器損失函數層Softmax。

圖2 經典CNN結構

C表示卷積，用來提取特征，其計算公式為 ：

(8)

輸入特征圖的通道數為I；輸出特征圖的通道數為J；xi表示第i個通道輸入特征圖；yi表示第j個通道輸出特征圖；kij表示xi與yj之間的卷積核;*表示卷積操作;bj表示第j個通道輸出特征圖的偏置項,上標(r)表示卷積區域,f表示激活函數,用來增加模型的非線性。

P表示池化，用來減小輸入矩陣的寬高的大小，篩選主要的特征，降低特征的維度,主要方法有均值池化和最大值池化，目的是降低后續操作中的計算量。

FC表示全連接層，一幅圖像經過層層卷積可以提取出數以千計的特征圖像，全連接層上的神經元與這些特征圖像的節點相連，將這些特征綜合起來送入Softmax分類器中計算分類概率值。

3.2 文中CNN模型結構

參照AlexNet模型，該文設計了一個由1個增強層E，3個卷積層C,每個卷積層后接一個ReLU激活函數，3個池化層P，2個全連接層FC，1個Softmax層組成的簡化布匹瑕疵檢測模型(見圖3，其中省略ReLU層)。

圖3 網絡訓練結構

表1給出了該模型的網絡拓撲結構，其中E為第一層(輸入層)的一個圖像預處理層，它依次通過三種圖像處理算法，增強輸入層數據的特征點，剔除大量在布匹瑕疵檢測中干擾機器學習精度的布匹紋理特征，更有利于反映不同類別間的特征差異。

表1 文中模型CNN設計

根據目前AI學習界在卷積神經網絡中的大量嘗試和經驗，結合該文對于布匹瑕疵特點的分析，模型的設計原則總結如下:

(1)對于布匹圖像數據規模小且紋理簡單的特點，需要一定量地減少網絡中參數的數量，這樣既可以降低模型的計算量和內存占用空間，又可以減少模型過擬合的程度。

(2)在進行模型預測實驗的分析時發現，原始數據即使在經過數據擴充后也依然會存在許多相似之處，來源于同一原始圖像擴充后的數據經過圖像增強之后，所保留的瑕疵特征比較相似，這可能造成過擬合。因此，提高原始數據的多樣性依舊是該算法的重要工作之一。

4 實驗結果與分析

4.1 建立布匹樣本庫

布匹樣本均來源于國內某知名AI挑戰賽所公開提供的布匹圖像數據，該文挑選了該批布匹圖像中的主要單色織物(灰色)，選取出現布匹瑕疵(a.毛斑、b.吊經、c.扎洞、d織稀、e跳花，見圖4)，將這5種瑕疵圖像與正常布匹圖像建立布匹瑕疵數據集。

圖4 布匹瑕疵樣品

實驗所獲得的原始布匹圖像為普通攝像機所拍攝，每張圖像分辨率為2 560×1 920，對這些原始圖像進行人工的瑕疵判別分類，選取了5種數量占比較大的瑕疵圖像和正常圖像進行樣本采集，每幅圖像的采集分辨率為500×500。對數量不足的瑕疵圖像進行數據擴充，每個類別得到100張樣本圖像。

4.2 圖像增強效果

文中實驗中，布匹瑕疵圖像增強部分所用到的算法均源于OpenCV庫。布匹瑕疵圖像依次經過了直方圖均衡化、均值濾波和邊緣增強的處理，對6種類別部分樣本圖像的處理效果見圖5。

圖5 布匹瑕疵圖像增強效果

其中，第一列表示的是布匹圖像的原始灰度圖，第二列是對第一列進行直方圖均衡化后的結果，第三列是對第二列進行均值濾波后的結果，第四列表示的是對第三列進行邊緣檢測的結果，也是布匹樣本圖像增強后的最終結果。

由圖5中各類布匹樣本圖像的增強效果可以看出，盡管樣本圖像來自幾種細紋理不同的單色布匹，原始圖像數據采集過程中由于布匹擺放不平整和光照拍攝角度的影響，使得樣本圖像的結構和色調略有不同，但通過本文所提出的圖像增強算法和檢測算法都能將瑕疵從布匹紋理背景中提取出來。這些實驗性的結果證明了本文增強算法對布匹瑕疵檢測的有效性。雖然最終結果中圖像部分瑕疵的細節在處理過程中被消除或掩蓋掉了，但與原始圖像對比，瑕疵部分的特征更加明顯了。這為本文CNN模型的特征提取提高了效率和精準度。

4.3 文中網絡模型實驗結果

文中實驗重點研究了布匹瑕疵檢測在基于Python開發語言上的實現效果，實驗的物理環境為：64位的Windows 10操作系統PC機一臺，8.00 GB內存，CPU為Intel(R)Core(TM)i5-6300HQ，GPU為NVIDIA Geforce GTX 950M，主要軟件環境有Python 3.6版本、OpenCV 3.1版本、TensorFlow 2.0版本、NVIDIA顯卡加速庫CUDA 10.0版本、神經網絡加速庫cuDNN v7.6.4版本。深度學習框架為Keras，將數據集中各個類別的圖像隨機抽取70%作為訓練集，10%作為驗證集，20%作為測試集。

為了驗證文中模型對布匹瑕疵檢測的有效性，設計了另一組不處理原始圖像的CNN模型(參考圖3)，該對照模型除了沒有圖像增強層E以外，其余訓練參數皆與文中模型相同。實驗導入模型可視化模塊來直觀地觀察模型的性能，每當數據訓練迭代完一遍，便記錄其訓練參數的歷史數值，最后通過Matplotlib的圖像功能顯示出來。兩組模型的訓練情況見圖6。

對照模型損失度 對照模型精確度 文中模型損失度 文中模型精確度

由圖6可以看出，在文中提出的模型中，驗證集上的損失度曲線和精確度曲線都比對照模型更加趨近于訓練集曲線，體現了該模型擁有更好的收斂性，并且誤差也降低到比較低的水平。為了進一步驗證模型的有效性，實驗使用各組的測試集數據繼續對兩組模型的性能進行測試，結果如表2所示?？梢钥闯?，文中模型相比對照模型的識別準確率有不錯的提升，錯誤率大幅降低。

表2 模型測試結果對比

5 結束語

結合傳統圖像增強技術和卷積神經網絡算法，針對布匹瑕疵特征數據量小和受到布匹紋理特征干擾大的特點，提出并設計了一個簡化的CNN模型，并將樣本數據進行圖像增強處理后進行模型訓練。實驗結果表明:

(1)相對于經典的深度卷積神經網絡，所使用的簡化CNN模型結構在布匹瑕疵檢測上的內存空間占用和計算量更少，模型訓練速度較快。

(2)結合使用直方圖均衡化、均值濾波和邊緣檢測三種傳統圖像增強方法對樣本圖像進行增強處理，盡可能地去除掉瑕疵檢測中所不關心的布匹細紋理特征，保留布匹的瑕疵特征。

(3)相對于單獨使用傳統圖像增強技術或者單獨使用卷積神經網絡進行布匹瑕疵檢測，將使用傳統增強算法處理過的布匹樣本圖像作為卷積神經網絡的輸入層數據進行訓練。減少了使用傳統算法的計算復雜度，提高了卷積過程中瑕疵特征的有效提取率，降低了模型的計算量和誤差。

基于小規模布匹瑕疵樣本的訓練模型，有可能在海量數據的樣本測試中降低效果，擴充訓練樣本的多樣性和實現輸出分屬各類的概率將是下一步的研究目標。