基于Fisher準則的深層卷積神經(jīng)網(wǎng)絡(luò)織物疵點檢測①

史甜甜

(浙江理工大學(xué) 信息學(xué)院,杭州 310018)

在紡織品領(lǐng)域中,織物疵點檢測占據(jù)著舉足輕重的地位,它是衡量成品的質(zhì)量以及價格的評判依據(jù).傳統(tǒng)的織物疵點檢測主要依賴于人工的肉眼,人工檢測容易產(chǎn)生疲勞,從而導(dǎo)致檢測精度低、誤檢率高.這幾年來,隨著計算機視覺和圖像處理技術(shù)突飛猛進的發(fā)展,紡織品領(lǐng)域使用織物疵點自動檢測技術(shù)已成為必然趨勢.頻譜法、統(tǒng)計法、結(jié)構(gòu)法、模型法、神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)是織物疵點主要檢測方法.基于頻譜法、結(jié)構(gòu)法以及神經(jīng)網(wǎng)絡(luò)的織物缺陷分類,仍然是該領(lǐng)域的研究重點.傅里葉變換、小波變換和Gabor變換是頻譜法常用的經(jīng)典變換方法,它們通常與其他相關(guān)算法組合應(yīng)用.李東等人[1]結(jié)合傅里葉方法和支持向量機方法提出了一種多分類方法.由于小波變換[2]具有很明顯的局部時頻特點,在織物檢測方面,它受到廣泛應(yīng)用.該方法在突出邊緣的缺陷中具有良好的效果,但在具有平滑灰度差異的缺陷中表現(xiàn)不佳.Gabor濾波器適用于模擬人眼的生物學(xué)特征,織物檢測經(jīng)常用到該方法.考慮到Gabor濾波器在進行濾波操作時有多方向和多尺度的特點從而引發(fā)高計算復(fù)雜性,實時要求難以得到滿足.文獻[3,4]通過采用遺傳算法來構(gòu)建最優(yōu)Gabor濾波器達到降低計算復(fù)雜性的目的,但是該濾波器執(zhí)行的特點僅在一個方向和一個尺度上,導(dǎo)致性能不佳.Jing等人[5]使用遺傳算法構(gòu)建的最佳Gabor濾波器對圖案化圖像進行濾波,并對處理后的圖像進行閾值化處理.文獻[6]通過HOG算子提取圖像塊特征,再利用低秩分解模型實現(xiàn)了織物疵點檢測.文獻[7]考慮了織物紋理和疵點特性,利用LBP算子實現(xiàn)了織物疵點準確分割.近年來,神經(jīng)網(wǎng)絡(luò)也被用于織物缺陷檢測和分類[8].除了經(jīng)典的反向傳播(BP)網(wǎng)絡(luò)之外,新興的神經(jīng)網(wǎng)絡(luò),即脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)[9,10].

傳統(tǒng)的淺層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)主要由一個輸入層、一個隱藏層和一個輸出層構(gòu)成.與淺層網(wǎng)絡(luò)結(jié)構(gòu)相比,具有多個隱含層的神經(jīng)網(wǎng)絡(luò),簡稱為深層網(wǎng)絡(luò).Hinton等人[11]在2006年提出逐層貪婪算法,該算法通過初始化深度網(wǎng)絡(luò)結(jié)構(gòu)權(quán)重,達到改善網(wǎng)絡(luò)性能的目的.Hinton引發(fā)了深度學(xué)習(xí)在研究和應(yīng)用領(lǐng)域的熱潮,引起了學(xué)者們廣泛的反響,具有創(chuàng)歷史的意義.流行的深度學(xué)習(xí)模型框架如 AlexNet[12]、Vgg-16[13]、GoogleNet[14]和Inception V3[15]等深層網(wǎng)絡(luò)已成功用于圖像分類.Vgg-Face[16]網(wǎng)絡(luò)結(jié)構(gòu)被用作一個非常深的網(wǎng)絡(luò)例子,在實驗中證明了它成功地學(xué)習(xí)面部特征來進行面部驗證.然而,由于高計算復(fù)雜性,導(dǎo)致計算機硬件設(shè)備無法滿足需求.隨后,Chollet[17]提出的 Xception 網(wǎng)絡(luò)證明了利用深度可分離濾波器可超越Inception V3網(wǎng)絡(luò)性能.另外Howard等人[18]利用深度可分離卷積設(shè)計了MobileNet并在手機端進行應(yīng)用.Li等人[19]將Fisher準則融合到LSTM中實現(xiàn)了高效的識別分類.Li等人[20]提出對棧式去噪自編碼器加入Fisher準則來進一步提高織物疵點的檢測率,但是當樣本數(shù)量增加時,準確率有所下降.

本文為了對具有周期性圖織物實現(xiàn)自動化疵點分類檢測,提出了基于Fisher準則的深層卷積神經(jīng)網(wǎng)絡(luò),其利用深度可分離卷積設(shè)計一個小型的深層卷積神經(jīng)網(wǎng)絡(luò)(DCNN),相比較于大型卷積神經(jīng)網(wǎng)絡(luò),不僅大大地降低網(wǎng)絡(luò)參數(shù)、計算量和分類運行時間,還保證了織物疵點分類率較高;其次,對深層卷積神經(jīng)網(wǎng)絡(luò)的Softmax損失函數(shù)增加Fisher準則約束,減小類內(nèi)間距,增大類間間距,通過梯度算法更新整個網(wǎng)絡(luò)參數(shù),得到深層卷積神經(jīng)網(wǎng)絡(luò)(FDCNN);最后,分別將2類織物疵點數(shù)據(jù)集送入FDCNN網(wǎng)絡(luò)中進行疵點分類檢測.實驗結(jié)果表明:深度可分離卷積可有效地減小網(wǎng)絡(luò)參數(shù)、計算量以及運行時間,且通過對深層卷積神經(jīng)網(wǎng)絡(luò)增加Fisher準則約束,可有效提高織物疵點分類率.

1 深度可分離卷積

本文的網(wǎng)絡(luò)模型主要基于深度可分離卷積,核心就是將標準卷積因式分解為深度卷積和逐點卷積.深度可分離卷積先考慮區(qū)域,再考慮通道,實現(xiàn)了通道和區(qū)域的分離,其與標準卷積相比網(wǎng)絡(luò)參數(shù)和計算量減小.將DF×DF×M特征圖F作為輸入,經(jīng)過標準卷積核K大小為DK×DK×M×N,并輸出DF×DF×N特征圖G,其中DF、DK、DG分別是輸入特征圖、卷積核和輸出特征圖的寬和高,M是輸入通道,N是輸出通道,則標準卷積層的輸出特征圖和計算量如下式(1)(2):

利用深度可分離卷積將標準卷積分解為深度卷積和逐點卷積,通過1×1的逐點卷積將深度卷積輸出特征圖線性輸出,深度可分離卷積的計算量為深度卷積和逐點卷積之和,即深度卷積的輸出特征圖、計算量和深度可分離卷積的計算量分別如下式(3)(4)(5):

2 Fisher準則

假設(shè)由m個樣本構(gòu)成的訓(xùn)練數(shù)據(jù)集{(x1,y1),···,(xm,ym)},有yi∈{1,2,···,k},k為要分類的數(shù)量,則Softmax損失函數(shù)可表示為:

其中,ω為Softmax的參數(shù).

為了進一步提高深層卷積神經(jīng)網(wǎng)絡(luò)的分類性能,提出對深層卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)進行Fisher準則約束,基于Fisher線性判別提出了新Fisher判據(jù),即表示為:

其中,uyi是第i類平均值,Oi為網(wǎng)絡(luò)輸出值,δ為判別式因子.減小類內(nèi)間距,增大類間間距,使得Lf達到最小.當深層卷積神經(jīng)網(wǎng)絡(luò)不斷更新uyi,則Softmax損失函數(shù)增加Fisher準則約束可表示為:

其中,θ介于0和1之間.在前向傳播和反向傳播過程中,w為損失參數(shù),θ參數(shù)標量,λ為學(xué)習(xí)率,迭代次數(shù)為e.通過式(10)和式(11)計算基于Fisher準則約束的深層卷積神經(jīng)網(wǎng)絡(luò)在每一次迭代過程中的誤差值和w:

3 基于FDCNN的織物疵點檢測

織物疵點分類檢測主要步驟:(1)構(gòu)建織物疵點訓(xùn)練集和測試集;(2)利用深度可分離卷積設(shè)計14層的深層卷積神經(jīng)網(wǎng)絡(luò),輸入織物疵點樣本訓(xùn)練DCNN模型;(3)對DCNN網(wǎng)絡(luò)的Softmax函數(shù)增加Fisher準則約束,根據(jù)反向傳播梯度下降不斷迭代更新權(quán)值進行訓(xùn)練微調(diào),得到FDCNN模型;(4)將測試集的織物疵點圖像輸入到訓(xùn)練好的FDCNN模型中進行分類識別.FDCNN算法具體流程如圖1所示.

圖1 FDCNN 算法流程圖

3.1 實驗環(huán)境與實驗數(shù)據(jù)集

實驗運行環(huán)境:Intel(R)Xeon(R)E5-2620 V4@2.10 GHZ,64 GB,在 MATLAB2018a 環(huán)境下編寫代碼.本文的織物疵點數(shù)據(jù)集主要來源于:TILDA織物數(shù)據(jù)集和彩色格子織物疵點樣本集,如圖2和圖3所示.

圖2為TILDA數(shù)據(jù)庫織物,通過數(shù)據(jù)增強方法增加圖片樣本量,使得深層卷積神經(jīng)網(wǎng)絡(luò)可以學(xué)到更多圖像特性,減小深層卷積神經(jīng)網(wǎng)絡(luò)過擬合的可能性.本文采用旋轉(zhuǎn)變換、翻轉(zhuǎn)變換、平移變換等操作將樣本數(shù)量擴充至原來10倍,再從原始圖像中隨機截取若干小塊圖像,并歸一化.實驗隨機選擇6460張為訓(xùn)練集,2490張為測試集.圖3為實驗室環(huán)境下,使用工業(yè)相機實時采集的彩色格子織物數(shù)據(jù)集,彩色格子織物數(shù)據(jù)集共收集2768張.同樣采用上述的數(shù)據(jù)增強方法,對疵點樣本進行擴充6倍.隨機選取6869張為訓(xùn)練集,2640張為測試集.

圖2 TILDA 織物

3.2 深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

由于傳統(tǒng)CNN網(wǎng)絡(luò)采用的是標準卷積層和池化層,導(dǎo)致網(wǎng)絡(luò)參數(shù)、計算量大,無法滿足計算機硬件需求.深度可分離卷積將標準卷積層分解為深度卷積層和逐點卷積層,使得計算量和網(wǎng)絡(luò)參數(shù)減小.為了滿足在有限的織物疵點庫上提高織物疵點分類率,本文以Vgg-16網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ),結(jié)合深度可分離卷積設(shè)計出14層的深層卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)(不包括輸入層、BN、ReLu、池化層、Softmax層以及輸出層),降低網(wǎng)絡(luò)模型中的參數(shù)數(shù)量和計算量,節(jié)省了運行占用內(nèi)存,加快運行速度,減小分類時間.深層卷積神經(jīng)網(wǎng)絡(luò)(DCNN)結(jié)構(gòu)流程如圖4所示.

圖3 彩色格子織物

圖4 DCNN 算法流程圖

3.3 訓(xùn)練FDCNN

為了進一步提高DCNN網(wǎng)絡(luò)模型的性能,對其Softmax損失函數(shù)增加Fisher準則約束,將 θ =0.1、δ=0.05和α =0.5在TILDA織物疵點數(shù)據(jù)集上進行訓(xùn)練微調(diào)過程,最后輸出織物疵點分類結(jié)果.在進行反向傳播過程中增加Fisher準則約束減小類內(nèi)間距,增大類間間距,在迭代更新權(quán)值時考慮誤差和損失值最小化,從而更加有利于網(wǎng)絡(luò)進行分類識別.FDCNN訓(xùn)練過程如圖5所示.

圖5 FDCNN 訓(xùn)練過程

4 實驗結(jié)果與分析

4.1 FDCNN網(wǎng)絡(luò)模型分析

表1為使用不同的分辨率因子作用于FDCNN在兩種織物數(shù)據(jù)集上的實驗結(jié)果,輸入層分辨率為224、192、128 和 64,批量大小為 32,學(xué)習(xí)率為 0.001,迭代次數(shù)為975次,訓(xùn)練周期為6.

由表1可知:1)通過輸入不同分辨率的圖片,當輸入層分辨率不斷減小時,網(wǎng)絡(luò)參數(shù)不變,織物疵點分類運行時間逐漸降低.2)當FDCNN-128時,織物疵點分類率最高,在TILDA和彩色格子織物數(shù)據(jù)集上分類率分別為98.14%和98.55%.由上可知,本文的FDCNN模型輸入層圖片分辨率選取為128×128.

表1 基于不同的分辨率因子的深層卷積神經(jīng)網(wǎng)絡(luò)

表2 本文算法與流行網(wǎng)絡(luò)結(jié)構(gòu)的對比

表3 本文算法與傳統(tǒng)算法的分類率對比 (單位:%)

4.2 FDCNN算法與其他算法進行比較

將FDCNN算法與當前流行的深層網(wǎng)絡(luò)模型、傳統(tǒng)算法在TILDA和彩色格子織物數(shù)據(jù)集上進行比較.選取AlexNet、Vgg-16和Inception V3流行網(wǎng)絡(luò)結(jié)構(gòu)進行對比,實驗結(jié)果如表2所示.使用了2種傳統(tǒng)的特征提取方法,選取的特征包括方向梯度直方圖(HOG)特征和局部二值模式(LBP)特征,實驗結(jié)果如表3所示.

由表2可以看出:1)FDCNN模型與流行網(wǎng)絡(luò)結(jié)構(gòu)相比,網(wǎng)絡(luò)參數(shù)最小為1.8百萬,運行時間最短為1781 s.深度可分離卷積可以節(jié)省網(wǎng)絡(luò)參數(shù)和運行時間,解決了網(wǎng)絡(luò)訓(xùn)練時計算機硬件設(shè)備不足的困難.2)FDCNN模型在TILDA織物數(shù)據(jù)集上分類率為98.14%,FDCNN分類率比AlexNet提高0.38%,比Vgg-16和Inception V3分別下降0.18%和0.46%;3)FDCNN模型在彩色格子織物數(shù)據(jù)集上分類率為98.55%,FDCNN分類率比AlexNet和 Vgg-16分別提高0.13%和0.25%,比Inception V3 下降 0.2%;綜上可知,從網(wǎng)絡(luò)參數(shù)、運行時間和分類率上考慮,FDCNN模型最有效.

由表3可知:1)FDCNN和DCNN模型比傳統(tǒng)算法分類率高.當傳統(tǒng)算法與FDCNN均使用Softmax作為分類器,深層卷積神經(jīng)網(wǎng)絡(luò)通過非線性映射學(xué)習(xí)自動提取織物疵點的深層特征,其深層特征優(yōu)于傳統(tǒng)算法提取特征特性,其具有較強的識別能力.TILDA和彩色格子織物紋理結(jié)構(gòu)較為豐富,采用兩種傳統(tǒng)的特征描述算子不能提取有效織物疵點特征,不利于Softmax分類器進行分類識別.2)在TILDA和彩色格子織物數(shù)據(jù)集上,FDCNN模型分類率分別為98.14%和98.55%,比DCNN模型分別提高2.62%和2.47%.由實驗結(jié)果表明,與大型卷積神經(jīng)網(wǎng)絡(luò)模型相比,對DCNN模型的Softmax層增加Fisher準則約束減小類內(nèi)間距,增大類間間距,不僅提高織物疵點分類率還大幅度降低了網(wǎng)絡(luò)參數(shù)、計算量和運行時間,所以,FDCNN模型設(shè)計是合理的,在實際檢測中是可行的.

5 結(jié)論

針對紋理結(jié)構(gòu)復(fù)雜的織物疵點檢測人工提取特征的困難和檢測率低的不足,本文提出的基于Fisher準則的深層卷積神經(jīng)網(wǎng)絡(luò)織物疵點檢測算法.該方法不僅可以自動提取織物疵點的特征,還利用深度可分離卷積有效減小網(wǎng)絡(luò)參數(shù)量和降低運行時間,并通過對DCNN的Softmax層損失函數(shù)增加Fisher準則約束,減小類內(nèi)間距,增大類間間距,進而不斷更新整個網(wǎng)絡(luò)參數(shù),得到最優(yōu)化的FDCNN網(wǎng)絡(luò)模型,有效提高織物疵點分類精度.在TILDA和彩色格子織物數(shù)據(jù)集上,FDCNN模型分類率分別為98.14%和98.55%.實驗結(jié)果表明:FDCNN算法采用深度可分離卷積可減小網(wǎng)絡(luò)參數(shù)量和降低運行時間,且通過增加Fisher準則約束,不斷進行迭代更新微調(diào)參數(shù),對不同紋理背景的織物疵點圖像實現(xiàn)分類識別,具有泛化性.

在后續(xù)工作中,將通過改進算法來訓(xùn)練出更好的深層卷積神經(jīng)網(wǎng)絡(luò)模型,使其對紋理更為復(fù)雜和疵點類型更多樣化的圖像庫中進行分類識別,并將探討如何將此方法檢測應(yīng)用到自動檢測系統(tǒng)中.