基于卷積神經網絡鏡座表面缺陷檢測

張 安，黃建龍，周詩洋，伍世虔*

（1.武漢科技大學 機械自動化學院，武漢 430081；2.武漢科技大學 機器人與智能系統研究院，武漢 430081）

0 引言

隨著工業4.0時代到來，工業檢測領域開始引入自動化檢測技術，人工智能的出現也大大提高了工業的生產效率。濾光片是過濾光線的光學器件，濾光片一般被膠粘在塑料鏡座上，作為濾光片組件應用在鏡頭模組內，但是在濾光片組件批量生產過程中，有部分產品會出現加工缺陷，比如鏡座壓傷、鏡座破損、溢膠、崩邊等，這些有硬性缺陷的濾光片組件無法應用到鏡頭內。當前國內部分制造業都是雇傭大量年輕工人通過顯微鏡的輔助進行微小光學器件的不良篩查，工人在機械化的篩查工作中容易疲勞，工作效率低下，而且容易漏檢，長期低頭工作也會導致部分工人的頸椎受損。

機器視覺行業的興起對制造業的發展有了一定的推動作用。為實現了不良品的缺陷檢測，DING等人提出基于形態學運算的圖像相減方法，成功檢測印刷品缺陷[1]。LIANG等人也提出一種分割和模板匹配的算法，實現了織物 疵的缺陷檢測[2]。Li等人[3]針對工業制造中沖壓件的缺陷檢測問題，提出了一種基于模板匹配的缺陷檢測方法，實現零件表面缺陷的自動檢測。但基于簡單的圖像空域分析，處理像素級別的問題有局限性，因此馮國勇利用小波變換的方法對圖像的時域和頻域進行局部分析，該方法能夠檢測金屬表面缺陷[4]。但是以上的解決方法都是傳統的圖像處理算法，他們有一個共同的缺點就是算法的魯棒性低，且沒有良好的實時性。

相比于傳統算法，深度學習有多層神經元作為特征提取器，展現了卓越的特征提取能力。著名的語義分割全卷積神經網絡[5]（Fully Convolutional Networks，FCN）打開了分割領域的大門。FCN主要適用于現實場景的分割，因此，王森等人[6]在FCN網絡上進行改進，提出一種Crack FCN模型檢測道路、鋼材等裂縫缺陷。TABERNIK等人提出一種分割網絡檢測表面裂紋圖像，檢測效果良好，甚至超越了市面上常用的商業檢測軟件[7]。YAO等人利用提出的卷積神經網絡實現了鑄件缺陷的檢測，測試準確率可以達到96%[8]。深度學習在工業缺陷檢測其他產品領域發展出了顯著成果，比如輪胎缺陷[9]，手機外殼[10]，PCB電路板[11]等。以上深度卷積分割網絡的結構都很深，所以取得了良好的準確率，但是網絡模型的運算時間不盡人意。

當前研究者為增強模型的檢測能力，都在逐步的加深網絡層級，雖然深層次的卷積神經網絡可以學習更加豐富的特征，但是算法的運行時間也隨著卷積層的加深也在逐步變長。基于此，本文提出一種多尺度并行的卷積神經網絡分割算法，該算法能夠像深層次的網絡一樣提取到圖像的低層語義特征和高層語義特征，最后將兩種特征進行融合，這對鏡座表面缺陷邊緣分割的準確率有較大改善，同時運行時間比深層次卷積神經網絡也短。為提高不同尺寸缺陷檢測準確率，本文也提出了一種多感受野卷積模塊，該模塊能夠將不同感受野卷積核得到的語義特征進行融合，進而豐富了特征圖中的不同尺度缺陷的語義特征。

1 缺陷檢測網絡設計

1.1 MultiNet多尺度并行網絡結構設計

MultiNet是一種高效的并行運算的網絡結構。MultiNet有三條網絡路徑，第一條路徑輸入的圖像是直接將原圖經過二分之一下采樣處理的400×400×1小尺寸圖像，經過二分之一下采樣后，圖像的細節特征減少，然后將下采樣后的小尺寸灰度圖像送入網絡后，經過多次卷積后獲得一個100×100×16的特征圖，此時的特征圖就如同一條很深層次卷積神經網絡提取出來的高層語義特征圖，因為細節特征會隨著卷積層的加深而逐漸消失，所以小尺度圖像被提取出鏡座的高層語義信息，即鏡座的輪廓特征；第二條路徑輸入尺寸為800×800×1的原圖，經過多次卷積后獲得一個100×100×16的特征圖，此時的特征圖包含底層語義信息，即包含著鏡座的表面細節特征；第三條路徑輸入的圖像尺寸也是800×800×1的原圖，經過多次卷積后獲得一個100×100×16的特征圖，第三條網絡結構提取出來的低層語義信息是對第二條網絡提取的特征進行低層語義信息加強化，使得鏡座表面的細節特征充分被提取，然后將輪廓特征和細節特征融合，進而有效的提高缺陷檢測準確率。其中的3×3的卷積運算都有padding填充操作，卷積后的特征圖尺寸大小不變，通過最大池化進行下采樣，特征圖會縮小一半，MultiNet內部包含六個LightCNN模塊，該模塊為網絡適當的增加了大量的參數，使得模型擁有良好的泛化能力，最后將三個不同的特征圖進行通道間的連接操作，通過UpSampling運算進行上采樣運算，使得特征圖尺寸能夠恢復到800×800，然后通過1×1卷積將通道調整為1，獲得的特征圖為最后的預測分割結果圖。MultiNet網絡結構圖如圖1所示。

圖1 MultiNet網絡結構和特征圖可視化

1.2 LightCNN多感受野卷積模塊設計

LightCNN是一種輕量級的特征提取模塊，首先，LightCNN模塊適當的為網絡增加了大量可學習的參數，提升了模型的泛化能力，其次，它由1×1卷積、3×3卷積和5×5卷積組成，卷積核為1和3的卷積核感受野小，能夠提取缺陷的局部和細節特征，卷積核為5的卷積擁有大的感受野，能夠提取到缺陷全局特征，隨后將不同感受野得到的特征圖進行相加運算，這樣融合的方式使得網絡更加充分的提取不同尺度的缺陷特征。隨后將特征圖經過Batch Normalization(BN)層運算，BN將數據進行歸一化，歸一化可以加快訓練速度，這樣我們就可以使用較大的學習率來訓練網絡，同時可以提高網絡的泛化能力。使用Leaky ReLU激活函數后，可以是線性輸入變成非線性輸出，增強了模型的擬合能力，而且Leaky ReLU激活還可以解決ReLU的神經元死亡問題，在負區域具有小的正斜率，因此即使對于負輸入值，LightCNN模塊也可以進行反向傳播。LightCNN多感受野卷積模塊如圖2所示。

圖2 LightCNN多感受野卷積模塊

對于LightCNN多感受野卷積模塊而言，不同感受野獲取的信息是不一樣的，如圖3所示，1×1卷積的感受野只有一個像素單元格，3×3卷積的感受野9個像素單元，5×5卷積的感受野25個像素單元，大感受野的卷積運算得到的計算結果具有豐富的全局圖像信息，小感受野的卷積運算得到的計算結果具有局部圖像信息。對于LightCNN特征提取模塊，它將小感受野、中感受野、大感受野得到的不同語義信息的特征圖與無操作的特征圖進行元素間相加融合，最終獲得的特征圖具有豐富多樣的語義信息，這有助于提高不同尺寸缺陷的識別準確率。

圖3 不同感受野的示意圖

2 實驗結果與分析

2.1 圖像采集

本視覺檢測系統主要是由相機、鏡頭、光源、硬件平臺組成，相機選用CCD工業相機（Charge Coupled Device Camera），光源采用環形光源的同軸光，鏡頭采用日本Computer公司研發的M1614-MP2型號鏡頭。濾光片組件由濾光片和鏡座組成，濾光片型號多種多樣，與之對應的鏡座種類也很多，如圖4所示。殘次品的鏡座不能應用到鏡頭中鏡座缺陷種類繁多，典型的缺陷包含壓傷、劃傷、崩邊、崩角、裂紋、擦傷等。

圖4 采集的四個型號濾光片組件圖像

2.2 實驗環境

本實驗的運行硬件平臺是Windows系統，GPU型號為Nvidia GeForce RTX 2060獨立顯卡，其顯存為6GB；CPU型號為英特爾Core i5-10200H@2.40GHz四核，其內存為16GB。軟件運行平臺為Anaconda3的Pycharm解釋器，在該平臺下，安裝了python3.6，tensorflow1.13.1，numpy和opencv等第三方庫支持算法穩定運行。

2.3 模型訓練

本文的訓練集包含600張有缺陷的不合格產品圖像和100張無缺陷的合格產品圖像，網絡使用Adam優化器進行網絡優化，二元交叉熵函數（Binary Crossentropy）作為損失函數，為了訓練出泛化能力更好的模型，訓練的超參數設置為：以0.5的概率隨機將部分圖像進行旋轉90°，將學習率設置為0.001，回調函數（ReduceLROnPlateau）來定期衰減學習率，Batchsize設置為4。

2.4 實驗結果

2.4.1 模型評估指數

TP表示分類真實值正確的像素個數，FP表示不是真實值被誤判為真實值的像素個數，FN是真實值反而被誤判為不是真實值的像素個數，TN不是真實值預測為不是真實值的像素個數。

1）交并比（Intersection over Union，IoU）：這項指標是衡量語義分割結果好壞的重要指標，它表示預測值和真實值交集占并集的比例，平均交并比等式為：

2）平衡F分數（F1 Score）：

3）查準率（Precision）：表示真正的為缺陷的像素占據被判定為缺陷像素的比例。

4）查全率（Recall）：表示被正確判定為缺陷的像素占據所有缺陷像素的比例。

2.4.2 不同算法分割性能指標的對比

如表2所示，展示了不同網絡在測試集上的IoU、F1 Score、每張的測試時間和模型參數量的對比，從表格中可以看出本文方法的準確率和測試時間明顯優于其他算法，這是由于其他網絡都是利用單尺度特征做訓練數據，使得部分淺灰度值的特征經過多次卷積而消失，沒有充分提取到圖像上的細節和輪廓特征。而本文方法是以多尺度特征融合為數據驅動，將不同層次的特征進行了有效融合，這有效的提高了分割結果。

表2 本文方法與其他分割網絡1300張量產測試對比

2.4.3 各個算法效果圖

圖5第一列是產品整體圖像，第二列是缺陷的局部圖，第三列是人工手工標記的標簽（ground truth），第四列是FCN的測試結果圖，第五列是Unet的測試結果圖，第六列Unet-Mobile的測試結果圖，第七列是本文方法的測試結果圖，相同環境下，本文方法分割的結果圖更加接近人工手工標記的標簽。

圖5 本文方法與其它算法的測試結果圖

2.4.4 甄選1300張圖像模擬實際生產任務測試

為模擬算法在實際成產任務中的表現效果，挑選出1300張圖像進行檢測，其中包含250張不合格圖像，1050張合格圖像，同選取了FCN、Unet、Unet-Mobile三個網絡的測試結果進行對比。實驗結果表示本文提出的方法漏檢率和過檢率更加符合工業檢測標準，雖然Unet-Mobile漏檢率表現的跟本文的方法相當，但是過檢非常多，無滿足工業檢測要求，如表1所示。

表1 本文方法與其他分割網絡分割性能指標對比

2.4.5 不同標記測試結果

考慮到標注的便捷性問題，本文將人工精準標記的原始標簽進行不同程度的膨脹處理（Dilate=0、Dilate=3、Dilate=9、Dilate=13），利用不同膨脹系數的標簽圖進行了實驗，不同膨脹系數標簽效果圖如圖6所示。

圖6 缺陷圖與不同膨脹系數的標簽圖

利用本文方法進行多組實驗，得出表3的結果數據，如表3所示，在Dilate=為9時，網絡分割的各項評估指標為最佳。經過該實驗得出的結論是工人在進行標簽制作時，不需要花費大量的時間很精準的標注缺陷的邊緣位置，而是大致的在缺陷位置進行簡單涂鴉生成標簽圖即可，這大大提高了算法使用的便捷性，切換新的產品檢測時，人工能夠快速制作標簽，實時性能夠達到要求。

表3 不同膨脹程度的標簽圖的實驗結果

3 結語

本文提出一種輕量型多尺度并行的缺陷檢測網絡MultiNet，用于解決鏡座表面缺陷檢測準確率低和實時性差的問題。首先，該分割網絡通過三條輕量型并行的網絡能夠像深層卷積神經網絡一樣提取圖像的高層語義信息和底層語義信息，因為是并行同時運算，所以運算時間比單條型的深層卷積神經網絡短，最后將兩種不同層次的特征進行融合，使得檢測結果達到實際工程檢測要求。其次，本文提出了多感受野卷積模塊LightCNN，該模塊融合了不同感受野的特征圖，提升了不同尺寸缺陷的檢測準確率。在標簽制作方面，所提的算法只需要簡單粗略的標注就能達到良好的分割性能。因此，本文提出的算法為制造業自動化的檢測提供了良好的落地應用價值。