一種陶質焊接襯墊產品質量檢測方法

肖書浩，陳 涵，吳 蕾

（1.武昌首義學院機電工程研究所，湖北 武漢 430064；2.湖北工業大學機械工程學院，湖北 武漢 430068）

1 引言

陶質焊接襯墊具有良好的防潮能力和焊接時電弧穩定的性能，在焊接時，有效保證焊接產品質量，優化工作條件，被廣泛應用于橋梁、船舶、建筑、冶金機械等焊接領域。由于生產環境的影響，陶質襯墊在生產過程中會產生不同的缺陷，傳統檢測陶質襯墊的方式是利用人工目測。隨著近年來深度學習、圖像處理領域的快速發展，陶質焊接襯墊的產品質量檢測方式逐漸由自動化方式代替人工，解決人工檢測成本高，效率低等問題。

在工業界的工件識別及產品質量檢測領域中，國內外學者提出了諸多解決方案。工件識別的主要算法有基于局部二值模式（LBP）與支持向量機（SVM）相結合的識別算法[1]，基于尺度不變特征的特征提取識別算法[2]，基于LBP和方向梯度直方圖特征融合的識別算法[3]。產品質量檢測的主要算法有基于灰度共生矩陣和分層聚類對人造板表面圖像缺陷提取[4]，基于近鄰搜尋方法和SVM對石材的缺陷檢測方法[5]，基于Canny邊緣檢測與最大類間方差法和形態學圖像分割法對高反射零部件的識別方法[6]，基于Tetrolet變換對熱軋鋼板表面缺陷的分類識別[7]，基于剪切波和小波特征融合對金屬表面缺陷識別方法[8]，基于邊緣檢測和亞像素提取測量旋轉工件表面粗糙度方法[9]，基于結構光視覺的激光拼焊焊縫表面質量檢測方法[10]。上述方法均需要對圖像進行人工預處理提取相應的工件或產品特征，在識別工件或產品缺陷都有一定局限性，對不同的工件或產品缺陷無較好的泛化性能。

陶質焊接襯墊的主要生產缺陷有裂紋、污漬、缺角、大面積缺損、表面凹坑等五種。傳統算法對適用環境苛刻，對多類缺陷識別問題表現欠佳，基于Yolo-v3的目標檢測算法存在識別精度不高等問題。根據流水線上陶質襯墊的檢測需求，對目標檢測網絡Yolo-v3進行改進，提出Yolo-Res模型，對識別出的目標區域做多屬性預測后合并屬性，解決了實時檢測目標分類不準確問題。該方法具有一定實時性，檢測過程由端到端，對陶質襯墊的缺陷檢測問題有較高的準確率，有效解決缺陷識別魯棒性。

2 Yolo-v3

2.1 Yolo-v3算法原理

Yolo 是端對端的one-stage 目標檢測算法，與two-stage 的RCNN系列相比，one-stage算法利用目標邊框坐標回歸解決邊框的定位問題，two-stage 則先利用Select Search、RPN 等算法生成目標候選框，再對框內目標進行分類識別。one-stage 算法在保證一定檢測準確率的前提下的檢測速度略優于two-stage算法，因此常用于重視實時檢測效率的應用場景中，如流水線上陶質襯墊的產品質量檢測等。Yolo的原理是將輸入的樣本圖片分成S×S網格，目標中心落在某單元格時，該單元格負責檢測目標。每個單元格會預測B 個邊界框和邊界框的置信度。置信度（confidence）包括該邊界框中有無目標的概率和邊界框的準確度。有無目標的概率記為Pr（object），有目標時Pr（object）=1，無目標時Pr（object）=0。邊界框的準確度記為（Intersection over union），表示預測框與真實框交并比。其中：

每個邊界框的預測值包含（x，y，w，h，c），式中：x和y-相對于單元格左上角坐標的偏移量；w和h-邊界框的寬高；c-該框的置信度。Yolo-v3 中的類別預測采用Logistic 分類器取代Yolo-v2中的Softmax分類器，在復雜環境中一個目標可能是多個類別，因此將多標簽多類別預測的Logistic分類器代替單標簽多類別預測的Softmax分類器。

Yolo-v3的損失函數由三部分組成，第一部分是針對邊界框的中心坐標的誤差和針對邊界框的寬和高的誤差Lcoord，如公式（1）所示。

式中：S—網格系數；B-bounding box 的數量；—第i個單元格含有目標，且該單元格第j個bounding box負責預測所包含目標；λcoord-該項的權重。

第二部分是含目標的邊界框的置信度誤差和不含目標的邊界框的置信度誤差，如式（2）所示。

第三部分是包含目標的單元格的分類誤差，如式（3）所示：

2.2 Yolo-v3網絡結構

Yolo-v3 中使用Darknet-53 作為特征提取網絡，如圖1 所示。Darknet-53 相比Yolo-v2 中使用的Darknet-19，借鑒了Resnet中的殘差結構，在加深網絡層數的同時不會導致梯度消失問題，訓練難度大大降低，精度明顯提升。對于416×416像素大小的圖像輸入，Yolo-v3使用三種不同尺寸的特征圖進行預測，特征圖大小分別為：（13×13），（26×26），（52×52），其中，尺寸小的特征圖預測大目標，尺寸大的特征圖預測相對小的目標。每個特征圖負責預測3個box，每個box預測（x，y，w，h，c）5個值。在COCO數據集上，每個特征圖需要預測80個類別的目標，所以每個特征圖的通道數為3×（4+1+80）=255。

圖1 Yolo-v3網絡結構Fig.1 Yolo-v3 Network Structure

Yolo-v3采用上采樣與之前特征向量做特征拼接的方法實現多尺度的feature map，在Backbone網絡的最后一層得到一個特征向量，該向量有兩條分支，一條分支經過一系列卷積后得到尺寸為13×13的feature map，另一條分支經過一系列卷積和上采樣后與上層的特征向量做特征融合，得到新的特征向量；該向量亦有兩條分支，一條分支經過一些列卷積后得到尺寸為26×26 的feature map，依此類推得到52×52的feature map。

3 改進的Yolo-v3模型

根據陶質焊接襯墊的產品質量檢測的任務特性，針對Yolov3的檢測及分類不準確問題，提出一種Yolo-v3與Resnet50相結合的模型結構，把陶質焊接襯墊的分類視為多屬性分類任務。Yolo-v3完成目標檢測任務，Resnet50完成目標分類任務。陶質焊接襯墊在圖像中占據20%以上的像素值，對Yolo-v3的網絡結構作些許改進，以更適應產品質量檢測任務。僅將Yolo-v3的兩組尺度特征作為目標檢測依據，摒棄對小目標最敏感的特征圖。對于416×416像素的樣本，Layer74得到的特征向量分兩部分，一部分經過7次卷積得到13×13的特征圖，另一部分經過6次卷積1次上采樣后與Layer61輸出的特征向量作特征拼接再經過7次卷積得到26×26的特征圖。多尺度融合作為目標檢測依據的方法能明顯提高目標檢測精度，取兩組特征作特征融合更加適應陶質焊接襯墊的產品質量檢測任務，在保證檢測精度的同時減少大量不必要計算量，大幅提升檢測速度。

陶質焊接襯墊的缺陷主要有裂紋、污漬、缺角、大面積缺損、表面凹坑五類，每種缺陷視為獨立特定的屬性，剝離Resnet50的尾部全連接層，將特征向量分別連接五個不同的二分類全連接層，存在該屬性標簽標記為1，否則為0，若5類屬性全為0則為合格品，總體算法框架，如圖2所示。

圖2 算法框架流程圖Fig.2 Algorithm Framework Flowchart

4 實驗結果與分析

為驗證提出Yolo-Res算法的可行性，將該算法應用于陶質焊接襯墊的產品質量檢測。實驗配置如下：Core i7-7700k@4.2 GHz，16GB內存，GeForce GTX 1080Ti，Ubuntu16.04，CUDA 10.0，Pytorch1.0。

4.1 數據集準備

根據本算法特性，將模型分為兩部分訓練，一部分為改進的Yolo-v3的目標檢測訓練任務，另一部分為Resnet50的多屬性任務標簽分類訓練任務。

數據集來自陶質焊接襯墊產品迷你流水線，使用Logitech相機采集960x720像素的圖像3000張，部分數據集，如圖3所示。數據集按照8：1：1的比例分成訓練集、驗證集和測試集。在Yolo-v3模型上訓練的數據集采用Labelimg工具標記，以COCO數據集格式儲存。訓練前利用K-means算法調整Yolo-v3的候選框的個數與相應參數，以提升算法效率與性能，得到如下六組候選框（75，61），（62，45），（81，119），（116，90），（156，198），（373，326）。

圖3 陶質焊接襯墊數據集Fig.3 Ceramic Welding Gaskets Dataset

4.2 模型訓練

訓練參數參考Yolo-v3 預訓練參數，在此基礎上做一定調整，得到最優參數，如表1所示。

表1 Yolo-v3超參數Tab.1 Yolo-v3 Hyperparameters

根據上表設置參數，得到最優訓練效果，該模型Loss值與迭代次數的關系，如圖4所示。

圖4 Yolo-v3訓練loss曲線Fig.4 Yolo-v3 Training Loss Curve

由上圖可知，迭代次數在2000次時Loss值基本趨于平穩，損失函數達到收斂，改進Yolo-v3模型訓練完成。

訓練Yolo-v3模型后，從原數據集中利用Yolo-v3截取出檢測到的目標，生成新的數據集，該數據集采用自編寫屬性標注工具進行標記，每個樣本分別標記5種屬性（裂紋、污漬、缺角、大面積缺損、表面凹坑）的屬性值（0或1）。通過對比，選定Resnet-50的訓練參數，如表2所示。根據表中參數，得到最優訓練效果，該模型Loss值與迭代次數的關系，如圖5所示，由圖5看出，loss值在迭代次數達到1000時基本趨于穩定，模型達到收斂狀態。

表2 Resnet-50超參數Tab.2 Resnet-50 Hyperparameters

圖5 Resnet50訓練loss曲線Fig.5 Resnet50 Training Loss Curve

4.3 測試結果

為驗證Yolo-Res模型的可行性，將訓練好的模型在測試集上測試，分5組進行測試實驗，得到實驗結果，如表3所示。

表3 實驗結果Tab.3 Experimental Results

由實驗結果可知，該模型在陶質焊接襯墊測試集上表現優異，平均召回率可達到94.66%，平均準確率達到88%，平均每張樣本檢測時間49.4ms，基本滿足實際任務要求。部分測試結果，如圖6所示。

圖6 測試結果Fig.6 Test Results

圖6展示了部分測試結果，其中label標記為quality的目標為合格品，label標記為defective的目標為次品，label后的小數值為其類別的概率可能性。可以看出在測試集上，提出的模型檢測效果出色，對僅有一種缺陷的陶質襯墊或多種交叉重疊缺陷的陶質襯墊都有較高的檢出率。

4.4 實驗結果對比與分析

為進一步驗證模型性能，將提出算法與目前已成熟的算法做橫向對比實驗。具體實驗結果，如表4所示。

表4 不同算法實驗結果對比Tab.4 Comparison of Experimental Results of Different Algorithms

通過不同算法實驗結果對比分析，Faster R-CNN 的檢測精度達到88.7%略高于本文算法88%，但檢測時間243.6ms約5倍長于本文Yolo-Res 算法的49.4ms，不滿足實際產品檢測需求；Yolo-v3的平均每張樣本檢測時間29.8ms略快于本文Yolo-Res算法，但其檢測精度83.2%不滿足實際檢測任務。綜上所示，本文Yolo-Res算法性能優異，實時檢測精度達到88%，實時檢測時間49.4ms/張，檢測速度達到20fps，基本能滿足實際陶質焊接襯墊實時檢測任務。

5 結論

根據陶質焊接襯墊的產品質量檢測任務特性，提出一種基于Yolo-v3 和Resnet 的目標檢測算法Yolo-Res。所提出算法在Yolo-v3 算法上做出改進，將原有3 個尺度特征圖縮減為2 個尺度，減少大量參數降低計算量的同時提高檢測精度，再利用Resnet50做多屬性預測，規避陶質襯墊次品缺陷重疊和分類不準確問題。結果表明，算法實時檢測效果優于目前已成熟的算法，基本滿足陶質焊接襯墊產品質量檢測任務需求，為陶質焊接襯墊產品自檢系統打下良好基礎。