基于改進YOLOV4 的陶瓷基板瑕疵檢測

郭 峰，朱啟兵*，黃 敏，徐曉祥

（1. 江南大學 輕工過程先進控制教育部重點實驗室，江蘇 無錫 214122；2. 無錫市創凱電氣控制設備有限公司，江蘇 無錫 214400）

1 引 言

陶瓷基板是當前大功率電力電子電路結構技術和互連技術的基礎材料，在電子制造領域具有廣泛的應用。在陶瓷基板的生產過程中，鍍金層損傷、邊緣多金、陶瓷基板缺瓷、油污、摻雜異物是陶瓷基板生產過程中的常見瑕疵。快速地檢測并剔除這些瑕疵基板是保證產品質量的重要環節。傳統的陶瓷基板瑕疵檢測方法多由檢驗人員通過光學顯微鏡進行人工視覺檢測，檢測效率低，檢測精度易受檢驗人員經驗、情緒以及視覺疲勞等因素的影響。

隨著機器視覺技術的發展，基于機器視覺的圖像檢測法被應用于瑕疵檢測中。這類檢測任務的檢測目標大多形狀比較單一、固定，且易于區分［1-3］。近年來，隨著深度學習的發展，基于深度卷積神經網絡的目標檢測技術被廣泛地應用于瑕疵檢測中。王宸［4］等提出了一種基于改進YOLOV3 的輪轂焊縫缺陷檢測平臺。伍濟鋼［5］等提出了一種改進YOLOV3 的智能手機玻璃蓋板缺陷檢測方法。樓豪杰［6］等結合YOLOV4 網絡與Siamese 網絡進行印刷品缺陷檢測。孫廣民［7］等結合兩幅不同尺度以及分辨率的圖像，利用Mask R-CNN 網絡對樓面缺陷進行檢測。由于陶瓷基板部分的瑕疵目標較小，不同類型瑕疵之間尺度變化較大，形狀多變，不易識別，基于上述方法的瑕疵技術難以滿足陶瓷基板瑕疵檢測準確性和實時性的需求。

基于深度卷積神經網絡的目標（瑕疵）檢測方法主要有兩種類型。一類是雙階段預測的目標檢測，代表性算法有Faster R-CNN［8］，Mask RCNN［9］等。雙階段目標檢測算法需要利用原圖提取到的特征，篩選出可能包涵感興趣目標的區域，然后再進行回歸預測，因此通常需要較長的檢測時間，難以滿足工業現場快速檢測的實時性要求。另一類是基于端到端的單階段回歸的目標檢測，代表性算法有SSD［10］，YOLOV3［11］，YOLOV4［12］以及YOLOX［13］等。單階段目標檢測算法直接利用提取到的特征進行回歸預測，通常具有較快的檢測速度。YOLOV4 網絡通過修改殘差網絡結構以形成更深的網絡層次，在保證檢測快速性的同時，提高了目標檢測的準確性。本文針對陶瓷基板瑕疵形狀多變、尺寸跨度大，且多金和缺瓷瑕疵有較多小目標，樣本量小，各類瑕疵數量分布不均勻等問題，基于YOLOV4 算法，通過修改置信度損失函數，引入注意力機制，優化錨框尺寸等策略，大大提高了瑕疵的檢出率。實驗結果表明，本文提出的陶瓷基板瑕疵檢測方法YOLOV4-CS 具有較高的檢測準確性和實時性。

2 數據集與檢測平臺

2.1 檢測平臺與流程

陶瓷基板瑕疵的自動檢測硬件平臺如圖1 所示。檢測平臺主要由傳送裝置、圖像采集裝置（海康MV-CE200 工業相機，像素為2000 萬）、點墨標記裝置以及拾取裝置（上料夾爪）構成。傳送裝置將裝有整張陶瓷基板片（如圖2（a）所示）的模具由上一工序傳輸到檢測平臺，當模具到達指定位置后觸發光電傳感器并鎖死傳輸帶；圖像采集裝置采集模具上的陶瓷基板圖像（如圖2（b）所示），由檢測算法對圖像中是否存在瑕疵及具體瑕疵位置進行檢測；圖像采集完成后，釋放鎖死裝置，模具傳輸到點墨標記裝置下方，對帶有瑕疵的基板進行點墨標記；拾取裝置將整張基板片拾取到另外一個模具上送往下一道工藝。后續工藝將帶有墨點的陶瓷基板進行分揀篩選。

圖1 陶瓷基板瑕疵自動檢測平臺Fig.1 Automatic defect detecting platform for ceramic substrate

圖2 圖像處理過程Fig.2 Image processing

2.2 圖像預處理

如圖2（b）所示，原始的陶瓷基板圖像中包含了來自其它區域的干擾（圖中方框內區域為目標檢測區域）。為了減少其他區域對檢測結果的干擾，首先采用OpenCV 算法庫中的霍夫圓檢測法檢測圖片中的圓心位置，如圖2（c）所示；根據圓心位置以及半徑計算出目標區域范圍，根據此范圍對圖片進行裁剪得到待檢測圖片，如圖2（d）所示。圖3 給出了含有典型瑕疵（污染，異物，多金，缺瓷與損傷）的兩塊陶瓷基板圖像，其中方塊區域為鍍金層，本文所指的瑕疵都是指出現在鍍金層上的瑕疵。其中，污染瑕疵會出現在鍍金層上多個區域，且尺寸跨度大、形狀多變；而異物瑕疵的形狀和顏色具有多樣性及隨機性；缺瓷瑕疵主要分布在鍍金層邊緣，其形狀較小；損傷瑕疵主要是鍍金層的劃傷或者刮傷，尺寸跨度大且形狀像素分布多變；多金瑕疵主要是鍍金層邊緣出現凸起，形狀較小且分布區域多變。圖4 給出了訓練集中各種類瑕疵的尺寸分布情況和樣本數量。從圖中可見，瑕疵尺寸變化均較大，不具有固定的長寬比信息，且瑕疵的樣本數分布不均勻，給瑕疵檢測造成了很大的難度。

圖3 陶瓷基板瑕疵Fig.3 Defects of ceramic substrate

圖4 瑕疵樣本數量及尺寸分布統計圖Fig.4 Statistical chart of sample number of defects and their size distribution

3 算法原理與改進

3.1 YOLOV4 算法

自YOLOV3 以來，YOLO 系列算法形成了由主干網絡、頸部網絡，以及頭部網絡3 部分組成的網絡結構。其中，主干網絡采用多層次結構網絡，提取輸入圖像的不同尺度的特征圖；頸部網絡則將來自不同層次的特征圖進行融合編碼，以增強特征圖的信息表達；頭部網絡將融合之后的特征圖進行解碼，得到最后的預測結果（目標的種類及位置信息）［12］。

YOLOV4 算法構建了反映模型預測框與真實框的差異程度的損失函數，通過反向傳遞梯度值優化模型權重值，使損失函數值在迭代訓練過程中不斷減小，從而最小化模型最終的預測結果與真實結果的差異。YOLOV4 的損失函數如下：

3.2 算法改進

本文數據集具有瑕疵尺寸跨度大、樣本數量分布不均勻以及形狀多變的特點，導致一些瑕疵不易被檢測出，為了提高這類瑕疵的檢出率，本文分別改進了損失函數、網絡結構以及先驗框尺寸聚類方法。

3.2.1 基于梯度協調機制的置信度損失函數設計

梯度協調機制（Gradient Harmonizing Mechanism，GHM）［14］認為模型預測輸出值經過sigmoid 函數激活后，得到的交叉熵梯度即為預測值與真實值的差距，并將這種差距的模定義為梯度的模。在模型訓練即將結束時，如果樣本的梯度模過大，則代表預測的正負樣本與各自真實值偏差過大，多是離群樣本；如果模型繼續學習這類樣本特征，則會導致真實樣本（非離群樣本）的分類精度過低。為了緩解這種情況，本文利用GHM 分類損失函數（Gradient Harmonizing Mechanism-classification，GHM-C）改 進 了YOLOV4 的置信度損失函數。

具體實現步驟為：（1）對于第k個預測框（k=1，…N，N為預測框的總數），其梯度模gk為：

其中Ck，分別代表第k個預測框的置信度預測值與真實值；

（2）將［0，1］區間按步長ε劃分為若干等長子區間St（t=1，…M，M為子區間數量），統計預測框的梯度模落在子區間St的數量Nt；計算得到各樣本的梯度密度調和參數βk：

（3）將原始交叉熵的梯度值分別乘上各自歸屬子區間的梯度密度調和參數βk，從而達到衰減其影響的目的，即有：

式中：LGHM-C表示最終的基于GHM-C 的置信度損失函數，LCE表示交叉熵損失。修改之后模型最終的損失函數如下：

3.2.2 基于注意力網絡的網絡結構設計

由于瑕疵具有一定上下文信息，并且小目標瑕疵如多金、缺瓷的信息更體現在形狀與顏色上，因此為了提升網絡對這些信息的捕捉能力，本文在每個主干網絡的特征層支路添加十字交叉 注 意 力 模 塊（Criss-Cross Attention Net，CCNet）［15］，CCNet 模塊結構如圖5 所示。

圖5 CCNet 結構Fig.5 Structure of CCNet

CCNet 屬 于self-attention 機 制，它 通 過 反 復考慮行注意力與列注意力來獲得全局信息，同時網絡參數量較少，能夠滿足本文的實時性要求。具體計算過程為：假設輸入的特征圖為H∈RC×W×H，首先分別通過兩個1×1 卷積塊獲得兩個特征圖Q和K，其中{Q，K}∈RC'×W×H，C'和C均是特征通道數（C'＜C）. 在特征圖Q上，沿著W，H平面，在位置索引u處，獲取向量Qu∈RC'，同時從特征圖K上獲取與u行列交叉的H+W-1 個 向 量 構 成 的 向 量 集Ωu∈R(H+W-1)×C'，然后通過關聯計算得到：

其中du∈R()H+W-1，反映了Qu和Ωu的關聯度。對du進行softmax 操作獲得對位置索引u處的注意力Au∈R(H+W-1)。同時，通過另外一個1×1卷積塊對H進行卷積獲得特征圖V∈RC×W×H，并從V的對應位置u處獲取行列交叉的H+W-1個向量構成向量集Φu∈R(H+W-1)×C，通過聚合計算獲得位置u處的上下文信息Hu'∈RC，即有：

沿著W，H平面，遍歷所有位置索引，可得到特征圖H'。H'既保留了原始特征圖的特征信息，同時又結合了特征圖的上下文信息。為了使網絡更好地綜合全局信息，需要添加兩次CCNet［15］。

傳統的YOLOV4 網絡對尺寸為608×608的輸入圖片進行特征提取，最后得到19×19，38×38 和76×76 的特征圖。淺層特征圖經過卷積的次數較少，能夠保留較多的像素信息以及邊界信息，適合小目標的檢測；深層特征圖經過卷積操作不斷的提取以及壓縮，得到的語義信息較多，適合大目標的檢測。由于本文的異物瑕疵和污漬瑕疵多是點狀，其中較小的樣本像素大約為10×10，經過卷積操作后只能保留較少的信息，76×76 的特征圖無法滿足異物瑕疵和污漬瑕疵中小目標瑕疵的檢測需求。因此，本文保留原始的特征提取網絡CSPDarknet-53 結構，直接將尺度為152×152 的特征圖引出，與原始的YOLOV4 的19×19，38×38 和76×76 特征圖進行同樣的上采樣和下采樣操作，得到融合之后的特征圖，并在預測網絡中添加一個更大尺度的頭部網絡負責預測152×152 尺度的特征圖。

改進后的YOLOV4 網絡整體結構如圖6 所示。相比于原始結構，該結構僅增加一個預測頭部網絡以及對應的支路，并在每層特征融合網絡的起始部分添加了兩個CCNet 網絡模塊，增加的模塊及支路均由深色虛線表示。

圖6 YOLOV4-CS 結構Fig.6 Structure of YOLOV4-CS

3.2.3 基于改進K-means++的瑕疵先驗框設計

YOLOV4 通常采用K-means++算法對真實目標框的尺寸進行面積交并比并聚類，以獲得合適的先驗框尺寸。這種方法只能聚類出與真實框重疊程度較高的先驗框，無法得到長寬比合適的先驗框。因此，本文借鑒CIoU［16］的思想，引入了長寬比的信息，使聚類出來的先驗框能更好地反映出真實框的長寬比分布，計算公式如下：

式中：Si為acl，bgt兩個框之間的得分，acl代表聚類框，bgt代 表 真 實 框，IoU(acl，bgt)是 計 算acl，bgt兩個框的IoU，hcl，wcl分別為聚類框的長和寬，hgt，wgt分別為真實框的長和寬。

綜合考慮不同制度的特征圖尺寸，本文共設計4 種尺度、12 種尺寸的先驗框，如表1 所示。

表1 先驗框尺寸Tab.1 Size of prior boxes

4 實驗及結果分析

4.1 實驗環境

本次實驗的操作系統為Windows 10（64位），CPU 為英特爾Core i9-10900X@3.50GHz，內存為64 GB，GPU 為兩張NVIDIA GeForce RTX 3090，總顯存為48 GB。深度學習框架實現為Python Pytorch，GPU 加速庫為CUDA11.0。

4.2 數據集增強

本實驗共采集2 413 張陶瓷基板圖像，經過目標區域提取預處理之后得到陶瓷基板數據集，其中2 215 張用作訓練，198 張用作測試。

為了改善部分種類瑕疵樣本數較少的情況，本文采用“復制-粘貼”式數據增強方法［17］，對2 215 張訓練樣本進行數據增強，這種數據增強方法可以增加數據中出現次數較少的瑕疵數量，提高模型對這一類瑕疵的檢測性能。具體步驟為：從2 215 張圖片中裁剪出50 張包含典型瑕疵（多為樣本數較少的瑕疵）的子區域（每個區域只包含一種典型缺陷）；并將這50 張子區域圖像進行水平、垂直翻轉，尺度的縮放，引入高斯噪聲（標準差為1.2）以及銳化操作等；最后將這些增強后的裁剪圖像“粘貼”至無瑕疵陶瓷基板圖像中可能出現瑕疵的區域，從而獲得2 386 張增強后的圖片。使用LabelImg 圖像標注軟件進行人工標注，數據集格式為VOC2007。

4.3 模型訓練

由于過早的使用基于GHM-C 改進的損失函數會導致模型學習到許多假陽性樣本的特征從而產生“虛警”現象，因此本實驗首先采用原始損失函數訓練100 輪次Epoch 至模型穩定后，然后采用改進后的損失函數繼續訓練100 Epoch。

在模型訓練階段，本實驗的總訓練Epoch 為200 次，批量尺寸為16，初始學習率為0.001，在第50 次Epoch 之后衰減為0.000 1。本文提出的YOLOV4-CS 模型訓練的損失曲線如圖7 所示，當Epoch 達 到200 次 時，loss 值 趨 于 穩 定，最 終 下降到14.5 左右。

圖7 損失函數收斂曲線Fig.7 Convergence plot of loss function

4.4 實驗結果

4.4.1 不同檢測算法的結果對比

待檢測圖片數量共198 張，每張圖片包含1～5 種類別的瑕疵，瑕疵的個數以及檢測結果如表2 所示。其中，準確率表示預測正確的正樣本占所有預測結果中正樣本的比例，召回率表示預測正確的正樣本占所有實際正樣本的比例。由表2 可知，本文提出的算法對于陶瓷基板中污漬、異物、多金、損傷以及缺瓷5 種瑕疵的檢測精確率以及召回率均已在92.4%以上，基本滿足本文的任務要求。

表2 瑕疵檢測結果Tab.2 Results of defect detection

為了進一步驗證本文算法在陶瓷基板瑕疵檢測上的有效性，將本文算法與常見的目標檢測算 法Faster R-CNN［8］，Efficientdet-D3［18］，YOLOV5，YOLOX［13］以及改進前的YOLOV4［12］在本文數據集上進行對比試驗，采用原文作者的實驗參數，選取平均準確率、平均召回率和每張圖片的檢測時間作為評價指標，不同算法的結果如表3 所示。

表3 不同算法的瑕疵檢測結果Tab. 3 Defect detection results of different algorithms

根據表3，改進的YOLOV4-CS 算法對陶瓷基板瑕疵檢測平均達到了98.3%，平均召回率達到了99.0%。相比于原始的YOLOV4 算法，檢測準確率提高了11.4%，召回率提高了8.9%。YOLOV4-CS 算法能夠以0.202 s 的時間完成每張圖片的檢測，基本滿足工業現場的檢測要求。

圖8 給出了陶瓷基板典型瑕疵的檢測結果（局部截圖）。圖8 中，1～6 號所標均為真實瑕疵，其中，1 號、3 號、5 號和6 號瑕疵為損傷，2 號和4號瑕疵為污染；4 號污染和6 號損傷顏色較淺，5號損傷較小，檢測困難。從圖中可以看出，YOLOV4-CS 將所有瑕疵都已正確檢出并且沒有漏檢；而YOLOV4 漏 檢 了4 號、5 號 和6 號 瑕 疵；YOLOV5 對模型結構和激活函數進行了調整，使得模型的檢測能力有所提升，但是仍然漏檢了6 號損傷瑕疵；Efficientdet-D3 雖然在速度和精度上得到了均衡，但沒有針對本文瑕疵特征做出優化設計，在本文瑕疵檢測中表現不佳，出現大量漏檢（2 號、3 號、4 號和6 號瑕疵漏檢）；Faster RCNN 為雙階段目標檢測算法，雖然準確率較高，但出現了誤檢情況（圖8（d）中2 號瑕疵左側），以及較多漏檢情況（4 號、5 號和6 號瑕疵漏檢）；YOLOX 采用了無錨框設計，提高了準確性和實時性，但是對小目標樣本的檢測能力改善有限，有較多漏檢瑕疵（4 號、5 號和6 號瑕疵），并出現了誤檢的情況（圖8（e）中2 號瑕疵左側）。由此可知，本文提出的模型YOLOV4-CS 的準確率以及召回率在實際檢驗中較其他方法有明顯提升。

圖8 不同模型的局部檢測結果Fig.8 Local detection results of different models

4.4.2 消融實驗

本文的模型結構主要有3 個部分的改進，分別為增加小尺度支路、添加注意力網絡CCNet 以及修改置信度損失函數。為了驗證這3 個改進的有效性，本文進行了消融實驗，結果如表4 所示。從表中可以看出，單獨增加小尺度支路能夠均衡地提升準確率和召回率；單獨修改置信度損失函數能較好的提高召回率，但準確率提升相對較少；單獨增加CCNet 能均衡地提高準確率和召回率，但幅度小于增加小尺度支路所帶來的提升；同時增加小尺度支路和添加CCNet 網絡雖然能得到較高的準確率，但召回率的提升較小；同時添加CCNet 網絡和修改置信度損失函數能帶來較高的召回率，但是準確率不如同時增加小尺度支路和修改置信度損失函數；3 種不同改進結合在一起能夠取得最好的準確率和召回率，因此本文最終選擇將3 個部分的改進添加到原始YOLOV4 模型中得到YOLOV4-CS 模型。

表4 不同消融實驗的結果Tab. 4 Results of different ablation experiments

為了驗證本文所采用的注意力網絡的有效性，將CCNet 與目前幾種主流的注意力網絡Squeeze-and-Excitation Networks（SENet）［19］，Convolutional Block Attention Module（CBAM）［20］，Efficient Channel Attention Networks（ECA-Net）［21］進行了對比，對比模型均采用基于GHM 的置信度損失函數，并增加了小尺度通道，僅對注意力機制進行了替換。對比結果如表5 所示，性能提升較多體現在小目標瑕疵上，因此相比于通道注意力，空間注意力在本文任務中的表現更好。SENet 屬于通道注意力網絡，在幾乎不增加網絡參數量的情況下，能夠較好地提高模型檢測的準確率以及召回率，但相比其他注意力網絡，提升相對有限；ECA-Net 同樣屬于通道注意力網絡，相比于SENet 網絡，并未過多增加網絡參數量，同時加入了跨通道交互，因此進一步提高了準確率和召回率；CBAM 結合了通道注意力和空間注意力，能夠較好地關注小目標的特征信息，因此取得了更好的準確率以及召回率；CCNet 注意力網絡屬于空間注意力網絡，能夠較好地提取低維圖像特征，相比于其他注意力網絡實現了較高的準確率以及召回率，同時也保持著與SENet 相近的實時性。

表5 不同種類注意力網絡的對比結果Tab.5 Results of different kinds of attention networks

針對本文提出的錨框優化策略，進行了對應的消融實驗，所對比的模型均采用了CCNet 注意力網絡、基于GHM 的置信度損失函數以及增加小尺度通道，僅對先驗框尺寸做出了改變。消融實驗的先驗框尺寸分別采用了原始的YOLOV4算法先驗框尺寸以及經過本文算法優化之后的先驗框尺寸，消融實驗結果如表6 所示。從表中可以看出，相比于原始YOLOV4 先驗框尺寸的檢測結果，本文的先驗框尺寸優化算法的檢測準確率提高了2.0%，召回率提高了2.4%。

表6 不同先驗框尺寸的對比結果Tab. 6 Results of different kinds of prior box

5 結 論

本文將深度網絡引入到陶瓷基板瑕疵檢測中，改進了YOLOV4 網絡模型以及損失函數，對4 個不同尺度特征圖進行增強特征融合，重新設計了12 個不同尺度的先驗框。實驗結果表明，改進后的算法對陶瓷基板5 種不同類型的瑕疵的檢測效果更好，平均檢測準確率達到了98.3%，平均召回率達到了99.0%。本文較多考慮了陶瓷基板的瑕疵檢測的準確率以及漏檢率，在后續的研究中會對網絡結構進行優化改進，提高其實時性和輕量化水平。