基于卷積神經網絡的PCB缺陷檢測

何國忠，梁 宇

基于卷積神經網絡的PCB缺陷檢測

何國忠，梁 宇

(云南大學軟件學院，云南 昆明 650504)

印刷電路板(PCB)在生產制造中由于生產工序等問題易導致電路板存在瑕疵缺陷，為提高對電路板缺陷的檢測效率，提出了一種基于卷積神經網絡(CNN)的電路板缺陷檢測網絡。該檢測網絡基于YOLO v4網絡進行優化改造，針對于PCB制作精密、復雜，各類缺陷不易檢測的難點，在優化后的網絡中加入了基于細粒度空間域的長距離全局注意力機制，同時在SPP模塊的基礎上進行特征圖重組作為各YOLO檢測頭的輸入。通過使用長距離注意力機制通道將淺層網絡提取到的特征傳遞到深層網絡中，并采用特征圖重組的方式提升特征信息豐富度，從而提高對于PCB缺陷檢測的精度。經實驗分析，與各類經典CNN相比，在PCB缺陷檢測任務中，該算法有較大優勢，整體缺陷的平均檢測精度均值(mAP)達到91.40%，適用于實際生產、檢測環節。

印刷電路板；深度學習；卷積神經網絡；缺陷檢測；注意力機制

在工業制造4.0的背景下，工業水平快速進步、生產力飛速提升，這一切均離不開智能工業生產設備，而工業化生產設備的核心組件則是每一塊制作精密的印刷電路板(printed circuit board，PCB)。目前PCB具有高密度、多層化的特點，即小體積、多功能，對其制造工藝有了更嚴格要求。但目前，PCB的制造工藝還不能很好地滿足集成電路的發展水平，在生產中易出現各種產品缺陷，若缺陷品流入市場，在日后的使用當中則會導致設備故障和損壞。因此對于PCB的缺陷檢測是其生產制造環節中的重要一環。

目前，對于PCB缺陷檢測方法大體上可以分為3類：一是早期的人工檢測，該方法的檢測精度及效率極大地依賴于檢測人員的工作經驗，同時檢測精度也隨工作時間的持續而降低，其不穩定性較高；二是目前使用較廣的基于電氣特性的缺陷檢測，該方法具有精度高、檢測快的特點，如文獻[1]提出的一種內置的電氣測試電路，用于檢測PCB的焊盤和IC之間的互連處的開路缺陷，采用電氣測試時需要對PCB進行通電等接觸性操作，但存在二次損壞的可能；三是新興的基于計算機視覺的檢測方案，如文獻[2]采用TDD-Net卷積神經網絡(convolutional neural network，CNN)對PCB的缺陷進行檢測，采用圖像識別檢測無需與PBC直接接觸避免了二次損壞的可能，同時隨著計算機硬件的發展對于圖像的檢測效率也有了大幅提升，同時，基于深度學習的目標檢測算法與傳統檢測算法在檢測精度和速度均有了大幅提升，越來越多的識別檢測場景采用該方案進行落地轉化。

CNN能夠對輸入數據進行自動學習并獲取檢測目標的特征信息，無需人工設計特征器對目標進行特征提取與檢測，使得CNN在檢測性能方面擁有更強的魯棒性。因此，本文采用CNN作為PCB缺陷特征的提取器，搭配檢測頭進行缺陷檢測。本文選用了常見的8類PCB缺陷，分別為missing hole，mouse bite，open circuit，short，spurious copper，spur，pad damage和scratch。PCB缺陷的檢測難點為缺陷區域面積小，且與周圍正常區域相似不易區分。在CNN進行特征提取時，輸入的圖片由于下采樣層逐漸縮小了圖片的面積，致各類缺陷目標再次縮小，特征不易被提取到。針對這些難點，本文設計了細粒度的空間域全局注意力機制，對淺層網絡特征信息進行細粒度去冗余處理后再進行復用；同時增加了網絡中空間金字塔池化(spatial pyramid pooling，SPP)模塊的數量，并對其輸出進行融合，以豐富特征圖中的特征信息，有效地解決了PCB缺陷目標小、特征信息少的問題。

1 相關研究

1.1 目標檢測算法

計算機視覺的目標檢測技術，根據時間線可以分為2大類：①以HOG[3-5]，DPM[6-7]算法為代表的傳統目標檢測算法，其實現原理是通過人為設計目標的特征檢測器，因人工設計其局限性較大，僅能在簡單的場景下對目標進行識別；②基于神經網絡的深度學習檢測方法，能夠自動提取目標特征，在擬合性、魯棒性等方面均優于傳統目標檢測方法，被廣泛應用于圖像檢測領域[8-10]。CNN檢測方法，根據應用需求的不同也延伸出了2種方法：①以獲取高精度為需求的雙階段檢測網絡，其檢測流程分為2個階段，第一個階段，先從輸入的圖片中提取出候選區域即可能存在有目標的區域，第二個階段則根據目標的特征信息對候選區域進行預測[11]；②以檢測速度為首要考慮因素的方法，為單階段檢測網絡，不同于雙階段檢測網絡，其無需候選區域，可采用線性回歸的計算方式直接對目標的類別及位置進行預測。根據生產車間流水化作業，流程快速、準確的特性，本文選用YOLO v4單階段檢測網絡，在保證檢測速度的同時優化網絡結構，以提升檢測精度[12]。

1.2 YOLO網絡

YOLO網絡在結構上分為負責目標特征提取工作的主干網絡及負責目標類別、位置預測的檢測網絡2部分。在YOLO v4網絡中，主干網絡采用的是CSPDarkNet結構，為典型的殘差網絡，通過殘差恒等映射的方式避免了梯度消失問題，使得網絡的層數更深，可獲取更多的特征信息，且豐富的特征信息為檢測網絡的預測精度提供了保障。在YOLO檢測網絡中對于目標的預測流程為：

(1) 輸入到檢測器的特征圖被劃分為若干個網格區域，并將檢測任務由全圖細分到每個網格區域，當檢測目標的中心點位于某個網格時，則由該網格負責對目標的位置及類別信息進行預估。

(3) 在完成所有anchors預測框的得分后，再由非極大值抑制(non-maximum suppression，NMS)算法對同一目標的多個預測框或得分值較低的預測框進行去冗余處理，得出最終的預測結果并輸出。

2 網絡結構優化

PCB缺陷檢測難點在于缺陷區域的面積過小，缺陷特征在圖片不放大的情況下不明顯，即不易被檢測器所提取，存在較為嚴重的漏檢情況，不能滿足生產檢驗環節的實用要求。為解決目標小、特征少的問題，本文基于YOLO v4網絡提出了2個改進方案，以提升主干網絡對于小目標的特征獲取能力。

2.1 細粒度空間域全局注意力模塊

對于深度卷積神經網絡而言，整體結構呈倒金字塔形，特征圖的大小同整個網絡結構同時進行縮放，即網絡越深，特征圖越小。對于圖中的小目標，其特征信息因池化下采樣操作被區域周圍的特征信息同化而消失。為解決該問題，本文設計了細粒度空間域的全局注意力模塊，該模塊的作用有2個，一是通過全局的連接通道將主干網絡的首尾相連，使得淺層網絡的特征能夠復用于深層網絡之中。該設計以CNN結構的功能劃分，對于淺層網絡部分，由于輸入的圖片經過的卷積計算較少，其特征值主要反映了目標的形態特征；而在深層部分，由于經過充分的卷積計算，特征值主要反映了目標的類別特征即語義特征。而通過全局域的連接通道將淺層的形態特征補充到深層網絡進行語義特征的提取，避免了小目標特征丟失的問題。二是在于細粒度的空間域注意力機制，其目的在于淺層的特征圖同時包含前景和背景的形態特征。對于小目標而言，特征圖中前景信息更加稀少，因此采用基于空間域的注意力機制對存在有目標的空間域信息進行加權，且通過對特征圖的通道分組加權實現細粒度注意力功能，所提取的加權區域更有針對性。圖1為本文所設計的模塊結構，模塊由2部分組成：①對特征圖的細粒度及空間加權進行處理，首先將特征圖依據通道數量等分為組新的特征圖，每組特征圖的通道數為原來的1/。然后，對每張新的特征圖均執行以下操作，即新生成的特征圖由卷積核個數為1的1×1卷積層進行特征圖壓縮，并由Sigmoid激活函數對特征圖進行賦值加權，之后將所有的特征圖進行add相加操作，再由1×1卷積層對特征信息進行整合，至此獲得完整的空間權值信息；②特征融合，將得到的空間權值特征圖與需要傳遞的特征圖進行相乘賦值，完成后的特征圖經由1×1卷積層與ReLU激活函數傳遞到網絡的深層。該模塊在網絡深層補充了小目標的形態特征信息，使其能夠被網絡捕獲繼而轉換為語義特征信息，以解決小目標在深層網絡中語義特征丟失的問題。

圖1 細粒度空間域全局注意力模塊

2.2 基于SPP模塊的輸出通道混合

在CSPDarkNet網絡的末端含有一個SPP模塊，該模塊通過采用不同大小的池化層分別獲取全局與局部的特征，之后進行融合操作以獲取綜合特征信息。但整個網絡僅包含有一個SPP模塊，對于其他尺度的YOLO檢測頭而言無法直接利用該融合后的特征[13-16]。本文以網絡的默認輸入608×608為例，在CSPDarkNet網絡中的38×38和76×76CSPRes模塊后各增加了一個SPP模塊，即每個尺度的檢測層均配備專屬的SPP模塊來獲取主干網絡所提取的特征。但在網絡結構分布上，3個SPP模塊同樣具有不同深度層次的分布，本文對其輸出進行通道混合，并輸入到對應的檢測模塊中，整體實現結構如圖2所示。其中彩色部分為通道混組模塊，即每個尺度的SPP模塊輸出后會將綜合信息通過上采樣或下采樣的方式傳遞到另外2個SPP模塊中。融合采用上采樣與下采樣的方式，將3個SPP模塊輸出的特征圖大小進行適配，并在add層將不同輸出且大小一致的特征圖進行融合。SPP模塊在輸出通道混組后，等效于每個SPP模塊的輸出具有了大、中、小3個尺度的綜合信息，相較于之前的特征信息更加豐富。最后，每個尺度的SPP輸出后經一個卷積組加工并直接輸入到檢測器中，如圖2中的“Process”模塊所示，該模塊由一個1×1和一個3×3卷積層進行特征提取后，由Leaky ReLU激活函數進行激活，最終輸入到檢測器中。相較于優化前SPP模塊的輸出特征需要通過多個卷積組加工及上、下采樣操作才可輸入到不同尺度的檢測器，本文所設計的混組方案在計算及特征應用效率上有明顯提高。

圖2 基于SPP模塊的通道混合結構

3 實驗與分析

3.1 超參數設置及評估指標

PCB缺陷檢測目標的大小具有極端性，為了最終的預測結果能夠更精準地框選出缺陷區域，本文在模型訓練前對anchors組的尺寸進行了重新計算。采用K-means++算法對數據集中所有的Ground Truth尺寸進行聚類分析，默認圖片的輸入尺寸為608×608，每個YOLO檢測器配置3個anchors，聚類后得到9組尺寸：

19×19 YOLO-Head：(18,33)，(18,19)，(24,24)

38×38 YOLO-Head：(24,48)，(30,29)，(32,17)

76×76 YOLO-Head：(39,39)，(47,23)，(69,76)

本文為評估模型的檢測性能引入了以下評估指標

3.2 實驗結果分析

本文采用的數據集在文獻[2]的開源數據集上進行了數據樣本與類型的擴充，數據由原來的10 668張擴充至11 668張，類別在原有基礎上增加pad damage和scratch 2類，以使缺陷檢測范圍更廣，模型通用性更強。

首先本文針對第2節所述的優化方案進行消融實驗并分別分析細粒度空間域全局注意力模塊與SPP模塊的通道混合架構對網絡的提升。從宏觀數據指標上進行評價。測試結果見表1。

表1中，細粒度空間域全局注意力模塊與SPP模塊的通道混合架構均能夠提升YOLO v4網絡對于PCB板的缺陷檢測能力。對于細粒度空間域全局注意力模塊而言，其通過加強淺層特征信息的利用，提升了檢測器對于檢測目標的感知能力，測試結果中對于召回率指標有明顯提升；其次優化后的SPP模塊通道連接方案，強化了特征豐富度，檢測器對于目標所屬類別的判定可以依據更豐富的特征信息進行，使得類別屬性檢測精度有所提升。綜上，通過消融實驗證明本文方案對于YOLO網絡在PCB缺陷檢測任務中的檢測性能有所提升。

表1 消融實驗對比結果

另外在實驗環節中增加Faster RCNN，SSD及YOLO v4網絡同優化后的YOLO New進行訓練及測試。對于不同模型每個類別的Recall，Precision，F1score及AP的4個指標測試結果分別見表2～5。

表2 Recall測試對比結果(%)

表3 Precision測試對比結果(%)

表4 F1-score測試對比結果

表5 各類目標AP值及mAP測試對比結果(%)

表2中，Faster RCNN網絡的雙階段網絡結構采用候選框機制遍歷特征圖，可較全地檢測到圖中的目標，而對于單階段目標SSD和YOLO v4查全能力則較弱，且召回率差距過大，是因SSD所采用的主干網絡為VGG，其在卷積層數上僅有YOLO v4的十分之一，說明了網絡層數越多對于特征的提取效果越好。基于YOLO v4優化后的YOLO New采用全局注意力機制加強了對于淺層形態特征的利用，使得在網絡深層處還能保存小目標的特征信息，查全率與Faster RCNN相近，“scratch”較優化前提升了25%。

表3中，Faster RCNN網絡雖然具有優秀的查全能力，但在PCB中有與無缺陷區域只存在微小的差別，使得滑動遍歷得到的候選框中同時包含有與無缺陷區域，致使對分類器的分類精度有較大的影響。而單階段的網絡則不具有背景區域的影響因素，整體分類精確率要高于Faster RCNN網絡。而YOLO New各類目標的精確率均高于YOLO v4，說明新增SPP通道組合模塊對于特征信息豐富度的補充在一定程度上提升了檢測器對于目標的分類能力。

表4和表5中的F1-Score及mAP指標均反映了YOLO New在PCB缺陷檢測任務中出色的性能，對于絕大部分類型的缺陷，其檢測精度可達95%以上，保證了實際應用的可靠性。

圖3直觀反映了各模型在實際檢測中的檢測水平。Faster RCNN網絡雖能檢測出所有缺陷目標，但候選區機制使得同一目標存在多個預測框；對于SSD特征提取本文采用的是VGG，因網絡結構較為簡單無法從PCB中提取出有效的目標特征，致使檢測器無法檢測出缺陷區域；從圖中可以看出YOLO v4存在漏檢的情況，而YOLO New則能夠將所有缺陷目標檢測出來，且不存在與Faster RCNN相似的多檢情況，實際使用效果更佳。

(a)(b)(c)(d)(e)

4 結束語

本文針對于PCB制造過程中產生的缺陷提出了一種基于CNN的檢測模型。其解決了檢測目標小、特征信息少、不易檢測的問題。網絡結構基于CSPDarkNet網絡進行優化，在整體網絡中加入了細粒度空間域的全局注意力機制，將淺層的特征加權后傳遞到深層網絡之中，并對其語義特征進行補充。另外，增加了網絡中SPP模塊的數量，每個檢測維度對應的CSPRes模塊均配備了SPP模塊，并對每個SPP模塊的輸出進行了融合操作，豐富特征的綜合度。經實驗測試，本文設計的優化方案使得YOLO v4網絡相較于優化前精度提升了6.88%，對于檢測能力的魯棒性有了較大提高，為之后的進一步研究奠定了扎實基礎。

[1] WIDIANTO W, YOTSUYANAGI H, ONO A, et al. A built-in electrical test circuit for interconnect tests in assembled PCBs[C]//2012 2nd IEEE CPMT Symposium Japan. New York: IEEE Press, 2012: 1-4.

[2] DING R W, DAI L H, LI G P, et al. TDD-net: a tiny defect detection network for printed circuit boards[J]. CAAI Transactions on Intelligence Technology, 2019, 4(2): 110-116.

[3] LEI Z. Histogram of oriented gradient detector with color-invariant gradients in Gaussian color space[J]. Optical Engineering, 2010, 49(10): 10970: 1-109701: 8.

[4] SUN L, LIU G Z, LIU Y Q. Multiple pedestrians tracking algorithm by incorporating histogram of oriented gradient detections[J]. IET Image Processing, 2013, 7(7): 653-659.

[5] MANIKONDA S K G, GAONKAR D N. Islanding detection method based on image classification technique using histogram of oriented gradient features[J]. IET Generation, Transmission & Distribution, 2020, 14(14): 2790-2799.

[6] ALYAMMAHI S, BHASKAR H, RUTA D, et al. People detection and articulated pose estimation framework for crowded scenes[J]. Knowledge-Based Systems, 2017, 131: 83-104.

[7] XU J L, RAMOS S, VáZQUEZ D, et al. Hierarchical adaptive structural SVM for domain adaptation[J]. International Journal of Computer Vision, 2016, 119(2): 159-178.

[8] SENGUPTA S, BASAK S, SAIKIA P, et al. A review of deep learning with special emphasis on architectures, applications and recent trends[J]. Knowledge-Based Systems, 2020, 194: 105596.

[9] POUYANFAR S, SADIQ S, YAN Y L, et al. A survey on deep learning[J]. ACM Computing Surveys, 2019, 51(5): 1-36.

[10] GARCIA-GARCIA A, ORTS-ESCOLANO S, OPREA S, et al. A survey on deep learning techniques for image and video semantic segmentation[J]. Applied Soft Computing, 2018, 70: 41-65.

[11] WANG X L, SHRIVASTAVA A, GUPTA A. A-fast-RCNN: hard positive generation via adversary for object detection[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2017: 3039-3048.

[12] REDMON J, FARHADI A. YOLOv3: an incremental improvement[EB/OL]. [2021-04-22]. https://arxiv.org/abs/ 1804.02767.

[13] ZENG D, LIU H, ZHAO F, et al. Proposal pyramid networks for fast face detection[J]. Information Sciences, 2019, 495: 136-149.

[14] 易超人, 鄧燕妮. 多通道卷積神經網絡圖像識別方法[J]. 河南科技大學學報: 自然科學版, 2017, 38(3): 41-44, 5-6.

YI C R, DENG Y N. Image recognition method of multi-channel convolutional neural network[J]. Journal of Henan University of Science and Technology: Natural Science, 2017, 38(3): 41-44, 5-6 (in Chinese).

[15] FENG S L, ZHAO H M, SHI F, et al. CPFNet: context pyramid fusion network for medical image segmentation[J]. IEEE Transactions on Medical Imaging, 2020, 39(10): 3008-3018.

[16] GAN C Q, WANG L, ZHANG Z F, et al. Sparse attention based separable dilated convolutional neural network for targeted sentiment analysis[J]. Knowledge-Based Systems, 2020, 188: 104827.

PCB defect detection based on convolutional neural network

HE Guo-zhong, LIANG Yu

(School of Software, Yunnan University, Kunming Yunnan 650504, China)

In the production of printed circuit boards (PCB), the production process and other problems incur flaws and defects on the circuit board. In order to enhance the detection efficiency of circuit board defects, a circuit board defect detection network based on convolutional neural network (CNN) was proposed. The whole detection network was optimized and reconstructed based on the YOLO v4 network. Aiming at the difficulty of precise and complex PCB production and difficult detection of various defects, a long-distance global attention mechanism based on fine-grained spatial domain was added to the optimized network. At the same time, on the basis of the spatial pyramid pooling (SPP) module, the feature map was reorganized as the input ofeach YOLO detection head. The long-distance attention mechanism channel was adopted to transfer the features extracted from the shallow network to the deep network, and the feature map reorganization method was utilized to boost the richness of feature information, thereby improving the accuracy of PCB defect detection. After experimental analysis, compared with various classic convolutional neural networks, the proposed algorithm is greatly superior in PCB board defect detection tasks. The mean average precision (mAP) of the overall defects reaches 91.40%, which is suitable for actual production and testing links.

printed circuit board; deep learning; convolutional neural network; defect detection; attention mechanism

10 May，2021；

TP 391

10.11996/JG.j.2095-302X.2022010021

A

2095-302X(2022)01-0021-07

2021-05-10；

2021-06-23

23 June，2021

何國忠(1995–)，男，碩士研究生。主要研究方向為圖形圖像處理、計算機視覺等。E-mail：heguozhong@mail.ynu.edu.cn

HE Guo-zhong (1995–), master student. His main research interests cover graphic image processing, computer vision, etc. E-mail：heguozhong@mail.ynu.edu.cn

梁 宇(1964–)，男，教授，碩士。主要研究方向為數字圖像處理與模式識別。E-mail：yuliang@ynu.edu.cn

LIANG Yu (1964–), professor, master. His main research interests cover digital image processing and pattern recognition. E-mail：yuliang@ynu.edu.cn