基于UNet深度可分離殘差網絡的BGA焊點分割方法

摘? 要：BGA封裝焊點的分割和提取是焊點缺陷精確診斷的重要前提。傳統圖像處理方法針對復雜背景焊點的分割常需結合多種方法，致使算法速度較慢、魯棒性很差。為此提出一種改進的UNet網絡BGA焊點提取方法，采用深度可分離卷積代替原始網絡中的標準卷積，以降低網絡參數量，提高檢測速度；通過增加卷積層數提高特征提取能力，加入批標準化層改善數據分布情況，加速網絡收斂；在主干特征提取網絡引入殘差結構并融合不同分辨率特征。實驗結果表明，改進后的算法參數量僅為原始模型的12.17%，交并比、準確率和F1分數分別達92.4%、98.31%和96.05%，較原始網絡分別提升了2.17%、0.52%和1.18%，FPS達114.8幀/秒，在提升BGA焊點分割速度的同時擁有較高的準確率。

關鍵詞：球柵陣列；圖像分割；UNet；深度可分離卷積；殘差模塊

中圖分類號：TP391.4；TP183? 文獻標識碼：A? 文章編號：2096-4706（2023）19-0069-06

BGA Solder Joint Segmentation Method Based on UNet Deep Separable Residual Network

YAO Yuan1，2

（1.College of Electrical and Electronic Engineering， Wenzhou University， Wenzhou? 325035， China;

2.Intelligent Lock Research Institute， Wenzhou University， Wenzhou? 325035， China）

Abstract： The segmentation and extraction of BGA package solder joints is an important prerequisite for accurate diagnosis of solder joint defects. Traditional image processing methods often need to combine multiple methods for the segmentation of complex background solder joints， resulting in slow algorithm speed and poor robustness. To this end， an improved UNet network BGA solder joint extraction method is proposed， using deep separable convolution instead of the standard convolution in the original network to reduce the amount of network parameters and improve detection speed; improve feature extraction capabilities by increasing the number of convolution layers， add batch normalization layer to improve data distribution and accelerate network convergence; introduce residual structure in backbone feature extraction network and integrate features of different resolutions. The experimental results show that the parameter amount of the improved algorithm are only 12.17% of the original model， and the intersection ratio， accuracy rate and F1 score are 92.4%， 98.31% and 96.05% respectively， which are respectively 2.17%， 0.52% and 1.18% higher than the original network. FPS is up to 114.8 frames per second， which has a higher accuracy rate while improving the speed of BGA solder joint segmentation.

Keywords： ball grid array; image segmentation; UNet; deep separable convolution; residual module

0? 引? 言

現今，電子信息行業迅猛發展，高密度集成化成為電子設備的主要發展趨勢[1-3]，其中球柵陣列（Ball Grid Array， BGA）作為主流封裝技術已被廣泛應用于集成電路板中[4]，其主要特點是在芯片底部使用焊球代替引腳，使封裝芯片的體積更小、引腳數更多、電性能更優[5，6]。由于BGA封裝焊點位于芯片底部，對焊接質量的檢測一般采用X射線成像系統。常見的BGA焊接缺陷有短路、空洞、虛焊、焊點過大或過小等[7]，能否對焊點進行準確分割將影響對焊點缺陷的診斷，故對焊點分割方法的研究至關重要。

目前較廣泛使用的是傳統圖像處理方法，李偉等[8]考慮焊點邊緣模糊情況，對OSTU分割算法進行改進，二次選取閾值并再度分割，較完整地保留了焊點區域。張俊生等[9]提出一種自適應閾值分割方法，通過對原始圖像與平滑圖像差值設定閾值，實現了對存在氣泡缺陷焊點的準確提取。針對復雜背景下BGA焊點分割，李樂等[10]采用閾值分割、焊點的圓度及面積等標準提取未被遮擋的焊點，并提出交互式射線輪廓法提取被遮擋輪廓的焊點。Wang等[11]提出了一種基于獨立連通區域面積均值作為閾值與數學形態學相結合的圖像分割方法，對于線橋和無效焊點有較好的過濾效果。Li等[12]根據焊點的幾何特征，提出一種基于邊緣檢測和坐標系變換的分割算法，針對背景存在干擾和焊點內部灰度不均勻的情況，有較好的分割效果。傳統的BGA焊點分割方法都是基于邊緣、閾值、形態學及幾何特征，對于輪廓清晰、背景簡單焊點的分割有著較好效果，但是針對復雜背景，往往需要結合多種方法，分割速度慢且魯棒性較差。

近年來隨著人工智能技術的發展，深度學習因其具有優秀的特征選擇和提取能力被廣泛應用，相關學者將其應用于BGA焊點分割領域。趙瑞祥等[13]采用全卷積神經網絡（Full Connected Network， FCN）提取焊點區域，利用深層和淺層信息，通過跳躍結構融合多尺度特征，但分割精度較低。為此，陳雅瓊[14]通過粒子群算法優化反卷積層的融合比例，采取不同比例多尺度融合方式提高卷積網絡的性能，保證圖像特征的完整性，取得較好的精度，但是分割速度較慢。

本文提出一種基于UNet語義分割網絡的改進算法，通過增加卷積層數增強網絡特征提取能力，融入殘差結構解決梯度消失等網絡退化問題，同時使用深度可分離卷積減輕模型計算量，提高運算速度，實現針對BGA焊點快速分割的同時擁有較高的精度。

1? UNet算法

UNet[15]是一種端到端的U形語義分割網絡，最初因其具有能較好地解決生物醫學圖像分割問題而被重視。UNet是一個編碼器（Encoder）-解碼器（Decoder）對稱結構，如圖1所示，左側部分為編碼器，主要用于特征提取，一共分為五層，每一層由兩個3×3的卷積層和激活函數及一1個2×2的池化層組成，輸入通過卷積層提取特征信息，然后經池化層進行二倍下采樣，每通過一層，分辨率減半的同時通道數加倍。淺層網絡提取輪廓、邊緣等淺層次信息，深層網絡提取高層次的語義信息。右側部分為解碼器，通過上采樣和特征拼接將低級特征和高級的語義特征融合，最后通過1×1的卷積層分類，實現像素級分割。

考慮到BGA焊點圖像結構相對固定、語義信息較簡單、邊界較為模糊，與醫學圖像特點具有很大相似性，因此在UNet網絡的基礎上提出本文算法。

2? 提出的算法

2.1? 深度可分離卷積

UNet網絡在編碼端和解碼端運都用了大量的3×3的卷積操作，為了提升網絡的運算速度，減少網絡參數和復雜度，實現對BGA焊點的快速分割，采用深度可分離卷積（Depthwise Separable Convolution， DSC）[16]代替原網絡中所有的標準卷積。

深度可分離卷積將卷積核拆分成兩個小卷積核，分別進行深度卷積和1×1的逐點卷積運算，代替標準卷積提取語義特征，此方法僅犧牲較小的精度，卻極大減少了網絡的計算量（GFLOPs）和參數量（Parameters），標準卷積和深度可分離卷積的結構分別如圖2和圖3所示。

假設輸入的特征維度為Kin×Kin×Cin，標準卷積核參數為Ka×Ka×Cin×Cout，輸出特征圖維度Kout×

Kout×Cout。同維度特征圖輸出情下，深度可分離卷積將卷積核拆分成Ka×Ka×1×Cin和1×1×Cin×Cout兩個卷積核。第一個卷積核與輸入有相同的通道數，首先進行逐通道卷積，輸出的特征圖通道數不變，然后經過Cout個1×1的卷積核進行維度擴充，將上一層的特征圖在通道上進行加權組合，生成新的特征圖。

2.1.1? 計算量對比

標準卷積的計算量如式（1）所示：

深度可分離卷積的計算量如式（2）所示：

2.1.2? 參數量對比

標準卷積和深度可分離卷積的參數量分別如式（3）和式（4）所示：

深度可分離卷積的參數量與標準卷積的計算量比對如式（5）所示：

標準卷積相比，輸出特征圖通道數越多，卷積核越大，深度可分離卷積在計算量和參數量上優勢越明顯。在相同參數量條件下、采用深度可分離卷積可以使網絡層數更深。

2.2? 殘差模塊

深度神經網絡能夠學習豐富的圖像表征，然而隨著網絡層數加深，會帶來網絡退化、梯度彌散甚至爆炸問題。針對該問題，He等[17]提出殘差網絡結構，通過shortcut操作將輸入恒等映射到輸出，保證信息傳遞的完整性，使深層網絡更易訓練。殘差模塊為殘差網絡的核心，其結構如圖4所示。

weight layer中通過卷積層進行殘差學習，殘差模塊可以表示為：

其中，ReLU為非線性激活函數，x為殘差塊的輸入，w為權重參數，F（x，w）是經第一層線性變化并激活后的輸出，H（x）為殘差塊的輸出。

當輸入x和F（x，w）維度不匹配時，無法進行恒等映射，此時，需將輸入x乘以Z矩陣投影映射到新的空間，此時輸入和輸出的關系可表示為：

2.3? 改進的UNet網絡結構

原始UNet網絡雖擁有較高的分割精度，但是參數量較多，計算量較大。針對BGA焊點這種結構相對固定、特征清晰的目標，過多的參數會提取大量的冗余信息，減緩模型的運算速度，本文提出改進的UNet網絡結構如圖5所示。首先，為降低模型復雜度，提高運算效率，采用深度可分離卷積代替編碼器和解碼器中的標準卷積。其次，在所有卷積層后面加入批歸一化層（Batch Normalization， BN），改善數據分布情況，加快網絡收斂速度[18]。再者，原始網絡編碼器端每層采用的都是兩個卷積層進行特征提取，本方法將第三、第四和第五層改為三個卷積層，增強特征學習能力，使模型學習深層網絡中更多的語義信息，并且將殘差網絡引入編碼器的每層特征提取中，在shortcut支路引入1×1的卷積層和BN層，一方面解決輸入和輸出維度不匹配的問題，另一方面通過卷積層可以學習到更多的信息，將不同分辨率的特征融合。殘差模塊的加入有助于解決網絡反向傳播中的梯度消失和梯度爆炸問題，有助于解決網絡退化問題。圖5中DR_2Conv表示此層使用深度可分離卷積和殘差結構，2表示其中使用兩個卷積層，相應的DR_3Conv表示該模塊中使用三個卷積層。Up_Cat模塊為特征拼接結構，主要是將深層特征上采樣與編碼器學習到的特征在通道維度拼接，通過解碼器還原到與輸入尺寸相同大小，最后經通道數為2的卷積層，將焊點部分與背景部分分為兩類，完成分割。

3? 實驗及結果分析

3.1? 實驗數據

本實驗采用實驗室自制數據集，通過微焦點X-Ray設備對PCB板上BGA焊點部分進行采集，此外從搜索引擎下載部分圖片，共采集原始圖像80張，包含焊點4 800個。使用labelme軟件對焊點圖像標注，背景部分值為0，焊點區域值為1，并通過Augmentor數據增強庫對原始數據進行隨機旋轉、翻轉、縮放等操作擴充數據，經篩選得到400張圖片作為原始數據集，按照8：2比例隨機劃分為訓練集和驗證集。

3.2? 實驗環境與參數配置

本實驗環境配置如表1所示，本文算法及其對比算法均在同樣實驗環境下運行。

本模型訓練采用交叉熵作為損失函數，使用Adam優化器，初始學習率設置為0.000 1，訓練迭代次數200次，根據迭代次數以指數衰減方式動態調整學習率，最小學習率為0.000 001。

3.3? 評估指標

BGA焊點分割為像素級別的語義分割，判斷每個像素點屬于焊點或背景，屬于二分類問題，采用混淆矩陣統計分類結果，分類結果混淆矩陣如表格2所示。TP（True Positive）表示圖像中屬于焊點的像素被正確歸類；FP（False Positive）表示圖像中非焊點區域（即背景）被誤歸類為焊點；FN（False Negative）表示將圖像中焊點區域誤歸類為背景；TN（True Negative）表示圖像中非焊點區域被正確歸類。

基于混淆矩陣本實驗采用交并比（IoU）、精確率（Accuracy，Acc）、F1分數（F1_Score）三個指標評價網絡性能，分數越高說明網絡分割效果越好，模型更優秀，同時輔以參數量（parameters），計算量（GFLOPs）和FPS三個指標對網絡進行綜合評價。

其中，precision表示精確率，是正確預測為焊點占全部預測為焊點的比值；recall表示召回率，是正確預測為焊點占實際總焊點的比值，F1分數作為精確率和召回率的調和平均，它們的計算公式為：

3.4? 消融實驗

為了驗證加入不同模塊對UNet網絡性能的影響，在相同訓練集和測試集、同樣訓練參數下做了大量的消融實驗，實驗結果如表3所示。實驗1為基礎UNet網絡模型，實驗2與實驗1相比增加了編碼器后三層的卷積層數量，并且添加了BN層，實驗3在實驗2的基礎上將標準卷積替換成深度可分離卷積，實驗4在實驗3的基礎上，在編碼器端加入了殘差結構。各實驗的參數量、計算量和FPS如圖6所示。

對比實驗1和實驗2數據，實驗2的交并比、精確率和F1分數分別提升了1.93%、0.62%和1.05%，說明與原始網絡相比，在編碼器端增加一定數量的卷積層可以增強網絡的特征提取能力。對比實驗2和實驗3數據可以發現，加入深度可分離卷積后模型的交并比、精確率和F1分數僅降低了0.87%、0.22%和0.48%，但參數量和計算量降低了89%和87%，FPS提高了78.9幀/秒，證明了對于BGA焊點這種結構固定、特征簡單的目標來說，標準卷積層中大量的參數提取了過多冗余的信息，深度可分離卷積雖然參數較少，但學習到了BGA焊點大多數重要的特征。對比第3組和第4組數據，殘差網絡的加入彌補了深度可分離卷積帶來的性能損失，由于旁路增加了1×1的卷積改變維度，計算量和參數量有些許增加，FPS降低了11.9幀/秒。

模型訓練的Loss值隨迭代次數的變化趨勢如圖7所示，可以看出BN的加入加快了模型的收斂，本文采用的輕量型深度可分離殘差網絡模型收斂速度最快且損失值最小。

3.5? 對比試驗

選取主流的語義分割算法UNet、DeepLabV3+[19]、PSPNet[20]作為本方法的對比算法，圖8為采用不同算法網絡分割效果的對比圖。其中圖8（a）為原始圖像，其中包括簡單背景、有過孔和阻容干擾的復雜背景、焊點被遮擋以及焊點內部有較大氣泡幾種典型情況。圖8（b）為原始圖像對應的標簽圖，圖8（c～f）分別為采用的主流分割算法PSPNet、DeepLabV3+、UNet和本文方法得到的分割結果，其中紅色的部分表示焊點區域，黑色部分表示背景。圖8（g）為使用本文方法將分割后的結果映射到原圖，提取BGA焊點分割后的圖片。從圖8（c）和圖8（d）可以看出，雖然PSPNet和DeepLabV3+都能提取BGA焊點的大概輪廓，但是邊緣信息比較粗糙，從圖8（e）可觀察到，原始的UNet網絡雖然能夠很好地提取焊點的邊緣信息，但是存在誤檢情況（第一幅圖），對于焊點被遮擋的情況無法提取較完整的輪廓（第二幅圖），而且當焊點內部存在氣泡時，會將氣泡區域歸為背景，無法完整的提取整個焊點。本文提出方法雖然在邊緣細節上處理得沒有UNet那么平滑，但能夠較好地提取各種情況下的BGA焊點。表4對比了不同網絡模型的在自制數據集上的分割評價指標，本文方法擁有較少的參數量和計算量，較其他算法在交并比，準確率和F1分數都有較大的提升，且FPS達到了114.8幀/秒，保證了在快速提取焊點的同時保持較高的精度，對工業BGA焊點缺陷檢測有積極的參考意義。

4? 結? 論

本文根據BGA焊點圖像的特點，通過對UNet分割算法進行改進，提出了一種基于深度可分離殘差網絡的輕量級UNet語義分割模型，實現了BGA焊點像素級的快速分割。使用深度可分離卷積僅犧牲較少的精度卻極大地減少了網絡的參數量和計算量，加快了網絡運算速度。通過對編碼器端卷積層數量的調整以及殘差模塊的加入，進一步增加特征提取能力，彌補了深度可分離卷積帶來的精度損失，避免梯度消失、梯度爆炸以及網絡退化問題。通過一系列的消融實驗，顯示本改進算法的各模塊引入對于網絡性能的提升。通過與UNet、PSPNet、DeepLabV3+主流語義分割算法的對比，本算法在IoU、Accuracy、F1分數最優，分別達到了92.4%、98.31%、96.05%。在分割效果上，本方法對于較為復雜背景的圖像表現出很好的分割效果，優于其他算法，沒有出現漏檢、誤檢等情況，雖然邊緣分割沒有UNet算法平滑，但本方法的參數量僅為UNet算法的12.17%，FPS達到114.8幀/秒，滿足BGA焊點分割的精度要求，實現了BGA焊點的準確快速分割。

參考文獻：

[1] CHUNG S，KWAK J B. Comparative Study on Reliability and Advanced Numerical Analysis of BGA Subjected to Product-Level Drop Impact Test for Portable Electronics [J/OL].Electronics，2020，9（9）：[2023-03-05].https：//www.mdpi.com/2079-9292/9/9/1515.

[2] REN J，HUANG M L. Board-level drop reliability and fracture behavior of low-temperature soldering Sn–Ag–Cu/Sn–Bi–X hybrid BGA solder joints for consumer electronics [J].Journal of Materials Science：Materials in Electronics，2021，32（11）：15453-15465.

[3] YE H，XUE S B，ZHANG L，et al. Reliability evaluation of CSP soldered joints based on FEM and Taguchi method [J].Computational Materials Science，2010，48（3）：509-512.

[4] HUANG J Q，ZHOU M B，ZHANG X P. The Melting Characteristics and Interfacial Reactions of Sn-ball/Sn-3.0Ag-0.5Cu-paste/Cu Joints During Reflow Soldering [J].Journal of Electronic Materials，2017，46（3）：1504-1515.

[5] 汪威，呂斌，楊軼睿，等.基于點云與圖像融合的BGA錫球檢測方法研究 [J].電子測量技術，2022，45（9）：140-146.

[6] 趙勝軍，黃春躍，梁穎，等.BGA無鉛焊點再流焊焊后殘余應力分析與優化 [J].機械工程學報，2020，56（10）：86-94.

[7] DEPIVER J A，MALLIK S，AMALU E H. Thermal fatigue life of ball grid array（BGA） solder joints made from different alloy compositions [J/OL].Engineering Failure Analysis， 2021，125[2023-03-05].https：//doi.org/10.1016/ j.engfailanal.2021.105447.

[8] 李偉，張碩.一種改進的球柵陣列封裝焊點射線圖像閾值分割算法 [J].光子學報，2011，40（7）：1046-1050.

[9] 張俊生，王明泉，郭晉秦，等.BGA焊點氣泡缺陷X射線圖像的動態閾值分割方法 [J].火力與指揮控制，2018，43（10）：113-116.

[10] 李樂，陳忠，張憲民.復雜背景下X射線BGA焊點氣泡檢測 [J].焊接學報，2015，36（3）：80-84+5.

[11] WANG H，Liu D. A new threshold segmentation algorithm for segmenting micro-focus X-ray BGA solder joint image [C]//Proceedings of the 4th International Conference on Information Technology and Management Innovation.[S.I.]：Atlantis Press，2015：1174-1177.

[12] LI J Y，FANG L Y，HU D C，et al. A new method to extract BGA solder balls in complex background X-ray image based on coordinate transformation [C]//2019 IEEE 3rd Information Technology，Networking，Electronic and Automation Control Conference （ITNEC）. Chengdu：IEEE，2019：257-261.

[13] 趙瑞祥，侯宏花，張鵬程，等.結合全卷積網絡和K均值聚類的球柵陣列焊球邊緣氣泡分割 [J].計算機應用，2019，39（9）：2580-2585.

[14] 陳雅瓊.基于深度學習的BGA焊球空洞缺陷檢測研究 [D].桂林：桂林電子科技大學，2021.

[15] JIAO L B，HUO L Z，HU C M，et al. Refined UNet： UNet-Based Refinement Network for Cloud and Shadow Precise Segmentation [J/OL].Remote Sensing，2020，12（12）：[2023-03-06].2001.https：//doi.org/10.3390/rs12122001.

[16] CHOLLET F. Xception： Deep Learning with Depthwise Separable Convolutions [J/OL].arXiv：1610.02357 [cs.CV].[2023-03-06].https：//arxiv.org/abs/1610.02357.

[17] HE K M，ZHANG X Y，REN S Q，et al. Deep Residual Learning for Image Recognition [J/OL].arXiv：1512.03385 [cs.CV].[2023-03-10].https：//arxiv.org/abs/1512.03385.

[18] WU S，LI G Q，DENG L，et al. L1 -Norm Batch Normalization for Efficient Training of Deep Neural Networks [J].IEEE Transactions on Neural Networks and Learning Systems，2019，30（7）：2043-2051.

[19] DU S J，DU S H，LIU B，et al. Incorporating DeepLabv3+ and object-based image analysis for semantic segmentation of very high resolution remote sensing images [J].International Journal of Digital Earth，2021，14（3）：357-378.

[20] ZHAO H S，SHI J P，Qi X J，et al. Pyramid Scene Parsing Network [C]//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.Honolulu：IEEE.2017：6230-6239.

作者簡介：姚遠（1995—），男，漢族，江蘇宿遷人，碩士研究生在讀，主要研究方向：深度學習、圖像處理、機器視覺等。

收稿日期：2023-04-03