基于機器視覺的半導體表面缺陷檢測研究

董先飛，韓震宇，廖聲洋，儀向向

(四川大學制造科學與工程學院，四川成都610065)

0 引言

隨著電子產業的發展，半導體的運用范圍越來越廣，人們對于半導體的質量要求也越來越高。一個半導體的表面封裝質量對于其電氣性能和后續PCB 板上的焊接和貼片有重大的影響，因此對于半導體電子元器件的生產廠家來說，確保半導體的封裝質量十分重要［1］。目前，大多數半導體電子元器件廠還在使用人工檢測的方法來檢測其封裝質量，由于人工檢測是用人的眼睛觀察封裝是否有缺陷，存在主觀因素的干擾，并且長時間工作會使工人產生視疲勞，勞動強度大并造成生產效率降低，因此這種人工檢測的方式已不能適應現代工業高速發展的要求。機器視覺的出現使得檢測效率大大提高，生產更趨于自動化，所以其在工業生產中得到了越來越廣泛的應用。本文利用機器視覺技術開發了一個針對SOT-23 封裝式半導體表面缺陷的在線檢測系統，并在實際生產中投入使用。

1 半導體缺陷檢測系統介紹

該檢測系統由計算機、工業CCD 相機、圖像采集卡、環形光源、圖像處理軟件、固定光源的機械結構等部分組成。圖1 是半導體表面質量缺陷檢測系統的結構示意圖。調節光源并通過位置傳感器觸發由CCD相機獲取半導體表面字符圖像，使用圖像處理軟件處理字符圖像來檢測半導體表面是否存在缺陷。

對于SOT-23 封裝式半導體來說，需要檢測其塑封表面所打印的字符是否存在、是否完整，檢測塑封表面劃痕與塑封缺陷。為了突出這些特征，需要選擇合適的光源照明方式。高質量的圖像信息是系統正確判斷和決策的原始依據，是整個系統成功與否的關鍵所在。

圖1 半導體表面缺陷檢測系統結構示意圖

2 照明方式的選取

機器視覺中通過照明使被檢測物的重要特征凸現，不需要的特征得到抑制。根據不同的檢測對象需要選擇不同的照明方式。常用的照明方式有背光照明、正面明場照明、正面暗場照明、同軸光照明等［2］。本文檢測系統中需要將管體表面的字符與劃痕缺陷凸顯，因此選用低角度暗場照明的方式。所謂暗場照明是指光源與攝像頭位于被測物的同一側，光源的位置使得大部分的反射光沒有進入相機，僅僅將照射到被測物體的特定部分的反射光進入相機。圖2 為低角度照明暗場照明方式的光路示意圖，圖3 為低角度暗場照明方式下管體成像的效果圖。

圖2 低角度照明暗場照明方式的光路示意圖

圖3 低角度暗場照明方式下管體成像的效果圖

3 字符識別

本系統中字符識別只需要檢測字符的完整性，因此管體表面所印的字符作為一個字符模板，在一個感興趣區域(ROI)里面去匹配這個字符模板，從而判斷字符的完整性。

模板匹配是指在目標圖像中尋找預先設定的模板圖像的過程。根據匹配算法的不同可以大概分為以下兩種:基于灰度值的模板匹配和基于邊緣點的模板匹配。

基于灰度值的模板匹配算法是基于模板與圖像中最原始的灰度值進行匹配［3］，這類算法比較簡單，但是當圖像很大的時候，計算量就會很大，運算所消耗的時間將會很長。并且基于灰度值的模板匹配模板只能平移，在目標圖像旋轉或者大小發生變化的情況下，匹配的精確度會大大降低，甚至會匹配失敗。在本文的系統檢測中，管子經由機器手將其放入一個凹槽，在凹槽底部連接一個真空吸嘴，管子就是通過此吸嘴與凹槽的相互作用進行定位的，由于機器的振動和凹槽與管子的間隙，管子在凹槽內不可避免地會產生一些平移和旋轉，故此類匹配算法不可取。

基于邊緣點的模板匹配也就是基于特征的模板匹配，特征匹配是指通過提取兩個或多個圖像的特征(點、線、面等特征)，對特征進行參數描述，然后運用所描述的參數來進行匹配的一種算法。基于邊緣點的模板匹配所用的模板由目標的邊緣點集組成，通過計算兩個點集的Hausdorff 距離進行匹配。Hausdorff 距離是一種極大-極小距離，令模板中邊緣點表示為T，圖像中邊緣點表示為E，則這兩個點集之間的Hausdorff 距離可由公式(1)得出:

h(T，E)與h(E，T)的定義相互對稱。由此可知，Hausdorff 距離由已知的兩個距離最大值組成:一個是模板邊緣與最近圖像邊緣之間的最大距離，另一個是圖像邊緣與模板邊緣之間的最大距離。因此，為了得到一個低的總距離，必須保證每個模板邊緣點與一個圖像邊緣點非常接近，同時也要保證每個邊緣點都與一個模板邊緣點非常接近［4］，這樣匹配出來的結果才會更準確。

基于邊緣點的模板匹配能夠有效地抑制光照變化的影響，適應現場復雜的外界環境，并且其不需要建立兩幅圖之間點的對應關系，只需要提取圖像的邊緣信息，計算速度快。基于邊緣點的模板匹配對位置變化比較敏感，可以大大提高匹配的精度。現場環境復雜多變，因此選用此方法可以增加系統的可靠性。

4 缺陷識別

字符識別后，需對獲取到的被檢物體的圖像進行處理，識別缺陷特征。該檢測系統中，首先通過識別矩形管子邊緣確定檢測范圍，然后采用差影法去除字符干擾，最后對差影圖像進行Blob 缺陷提取。圖4 為系統識別缺陷流程圖。

圖4 系統識別缺陷流程圖

4.1 邊緣檢測

管子由定位模具定位，因此可以進一步縮小檢測范圍，提高檢測效率。在圖像處理中針對矩形管子邊緣劃定四個矩形ROI。在矩形ROI 范圍內采用3×3 鄰域Sobel 算子搜尋邊緣點。使用最小二乘法將獲取到的邊緣點集擬合成一條直線，即為管子邊緣。邊緣點的檢測個數C 由檢測密度V 和檢測像素寬度W 決定，其關系式為

式中:V 是指檢測間隔內像素的個數。

邊緣點的檢測密度越大，間隔像素越少，獲取到的邊緣點個數越多，擬合的直線越準確。但是，檢測密度的增大會導致檢測效率的降低，考慮到實時檢測的需求，合理設置檢測密度十分重要。運用Sobel 算子分別從下而上、從上而下、從右至左、從左至右四個方向在ROI 內搜索邊緣點，并分別擬合出四條邊緣線，延長相交構造出管體矩形邊緣，為塑封表面的缺陷檢測確定了檢測范圍。

4.2 缺陷檢測

Blob 分析方法是缺陷檢測常用的方法。Blob 分析原理是對圖像中相同像素的連通域進行分析，該連通域稱為Blob。Blob 分析可為機器視覺應用提供圖像中的斑點的數量、位置、形狀和方向，還可以提供相關斑點間的拓撲結構［5］。

在管體表面劃傷缺陷的檢測中，單純的用Blob 提取缺陷是不可行的，因為缺陷的灰度值與字符的灰度值相差不多，通過Blob 算法提取出的缺陷將不僅僅是缺陷，還包括了字符，所以在Blob 提取缺陷之前要把字符去除。本文采用差影法去除字符的干擾。

差影法簡單來說就是對兩幅圖片所對應的灰度值做減法運算，兩幅相同的圖片做差影后將會變成一幅全黑的圖片［6］。使用差影法最關鍵的就是將兩幅圖片對準，否則差影之后的結果將會有很大的殘留誤差。

差影法首先要確定差影模板，用來和目標圖像進行相減。本文使用模板匹配算法中所得到的字符模板的二值圖作為差影模板，如圖5所示。

圖5 字符模板(上)與差影模板(下)

在基于邊緣點的模板匹配后，可以準確地得到字符區域在圖像中的位姿，從而實現差影模板與圖像中字符區域的對準。首先對圖像進行二值化，然后將二者做差影運算，最后對差影圖像進行Blob 缺陷提取，有效的屏蔽了字符的影響。圖6 為系統所找到的缺陷圖，左側陰影區域內為劃傷缺陷。

5 結論

圖6 系統所找到的缺陷

本系統在工廠試用后，能夠快速準確地檢測出半導體塑封表面的缺陷，現已投入正式生產中。本系統的處理時間在70 ms 左右，安裝有本系統的機器平均每小時產量由13000 顆左右提高到了20000 顆左右，極大提高了生產效率;在產品的合格率方面也由以前的99.80%左右提升到了99.99%左右，有效地增加了產品的合格率。并且產業的自動化程度也得到了提升，克服了傳統人工檢測的主觀性因素與不能長時間連續工作的問題。

［1］張素娟，李海岸.新型塑封器件開封方法以及封裝缺陷［J］.半導體技術，2006，31(7):509-511.

［2］張巧芬，高健.機器視覺中照明技術的研究進展［J］.照明工程學報，2011(2):31-37.

［3］陳皓，馬彩文，陳岳承，等.基于灰度統計的快速模板匹配算法［J］.光子學報，2009，38(6):1586-1590.

［4］Huttenlocher D P，Klanderman G A，Ruckldgew J.Comparing image using the Hausdorff distance［J］.IEEE Transactions on PAM I，1993，15(9):850-863.

［5］李蕊艷.基于機器視覺的芯片識別及定位軟件的研究開發［D］.西安:西安理工大學，2009.

［6］張立凡.基于機器視覺的圖文印刷缺陷檢測研究［D］.北京:北京印刷學院，2010.