一種基于人工免疫的芯片劃痕檢測系統

周小軍,譚 薇

(1.甘肅工業職業技術學院 電信學院，甘肅 天水741025；2.四川大學 網絡空間安全學院，四川 成都 610065)

0 引言

隨著5G、物聯網+、區塊鏈和人工智能等新信息技術對高速芯片運算的需求增大，作為電子設備的“大腦”，芯片的本土研發、設計和生產及其產能對GDP、國家安全和核心技術領導力以及控制COVID-19的蔓延都至關重要。Gartner預計全球集成電路產業2022年將實現10%左右的增長，我國“天問一號”火星探測器和“天宮”空間站升空后，美國半導體產業協會(Semiconductor Industry Association，SIA)隨即發布了《盤點中國半導體產業(Taking Stock of China’s Semiconductor Industry)》白皮書，建議對我國實行更加嚴格的芯片出口限制。因半導體在應對新冠肺炎疫情和全球經濟復蘇的作用是至關重要的，但除受疫情外各種綜合因素影響,全球持續“缺芯”。芯片生產過程中人工檢測很難達到快速、精準的檢測需求。所以在需求旺盛的大批量工業生產中，利用圖像處理的方法可有效地克服抽檢率低、準確性差、效率低和人工成本高等不利因素,現已成為芯片表面缺陷檢測發展的主流。

1 研究現狀

人眼檢測效率低、誤差率高且人工成本高。機器識別因為非接觸測量，優點是速度快、靈活性強，提高了檢測效率和機械化程度，缺點是在進行圖像信息采集時對光照強度較為敏感，程序和算法對檢測和識別的影響較大。Chuang等[1]用互相關歸一化法對芯片表面印刷字符進行檢測;Zhong等[2]研究了多種封裝芯片快速引腳定位方法;Hawari對SOP芯片引腳檢測，吳暉輝等[3]有效檢測出半導體芯片引腳常見缺陷;Xie等[4]對帶有噪聲的PCB圖像用支持向量機方法進行缺陷識別;Wang等[5]研究了QFN引腳缺陷的分割和分類方法;安勝彪等[6]用級聯卷積神經網絡完成芯片位置和角度的檢測。目前的研究主要集中在芯片上面的印標、引腳等方面的錯誤檢測，就芯片表面的劃痕檢測的研究不多，印標錯誤或引腳缺失這類缺陷檢測模板較為固定，缺陷分類直觀明顯。而劃痕缺陷由于劃痕不規則且其輕重、數量和位置都是隨機產生，缺陷種類多，尤其是對于輕度擦痕，在識別時很容易將其判斷為圖像采集過程中的噪聲和干擾，加之劃痕判斷無統一的標準模板對比，所以這類缺陷判斷和提取相較于前者檢測難度更大。設計一種從芯片圖像采集、預處理、圖像分割、特征提取直至到檢測識別的整套系統的應用研究則更少。本文以QFN芯片為研究對象，重點就芯片表面劃痕進行檢測，主要完成3方面工作：一是為改進芯片數據采集時光照不均勻現象，設計組合光源照明系統，并在預處理時引入Gabor濾波，降低噪聲干擾；二是對比3種圖像分割算法，確定使用人工免疫法對圖像進行最大熵值分割，通過求目標函數最優解，獲得最佳的分割閾值；三是通過對芯片劃痕特征提取，確定其中描述能力最強的圓形度、長寬比和緊湊性為主要特征,用決策樹方法對劃痕進行分類識別，可有效檢測劃痕長度，準確率為96.14%。

2 檢測系統基本組成

選取一類典型封裝的5 mm×5 mm方形扁平無引腳QFN半導體芯片，將其表面劃痕作為對象進行研究與分析。QFN芯片采用塑料密封的新興表貼封裝技術，焊盤尺寸很小、體積小[7]。芯片底部裸露出大面積焊盤,在精密小型電子信息裝置及中大規模集成電路中應用較多。芯片焊盤表面劃痕，使QFN芯片的電熱性能變差，這對系統的穩定性與耐久性影響很大[8]。實驗中使用的QFN芯片如圖1所示。

劃痕檢測系統框架設計如圖2所示，主要包括芯片圖像采集、圖像預處理、圖像分割和檢測識別4個模塊。

圖2 檢測系統框架設計Fig.2 Framework design of detection system

2.1 芯片圖像采集

圖像信息采集時常見的光源照明方式都是前向同軸平行光，由于芯片塑封體存在漫反射,大量的反射光線不能被相機采集，得到的芯片圖像對比度不夠。在低角度部分加入照明光源，來增加暗場的漫反射效應。本文改進了傳統照明機構，在已有的前向LED同軸平行光的基礎上組合暗場漫射光源，設計時使一組LED光源與載物臺夾角呈30°,這樣在環形帶狀光源外側的LED光照就能夠照射到同側的邊緣區域，相機視野內可達到整個照明區域的全覆蓋[9]。本文設計的芯片表面劃痕檢測系統硬件結構如圖3所示。

圖3 芯片表面劃痕檢測系統硬件結構Fig.3 Hardware structure of chip surface scratch detection system

經不同照射方向的2種LED光源的合理組合，通過照明強度的調節，可以在塑封芯片的焊盤金屬面上采集到具有良好的細節特征信息的芯片圖像。系統中工業相機選定型號為JHSM500Bs的500萬像素，像元尺寸為2.2 μm×2.2 μm,信噪比38.1 dB，分辨率2 592 pixel×l 944 pixel，配備了一組JHHF-0612M無畸變鏡頭的相機。這樣紅藍雙色LED組合照明，采用組合后的照明方案就可獲得高質量的半導體芯片圖像，為后續芯片表面缺陷的檢測與識別奠定基礎。

2.2 芯片圖像預處理

因待檢測的芯片圖像是通過光學成像系統采集,光照、抖動等因素必然會導致亮度不均和細節模糊等現象出現。對采集到的部分對比度小的圖像需進行灰度變換等增強處理，對部分含有噪聲的圖像需進行去噪和濾波來去除干擾,提高信噪比。對本系統采集到的圖像采用灰度歸一化和直方圖均衡化方法來進行對比度增強[10],有效解決了因對比度不足帶來的干擾。歸一化就是使每一幅圖像像素的灰度值分布在0～255,其基本原理如下:

直方圖均衡化實際上就是使各灰度級分量平均布滿空間,除增強圖像對比度外還可減少光線對圖像的影響,便于特征提取,提高圖像品質。灰度歸一化后再進行直方圖均衡化處理后的芯片劃痕圖像如圖4所示。

(a) 劃痕1原圖及其統計直方圖

(b) 劃痕1均衡化后圖像及其直方圖

(c) 劃痕2原圖及其統計直方圖

(d) 劃痕2均衡化后圖像及其直方圖圖4 劃痕圖像和均衡化后圖像的直方分布Fig.4 Vertical distribution of scratch and equalized image

芯片圖像采集過程中產生了高斯噪聲和椒鹽噪聲，一般是圖像采集過程中不良環境照明條件及傳感器自身發熱老化等原因，椒鹽噪聲表現在圖像上顯示為黑白雜點。為防止其對后續分割及缺陷提取產生干擾，在下一步處理前還需要對芯片圖像進行濾波處理。因為Gabor濾波是一種帶通濾波器，能同時兼顧時域和頻域帶寬乘積下限，且和人類視覺神經元的感受野相符，在處理外界環境干擾引起的黑白雜點椒鹽噪聲和高斯白噪聲效果很好。由于劃痕為采集圖像自身所攜帶的細長條狀紋理，所以采用該濾波器可有效消除噪聲，而較好地保留劃痕信息。Gabor濾波器是由一個高斯函數與復指數函數相乘的母小波經過尺度變換與旋轉變換后得到,非常適合用于紋理表達和分離。二維Gabor濾波器在空域中表現為由正弦平面波調制的高斯核函數,其復數形式為:

因Gabor濾波對圖像的邊緣信息敏感，而對光照變化不敏感，在提取不同方向上紋理信息的同時還對光照、圖像位置偏移都具有相應的容忍性，因此系統選擇Gabor濾波器。

2.3 芯片圖像分割

采集到的芯片圖像經過預處理后，需分割后提取出劃痕信息。閾值化分割因為實現簡單、計算量小且性能較穩定，應用廣泛。本文對迭代選擇閾值法、最大類間方差法(OTSU)和人工免疫法進行了研究對比，最終選擇人工免疫法確定的最佳閾值來進行芯片圖像的分割[11]。

2.3.1 迭代閾值分割法

閾值分割原理是先預估一個值將其定義為初始閾值，然后按照一定的約束規則不斷地迭代更新初值,直至滿足給定的約束條件。采用迭代法對劃痕圖像1和劃痕圖像2進行分割，分割結果如圖5所示，得到的最佳閾值分別為94.165 4和104.25。

圖5 3種算法分割效果對比Fig.5 Segmentation effects comparison of three algorithms

2.3.2 最大類間方差分割法

最大類間方差法基本原理是將待分割圖像根據灰度特性分成背景和前景2塊，其類間方差越大則2部分被錯分的概率就最小，優點是圖像對比度和亮度對圖像分割沒有影響。具體使用時首先隨機定義一個使類間方差最大的閾值T，根據約束條件通過不斷迭代找到最佳閾值。采用最大類間方差法對劃痕圖像1和劃痕圖像2進行分割后結果如圖5所示，得到的最佳分割閾值分別為102和118。

2.3.3 人工免疫分割法

在芯片圖像分割過程中,為取得最佳閾值，將人工免疫算法引入圖像熵值最大化尋優[12-13]。根據生物免疫系統原理和圖像信息熵最大化算法,在抗體的免疫進化過程中結合陰性選擇算法及克隆選擇算法將免疫算法應用到遺傳算法的搜索策略中,主動準確得到最佳分割閾值，也就是免疫疫苗中的成熟抗體,進化過程中以群體濃度和個體期望繁殖率來判斷個體的優劣[14-15]。定義抗原即為目標函數,抗體為目標函數的優化解即分割閾值的二進制編碼，圖像熵為親和力計算式,尋找出使親和力值最大的成熟抗體,即為分割的最優閾值[16-17]。

假設每個抗體由M位數字組成，共有N個抗體，每個抗體的每位可供選擇的數字為L個，L=K1,K2，…,Kl，則N個抗體的信息熵為:

① 任意確定N個個體閾值編碼，并從記憶庫中隨機選出Nget個個體構成初始抗原群。

③ 逐一計算群體中抗體親和力，并按其值大小順序進行排列。取排在前N個的個體構成第一代群體，將其存入進行記憶庫更新。

④ 從更新后的記憶庫中選取疫苗，對第一代群體免疫接種后進行群體克隆和變異，重新計算抗體親和力。

⑤ 根據結束條件進行判斷，是則結束；否則，再次對抗體進行選擇、交叉和變異得到下一代，從大到小排列后，再次進行群體更新。

⑥ 重復操作步驟③～⑤，直至滿足迭代停止條件。

初始化記憶庫時隨機選取灰度值(0～255)。更新到記憶庫和從記憶庫中提取的抗原個數為Nget=10，抗原個體親合度的初始閾值為T，初始群體個數N=100，變異概率Pm=0.01，代數G=100。采用人工免疫法對劃痕圖像1和劃痕圖像2進行分割，原始圖像大小為200 pixel×200 pixel，分割后結果圖像如圖5所示，得到的最佳分割閾值分別為T1=153，T2=111.755。迭代選擇閾值分割法、最大類間方差分割法和人工免疫方法3種算法分割最佳閾值和分割用時如表1所示。

表1 3種分割算法最佳閾值和迭代時間對比

對比實驗結果可以看出，3種方法均能對芯片圖像進行分割，其中迭代閾值分割和最大內間差方法分割圖像不如人工免疫方法準確，但耗時相對較少。人工免疫方法采用的最大熵分割，所以在分割上視覺細節相對豐富，但分割時間較長。對于塑封芯片圖像因大部分背景區域為塑封、引腳和中心焊盤，劃痕區域面積相對較小，為能準確分割劃痕區域，犧牲部分時間代價也是可以接受的，經過實際測試并對三者的效果綜合比較，系統選擇使用人工免疫的分割算法來對芯片圖像進行分割。

3 芯片圖像劃痕特征識別與分類

芯片圖像在經過分割后，若要對劃痕進行識別，還要測量劃痕部位的面積、周長等特征數據作為分類依據。因劃痕均為在芯片的5 mm×5 mm焊盤表面形成，可根據芯片劃痕的形狀特征參數來進行分類[18]。

3.1 待檢測芯片圖像的基本形態特征

① 檢測劃痕區域面積A

② 檢測劃痕區域周長C

③ 劃痕區域圓形度F

④ 劃痕區域長寬比H

⑤ 劃痕區域緊湊性E

3.2 特征提取及統計

選取存在劃痕缺陷的典型劃痕芯片圖像2張，1類為重度劃痕，2類為輕度擦痕。分別計算缺陷芯片圖像的5種幾何特征，計算結果如表2所示。

表2 劃痕圖像形態特征對比

根據計算得到的圖像5種形態特征，對比分析后可以看出,劃痕缺陷的面積和周長一般情況都比較大，而淺劃痕的圓形度較小，其邊緣輪廓較為不規則。綜合判斷可基本得出劃痕識別的依據，為了不失一般性，對存在缺陷的芯片進行數據檢測，選取2類劃痕照片圖像各50張建立缺陷數據庫，并以這100組數據為樣本集。實驗時在每種缺陷數據中各抽取10組，2類共20組數據樣本特征,參數統計結果如表3和表4所示。

對表3和表4進行對比分析可知，圓形度、長寬比和緊湊性這3種特征對劃痕檢測的描述能力最強。因劃痕呈條狀，其圓形度最小，因其最小外接長方形細長，得到的長寬比數值最大；緊湊性代表劃痕部分對最小外接長方形面積之比，劃痕因常呈離散狀，緊湊性較小。區分劃痕1類因呈單條樣，檢測面積和圓形度通常較小，而長寬比通常較大；劃痕2類的面積較大，周長最長但是圓形度最小。

表3 劃痕圖像1類樣本特征參數

表4 劃痕圖像2類樣本特征參數

3.3 劃痕檢測系統GUI設計

根據計算所得數據結果分析可知,圓形度、長寬比和緊湊性等特征數據是芯片劃痕檢測的關鍵特征數據。由于已知樣本數據和測試數據特征數量較少,待測數據集總共有50組,可選取決策樹分類算法來對待測數據進行分類。為了方便操作，在基于Matlab2018a軟件的GUI(圖形用戶界面)工具編輯功能，將各單元模塊集成，主要包括圖像讀入、圖像處理和劃痕檢測等，設計的人工免疫算法劃痕檢測系統界面如圖6所示。

圖6 系統GUI界面Fig.6 Interface of GUI

3.4 實驗結果分析

實驗采用Matlab2018a軟件，在處理器為Intel(R)Core(TM)i5-10500 CPU @3.10 GHz，內存為16 GB的計算機平臺上進行實驗。選取200 pixel×200 pixel的典型劃痕圖像1和劃痕圖像2。用決策樹分類法，按照50組樣本數據進行自上而下構造二叉樹,現以2種劃痕圖像各50組構成訓練集數據,并在50組未分類數據集上進行測試,可得到準確率最高的決策樹結構及檢測結果。當圓形度小于0.016則可確定為劃痕2類，否則為劃痕1類及其他缺陷。當圓形度大于等于0.016時，用決策樹分類。當劃痕面積小于7.3 mm2，判斷為劃痕1類或者其他缺陷。再通過圓形度，對劃痕再分類，當缺陷圓形度小于0.18，判斷為劃痕1類，否則為劃痕2類。經過實驗分析，50組未分類數據只出現2組將正常圖像識別為劃痕圖像，識別的準確率可達96.14%，平均運行時間2.167 s，能夠達到識別目的。

對原始劃痕圖像1，檢測出了2條,劃痕長度分別為137.786 1，147.627 9 pixel。對原始劃痕圖像2，檢測出了6條,劃痕長度分別95.425 4，98.478 4，57.982 8，41.012 2，136.400 1，90.210 9 pixel，檢測系統運行結果如圖7所示。

圖7 劃痕檢測結果Fig.7 Results of scratch detection

4 結束語

完整地設計了一套集成電路芯片表面劃痕檢測系統，以QFN劃痕芯片為例,從圖像采集、圖像預處理、圖像分割和檢測識別等模塊詳細分析了相關技術，實驗證明了各圖像處理算法的有效性。在GUI實驗平臺上對系統進行了驗證，實際分類準確率可達96.14%。分割和識別算法時間效率也能達到實時使用要求，實驗結果驗證該系統的合理性。但實際應用時，還存在一些不足，因芯片劃痕檢測時漏檢率要高于誤檢率，在最佳閾值確定時應比實驗數據稍高一些。采集后圖像在預處理環節，噪聲及光照的影響不可避免，對后續分割及劃痕識別檢測的影響較大，同時由于分割精度不同也會產生分類的干擾。劃痕芯片的數據特征提取時，采用了幾何特征，決策樹分類算法分類簡單，但規則固定，不能同步更新樣本數據，可考慮聯合其他特征來進一步對不同缺陷進行準確分類。隨著劃痕圖像數據集的增大，分類實驗時可采用神經網絡[19]和深度學習[20]等先進分類方法，這也是今后值得進一步研究的內容。