基于改進灰狼優化算法的QFN芯片圖像多閾值分割方法

巢淵， 徐魏， 劉文匯， 曹震， 張敏

（1.江蘇理工學院 機械工程學院，江蘇 常州 213001；2.常州祥明智能動力股份有限公司，江蘇 常州 213011）

1 引 言

方形扁平無引腳封裝（Quad Flat No-lead package，QFN）芯片是半導體芯片中常用的一種，封裝時易產生劃痕、擦痕、孔洞等缺陷，直接影響芯片質量［1］，因此在其封裝測試過程中進行缺陷檢測尤為重要。圖像分割是產品表面缺陷視覺檢測中的重要環節［2］，不僅可以初步確定缺陷的形狀與尺寸，還可以實現細節保留和噪聲去除之間的平衡［3］，從而提高缺陷定位、識別與分類的準確性。例如，Zhang等［4］在瀝青路面的裂縫檢測中，提出基于區域生長［5］的圖像分割算法，通過降低光照變化和陰影影響，提高缺陷識別準確性。Wang等［6］針對鋼梁裂紋全景檢測，在預處理中添加基于結構化隨機森林的邊緣檢測方法［7］，提高定位精度。Chen等［1］針對QFN圖像缺陷提取，采用多閾值分割進行圖像預處理，提高圖像前景與背景對比度，降低缺陷提取難度。其中，基于閾值的分割方法［8］因其實現簡單、性能穩定、通用性強的特點，更適用于QFN芯片等表面結構復雜、缺陷種類多異的復雜圖像［9］，但傳統多閾值分割方法存在耗時長的問題，為解決這一問題，Chen等［10］將螢火蟲算法應用到圖像分割。

近年來，智能優化算法因具有并行性、易與其他算法結合等優點，被廣泛應用到圖像分割［11］，但該類方法具有一定隨機性，存在尋優性較差、穩定性較低、易陷入局部最優等潛在問題，造成圖像分割精度較低，分割穩定性較差等現象，因此眾多學者在原始算法的基礎上提出改進。王正通等［12］提出了一種基于翻筋斗覓食策略的灰狼優化算法（Disturbance and Somersault Foraging-Grey Wolf Optimization，DSF-GWO），在灰狼優化算法（Grey Wolf Optimization，GWO）［13-14］的基礎上改進衰減因子平衡算法開采與勘探，并引入翻筋斗策略提高算法多樣性，提高了算法的前期收斂性能與后期脫離局部最優的能力，但由于該策略步長較大，在分割圖像時，存在分割精度較低問題。付雪等［15］提出一種基于改進的北方蒼鷹算法（Improved Northern Goshawk Optimization，INGO）的多閾值圖像分割方法，引入立方混沌優化與透鏡成像反向學習策略，以對稱交叉熵［16-17］為分割函數，提高了圖像多閾值分割的精度，但該算法改進主要依賴于反向學習，尋優仍具有隨機性，且增加了過多適應度比較環節，應用于多閾值分割圖像時，存在分割穩定性、效率較低等問題，其分割耗時約為原始NGO的4倍。邢致愷等［18］提出了基于萊維飛行樽海鞘群優化算法（Levy Flight Trajectory-based Salp Swarm Algorithm，LSSA），以Otsu為分割函數對實際污油圖像進行多閾值分割，該方法可以獲得更為準確的分割閾值。本文課題組在前期研究工作［19］中以Otsu為分割函數對QFN封裝芯片圖像進行多閾值分割，提出了基于廣義反向粒子群與引力搜索混合算法，將粒子群算法與引力搜索混合算法相結合，提出廣義反向學習策略與正態變異策略，較原始優化算法具有更高的分割精度與穩定性，但由于正態變異策略存在將較好值變異成較差值的風險，因此算法穩定性仍有提升空間，且該方法為混合優化算法，一定程度上降低了分割效率。

綜上，針對原始優化算法尋優性較差、穩定性較低、易陷入局部最優的問題，通過增加反向學習、種群變異與混合優化算法等策略可以有效提高算法性能，能夠滿足簡單圖像的分割需求，但處理QFN芯片缺陷等復雜多目標圖像的多閾值分割問題時，仍很難做好分割精度、穩定性與效率的平衡。因此本文選擇有模型簡單、較少參數設置、尋優性能較好等優點的灰狼優化算法，從以下角度進行改進以提升算法尋優性與穩定性，以及脫離局部最優的能力：

（1）改進原始算法中的衰減因子；

（2）引入反向學習策略，改進位置更新公式；

（3）提出頭狼靠攏與種群變異策略。

最終，將本文方法應用于QFN缺陷圖像的多閾值分割，通過開展基準函數、圖像分割的對比實驗，證明本文提出方法在算法性能與缺陷分割效果上的優越性。

2 Kapur熵多閾值分割方法

Kapur熵［20］能夠表征圖像分割后的質量好壞，越大的熵值代表各個像素點的灰度值在不同的類別之間的差異性越大，各個類別之間的灰度值分布越小［21］，因此最優分割閾值應使得圖像中目標區域與背景區域分布的信息量最大，即Kapur熵最大，以最優閾值進行圖像閾值分割，實現評價圖像分割質量的信息簡化，最利于后續缺陷目標定位與檢測識別。獲取分割閾值過程如下：

假定圖像大小為M×N，灰度級個數L=256，若要將圖像分割為n+1個區域，則需要選取n個閾值，記為s1，s2，…，sn。此時，圖像Kapur熵值H計算如式（1）所示：

其中：Hj為圖像被分割后第j個區域熵值，j=1，2，…，n，計算如式（2）所示：

其中：pi=hi/（M×N）為灰度級為i的頻率，hi為灰度頻數為圖像被分割后，第j個區域的灰度均值。

最佳閾值的判斷公式如式（3）所示：

3 基于改進灰狼優化算法的圖像分割

基于原始GWO進行Kapur熵圖像多閾值分割往往存在分割精度低、穩定性差等局限性。因此本文提出基于改進灰狼優化算法的多閾值圖像分割方法（Improved GWO，IGWO）。首先針對GWO衰減因子與位置更新公式引起的算法前期收斂性差與后期尋優精度低的現象，提出一種新型非線性衰減因子，并改進位置更新公式；其次，通過比較fit（i）與mean（fit），適時引入反向學習策略，提高算法計算效率與種群質量，其中，每一輪迭代都會產生一組適應度數組（數組個數為設定的種群個數），fit（i）為當前迭代過程中第i只灰狼適應度值（適應度值在本文方法中即為前文所述Kapur熵值），mean（fit）為上輪迭代結束后所有適應度值的平均值；最后，在位置更新環節后，以當前迭代次數t為基準，交替引入頭狼靠攏與種群變異策略提高算法穩定性與脫離局部最優的能力，當t等于最大迭代次數Tmax時，以當前最優解作為最佳分割閾值，否則進入下一輪迭代。算法實現流程如圖1所示。下文將對具體改進項進行詳細分析描述。

圖1 IGWO算法流程圖Fig.1 Flowchart of the IGWO algorithm

3.1 非線性衰減因子

本文提出的非線性衰減因子a與原始線性衰減因子a0相比，采用外拋物線和衰減的震蕩曲線的組合，計算如式（4）所示，迭代曲線如圖2所示:

圖2 衰減因子迭代曲線Fig.2 Iterative curve of decay factor

其中:當a>1時，灰狼種群前期包圍獵物（A>1）的概率為（a-1）/2a，攻擊獵物（A<1）的概率為（a+1）/2a；當a<1時，灰狼種群必定攻擊獵物，其中參數A計算公式如式（5）所示:

其中，rand為0到1之間的隨機數。

圖2可以看出，本文提出的非線性衰減因子在同等迭代次數的情況下，衰減速度更快，增加算法前期收斂速度；算法后期震蕩衰減至0，降低陷入局部最優的概率，平衡算法的搜索效率與挖掘能力。

3.2 改進位置更新公式

3.2.1 反向學習

反向學習（Opposition-Based Learning，OBL）策略［22］的主要思想是基于當前解創造反向解，并計算保留其中的較優解。本文fit（i）與mean（fit）大小比較作為標準從當前解與反向解中，通過貪婪選擇改善候選解的質量，使灰狼位置更加靠近全局最優位置。計算如式（6）所示：

其中：Xi（t）為第i只灰狼位置，ub與lb分別為灰狼位置的上下邊界值，灰度圖像中分別為255與0。

3.2.2 引入正弦函數

在β狼、δ狼位置更新基礎上，受正余弦算法（Sine Cosine Algorithm，SCA）思想啟發，引入正弦函數sin（t）。隨著算法迭代，sin（t）的值在［-1，1］間不斷震蕩變化，提高灰狼種群與頭狼β和δ狼距離的多樣性，注重增強算法的局部挖掘能力，如式（7）所示：

其中：D1，D2，D3分別為剩余灰狼個體與α狼、β狼、δ狼的間距，C1，C2，C3為0~2之間的隨機數。Xα，Xβ，Xδ為α狼、β狼、δ狼當前所在位置。

3.2.3 權重因子

在原始GWO基礎上增加權重因子ω1，ω2與ω3，如式（8）所示，在保證更改X1，X2，X3權重的同時，保證Xi的量值不會突變。

其中：ω2=ω3=1，ω1=1+t/Tmax，使得更新后的位置由三者共同主導逐步變為X1為主，X2，X3為輔，算法注重點從勘探能力向挖掘能力平緩過渡；X1，X2與X3為灰狼個體朝α狼、β狼、δ狼移動后的位置，計算如式（9）所示。

3.3 頭狼靠攏策略與種群變異策略

在位置更新后，提出頭狼靠攏策略與種群變異策略進行位置交替更新，計算如式（10）所示：

其中：k1，k2分別為頭狼影響因子與狼群影響因子取值應滿足k1>k2且k1+k2≤1，從而使得更新后的位置更加靠近Xα，提高算法前期收斂性，也增加了算法陷入局部最優的可能性；k3，k4為狼群變異系數，k3，k4取值應不局限于固定值且k4

4 實驗結果與分析

為驗證本文提出的IGWO算法的尋優性能與穩定性，選擇GWO，DSF-GWO，LSSA，INGO與本文的IGWO進行基準測試函數與QFN芯片圖像分割兩組對比實驗。其中，基準函數實驗選取9個單/多峰函數［23］為目標函數；圖像分割實驗包含IGWO消融實驗與QFN圖像分割實驗兩個部分，前者以Lena圖［24］、Pepper圖、Baboon圖［24］與Building圖［25］等四張經典圖像為分割對象，分別如圖3（a）、圖3（d）、圖3（g）和圖3（j）所示；后者選擇四張含有封裝缺陷的QFN芯片圖像作為實驗對象，其中，缺陷分別為劃痕、孔洞、異物與擦痕，記為QFN1，QFN2與QFN3，QFN4，分別如圖4（a）、圖4（b）、圖4（c）和圖4（d）所示。本文實驗環境為CPU 2.9 GHz、內存16 GB，MATLAB 2020b。5種不同算法的參數設置如表1所示，實驗中，所有對比算法均采用相同種群數量與最大迭代次數，如表2所示。

表1 各對比算法初始化參數設置Tab.1 Initialization parameter settings for each comparative algorithm

表2 算法種群數量與迭代次數設置Tab.2 Population size and number of iterations settings of algorithms

圖3 原始圖像、對應的直方圖與分割結果圖Fig.3 Original images ， the corresponding histograms and segmentation results

圖4 原始圖像與分割結果圖Fig.4 Original images and segmentation results

4.1 基準函數實驗

4.1.1 基準函數

為驗證IGWO算法尋優性能與穩定性，從23個基準測試函數［26］中選取9個作為IGWO尋優目標函數，具體包括：6個單峰目標函數（F1~F5，F7）用于評測算法的挖掘能力，3個多峰目標函數（F9~F11）用于評測算法的探索能力，引入平均值（mean）與標準差（std）評價算法尋優性能與魯棒性。實驗結果如表3所示，其中，最佳數據已加粗顯示。

表3 基準測試函數實驗結果Tab.3 Results of standard test functions

由表3可知，在9個測試函數的mean與std指標方面，IGWO優于GWO，證明了IGWO改進的有效性。在單峰函數上，IGWO穩定性表現較好，但尋優性稍弱于DSF-GWO與INGO，在多峰函數上，算法尋優能力與穩定性表現較為優秀，其中F8，F9尋優值達到理論最優值，且方差皆為0，表現出算法的高尋優性與高穩定性。

4.2 圖像分割實驗

4.2.1 消融實驗

為驗證IGWO中每個改進點應用于圖像多閾值分割的有效性，對IGWO進行30次五閾值圖像分割的消融比較實驗，不同算法說明如表4所示。如圖3（a）所示，以Lena，Pepper，Baboon，Building等4幅經典圖像為消融實驗的圖像分割對象，該類圖像很好地包含平坦區域、陰影和紋理等細節信息，其灰度直方圖如圖3（b）所示，分別呈多峰、三峰、雙峰及單峰分布，故將其作為代表圖像來驗證本文算法多閾值分割能力，其原始圖像以及對應的灰度直方圖與基于IGWO的五閾值分割結果圖分別如圖3（a）、圖3（b）、圖3（c）所示。

如表5所示，分別采用適應度平均值（mean）、標準差（std）、最優值（best）與最差值（worst）、運行時間（t/s）與算法運行成功次數（Number of Successes，NS）等6個評價指標，其中NS為該算法尋得與“窮舉算法得到具有最大熵時的理論最優閾值”相同的次數。不難看出，各改進點在NS上的平均成功率相較于GWO均有顯著提升，均能實現有益效果。IGWO1由于減少了灰狼搜索范圍，算法易陷入局部最優，worst數據較低；IGWO2相較于GWO，算法尋優性能、穩定性得到提高，改進有效；IGWO3相較于其他3個改進點，表現較為優秀，但其在分割Building圖時，從worst參數可清晰看出，算法仍存在陷入局部最優現象，因此，在此基礎上增加了種群變異策略，如IGWO4中worst數據所示，該策略可極大地增強了算法跳出局部最優的能力。

表5 IGWO消融實驗結果Tab.5 Results of ablation experiments for IGWO

4.2.2 QFN缺陷圖像分割實驗

將本文算法與另外四種算法分別進行圖像分割實驗，對四張QFN圖像進行二、三、四、五閾值分割。圖4所示分別為4 張QFN缺陷原圖與基于IGWO的二、三、四、五閾值分割結果圖。圖4（e）~圖4（h），對于顏色較深且面積較完整的異物缺陷，二閾值分割后的效果表現良好，但對于顏色較淺的孔洞、擦痕與部分劃痕缺陷，使用二閾值分割無法將缺陷與背景分割出來；圖4（i）~圖4（l）中，三閾值分割后，部分劃痕缺陷分割并不完整，擦痕缺陷輪廓勉強可以看出，但仍不清晰，孔洞與異物背景反而更加復雜，不易識別；圖4（m）~圖4（p）中，四閾值分割后，擦痕缺陷區域保存較為完整，但仍存在分割不清晰現象，劃痕、孔洞與異物相較于二、三閾值分割，并無直觀改善；五閾值分割后，孔洞缺陷的識別度最高，擦痕與劃痕缺陷區域的分割最完整。因此，通過多閾值分割結果可知，針對如QFN缺陷的多類別復雜圖像，可采用基于改進灰狼優化算法的方法進行圖像多閾值分割。其中，以五閾值對QFN圖像進行分割，有利于提高后續缺陷定位的準確性與分類的準確率。

圖5所示為5種算法五閾值分割的Kapur熵值曲線收斂圖，通過不同顏色與線形的曲線與局部放大的方法，更為直觀地展現5種算法的收斂性能，圖5（a）與圖5（d）中，IGWO收斂曲線始終優于其他四種算法；圖5（b）與圖5（c）中，在第10次迭代前，IGWO收斂曲線最陡峭，收斂性能最強，證明本文提出的頭狼靠攏策略的有效性。

圖5 五閾值分割的Kapur熵收斂曲線圖Fig.5 Convergence curves of Kapur entropy by five-threshold segmentation

表6所示為5種方法獲得的QFN圖像的分割最優閾值與最大熵值，可以看出當分割閾值數量較少時，最優閾值易獲取，算法所選取的分割閾值區別不大，基本保持一致，很難體現方法的分割精度。隨著分割閾值數量的增加，圖像被分割出的區域也隨之增加，圖像信息量越大，此時對方法的分割精度要求將呈指數型增長。因本文中閾值選擇的標準為Kapur熵，其值的計算直接取決于圖像像素點的灰度級，與信息量成正比，因此閾值個數越多熵值越大，也進一步驗證了以Kapur熵為適應度函數的有效性，熵值越大代表閾值選擇越優，圖像分割的精度越高。表6中基于本文提出的IGWO進行二、三、四、五閾值分割時，獲得的熵值均大于或等于其他算法，IGWO具有更優的分割精度，證明了本文提出的改進位置更新公式的有效性，此時IGWO的分割閾值為最佳分割閾值。

表6 對比算法的閾值分割結果Tab.6 Segmentation results of comparative algorithms

為進一步驗證算法的效率與穩定性，對圖像連續進行30次的五閾值分割實驗，并采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）［27］、特征相似性（Feature Similarity Index Mersure，FSIM）［28］、算法運行時間、均值、標準差、最優值與最差值等7個指標進行評價。其中PSNR值越高，分割得到的圖像失真程度就越低；FSIM值越高，錯分率越低；平均值、最優值越大說明算法分割精度越高；標準差越小，穩定性越好；最差值若與最優值有較大差異，說明算法存在陷入局部最優的風險；時間越短，算法效率越高，實驗數據如表7與表8所示。其中，最佳值已加粗顯示。

表8 對比算法的熵函數平均值、標準差、最優值、最差值和運行時間Tab.8 Mean values， standard deviation， optimal and worst values of the entropy function and running times of comparative algorithms

表7所示為5種算法五閾值分割后的圖像PSNR與FSIM值，可以看出分割QFN1，QFN2與QFN3圖時，本文提出的IGWO所獲得的PSNR與FSIM最大，失真度與錯分率最低，但分割QFN4時，由于原始圖像中擦痕與背景像素的對比度相對較低，算法多閾值分割表現較為一般。因此可以考慮在圖像分割之前，應用圖像增強技術來改善圖像質量，增加缺陷與背景的對比度。

表8所示為5種算法五閾值分割圖像后，獲得的熵函數平均值、標準差、最優值與最差值。可以看出GWO雖然分割效率高，但Kapur熵平均值較小，分割精度低，標準差較大，分割穩定性差，且最差值與最優值相差較大，算法存在陷入最優的缺點；DSF-GWO獲得的平均值較小，分割精度較低，與INGO和IGWO的標準差至少相差兩個數量級，穩定性較差；LSSA具有較高的分割精度與效率，但分割穩定性一般，且在分割QFN1時，算法存在陷入局部最優的缺點；INGO分割精度較高且穩定性較好，但分割效率太低，分割耗時約為IGWO的4倍；本文提出的IGWO分割效果最佳，其中，mean值相較于其他算法最大，算法分割圖像的精度最高；std最小，穩定性最強；worst值最大，算法無陷入局部最優風險。

綜上，在原始GWO基礎上，IGWO經過非線性衰減因子策略，提高圖像分割的穩定性；經過反向學習策略、引入正弦函數與調整頭狼權重改進灰狼更新策略，增強圖像分割精度；提出頭狼靠攏策略與種群變異策略并交替使用，平衡算法的收斂性能與跳出局部最優的能力，進一步提高圖像分割精度與穩定性。

5 結 論

本文提出的一種基于改進灰狼優化算法的復雜圖像多閾值分割方法（IGWO），在原始GWO基礎上，改進衰減因子、引入反向學習與正弦思想與提出頭狼靠攏和種群變異策略，最后基于IGWO優化Kapur熵多閾值分割過程，改善了傳統閾值分割耗時長與原始智能優化算法分割精度低、穩定性差的問題。在基準測試函數實驗中，IGWO在9個函數上的收斂性能、尋優精度與穩定性表現均優于GWO，單峰函數稍劣于DSFGWO與INGO，多峰函數表現較為優秀，尋優值達到理論最優值，且具有最高收斂穩定性；在圖像分割實驗中，IGWO可獲得最大Kapur熵平均值，具有最高尋優精度；具有最小標準差，在劃痕與異物缺陷圖像中，相較INGO減少61.1%與86.5%，在擦痕與孔洞圖像缺陷中，IGWO標準差為0，具有理論最高收斂穩定性；分割速度略高于GWO，約為LSSA的1.4倍、DSF-GWO的2倍、INGO的4倍，具有最高分割效率。本文提出的IGWO具有較好的收斂性能、尋優性能以及較高的穩定性，可有效應用于QFN芯片圖像多閾值分割中，在保證分割效率基礎上，保留缺陷邊緣細節，能夠獲得較清晰缺陷邊界，提高缺陷識別度，后續可將該方法應用于QFN封裝芯片表面的缺陷定位與分類系統中進行缺陷分割。