基于Gamma校正HSV模型的變色鍍銅管腳檢測(cè)

李 研，車艷秋，2，梅健強(qiáng)

（1.天津職業(yè)技術(shù)師范大學(xué)自動(dòng)化與電氣工程學(xué)院，天津 300222；2.天津市噪聲危害工程防護(hù)技術(shù)指導(dǎo)中心，天津 300222；3.天津職業(yè)技術(shù)師范大學(xué)電子工程學(xué)院，天津 300222）

完整的芯片由引線、固封材料和封裝基板等（統(tǒng)稱封裝體）與晶圓組合而成。其中，封裝基板作為芯片封裝過程中的核心材料，不僅能夠支撐、固定、保護(hù)芯片，還可以大幅提升芯片散熱性能，保證芯片物理穩(wěn)定性。此外，作為芯片與印刷電路板連接的中間層，封裝基板還實(shí)現(xiàn)了物理和電氣連接，信號(hào)和功率分配等重要功能。在芯片生產(chǎn)過程中，人為觸碰、異物污染、摩擦、氧化、腐蝕、潮氣等因素均可使芯片封裝基板鍍銅管腳變色，致使芯片整體性能受損。因此，在芯片封裝前對(duì)基板進(jìn)行質(zhì)量檢測(cè)，可以有效提高成品率。早期的芯片封裝基板檢測(cè)主要是操作員利用掃描電鏡（scanning electron microscope，SEM）進(jìn)行人工檢測(cè)，其結(jié)果嚴(yán)重依賴檢測(cè)者的主觀經(jīng)驗(yàn)，且具有一定的滯后性[1]。特別地，由于變色鍍銅管腳表面色差較小，在實(shí)際生產(chǎn)流程中，無法客觀地對(duì)其缺陷快速做出精準(zhǔn)評(píng)判。

隨著數(shù)字圖像處理技術(shù)的不斷發(fā)展，邊緣分割[2]、色差法分割[3]，聚類分割[4]等多種分割算法被用于自動(dòng)缺陷檢測(cè)。文獻(xiàn)[5]針對(duì)鍍錫引腳氧化缺陷，將圖像由紅-綠-藍(lán)（red-green-blue，RGB）顏色空間轉(zhuǎn)至色調(diào)-強(qiáng)度-飽和度（hue-intensity-saturation，HIS）顏色空間，并基于引腳顏色進(jìn)行缺陷芯片的檢測(cè)，但該算法僅針對(duì)鍍錫引腳，不適用于鍍銅管腳。文獻(xiàn)[6]先根據(jù)RGB顏色過濾特征方法找到感興趣的竹葉區(qū)域，再通過色調(diào)-飽和度-明度（hue-saturation-value，HSV）顏色濾波分割方法去除陰影，從而檢測(cè)出不同層次的竹葉變色區(qū)域。該研究中正常竹葉與病害竹葉區(qū)分度較大，易于分割。文獻(xiàn)[7]通過提取紅棗葉片病害區(qū)域，將圖像的HSV色彩空間分離得到H、S、V通道顏色分量圖，再對(duì)每個(gè)顏色分量的灰度圖像進(jìn)行形態(tài)學(xué)開運(yùn)算處理、中值濾波平滑及閾值分割等操作，獲得紅棗葉片病斑區(qū)域的分割方法。

本文研究芯片封裝基板變色鍍銅管腳的檢測(cè)問題。芯片封裝基板鍍銅管腳的材質(zhì)復(fù)雜，正常管腳與變色管腳區(qū)分度小，且不易形成連續(xù)區(qū)域；而較小的變色區(qū)域?qū)π酒庋b基板的測(cè)試與功能影響較小，可忽略不計(jì)，導(dǎo)致變色管腳檢測(cè)的精度偏低。本文提出一種基于非線性變換Gamma校正的HSV顏色空間閾值分割方法，并通過平滑去噪、形態(tài)學(xué)處理，實(shí)現(xiàn)了精度較高的變色鍍銅芯片管腳檢測(cè)。

1 數(shù)據(jù)與模型

1.1 數(shù)據(jù)獲取與數(shù)據(jù)處理流程

本文圖像數(shù)據(jù)集選自某芯片封裝公司自動(dòng)光學(xué)檢測(cè)（automated optical inspection，AOI）設(shè)備拍攝的存在變色缺陷的芯片封裝基板。典型變色鍍銅管腳缺陷芯片封裝基板圖像如圖1所示，圖中亮黃色為正常鍍銅管腳，暗黃色為變色鍍銅管腳（加框區(qū)域），黑色為管腳以外的基板和印刷電路區(qū)域。

圖1 典型變色鍍銅管腳缺陷芯片封裝基板圖像

采集芯片封裝基板圖像后，應(yīng)用RGB閾值分割法去除管腳以外的背景區(qū)域，隨后將圖像從RGB顏色空間變換至HSV顏色空間，再經(jīng)過Gamma校正、平滑去噪、形態(tài)學(xué)處理以及閾值截?cái)啵詈笸ㄟ^設(shè)置最小輪廓面積閾值獲取最大外接矩陣進(jìn)行畫框標(biāo)記，得到變色缺陷區(qū)域。

1.2 RGB顏色模型分析

常用描述圖像顏色空間的色彩模型包括RGB、HIS、HSV和LAB等，通常應(yīng)用于數(shù)字電視、數(shù)字圖像分析處理以及計(jì)算機(jī)圖形學(xué)等不同場(chǎng)景[8]。作為應(yīng)用最廣泛的顏色空間，RGB顏色空間以紅（red，R）、綠（green，G）、藍(lán)（blue，B）三原色亮度的組合定量表示任意顏色。按照亮度等級(jí)，8 bit RGB顏色空間的每個(gè)通道分量的取值范圍為0～255。通過分析被提取區(qū)域在RGB顏色空間的特性，可以建立RGB顏色判據(jù)。圖2為去除背景的鍍銅管腳圖像在B-G、B-R空間的散點(diǎn)圖。

圖2 B-G、B-R空間散點(diǎn)圖

由圖2可見，盡管變色管腳呈明顯的聚集現(xiàn)象，但與正常管腳和其他類缺陷重疊較多，較難區(qū)分，閾值設(shè)置較為困難。

1.3 HSV顏色模型分析

A.R.Smith根據(jù)顏色直觀特性創(chuàng)建的色調(diào)-飽和度-明度顏色空間[9]，有效地分離了色調(diào)（Hue）、飽和度（Saturation）和亮度（Value），相比于RGB顏色空間，更適合描述人類色彩感覺，在圖像處理領(lǐng)域中也更有優(yōu)勢(shì)[10]。從RGB空間到HSV色彩空間的變換表達(dá)式為[11]

其中：色調(diào)（H）的范圍為0～360°，飽和度（S）的范圍為0～100%，亮度（V）的范圍為0～255。HSV三要素的變化對(duì)應(yīng)著管腳表面、底板以及邊緣范圍內(nèi)的顏色變化，不同的區(qū)域和背景之間的S值或V值有可能相等，但H值總是存在差異。

圖3為鍍銅芯片管腳在H-V、H-S空間的散點(diǎn)圖。由圖3可知，變色管腳在H-S呈明顯的聚集現(xiàn)象，但在V維度分布較為分散，閾值較難劃分。

圖3 空間散點(diǎn)圖

進(jìn)一步提取芯片封裝基板在HSV模型中的3個(gè)分量，3個(gè)分量的三通道分離圖如圖4所示。

圖4 原圖及H、S、V三通道分離圖

對(duì)比圖4可以發(fā)現(xiàn)，H通道分量圖只能簡(jiǎn)單區(qū)分鍍銅管腳和基板背景，無法區(qū)分變色管腳和正常管腳，且管腳間粘連嚴(yán)重。S通道分量圖中變色管腳與正常管腳區(qū)分度較高，同時(shí)去除了部分噪聲。V通道分量圖清除大部分噪聲，但變色管腳與正常管腳區(qū)分度不高。

2 實(shí)驗(yàn)與分析

2.1 重采樣與平滑去噪

為更好地進(jìn)行特征提取，對(duì)原圖像進(jìn)行重采樣，去除管腳以外的背景區(qū)域，同時(shí)對(duì)原圖像進(jìn)行平滑處理來抑制管腳顆粒化噪聲。圖像平滑處理的本質(zhì)是一種信號(hào)濾波方法，從信號(hào)學(xué)的角度理解即抑制圖像中的高頻噪聲，保留低頻信息。在一定的光源條件下，芯片管腳上銅離子與其他部分差異較大，但與正常管腳、管腳邊緣差異較小。在正常管腳部分以及邊緣部分也存在閾值之內(nèi)的噪聲，但是極小面積的變色區(qū)域?qū)苣_性能幾乎無影響，可忽略不計(jì)。所以，本文采用非線性平滑方法中值濾波來減少邊緣模糊以及較小的噪聲。中值濾波的基本原理是把圖像中某一點(diǎn)的像素值用該點(diǎn)鄰域像素中間值替換，以此實(shí)現(xiàn)減少孤立噪聲點(diǎn)、降低邊界模糊的目的。本文選取的濾波窗口為3×3。原圖以及重采樣、平滑去噪后對(duì)比圖如圖5所示，經(jīng)過重采樣、平滑后的圖像噪聲減小，圖像更為細(xì)膩。

圖5 原圖及重采樣、平滑去噪后對(duì)比圖

2.2 Gamma校正

封裝基板圖像整體亮度較低，且管腳部分因工藝問題及光照條件限制不夠光滑、顆粒感較為明顯。針對(duì)圖像光照不足、特征不明顯等問題的圖像增強(qiáng)算法主要分為頻域法和時(shí)域法2類。頻域法由于較難構(gòu)造并分離出符合需求的高低頻分量，會(huì)造成圖像細(xì)節(jié)以及部分特征的丟失[12]；而時(shí)域法則是直接處理圖像的像素點(diǎn)值，降低了頻域算法中時(shí)頻域相互轉(zhuǎn)換操作的復(fù)雜性，因此被廣泛應(yīng)用。常用的時(shí)域處理方法有非線性Gamma校正[13]、直方圖均衡化[14]、非銳化掩模、基于深度學(xué)習(xí)生成對(duì)抗網(wǎng)絡(luò)的無監(jiān)督圖像增強(qiáng)[15]，以及Retinex系列算法的SSR（singal scale Retinex）[16]，MSR（multi-scaleRetinex）[17]、MSRCP（multi-scaleRetinex with chromaticity Preservation）[18]等。直方圖均衡化方法是根據(jù)圖像的像素值分布頻率進(jìn)行非線性拉伸，達(dá)到均衡化的效果，但是會(huì)造成細(xì)節(jié)丟失和過分增強(qiáng)。非銳化掩模方法是利用圖像中的高頻分量來增強(qiáng)圖像的細(xì)節(jié)和邊緣，但同時(shí)存在放大噪聲以及過度增強(qiáng)的風(fēng)險(xiǎn)。Retinex系列算法的復(fù)雜度較高，較易出現(xiàn)“光暈”現(xiàn)象，不適用于快速高精度大批量圖像識(shí)別。非線性Gamma校正是對(duì)輸入圖像的像素值進(jìn)行指數(shù)變換，進(jìn)而校正亮度偏差，但這種方法往往會(huì)由于校正參數(shù)設(shè)置不合理而導(dǎo)致過度增強(qiáng)或過度減弱亮度的問題，因此選擇合適的參數(shù)是Gamma校正非常重要的一環(huán)。Gamma校正式為

式中：L（x，y）、L′（x，y）分別為校正前和校正后的亮度值；γ(x，y)為校正參數(shù)，其取值直接決定校正效果。

當(dāng)γ(x，y)＜1時(shí)，圖像的整體亮度提高；當(dāng)γ(x，y)＞1時(shí)，圖像的整體亮度降低。選擇合適的γ值，可通過Gamma校正非線性調(diào)整圖像的整體亮度，從而提高正常管腳與變色管腳亮度差異的顯著性。不同γ值下校正轉(zhuǎn)換特性如圖6所示。

圖6 Gamma校正轉(zhuǎn)換效果

以圖5所示圖像為例，對(duì)重采樣和中值濾波后的S單通道圖像和V單通道圖像分別進(jìn)行Gamma校正，為了獲得最優(yōu)γ值，計(jì)算了單通道圖像變色區(qū)域和正常區(qū)域平均亮度差值隨校正參數(shù)γ的變化，如圖7所示。當(dāng)亮度差值最大時(shí)，γ值最優(yōu)，可得到對(duì)S通道和V通道Gamma校正的最優(yōu)參數(shù)值分別為γ=2.26和γ=4.32。應(yīng)用此最優(yōu)值對(duì)S和V通道進(jìn)行Gamma校正后，重構(gòu)H-V、H-S空間散點(diǎn)圖，如圖8所示。

圖7 Gamma校正單通道圖像中變色區(qū)域和正常區(qū)域平均亮度變化

圖8 校正后空間散點(diǎn)圖

從圖8可以看出，通過重采樣、中值濾波和Gamma校正后的圖像在H-V空間與H-S空間呈明顯的聚集現(xiàn)象，相比于原圖的HSV空間，變色管腳與正常管腳的差異顯著性更強(qiáng)，閾值更易劃分。

2.3 形態(tài)學(xué)處理

形態(tài)學(xué)處理是采用結(jié)構(gòu)體元素對(duì)圖像區(qū)域進(jìn)行像素運(yùn)算處理，其是一種基于集合論基礎(chǔ)的圖像處理方法，主要包括膨脹、腐蝕、開運(yùn)算和閉運(yùn)算等形態(tài)學(xué)操作[19]。

膨脹操作相當(dāng)于對(duì)圖像的反色圖像進(jìn)行腐蝕后再取回反色，其作用是把圖像周圍的背景點(diǎn)合并。膨脹的運(yùn)算符為⊕，A用B來膨脹，記作A⊕B，表達(dá)式為

腐蝕操作是膨脹操作的反運(yùn)算，其作用相當(dāng)于對(duì)圖像的反色圖像進(jìn)行膨脹后再取反色。腐蝕操作的作用是消除物體邊界點(diǎn)，通過選取不同大小的結(jié)構(gòu)元素可以去掉小于結(jié)構(gòu)元素的物體，運(yùn)算符為Θ，A用B來腐蝕，記作AΘB，表達(dá)式為

先腐蝕操作后膨脹操作為開運(yùn)算，運(yùn)算符為“○”，記為A B，表達(dá)式為

反之，先膨脹操作后腐蝕操作為閉運(yùn)算，運(yùn)算符為“·”，記為A·B，表達(dá)式為

對(duì)經(jīng)過非線性平滑處理的圖像再進(jìn)行形態(tài)學(xué)處理，選擇卷積核類型為矩形，寬、高尺寸均為3。形態(tài)學(xué)處理效果如圖9所示。

圖9 形態(tài)學(xué)處理（腐蝕、膨脹、閉運(yùn)算、開運(yùn)算）

本文采用迭代2次閉運(yùn)算來處理圖像，達(dá)到在保持管腳變色區(qū)域位置和形狀不變的同時(shí)，彌合小縫隙、填平小孔的目的。

2.4 最大外接矩陣閾值畫框標(biāo)記

在區(qū)域特征分析和提取獲得的變色管腳目標(biāo)區(qū)域，小面積的變色管腳對(duì)性能影響較小，可忽略不計(jì)，因此采用設(shè)置最大外接矩陣閾值畫框標(biāo)記變色管腳。設(shè)置閾值寬×高≥100并畫框標(biāo)記，結(jié)果與人工標(biāo)記對(duì)比，最大外接矩陣閾值畫框標(biāo)記結(jié)果如圖10所示。

圖10 最大外接矩陣閾值畫框標(biāo)記結(jié)果

3 結(jié)果

為評(píng)價(jià)典型區(qū)域變色管腳的檢測(cè)精度，選取了數(shù)據(jù)集中94張圖片的1 160個(gè)變色區(qū)域，通過人工目視解譯結(jié)果，測(cè)試對(duì)比RGB、HSV和Gamma校正HSV 3個(gè)顏色空間模型，檢測(cè)效果對(duì)比如圖11所示。

圖11 檢測(cè)效果對(duì)比

本文方法框選人工目視解譯所在的變色管腳區(qū)域?yàn)闇?zhǔn)確，反之為漏分，框選人工目視解譯之外的變色管腳區(qū)域?yàn)殄e(cuò)分。使用RGB顏色空間算法，1 043個(gè)變色區(qū)域錯(cuò)分，0個(gè)變色區(qū)域漏分；使用HSV顏色空間算法，13個(gè)變色區(qū)域錯(cuò)分，40個(gè)變色區(qū)域漏分；使用Gamma校正HSV顏色空間算法，6個(gè)變色區(qū)域錯(cuò)分，16個(gè)變色區(qū)域漏分。本文計(jì)算了檢測(cè)精度、錯(cuò)分率和漏分率3個(gè)性能指標(biāo)，結(jié)果如表1所示。

表1 不同顏色空間模型檢測(cè)精度

從表1可以看出，RGB閾值法檢測(cè)精度僅為10.10%，顯然該方法不適用于變色鍍銅芯片管腳檢測(cè)；與原始HSV閾值法相比，重采樣后經(jīng)過Gamma校正的HSV閾值法得到的變色管腳檢測(cè)總體精度更高，達(dá)到98.11%，且錯(cuò)分率及漏分率更低。其原因是經(jīng)過重采樣后的管腳照片剔除了除管腳以外的背景以及部分較暗邊緣部分，又經(jīng)Gamma校正后的變色管腳顯著性提高，更易與正常管腳區(qū)分。受相機(jī)成像時(shí)光照不均、陰影，以及平滑去噪與形態(tài)學(xué)處理等因素影響，漏分主要發(fā)生在多個(gè)連續(xù)較小的變色區(qū)域及管腳邊緣，錯(cuò)分主要發(fā)生在管腳邊緣與基板相接區(qū)域、管腳邊緣亮度稍暗的區(qū)域。

4 結(jié)論

本文采用HSV顏色空間變換法將芯片封裝基板圖像從RGB顏色空間轉(zhuǎn)換至HSV顏色空間，通過對(duì)特征區(qū)域進(jìn)行重采樣去除背景干擾，利用中值濾波進(jìn)行平滑去噪，消除邊緣模糊及較小噪聲，利用閉運(yùn)算形態(tài)學(xué)操作以填平小孔，彌合小縫隙。同時(shí)，針對(duì)HSV顏色空間，本研究提出基于重采樣以及濾波后的圖像的S通道與V通道進(jìn)行Gamma校正，進(jìn)而區(qū)分變色管腳區(qū)域與正常管腳區(qū)域，檢測(cè)精度達(dá)到98.11%，高于傳統(tǒng)HSV閾值法（95.46%）。雖然不同封裝方式的基板管腳材質(zhì)與底板材質(zhì)各不相同，但由于AOI設(shè)備的特性，拍攝芯片封裝基板的環(huán)境以及光源基本一致，復(fù)用本文算法流程，更改所對(duì)應(yīng)的閾值即可適應(yīng)其他封裝方式下不同材質(zhì)的封裝基板，為封裝基板變色缺陷的快速自動(dòng)識(shí)別奠定了基礎(chǔ)。