芯片鍵合設備圖像識別模塊的研究與設計

高 岳，楊 帆，齊昊姝，戴 豪

(中國電子科技集團公司第四十五研究所，北京 100176)

圖像識別模塊在全自動芯片鍵合機系統軟件中的開發十分重要,為芯片鍵合工藝提供檢測、定位等。圖像識別中定位精度是芯片鍵合總體精度的重要組成部分，其在總體鍵合時間中占很大比例，圖像采集和處理的速度對設備的整體效率有很大影響。芯片鍵合設備要做到效率高穩定性好就離不開一個好的視覺系統，而一個好的視覺系統最重要的就是要有一個簡潔高效的圖像識別算法。

1 圖像識別模塊的硬件組成

根據封裝工藝需求，芯片鍵合設備上需要2組攝像裝置，分別檢測不同的位置。而且每個攝像機從采集到得到處理結果有嚴格的時間要求。芯片臺配有芯片預先識別功能。本模塊不但需要精確定位，而且需要處理芯片上的劃痕、崩邊等內容。對有缺陷的芯片加以剔除，對合格的芯片要進行對準，以保證芯片拾放和粘接的精度，同時芯片缺陷檢測是一個很重要的功能，是影響產品良品率的重要因素，芯片的缺陷類型有崩角、崩邊和連體等，要求視覺系統能夠準確識別判斷。同時圖像識別模塊可以把采集到圖像信息反饋給運動模塊，這樣就可以根據反饋信息隨時進行控制參數的調整。通過圖像識別模塊與運動控制模塊之間的聯系，設計出了圖像識別模塊的系統結構圖，如圖1所示。

圖1 圖像識別模塊結構

芯片鍵合設備是一個復雜且多元的系統，包含運動控制、圖像識別、人機界面等以及隨時可更改的工藝流程等諸多環節，如果對每一個模塊采用嵌入式系統，不僅開發難度大，時間長，且不便于統一開發維護工作。因此在控制系統和人機界面等都使用了上位機（工控機）＋下位單元的模式。圖像識別模塊也采用這種模式，將圖像采集交由工控機處理。工控機是各種控制的核心，圖像的分析在工控機完成，分析結束后工控機可以做出相關判斷并進行操作。這樣的結構，在工控機中集成了所有的控制核心單元，各個受控部分共享信息，方便做出統一的指令。

此外，如圖2所示，由于芯片鍵合機自身需要，在圖像識別模塊中，采用了兩個攝像機分別采集各自圖像。由于工藝流程的影響，在流程中采用了異步觸發的方式。兩個攝像頭連接到同一塊圖像采集卡，采集卡采集的圖像分別傳輸到上位機進行存儲并進行分別的處理，處理結果成為下一步流程的依據。

圖2 圖像識別單元的硬件組成

2 圖像識別問題分析

在芯片鍵合設備進行圖像識別的過程中，光照是影響目標識別準確度的一個重要因素，其次是照明單元提供的光照系統隨著時間的加長發生顏色以及亮度上的偏移，這也會對圖像造成影響。攝像頭放置的方位同樣會對圖像識別造成影響，因為攝像頭的軸心線理論上應當與芯片所在平面的法線相平行，實際上攝像頭安裝后，必然會存在偏差，同時如果攝像頭在安裝后因為使用等原因，有輕微的偏斜，都會對圖像識別率造成致命影響，在實際的生產線中，為每一臺設備單獨定制識別模版，包括由于微小的攝像頭偏差，就要更改整個模版庫里的所有模版，都是不現實的。因此圖像識別單元需要有良好的抵抗仿射變換的能力。

污損或殘缺也是芯片上經常發生的情況。這些問題將會使部分目標被遮擋，因此在機器視覺影像上呈現的將是目標形狀的改變。因此圖像識別單元需要對污損或殘缺的目標也有一定的識別能力。

3 圖像識別模塊運行流程設計

通過上述分析以及實際驗證，設計出圖像識別模塊運行流程圖，如圖3所示。其中圖像識別模塊通過CCD工業相機采集需要識別芯片的圖像，如采集失敗進行報警提示，如果圖像采集成功則開始創建圖像模板并進行模板參數的設置，模板參數設置完畢便打開圖像識別功能將接收到的圖像進行模板識別，然后通過圖像識別處理得出識別結果，最終將圖像識別信息上傳到運動控制模塊和人機交互界面中，操作人員直觀的看到圖像識別結果。

圖3 圖像識別模塊運行流程

4 圖像識別算法的研究

如問題分析所述，芯片鍵合設備上圖像識別模塊需要能夠對光照、仿射、污損以及各種不同的圖形都有較好的識別精確率。特征識別是圖像識別中常用的辦法，David Lowe提出了SIFT算法后，到了2004年，SIFT算法已經有了完善的理論體系，同時對仿射變換、光照以及污損有非常良好的抵御能力。本文對于特征點的識別采用了Harris角點算法，這種算法能夠方便且有效地提取目標信息。同時，采用了Ransac算法，對目標信息與模版信息進行匹配，從而達到識別的效果。

4.1 算法分析設計

尺度不變特征轉換 (Scale-invariant feature transform，縮寫SIFT)是目前圖像理論中用于檢測以及描述圖像局部特征非常高效的算法，它基于特征點，在空間尺度中尋找極值點，生成SIFT算子，SIFT算子具有對位置、尺度、旋轉不敏感的特點。高斯模糊是SIFT算法的第一步，為了實現SIFT算子不受尺度空間的影響，高斯模糊以及高斯金字塔被用在了該算法中，高斯卷積核是實現尺度空間變換的唯一變換核。

4.1.1 二維高斯函數

為了達到使圖像模糊的目的，應用高斯模糊來完成。高斯模糊是一種圖像濾波器，它使用正態分布（高斯函數）計算模糊模板，通過該模板與原圖像做卷積運算，得到模糊圖像。

例如二維模板大小為m×n，則模板上的元素(x，y)對應的高斯計算公式如式(1)：

二維高斯模糊函數圖像，如圖4所示，是一個成正態分布的同心圓，是由上述公式計算而來。通過在二維空間中將分布不為零的卷積矩陣和原始圖像進行變換，如此可得出變換的像素值即為相鄰像素值的加權平均值，由于原始的像素有最大的權重，所以相鄰像素離原始像素越遠其權重就越小。因此應用二維高斯模糊函數進行模糊處理可以使模糊效果更好且能夠更好地保留邊緣效果。

圖4 二維高斯模糊函數圖像

4.1.2 Harris角點生成特征點

在經典SIFT算法中，需要建立高斯差分金字塔以及DOG空間局部極值點組成特征點空間進行運算，然而我們在前文可以使用Harris角點檢測算法來替代DOG空間局部極值點。SIFT算法中，為了達到尺度放縮變換，需要建立高斯金字塔，而高斯金字塔的層數直接影響了匹配的精度又因為高斯金字塔的建立是相當費時的，因此我們采用Harris角點來產生特征點。

4.1.3 SIFT描述子對特征進行描述

確定Harris角點產生特征點，通過SIFT描述子對Harris角點來產生特征點進行描述，在進行匹配時將特征點梯度的主方向作為匹配最為重要的參考，最終的匹配程度需要看主方向的偏差值，偏差值越大匹配度越小，如果主方向的偏差值太大可以直接導致匹配失敗。因此，我們在計算時采取高斯模糊進行圖像模糊。然后在方向確定后采用36柱或者72柱進行直方圖投票。最后經過直方圖投票可以確定直方圖，我們可以參照SIFT算法使用的辦法，使用Taylor展開式進行擬合，定位實際的主方向角度。

在實際表征時，很多情況下，我們不得已會為了計算速度而降低描述子的維度。然而程序的魯棒性也會因此而變差。因此我們繼續采用經典SIFT算法中的128維進行特征點描述，稱之為SIFT描述子。通過規范化描述子向量，即可巧妙去除光照產生的影響。

4.2 Ransac算法

有了SIFT描述子，最后一步就是根據被識別目標的SIFT描述子與模版上的SIFT描述子進行匹配，我們采用了Random Sample Consensus（Ransac）算法。

Ransac算法是根據一組包含異常數據的樣本數據集，計算出數據的數學模型參數，得到有效樣本數據的算法。實際上是一種基于反復測試的迭代過程，在迭代過程中，不斷剔除誤差點，最后得到符合模型點集的辦法。

Ransac算法的原理是根據目前的具體問題來設計目標函數，然后通過反復計算找出最小點集，接著通過最小點集找出初始值，其次通過找出的初始值把相關的所有樣本數據進行分類，將其分為“內點”與“外點”，最后將所有“內點”重新估算模型。通過不斷的迭代，就可以得到最終的模型。

在圖像識別時，我們通過計算被識別目標的SIFT描述子與模版SIFT描述子之間的方差，定義為目標函數，通過不斷的剔除噪聲特征點，來達到矯正模型的過程，這樣一些由于污漬或者像素問題產生的誤差點就會被剔除掉，最終產生實際的匹配相關度。

4.3 圖像識別效果

由于芯片品種的千差萬別，規格的不一致，對圖像識別、自動對準技術提出了很高的要求，對準技術直接影響到芯片鍵合的精度，圖像識別的速度又直接影響到整機的效率。通過Harris角點來產生特征點，由SIFT描述子對特征進行描述，Ransac算法在迭代過程中，不斷剔除誤差點，最后得到符合模型的點集。這樣圖像識別的效率與準確率有很大提高。

下圖為通過本算法識別的芯片，從圖中可以清楚地看出圖中紅框內為識別出來的芯片。通過對圖像識別與分析，將圖像識別的信息傳遞給運動控制模塊，可以使鍵合頭準確將芯片拾取，圖像識別效果如圖5所示。

圖5 圖像識別效果

5 結 論

本文首先對圖像識別模塊進行分析，設計了圖像識別模塊運行流程圖。然后采用基于Harris角點的SIFT匹配方法，最后通過Ransac算法反復測試的迭代過程，不斷的剔除噪聲特征點，來達到矯正模型的目的，這樣一些由于污漬或者像素問題產生的誤差點就會被剔除掉，最終產生實際的匹配相關度。此方法能夠很好的彌補灰度識別算法的不足。基于圖像特征的匹配方法利用圖像的物理形狀特征進行圖像匹配。該匹配方法處理的圖像像素較少，所以算法的復雜度較小，計算時間短、效率高。此外該方法的魯棒性好，抗干擾性強，尤其適用于不同光照環境的生產線。