韓雷,張麗娜,王福亮,李軍輝,張亞楠
(中南大學 機電工程學院,現代復雜裝備設計與極端制造教育部重點實驗室,湖南 長沙,410083)
隨著電子制造工藝的進步以及元件的微型化、組裝的高密化,微電子行業對制造設備的運動速度和精度的要求越來越高。在現代電子封裝設備中,芯片及其上焊盤在工作臺上的精確位置只能通過視覺系統實測予以確定[1?3]。在熱超聲倒裝鍵合過程中,芯片凸點和基板焊盤定位以及對準精度誤差要求小于5 μm[4]。鍵合前首先要尋找基板或芯片,實現芯片與基板的對準。此過程在視覺系統的引導下,通過驅動運動平臺的移動來完成。在倒裝鍵合工藝中,加熱臺上的溫度可達150~160 ℃,會導致空氣湍流運動,造成空氣折射率的隨機變化而導致光波振幅和相位隨機起伏,成像焦平面像點強度分布擴散,點擴展函數增大,峰值降低,圖像模糊和像素位置偏移及抖動等,給目標識別、定位帶來很大困難[5]。這種現象與高速飛行導彈導引頭成像時的氣動光學效應和天文學中因大氣湍流所導致的湍流退化成像類似,只是湍流退化程度不同。由于湍流退化數學模型難以確切描述,因此,對湍流退化圖像復原相當困難[6?7]。為研究溫度對目標識別、定位的影響,提高芯片與基板的對準精度,本文作者通過在加熱條件下采集大量圖片,發現圖像間最顯著的現象是抖動與模糊,這給芯片與基板的對準帶來了困難。考慮到鍵合時因加熱將導致加熱臺附近空氣湍流運動,影響成像質量,提出通過吹穩定氣流的方式以層流代替湍流,冷卻周圍空氣的方法來提高視覺系統的識別能力,提高基板與芯片對準精度。
1.1.1 相位相關法
相位相關法是一種非線性、基于傅里葉變換的頻域相關技術,用于檢測2幅圖像之間的平移。相位相關法對噪聲不敏感,且不受幀間光照變化的影響,是一種魯棒性強的圖像匹配方法,因此,在用相位相關法求平移量之前不需要將亮度均一化。
在圖像處理過程中,圖像可以用二維數組來表示,數組中元素值表示對應像素的灰度。設數組f1表征參考圖像,數組f2表征待配準圖像,f2相對f1的平移點坐標為(x0, y0),即

其傅里葉變換關系為

指數相位偏移因子可以通過 f1和 f2的互功率譜計算:

對(3)式進行傅里葉逆變換,有

式中:p(x, y)為圖像間相關函數;δ (x ? x0, y ? y0)為偏移后的δ函數。進行逆變換之后,相位相關法結合圖像插值也可以用于亞像素計算,但精度只能達0.1個像素,且計算較復雜[8]。
1.1.2 相關函數法
在源圖像中,取以所求位移點(x, y)為中心的(2M+1)×(2M+1)矩形計算子區(又稱模板)在變形后的目標圖像中移動,并按某一相關函數進行計算,尋找與模板的相關系數為最大值且以(x′, y′)為中心的(2M+1)×(2M+1)矩形區域,以確定目標的整像素位移。目前,常用的效果較好相關函數有以下3種。
(1) 標準互相關函數:

其取值范圍為[0,1]。
(2) 標準化協方差相關函數:

其取值范圍為[?1,1]。
(3) 最小平方距離相關函數(SSDA):

其取值范圍為[0,+∞]。其中:C為相關函數;f(x, y)表征目標所在的源圖像;g(x+u, y+v)表征模板圖像;hm和gm為其計算窗口的平均灰度;u和v為模板中心的整像素位移。通過確定相關函數的最大值位置就可以確定目標的位置。其中標準化協方差相關函數是利用2個相關函數的均方差來對協方差相關函數進行歸一化。這種相關法能起到突出特征變換的效果,使得相關系數矩陣呈明顯的單峰分布,并且峰頂形狀更尖銳,在實際中應用較多[9]。
由于數字圖像記錄的是離散灰度信息,利用式(5)~(7)來進行相關搜索時所獲得的是整像素位移,要得到亞像素位移需要通過其他方法來實現。
1.2.1 曲面擬合亞像素法
目前,亞像素位移測量算法主要有亞像素灰度插值法[9]、曲面擬合法[10]、多項式插值法[10]、梯度法[11?12]、頻域相關法[13]、坐標輪換法(十字搜索法)[14]、牛頓?拉普森方法[15?16]、擬牛頓方法[17]等,這些算法所能達到的定位精度為 0.005~0.100個像素。其中,以曲面擬合法與梯度法因計算量小、精度較高而較常用。一般常用的擬合方法有高斯函數擬合法和二維多項式擬合法。對于相關函數曲面比較平緩的情況,高斯擬合法不僅需要較大的擬合窗口,而且可能產生較大的誤差,因此,在實際中多采用二元二次多項式來擬合相關函數曲面。相關函數的計算可以采用式(5)~(7),不同的相關函數對亞像素計算精度的影響可以忽略[10]。為保證計算精度,圖像的點擴展函數應盡可能小,以減小圖像的模糊效應。
通過前面的相關函數搜索到整像素,找到整像素匹配點(x, y)。假設其周圍各點的相關系數可用下面的二元二次函數表示:

對于n×n的擬合窗口有n×n個方程,可用最小二乘法求解待定系數a0~a5。曲面的極值點位置為:

(x′, y′)即為所求的亞像素位移坐標。
在用曲面擬合計算亞像素時,計算窗口與擬合窗口的選擇很關鍵。一般計算窗口越大,精度越高,但窗口達到一定值后,精度提高不明顯,而計算量增加。所以,并不是計算窗口越大越好,擬合窗口一般選擇3×3 為最佳[10]。
1.2.2 曲面擬合亞像素法驗證
圖像 A與圖像 B均在水平及垂直方向分別存在Dx及Dy像素的相對位移,2幅圖像原窗口有M×N 個像素。通過縮小圖像來產生亞像素位移,縮小后圖像窗口為Mi×Ni,則縮小后2幅圖像水平與垂直位移分別為dx=DxMi/M 和dy=DyNi/N 個像素。本文中圖像A與圖像B原始窗口有900×900 個像素,相對位移分別為:Dx=8,Dy=10。計算時,采用 3種不同計算窗口進行比較,結果如表1和表2所示。
通過比較不同的計算窗口發現:以41×41個像素為計算窗口時,計算誤差較大;當計算窗口為61×61個和81×81個像素時,計算精度較高,兩者之間在計算精度上的差別并不明顯。從計算結果可以看出:曲面擬合求亞像素位移精度較高,其精度可以達到0.005~0.100個像素,滿足要求。

表1 沿x方向位移理論值與模擬值比較Table 1 Comparison of the displacements along x direction between theoretical value and simulated value單位:像素

表2 沿y方向位移理論值與模擬值比較Table 2 Comparison of displacements along y direction between theoretical value and simulated value單位:像素
在熱超聲倒裝鍵合機上分別采集A和B 2組芯片圖像,其中A組采集時沒有啟用吹氣裝置,B組采集時啟用吹氣裝置,所設計的氣流方案示意圖如圖1所示。圖中X軸方向為通氣管方向,Y軸方向為氣流方向,Z軸方向為豎直方向。實驗吹氣裝置的氣源為 1個空氣壓縮機,最大壓力為0.4 MPa,通過1個穩壓閥可以維持穩定壓力,外接1個直徑為8 mm的軟管,軟管末端被封住,在接近軟管末端的一側有5個針孔,間距相等,呈直線排列。從小孔中吹出的壓縮空氣形成一層較強的氣流,沿Y軸方向吹向倒裝鍵合臺上的芯片,所形成的氣流面與芯片平行。
實驗光學系統為1個1倍定焦物鏡,將來自目標的光線聚焦到 CCD(電荷耦合器件)傳感器光敏器件上,照明系統為1組環形排列的LED(發光二極管)。圖像數據采集使用黑白圖像采集卡 Matrox Meteor-II/Standard,物像比為 1:40,實際芯片面積為 1 mm×1 mm。經換算發現:若要對準精度小于5 μm,則所采集的圖像間抖動量應控制在0.6個像素以下。由于攝像頭光軸與芯片所在的水平面不是完全垂直,攝像頭光軸與Z軸間存在1個很小的夾角,造成芯片的長寬比并不是1:1。
芯片圖像示意圖如圖2所示。像空間芯片圖像與物空間中順時針旋轉 90?后的芯片相對應,即物空間(圖1)中的軸與像空間(圖2)中的Y′軸對應。

圖1 氣流方案示意圖Fig.1 Draught scheme sketch map
圖像采集時的溫度為室溫(20 ℃),實驗過程如下:
(1) 加熱臺未加熱時,A和 B組各采集圖像300張。
(2) 加熱臺加熱溫度分別為80,120和160 ℃,在每種溫度下,A和B組各采集圖像300張。

圖2 芯片圖像Fig.2 Image of die
通過實驗發現:溫度越高,模糊圖像越多,這類似于離焦所引起的圖像模糊。本文采用梯度函數對圖像清晰度進行評價。梯度函數表達式為:

其中:Ix和Iy分別表示圖像水平和垂直方向的梯度。對于梯度函數,對焦良好的圖像便有更尖銳的邊緣,其灰度總體梯度應更大[18]。
在進行圖像清晰度評價時,應先對圖像進行預處理,消除幀間光照差別的影響。分別計算160 ℃時A和B 2組圖像的梯度函數,結果如圖3所示。若將灰度總體梯度G小于1.400×107的圖像判為模糊圖像,則這樣的圖像有155張。可見:在160 ℃,A組模糊圖像占1/2左右,且A組圖像灰度總體梯度波動范圍大,最小灰度總體梯度僅為 0.482×107。B組圖像灰度總體梯度明顯高于A組灰度總體梯度,其波動范圍也比A組的小,最小灰度總體梯度達2.076×107。可見:采用吹氣裝置后,可以消除因加熱所帶來的圖像模糊效應,為亞像素計算提供了精度保證。

圖3 160 ℃時A組和B組圖像梯度Fig.3 Gradient function values of Group A and B at 160 ℃
對于沒有啟用吹氣裝置的A組實驗圖片,圖像間的抖動明顯,有一定的模糊圖像,同組圖片之間存在灰度畸變。其原因為:傳感器引入的整個圖像其信號均勻變化,加熱時,導致目標反射率或輻射率發生變化,所以,采用不受光照影響的相位相關法求其整像素位移。計算時,以每一溫度下第1張圖像為參考圖像,分別計算同組其他圖像相對于它的位移。由于抖動方向對于對準精度并不重要,所以,計算時取絕對位移。圖4所示為4次A組實驗的平均位移和平均位移標準差。其中:圖4(a)所示為圖像的平均位移趨勢與位移分布,圖4(b)所示為4次位移標準差平均結果;和分別為圖像X方向和Y方向的平均位移;σu和σv分別為圖像X方向和Y方向的位移標準差。從圖4可以看出:在未加熱的條件下,所拍攝的300張圖像間整像素級位移為 0;隨著溫度的升高,圖像間的抖動增大,在鍵合溫度為160 oC時平移量達到了7~8個像素,其標準差也隨著溫度升高而增大;在同一溫度下,Y方向的最大抖動值比X方向的大,其標準差均比X方向的略大。這可能與攝像頭的偏角有關,導致Y方向的抖動量比實際的抖動量略大(注:由于整像素計算時相同位移較多,導致在圖4(a)中的位移分布散點重合)。
啟用吹氣裝置后,圖像抖動與模糊消除效果明顯,保證了用曲面擬合亞像素法計算圖像間亞像素位移的準確性。圖5所示為采用4次B組實驗的平均位移和平均位移標準差。從圖5可以看出:圖像X方向的位移與位移標準差仍隨溫度增大而增大;而Y方向位移分布和標準差與溫度之間的關系并不明顯,其標準差不再隨溫度升高而增大,且明顯小于X方向的位移標準差。這與氣流方向有關,其方向與圖像Y方向一致,使氣流沿Y方向的擾動減弱。從圖5(a)可以看出:即使在160 ℃的高溫下,最大抖動量也不超過0.30個像素,而在 20 ℃和 80 ℃時,X方向的抖動量都小于0.10個像素;X方向的位移平均值從80 ℃開始顯著上升,因加熱引起的圖像抖動效應隨著溫度的上升更加明顯。

圖4 A組位移和位移標準差與溫度的關系Fig.4 Relationship among displacement and its standard deviation and temperature of experiment A

圖5 B組位移和位移標準差與溫度的關系Fig.5 Relationship among displacement and its standard deviation and temperature of experiment B
(1)在未啟用吹氣裝置時,隨著溫度升高,圖像間的位移與位移標準差增大,在高溫下圖像間的抖動明顯,模糊圖像較多。在工作溫度為160 ℃左右時,抖動可達7~8個像素,如不采取措施,將不能滿足熱超聲倒裝鍵合中基板與芯片的對準精度要求。
(2) 通過縮小圖像尺寸的方法產生圖像間亞像素位移,證明了采用不同計算窗口計算窗口在曲面擬合亞像素法中的重要性。
(3) 在實驗方案中,通過啟用吹氣裝置,消除了圖像模糊與圖像間整像素級的抖動,把圖像的絕對抖動量控制在了0~0.3個像素內,可以滿足基板與芯片凸點的對準精度要求。
[1]曹長江, 張琛, 李振波, 等. 微裝配系統中精密地位裝置的研制[J]. 上海交通大學學報, 2000, 34(11): 1482?1485.CAO Chang-jiang, ZHANG Chen, LI Zheng-bo, et al. Design of precise position instrument for micro-assemble system[J].Journal of Shanghai Jiaotong University, 2000, 34(11):1483?1485.
[2]雷源中, 雒建斌, 丁漢, 等. 先進電子制造中的重要科學問題[J]. 中國科學基金, 2002, 16(4): 204?209.LEI Yuan-zhong, LUO Jian-bin, DING Han, et al. Important academic problem in advanced electronic manufacturing[J].Bulletin of National Science Foundation of China, 2002, 16(4):204?209.
[3]Naren V. Application of microcomputer in submicron level measurements and control of a positioning device[J]. Journal of Microcomputer Applications, 1995, 18(2): 149?164.
[4]李建平, 鄒中升, 王福亮. 熱超聲倒裝鍵合機視覺系統的設計與實現[J]. 中南大學學報: 自然科學版, 2007, 38(1):116?121.LI Jian-ping, ZOU Zhong-sheng, WANG Fu-liang. Design and realization of machine vision system in thermosoic flip-chip bonder[J]. Journal of Central South University: Science and Technology, 2007, 38(1): 116?121.
[5]殷興良. 氣動光學原理[M]. 北京: 中國宇航出版社, 2003.YIN Xing-liang. Air-optic principle[M]. Beijing:Astronavigation Press, 2003.
[6]謝盛華, 張啟衡, 宿丁. 基于APEX方法的湍流退化圖像復原算法[J]. 光電工程, 2007, 34(2): 88?92.XIE Shen-hua, ZHANG Qi-heng, SU Ding. Restoration method for turbulence-degraded image based on APEX method[J].Opto-Electronic Engineering, 2007, 34(2): 88?92.
[7]陶青川, 鄧宏彬. 基于小波變換的高斯點擴展函數估計[J].光學技術, 2004, 30(3): 284?288.TAO Qing-chuan, DENG Hong-bin. Wavelet transform based Gaussian point spread function estimation[J]. Optical Technique,2004, 30(3): 284?288.
[8]劉衛光, 崔江濤, 周利華. 插值和相位相關的圖像亞像素配準方法[J]. 計算機輔助設計與圖形學學報, 2005, 17(6):1273?1277.LIU Wei-guang, CUI Jiang-tao, ZHOU Li-hua. Subpixel registration based on interpolation and extension phase correlation[J]. Journal of Computer-Aided Design & Computer Graphics, 2005, 17(6): 1273?1277.
[9]于起峰. 基于圖像的精密測量與運動測量[M]. 北京: 科學出版社, 2002.YU Qi-feng. Precise measurement and motion measurement based image[M]. Beijing: Science Press, 2002.
[10]潘兵, 續伯欽. 數字圖像相關中亞像素位移測量的曲面擬合法[J]. 計量學報, 2005, 26(2): 128?134.PAN Bing, XU Bo-qin. Subpixel registration using quadratic surface fitting in digital image correlation[J]. Acta Metrologica Sinica, 2005, 26(2): 128?134.
[11]Zhou P, Goodson K E. Subpixel displacement and deformation gradient measurement using digital image/speckle correlation[J].Opt Eng, 2001, 40(8): 1613?1620.
[12]Zhang J, Jin G C. Application of an improved subpixel registration algorithm on digital speckle correlation measurement[J]. Optics & Laser Technology, 2003, 35:533?542.
[13]Chen D J, Chiang F P, Tan Y S, et a1. Digital speckle displacement measurement using a complex spectrum method[J].Appl Opt, 1993, 32: 1839?1849.
[14]芮嘉白, 金觀昌. 一種新的數字散斑相關方法及其應用[J].力學學報, 1994, 26(5): 599?607.RUI Jia-bai, JIN Guan-chang. A new digital speckle correlation and its application[J]. Acta Mechanica Sinica, 1994, 26(5):599?607.
[15]Bruck H A, McNeil S R, Sutton M A, et a1. Digital image correlation using Newton-Rapshon method of partial differential correction[J]. Experimental Mechanics, 1989, 29(3): 261?267.
[16]Lu H, Cary P D. Deformation measurement by digital image correlation: implementation of a second-order displacement gradient[J]. Experimental Mechanics, 2000, 40(4): 393?400.
[17]Wang H W, Kang Y L. Improved digital speckle correlation method and its application in fracture analysis of metallic foil[J].Opt Eng, 2002, 41(11): 2793?2798.
[18]曹茂永, 孫農亮, 郁道銀. 離焦模糊圖像清晰度評價函數的研究[J]. 儀器儀表學報, 2001, 22(3): 259?261.CAO Mao-yong, SUN Nong-liang, YU Dao-yin. Study on clarity-evaluation-function of out-of-focus blurred image[J].Chinese Journal of Scientific Instrument, 2001, 22(3): 259?261.