高斯平滑下引線框架的多尺度噪聲圖像快速配準算法

曹曉歡,楊建華,張 揚

(西北工業大學 自動化學院,西安 710072)

0 概述

引線框架[1-2]是集成電路芯片的載體,是實現芯片內部電路引出端與外引線電氣連接的關鍵結構。基于機器視覺[3-4]的引線框架缺陷檢測技術[5-6]是提高引線框架產能的關鍵技術之一。隨著機器視覺技術[7]的逐步發展,通過機器視覺代替人工視覺實現引線框架缺陷檢測與識別是引線框架產業目前發展的重要方向。而制約機器視覺技術發展的主要因素除了機器視覺軟硬件集成還包括圖像處理技術[8-10]。

圖像配準是引線框架缺陷檢測中圖像處理技術的關鍵,是將同一目標或相似目標取自不同時間、不同傳感器、不同視角以及不同光照條件下的圖像進行匹配融合的過程[11]。在圖像配準中,圖像空間域互相關匹配(Cross Correlation,CC)算法[12]和頻域互功率譜算法(Cross Power Spectrum,CPS)[13]以其優良的配準精度與較強的魯棒性,一直以來備受歡迎。但在工業實際應用中,除了良好的配準精度,算法的執行效率也是一個很重要的因素。因此,本文首先對現有的CC和CPS圖像配準算法進行研究,在此基礎上引入高斯平滑的多尺度圖像分析技術,提出一種新的高斯多尺度圖像快速配準方法(Gauss Multi-scale Fast Registration,GMFR),并通過定義性能函數對算法性能進行分析。然后基于以上算法,設計并搭建一套成本適中的完整機器視覺系統,最終實現引線框架缺陷的智能識別。

1 圖像配準技術

1.1 傳統的CC和CPS算法

1.1.1 CC算法

假設f(x,y)是一幅包含目標區域且尺寸為M×N的灰度圖像,g(x,y)是包含目標區域的模板灰度圖像,f(x,y)=g(x-x0,y-y0)。若f(x,y)進行變換后其目標區域能與g(x,y)中的目標區域完全匹配,則需要求解出位移參數(x0,y0)。2-D灰度圖像的互相關函數表示為:

(1)

其中,f*(x,y)為f(x,y)的復共軛[14]。

1.1.2 CPS算法

設F(u,v)與G(u,v)分別為f(x,y)和g(x,y)的離散Fourier變換,則:

(2)

(3)

兩幅圖像的歸一化互功率譜可表示為:

(4)

快速Fourier變換能夠減少傳統Fourier變換的運算量,故在圖像配準中,CPS算法的性能會優于CC算法。但工業實際應用中,算法效率仍有待提高,采用圖像多尺度表達來優化算法效率能為問題的解決提供新的思路。而Fourier變換由于無法直接實現圖像局部處理,在算法優化過程中具有一定的局限性。因此,可考慮將頻域處理與可以實現圖像局部處理的互相關算法相結合,在確保達到相同精度的同時,提高算法執行效率。

1.2 高斯平滑下的圖像多尺度表達

圖像多尺度表達可通過亞采樣實現。對于一幅2-D圖像,亞采樣是指在圖像正交方向上隔行抽取。當2個方向上尺度均以2倍變化時,圖像尺寸將以4倍變化[11],重復進行亞采樣將會得到如圖1所示的結構,即為圖像原始多尺度表達。此時,引入尺度參數λ=0,1,…,圖像則可改用f(x,y;λ)表示,λ=0時對應原始圖像,λ越大表示圖像分辨率越低,描述的圖像細節越粗糙。低尺度圖像雖然模糊,但在配準過程中仍可以表示圖像平移變化趨勢。對低尺度圖像進行相應的配準處理將會節省大量運算。

圖1 圖像多尺度表達過程

一幅數字灰度圖像為一個2-D數組,直接通過亞采樣減少圖像尺寸必然會丟失很多圖像細節。基于Fourier變換的CPS配準是針對整幅圖像信息實現的配準技術,在有噪聲干擾時表現出了很強的魯棒性。但是隨著亞采樣的實現,圖像信噪比急劇下降,圖像細節丟失與噪聲干擾都會導致配準失敗,以犧牲配準精度提高配準效率是不科學的。

本文通過引入高斯濾波技術來抑制低尺度圖像細節丟失問題。高斯濾波是實現圖像平滑、抑制圖像噪聲的重要技術。平滑后圖像的各像素值都會攜帶其鄰域內的其他像素點信息,使得亞采樣圖像可極大程度地還原原始尺度圖像細節。

高斯濾波器可表示為:

(5)

其中,a+b+c=1,且a+c=b,以保證圖像平滑后歸一化處理且中心點有不低于其他點的貢獻[15]。圖像f(x,y)的高斯濾波表示為:

(6)

高斯平滑下的圖像多尺度表達過程如圖2所示。圖3為同一圖像在λ=3的尺度下通過CPS算法得到配準的結果,其中圖3(a)為經過高斯濾波實現多尺度表達的結果,圖3(b)為沒有經過濾波的結果。可見,沒經過高斯平滑的圖像由于細節大量丟失,配準結果雜波較多,很難得到正確結果。

圖2高斯平滑下的多尺度實現方法

圖3 低尺度圖像配準結果對比

1.3 GMFR配準算法

構造待配準圖像與標準模板圖像高斯平滑下的多尺度表達f(x,y;λ),g(x,y;λ)。其中,λ=0,1,…,s。s=maxλ為最低尺度圖像,其取值以原始圖像大小及其是否可以表達原始圖像為主要依據。根據式(2)、式(3)得到最低尺度圖像Fourier變換結果為:

(7)

(8)

根據式(4)得到兩幅圖像的歸一化互功率譜為:

(9)

得到s層圖像的配準結果(x0s,y0s)后,在s-1層進行圖像局部空間域互相關運算,運算范圍為(2x0s-Δx:2x0s+Δx,2y0s-Δy:2y0s+Δy)。在多尺度表達中,相鄰尺度圖像橫縱2個方向均已2倍抽取,則有min△x=2,min△y=2。在s-1層只需在5×5的局部范圍內進行互相關運算,根據式(1)可得:

g(x+m,y+n;λ)

(10)

重復上述局部互相關運算,直至迭代至原始尺度圖像(λ=0),得到配準結果(x0,y0)。

2 GMFR算法性能分析

為簡化表達,將待處理圖像尺寸記為M×M,且只考慮運算中耗時較多的乘法運算,不考慮加法運算的影響。2幅同樣大小的圖像完成CC算法進行乘法運算次數記為CCC(M),則:

CCC(M)=M4

(11)

對于一幅灰度圖像進行Fourier變換需要運算M4次乘法;采用快速Fourier變換的方法可將其簡化至(MlbM)2次。2幅圖像完成CPS算法需進行的乘法運算次數記為:

CCPS(M)= 2×[(MlbM)2+4M2+4(MlbM)2]=

2×[5(MlbM)2+4M2]

（2）財務科負責按照科研經費報銷審批流程執行，對科研經費進行核算、監督及管理，建立科研經費明細賬戶，按規定專款專用。從2016年后嚴格控制現金支付，設備、材料、實驗外協費、國際合作與交流費、勞務費、專家咨詢費等通過銀行轉賬結算。

(12)

其中,第1項表示Fourier變換乘法運算,第2項表示兩幅圖像頻域乘積運算,由于是復數運算,因此是普通乘法運算的4倍,第3項表示反Fourier變換,同樣也是復數運算。

完成GMFR算法需進行的乘法運算次數記為:

(13)

其中,s為最高層尺度參數。第1項表示最高尺度圖像CPS運算,后面的s項表示逐層局部CC運算。取s=3,得:

(14)

定義算法性能優勢函數P(Performance),一般來講,取M=2n,得到性能函數:

(15)

(16)

2個函數曲線如圖4所示。GMFR方法迅速增加的優勢是n的函數。當n=10時,GMFR較CC算法有接近2.6×104倍的性能優勢;而當n=15時,有接近1.9×107倍的性能優勢。如圖4中右下角曲線所示,CPS算法相較于CC算法的性能增長遠沒有GMFR算法明顯,因此GMFR算法相比于CPS算法亦有明顯優勢。

圖4 算法性能函數曲線

3 機器視覺環境的構建和算法應用分析

本文搭建的機器視覺環境用于工業上引線框架缺陷的檢測,而圖像配準是實現缺陷精確檢測的基礎。為最大限度地驗證算法性能,搭建低成本機器視覺系統,選取普通面陣CCD相機及白光光源。對稱條形光源組成低角度沐光照明方式,實現表面缺陷檢測中的圖像獲取;背光光源實現形狀缺陷檢測中的圖像獲取。完整的機器視覺環境如圖5所示。

圖5 機器視覺圖像采集系統

在圖5中,1為相機架,可以調節相機的工作高度;2為面陣CCD相機,用于獲取圖像;3為條形光源架;4為條形光源;5為目標物體,即待配準的引線框實物;6為背光光源。

圖6 GMFR算法對型號1待配準圖像1的配準結果

圖7 GMFR算法對型號1待配準圖像2的配準結果(含噪聲)

圖8 GMFR算法對型號2待配準圖像1的配準結果

圖9 GMFR算法對型號2待配準圖像2的配準結果(含噪聲)

在表1、表2中,局部CC結果是在5×5的局部范圍內進行運算所得,與仿真結果圖中的圖(e)～圖(g)對應;換算結果是指由低尺度配準結果向高尺度換算的過程,具體為:上一層的換算結果×2-3+本層局部CC結果。加粗部分為GMFR算法的最終配準結果,其與空間域全局CC算法精度保持一致,且圖像在有噪聲干擾下也可得到精確結果。對最終配準結果進行中心變換,即可得到平移配準參數(x0,y0),換算結果依次為:型號1是(-27,16)、(26,-34);型號2是(41,21)、(-60,-39),根據結果將圖像進行平移變換,即可實現配準。

表1 待配準圖像1的GMFR算法驗證量化表示結果

表2 待配準圖像2(含噪聲)的GMFR算法驗證量化表示結果

表3給出了相同實驗環境下,GMFR算法、傳統CC以及CPS算法的運算性能對比實驗結果。其中,型號1的尺寸為672像素×296像素,型號2的尺寸為768像素×608像素。由于圖像配準過程除完成配準算法,同時還包括相機驅動、圖像讀取、預處理、得到配準結果后的圖像變換等運算內容,這些運算與配準算法的運算時間疊加在一起,使得機器視覺環境中實際的優勢沒有理論上分析的明顯。所以與圖4進行對比,實驗結果的優勢體現并不如性能函數分析的那樣明顯。但是在保證相同精度的同時,相對于傳統的CC以及CPS算法,GMFR算法的運算效率仍舊得到了明顯提升,可以更好地滿足工業上機器視覺系統對算法的實時性要求。

表3Matlab環境下3種算法實現圖像配準運算時間s

型號圖像GMFRCCCPS(快速Fourier變換)1待配準10.585 6227.988 9550.853 264待配準20.586 6398.551 7650.847 5002待配準10.663 82137.040 1031.105 019待配準20.630 01236.717 0051.109 305

4 結束語

本文從研究高性能圖像處理算法和構建成本適中的機器視覺軟硬件環境出發,設計并搭建了一套完整的機器視覺系統來實現引線框架缺陷的智能識別。為解決傳統圖像配準算法運行效率低的問題,研究新的GMFR快速配準算法。GMFR綜合了圖像空間域CC算法與頻域CPS算法的優勢,融合了高斯平滑、圖像多尺度表達等技術,提高了算法的執行效率。最后通過所定義的優勢函數以及真實引線框架圖像數據對算法的良好性能進行展示分析。此外,該算法同樣適用于Fourier-Mellin變換下圖像尺度與旋轉配準的情況,可滿足機器視覺、生物醫學圖像處理、視覺導航等多個領域對圖像處理算法的實時性要求,針對尺寸較大的圖像將表現出更加優良的算法性能。

[1] 朱本明.LED封裝膠體與引線框架熱失配可視化研究[D].廣州:華南理工大學,2013.

[2] 王 磊.引線框架鍍銀生產線中電鍍銀裝置的分析研制[D].西安:西安電子科技大學,2010.

[3] DAVIES E R.Machine vision:theory,algorithms,practicalities[M].[S.l.]:Access Online via Elsevier,2004.

[4] KASTURI J R R,SCHUNCK B G.Machine vision[M].New York,USA:McGraw-Hill,1995.

[5] 張 耀,王耀南,周博文.異型瓶藥液中可見異物的智能視覺檢測機器人[J].儀器儀表學報,2010,31(5):1058-1063.

[6] 張 輝,王耀南,周博文.基于機器視覺的液體藥品異物檢測系統研究[J].儀器儀表學報,2009,30(3):548-553.

[7] SONKA M,HLAVAC V,BOYLE R.Image processing,analysis,and machine vision[M].[S.l.]:Cengage Learning,2014.

[8] 雷 濤,周 進,吳欽章.DSP實時圖像處理軟件優化方法研究[J].計算機工程,2012,38(14):177-180.

[9] 羅 蘭,杜欽生.基于多尺度局部方差的圖像融合質量評價算法[J].計算機工程,2017,43(2):264-267.

[10] WACHOWIAK M P,SMOLIKOVA R,ZHENG Yufeng.An approach to multimodal biomedical image registration utilizing particle swarm optimization[J].IEEE Transactions on Evolutionary Computation,2004,8(3):289-301.

[11] Zitova B,Flusser J.Image registration methods:a survey[J].Image and vision computing,2003,21(11):977-1000.

[12] REDDY B,PRASAD T.Color image registration and template matching using quaternion phase correlation[J].Ubiquitous Computing and Communication Journal,2011(6):714-721.

[13] MADISETTI V.Digital signal processing fundamentals[M].[S.l.]:CRC Press,2010.

[14] INGLE V K,PROAKIS J G.Digital signal processing using MATLAB[M].Berlin,Germany:Springer,2011.

[15] JAHNE B.Practical handbook on image processing for scientific and technical applications[M].Berlin,Germany:Springer,2004.