基于視覺伺服的LED芯片形狀匹配算法研究

李德龍，龔時華，王子悅，鹿懷慶

華中科技大學 機械科學與工程學院，武漢 430074

1 引言

隨著LED產能需求的不斷擴大，LED關鍵設備的研發和改進越來越重要。芯片的定位是進行芯片檢測、擴晶、貼片等必不可少的關鍵環節[1]。隨著芯片尺寸的不斷減小、裝備效率的不斷提高，特別是由于運動平臺在高加速度下的頻繁啟停，造成硅片、Wafer膜的變形，導致芯片定位與對準產生較大誤差，嚴重影響了LED芯片檢測、分選裝備定位精度與效率。

視覺伺服（visual servoing）首先是由Hill和Par提出的，其主要涉及計算機視覺、圖像處理、控制理論、實時計算等在內的多個相關領域[2]。

文獻[3]采用的是沒有視覺反饋的運動補償，僅進行一次全幅的精匹配來實現精確定位。然而平臺在高速啟停下會產生振動，以及受到摩擦力等干擾，會造成定位誤差。

文獻[4]為了提高模板匹配的跟蹤性能，提出基于梯度搜索的圓模板匹配方法，采用灰度匹配值和差分匹配值來共同設定匹配值。但處理時間不能滿足視覺伺服系統的要求。文獻[5]針對汽車牌照的識別，提出把彩色圖像變為二進制圖像，通過設定像素數，去除小于像素數的區域，從而保留字符區域，減少待檢測區域。并不適合LED芯片的識別。

本文一方面對傳統形狀匹配算法進行了優化，提高了LED芯片識別定位的速度。另一方面，提出了多級補償策略：第一級為快速識別并完成一個芯片間距的移動；第二級為通過視覺反饋補償，完成芯片的精確定位。在視覺伺服系統的基礎上，增加了定位補償和一次快速粗匹配，同時精匹配從全局優化為特定區域的匹配，有效地減少了時間。

2 視覺伺服系統簡介

本文基于的視覺伺服系統由圖像采集系統、圖像處理系統和運動控制系統組成，構成基于視覺反饋的運動控制系統，實現平臺在運動過程中的快速識別與精確定位。為實現該目的，流程圖見圖1并采用以下步驟：

（1）圖像預處理：采用自適應中值濾波算法，消除圖像噪聲的干擾[6]；采用雙線性差值算法，消除因為鏡頭安裝誤差導致的圖像畸變的影響。

（2）提取模板區域：通過鼠標選取一個區域作為模板區域，采用閾值分割，得到去掉邊緣噪聲的模板。

（3）快速識別：在運動前進行形狀匹配的粗識別，快速得到了wafer膜上所有芯片的坐標信息，為運動控制提供運動數據，并儲存在內存中。

圖1 視覺伺服流程圖

（4）驅動電機移動wafer盤到達相應的位置。

（5）精匹配：基于粗匹配的數據，對當前鏡頭中心八鄰域內的芯片進行精匹配，得到單個芯片的準確坐標和姿態信息，誤差為鏡頭中心與芯片中心的距離。

（6）將誤差與設定的定位精度進行比較，若滿足要求，則說明當前電機成功移動到了目標位置；若不滿足要求，則說明并未移動到目標位置，因此進行運動補償，直到滿足定位要求[7]。

（7）對下一顆芯片進行定位：調用內存中的粗識別數據，循環（4）～（6）的過程，直到完成所有芯片的定位。

傳統的定位是進行一次精匹配，缺少運動補償的過程，因此定位精度較低。相比之下，采用上述過程，通過粗識別得到芯片的理論位置，通過視覺反饋得到芯片的實際位置，通過偏差計算實時得到芯片定位補償值，由運動控制系統對偏差進行實時補償，因此提高了芯片定位與對準的精度，同時可以克服運動平臺在高加速度下頻繁啟停帶來的誤差影響[8]。

3 提取LED芯片的模板區域

拍照獲取一幅LED芯片圖像，通過肉眼觀察，從多個芯片中選擇一個無缺陷，沒有大幅度旋轉的芯片，用鼠標選擇該芯片區域。并分析該模板區域的灰度直方圖，由圖2可知，芯片和背景對比明顯，可以選擇兩峰之間的波谷對應的像素值作為全局閾值，將圖像分割為目標對象和背景。其公式如下：

圖2 模板區域提取前后的灰度直方圖

其中 f(x,y)為原圖像點的像素值，g(x,y)為分割后的圖像對應點的像素值，T為全局閾值。通過全局閾值分割得到最終模板，如圖3所示，有效去除了背景和噪聲。

圖3 模板區域提取前后的示意圖

4 快速識別

傳統的模板匹配針對的是單目標定位，通過找出模板在圖像中的最佳匹配位姿得到圖像中目標的位姿信息。然而一幅LED芯片圖像中有多個芯片，屬于多目標定位，直接用傳統的模板匹配會出現定位錯誤，以及處理時間過長等問題。因此，本文先進行快速分割等操作，把多目標的模板匹配轉化為單目標的模板匹配，再進行先粗后精的匹配。

4.1 減少搜索面積

將芯片與背景進行分割，并刪除小面積不完整區域以減少搜索面積，步驟如下：

（1）采用Otsu算法進行圖像分割，相比于其他的分割算法，它更適合處理目標和背景處于不同灰度級范圍的圖像[9]，通過分析圖2（a）的灰度直方圖可知，本圖的背景和目標芯片在灰度上有較大差別，因此采用Otsu算法有更好的分割效果。

（2）采用Blob算法和開運算等形態學操作，填充芯片中的孔洞，并把不完整的芯片過濾掉，最終得到原圖像的分割數據。如圖4所示。

圖4 減少搜索面積

4.2 減少搜索角度

在圖4（b）的基礎上，計算該圖像中每顆芯片的外接矩形，得到該視野640×480像素下每顆芯片的偏離角度。

通過對同一組LED芯片偏離角度θ進行分析，采用Jarque-Bera檢驗，驗證其符合正態分布。考慮到正態分布在(μ-3σ,μ+3σ)以外的取值概率不到0.3%的特性，因此，本文先計算出μ和σ，并采用正態分布3σ準則確定搜索角度范圍：(μ-3σ,μ+3σ)。

傳統的方法是對每一個芯片均需在[-10°,10°]多次搜索來進行匹配。本算法通過計算外接矩形，求出適合本組芯片的最優角度偏離值，從而減少了搜索的角度。

具體過程如下：芯片的外接矩形有無數個，其中面積最小的定義為最小外接矩形[10]。通過計算芯片的最小外接矩形，可以確定其大致的長、寬和角度。求得外接矩形的方法有投影法、旋轉法等[11]，本文采用的是主軸法。

假設經過芯片形心的直線為：

分別做兩條平行于主軸的直線和垂直于主軸的直線，且與芯片相切于點ABCD：

因此得到矩形A1B1C1D1，計算對應的矩形面積，如圖5所示。通過改變α角度確定最小面積，獲得最小外接矩形，從而計算出形心的坐標(x,y)和θ。

圖5 外接矩形原理圖

4.3 對芯片區域進行形狀匹配

基于形狀的模板匹配通過計算模板邊緣點與待匹配圖像（圖4（b））相應點歸一化的方向向量的點積和，作為相似度量值[12]。

模板由一系列點 p′i=(x′i,y′i)T，i=1,2,…,n 和對應于每個點的一個歸一化的灰度梯度向量dˉ′i=(tˉ′,uˉ′)T構成，其中 p′i定義為相對于模板中心的相對坐標。

被搜索圖像中每個點(x,y)的歸一化的灰度梯度向量[13]：

其中，g(x,y)為被搜索圖像的灰度函數。

當模板中心位于待匹配圖像g(x,y)上某一點q=(x,y)T時，模板與待匹配圖像進行匹配。 eˉq+p′為待匹配圖像相應處的歸一化灰度梯度向量[14]：

模板中心點在q點處與待匹配圖像的相似度定義為：

其中，n為模板邊緣點的個數。該相似度具有不受光照變化影響且不受遮擋的特性。該數值與模板中有多少部分在圖像中有關，如果物體有60%被遮擋，匹配分值不會超過0.6。

因此可以通過選擇一個匹配分值的閾值來決定什么時候找到了匹配目標。假設相似度的閾值為smin。使用公式（9）計算相似度，定義sj表示累計到模板的第j個元素時歸一化點積的總和[15]：

模板中剩余n-j項的點積總和：

在計算過程中，當滿足：

可判斷出當前位置為非目標位置，在第 j個元素后提前停止相似度的計算，從而提高了速度。

最后采用圖像金字塔的分層搜索策略，分為3層進行，并使用3.2節得到的搜索角度，得到每個芯片的粗定位坐標(x0,y0)。

5 精定位

將4.3節得到的粗坐標(x0,y0)儲存在數組中，并根據該一系列坐標，驅動電機使每個芯片移動到相機的中心，依次進行拍攝，在(x0,y0)的八鄰域內，使用公式（12）進行匹配，得到每顆芯片中心的準確坐標(xi,yi)，計算得到偏離坐標(Δx,Δy)，根據偏離坐標再次驅動電機進行補償從而實現精確定位。

6 實驗驗證

實驗驗證視覺伺服系統的多級補償的有效性，LED芯片搜索角度的優化，以及識別率、識別時間的減少。

實驗平臺如圖6所示，視覺系統選用了高性能工業相機，高倍率連續變焦鏡頭以及可控點光源與環形光源，運動部分則采用了高性能多軸控制器和交流伺服電機驅動的二維定位平臺。

6.1 多級補償效果測試

對圖4（a）內的25顆芯片定位進行測試，計算得到補償前后的誤差值，如圖7所示，前10顆芯片的數據如表1、2所示。分析發現，補償后的誤差值在2 μm內，定位效果明顯優于補償前。

圖6 實驗平臺圖

表1 測試補償結果（X坐標） μm

表2 測試補償結果（Y坐標） μm

圖7 補償前后

6.2 搜索角度測試

計算每個芯片的最小外接矩形，得到25顆芯片的角度偏離值，如圖8所示，其中角度最小值為0.117 1°，最大值為0.209 6°，使用Matlab中的jbtest（x，alpha）函數，計算得到h=0，表明接受假設，即滿足正態分布。因此求得μ=0.159 2,σ=0.027 8,μ-3σ=0.075 8,μ+3σ=0.242 6，將搜索范圍設為[0.075 8°，0.242 6°]，正態分布密度函數圖如圖9所示。相比較于本算法，傳統算法為了能夠匹配所有不同情況的芯片，需要把搜索范圍設為固定的[－10°，10°]，搜索角度明顯增大。

圖8 角度偏離值

6.3 形狀匹配的耗時測試

隨機采集5幅圖，并進行粗識別階段的耗時測試，其中形狀匹配閾值均設置為0.7，結果如表3所示。與文獻[16]提出的算法進行對比，該傳統算法是以局部梯度特征和局部邊緣方向作為主要特征，使用梯度方向直方圖（HOG）來確定初始位置和方向，第二步使用主方向模板（DOT）進行匹配，從而精確地確定位置。其優點是對變形有較好的魯棒性，然而該算法無法區分不完整芯片和正常芯片，因此加大了計算量。本算法平均每顆芯片耗時0.8 ms，文獻[16]平均每顆芯片耗時2.3 ms，相比之下，效率有了很大的提高。

圖9 正態分布圖

表3 耗時測試（MinScore=0.7） ms

同時分析形狀匹配閾值對實驗結果的影響，如表3、4所示，MinScore設置得越大，搜索得就越快。結合實際生產過程中的經驗，當MinScore>0.7會出現漏識別，MinScore<0.7會出現誤識別，因此把形狀匹配閾值設置為0.7最合適。

表4 不同形狀匹配閾值的測試

7 結束語

傳統的算法面向的是常見的對象，采用的是通用的模板匹配方法，具體到LED芯片，由于破損芯片和正常芯片有較高的相似性，傳統算法不能快速準確地區分不完整的芯片，因此消耗大量的計算時間。本文提出了基于視覺伺服的多級補償策略，同時優化了圖像算法：通過圖像分割，Blob算法去除破損的芯片，從而減少匹配搜索的面積；通過求取最小外接矩形，從而減少了匹配搜索的角度，最后，再進行模版匹配。本算法減少了模板匹配的計算量，節約了時間，同時為了提高視覺伺服的定位精度，把全局的精匹配優化為一次全局的粗匹配和特定區域的精匹配。

本文后續的研究方向之一是時延補償，由于圖像處理占用較多時間，可采用線性和非線性預測器相結合的特征軌跡跟蹤，滿足目標跟蹤精度和穩定性的要求。

[1]吳曉.面向LED芯片檢測與分選的機器視覺定位系統的開發[J].貴州大學學報：自然科學版，2013，30（3）：93-103.

[2]李牧.機器人無標定視覺伺服關鍵技術的研究[D].哈爾濱：哈爾濱工業大學，2008.

[3]吳曉.基于圖案匹配LED芯片定位系統[J].半導體技術，2013，38（7）：556-559.

[4]Xia Junbo.Template matching algorithm based on gradient search[C]//International Conference on Mechatronics and Control（ICMC），2014：1472-1475.

[5]Goel S，Dabas S.Vehicle registration plate recognition system using template matching[C]//InternationalConference on SignalProcessing and Communication（ICSC），2013：315-318.

[6]楊卓東.改進自適應中值濾波的圖像去噪[J].通訊技術，2015，48（11）：1257-1260.

[7]周烽.基于數控程序重構的誤差補償技術研究[D].哈爾濱：哈爾濱工業大學，2010.

[8]劉升.高速高精度宏微雙驅動運動平臺結構優化設計[D].廣州：廣東工業大學，2015.

[9]陳慶為.基于灰色理論的木板材表面缺陷圖像分割質量評價研究[D].哈爾濱：東北林業大學，2014.

[10]張法全，王國富，曾慶寧，等.利用重心原理的圖像目標最小外接矩形快速算法[J].紅外與激光工程，2013，42（5）：1382-1387.

[11]李勇.基于機器視覺的玻璃瓶在線檢測系統研究[D].濟南：山東大學，2012.

[12]趙振民，彭國華，符立梅.基于形狀模板的快速高精度可靠圖像匹配[J].計算機應用，2010，30（2）：441-444.

[13]楊一帆.基于無衍射光的光學偏角測量系統及專用匹配算法研究[D].武漢：華中科技大學，2014.

[14]顧倩蕓.LED固晶機視覺系統的設計與算法實現[D].合肥：合肥工業大學，2014.

[15]張代林，陳文廣，謝經明，等.基于形狀模板匹配的印刷品缺陷檢測[J].機械與電子，2013，40（12）：40-43.

[16]Xu Xinyu，van Beek P，Feng Xiaofan.High speed object matching and localization using gradientorientation features[J].Intelligent Robots and Computer Vision XXXI：Algorithms and Techniques，2014，9025（7）：1-13.