顯微視覺技術在微細加工中的應用

李麗宏，張明路，孫凌宇 ，張建華，魏 智

（1.河北工業大學機械工程學院，天津 300130；2.河北工程大學信息與電氣工程學院，河北 邯鄲 056038）

隨著微機電系統（MEMS）技術的不斷發展，機械電子產品的集成化和小型化使許多零部件的尺寸日趨微細化，從而帶動了微細加工技術的快速發展.在微細加工的各個環節中，由于操作工具或被操作對象的微小特性，為了控制微操作臺對目標進行操作，必須采用基于顯微鏡頭的圖像采集處理系統，即顯微視覺伺服控制技術.顯微視覺已成為微操作、微加工獲取操作信息的最主要的技術手段之一[1-2].針對上述情況，在20世紀80年代，國內外學者相繼開展了基于計算機視覺的宏/微雙驅動操作、加工技術的開發研究.1982年，由美國IBM公司研制成功的第1臺掃描隧道顯微鏡STM，除可對樣品表面形貌和物理性質進行檢測外，還可用于對表面進行納米級微細加工.美國麻省理工學院采用計算機微視覺系統實現了微運動參數的實時檢測.德國Karlsruhe大學過程控制和機器人研究實驗室利用顯微平臺作為裝配平臺，采用視覺反饋，另用鼠標和操作桿來控制，完成半自動裝配過程.日本積極利用國外技術并結合自身優勢，在基于顯微視覺的微細加工、微操作方面發展速度較快.哈爾濱工業大學對變倍顯微鏡下的目標識別、跟蹤和伺服控制技術進行了研究，為微細加工、微操作的半自動化和全自動打下了技術基礎.華中科技大學利用顯微視覺技術構建了三機械手協同控制的微裝配、微操作加工系統[3－8].采用顯微視覺技術為微細加工過程提供定性或定量評判，己經成為微機械制造的重要檢測手段，顯微視覺檢測系統將給微細加工等技術帶來嶄新的技術飛躍.本課題在上述研究基礎上，擬研制一套面向微細加工的顯微視覺系統.此系統同時結合力覺傳感器信息控制微細加工過程，能檢測與控制工具與加工工件之間的三維空間距離，完成微細加工操作過程，操作者可以通過用戶圖形界面對操作對象進行操作.這樣不僅提高了微細加工的質量，而且也提高了微細加工的效率.

1 顯微視覺系統方案

顯微視覺硬件系統簡圖如圖1所示.

圖1 顯微系統簡圖Fig.1 Sketch of micro-vision system

該系統設計方案如下:

（1）此系統由CCD攝像機、圖像采集卡、適配器、步進馬達調焦臺、運動控制卡、光學顯微鏡、LED環型照明光源組成.

（2）操作現場經顯微鏡、CCD攝像機采集圖像，輸入計算機中，計算機根據此圖像計算自動聚焦評價函數值，并得出步進馬達調焦臺驅動量，從而控制調焦臺運動量，依此采集到最清晰圖像.

（3）根據采集到的最清晰圖像，經圖像去噪、圖像分割、目標識別等圖像處理技術，判斷刀具與加工工件之間的接觸情況.

（4）視覺與力覺混合控制加工操作過程.實驗平臺上有KISTLER力覺傳感器，在顯微視覺系統出現遮擋等情況，無法對目標位置進行精確測量而喪失了伺服控制能力的時候，可以借助微力覺傳感器來判斷刀具和工件間的接觸情況，進而實現精確定位.當刀頭與加工工件距離較遠時，此過程由顯微視覺系統控制；當刀頭與加工工件距離很近和接觸后，采用顯微視覺與微力覺混合控制策略，操作控制過程如圖2所示.

圖2 操作控制過程Fig.2 Process of operational control

2 自動聚焦技術

2.1 聚焦評價函數

系統處理的圖像是顯微圖像，因此，圖像在被放大的同時，噪聲也被放大了.針對噪聲也被放大的情況，不能采用一般的聚焦評價函數處理過程，必須采用改進的聚焦評價.在顯微圖像中有散粒噪聲和高斯噪聲2種類型的噪聲，用中值濾波方法對散粒噪聲進行處理，采用雙邊濾波處理方式對高斯噪聲進行降噪.為進一步降低噪聲的影響，采用分水嶺方法對圖像進行過分割，即把濾波后的圖像分成若干內部連通并且具有一定灰度相似性的小區域塊，將小區域塊的灰度均值作為該區域內像素的灰度值.這樣一方面可以讓每小區域塊自適應地降低噪聲的影響，另一方面還能加強圖像的局部相關性.對含噪聲的圖像，區域均值更能反映圖像的真實灰度值，從而進一步抑制噪聲的影響.最后采用SML聚焦評價函數作為聚焦評判依據，SML聚焦評價函數是在空域聚焦函數中性能表現較好的聚焦函數，如式（1）所示.

為了驗證上述處理方法，本文采集了37幅從模糊到清晰再到模糊的圖像系列，即采集了37幅模糊→清晰→模糊的圖像序列.圖3（a）為圖像序列的第19幅圖像，對此顯微刀具圖像人為增加了強散粒噪聲，如圖 3（b）所示；圖 3（c）為濾波后圖像，因為噪聲太強，所以濾波后的圖像還是存在噪聲；對圖3（c）中的圖像進行分水嶺分割，分割圖像塊如圖3（d）所示；對圖3（d）中分割的每圖像塊，用其區域塊均值代替此區域塊內的像素值，結果如圖 3（e）所示.對圖 3（e）中圖像利用SML函數進行聚焦評價函數的計算.

圖3 圖像處理Fig.3 Picture processing

如果按照常規處理，對濾波后的圖像序列（即圖3（c）圖像序列）直接進行SML聚焦評價函數處理，仿真曲線如圖4所示.

從圖4中可以看出，此處理過程不滿足聚焦評價函數的性能指標，即不滿足單調性、單峰性、評價函數峰值兩側的斜率絕對值比較大等指標要求，同時從圖中最大峰值得出最佳清晰圖像為第21幅圖像，與無強噪聲影響圖像得出的結果不一致，無強噪聲影響的結果為第20幅圖像是最清晰圖像，其仿真結果如圖5所示.因此，需對強噪聲圖像的評價函數進行改進，使其滿足評價函數性能指標，同時使其與無噪聲圖像序列仿真結果相一致.

改進自動聚焦處理過程如下:

教師不能夠忽視非智力因素的影響。以教師為主，將學生放在被動地位的傳統教育模式。這樣，學生只能通過反復記憶記住知識。而多媒體與教學相結合的話，憑借多媒體其信息技術的內容和特點，能夠很大程度上提升學生的學習效率，對非智力因素的培養起到了很大的作用。

（1）讀取圖像，把彩色圖像轉換為灰度圖像；

圖4 強噪聲圖像序列仿真Fig.4 Simulation of image sequence with strong noise

圖5 無強噪聲圖像序列仿真Fig.5 Simulation of image sequence without strong noise

（2）采用中值濾波和雙邊濾波處理方法進行去噪；

（3）使用分水嶺算法對圖像進行過分割；

（4）對分水嶺分割后的圖像，提取每小區域的灰度均值，用此灰度均值代替各小區域內像素的灰度值；

（5）在上述處理的基礎上，進行SML聚焦評價函數的自動聚焦.

按照上述步驟進行聚焦評價函數的計算，即對圖3（e）序列圖像進行仿真，仿真結果如圖6所示.

圖6 改進評價函數仿真Fig.6 Simulation of improved evaluation function

從圖6中可以看出，各方面性能指標明顯優于圖4中常規處理方法；同時，從圖6中得出，最佳清晰圖像為第20幅圖像，與無強噪聲影響圖像序列得出的結果是一致的.從而驗證了此改進評價函數方法是有效的，精度接近于無強噪聲影響圖像的仿真結果.

2.2 搜索策略

將原有的數據點作為“基準數據”進行插值運算，估算出基準點之間其他點的函數值，可以得到離散函數:

式中:t為插值密度，可以根據需要適當設定.

得到一幀圖像并計算出FSML（x），在（2）式的離散函數值中順序查找，直至滿足:

可得:x ≈ i·t，鏡頭運動（i·t）距離即可聚焦.

以改進的SML評價函數為實驗數據點，同時以這些點作為插值基準樣點，選擇精度較高的三次樣條插值方法對聚焦實現曲線進行平滑處理.如果本聚焦系統的焦深用Z表示，插值密度用t表示，應有t＜Z，但是若t過小，不但不能提高聚焦精度，反而會因為查找大量數據而降低聚焦速度，所以設定的t值一定要適中.

如無法用簡單的數學模型如多項式或高斯函數對聚焦曲線進行準確描述，插值法求離散函數F（x）不失為一種實現定位法的通用、實用而且有效的方式.

3 刀頭與加工工件的識別

為了監測刀頭與工件之間的距離，首先需要把刀頭、工件從整幅圖像中分割出來，本系統采用改進的otsu閾值分割方法.把刀頭、工件從圖像中分割后，需要對刀頭和加工工件進行識別，識別方法可以有模板匹配、不變矩、廣義hough變換等識別理論方法.相對于模板匹配、廣義hough變換等識別方式，不變矩理論更加適用于顯微成像系統.經典的不變矩理論僅具有平移和旋轉不變性，不具有縮放不變性，所以需要對其進行改進，改進后的不變矩理論具有平移、旋轉和縮放不變性，因而相比于其他識別方法更加適用于顯微成像系統.

Hu[10]提出的不變矩理論對于連續數據具有平移、旋轉和縮放不變性，但是對于離散數據只具有平移和旋轉不變性，不具有縮放不變性.而本系統采集到計算機中的圖像是離散數據，所以必須對不變矩進行修正；同時，為了計算速度快，不是讓目標區域的所有像素參與計算，而是對其進行邊緣檢測，對檢測后的圖像再進行矩計算.

設 φ1、φ2、φ3、φ4、φ5、φ6、φ7為 Hu 提出的 7 個矩，對其進行修正，形成下面6個相對矩:

以圖3的刀具圖像為例，對此圖像進行平移、旋轉與縮放，計算公式（4）中的相對矩，以驗證其具有平移、旋轉、縮放不變性.在此，以計算 ψ1、ψ2、ψ3為例進行驗證，如表1所示，從而驗證了其具有平移、旋轉和縮放不變性.

表1 相對矩Tab.1 Relative invariant moment

對分割完畢的圖像進行相對矩計算，得出其特征值并與標準特征值進行比較，從而識別出刀具與工件，更有利于顯微操作，從而控制其操作精度.

4 結束語

本系統面向微細加工，在力覺傳感器的基礎上，加入顯微視覺系統，共同控制微小加工工件與微小刀具之間的距離，共同完成微細加工過程.針對顯微圖像在圖像放大的同時噪聲也放大的特點，采用了改進的聚焦評價函數處理方法，即對圖像進行中值和雙邊濾波后，采用分水嶺算法對圖像進行過分割，從而分割成多個小區域，并用每個區域內的灰度均值代替此區域內每個像素的灰度值，從而抑制噪聲的影響；再采用SML聚焦評價函數進行自動聚焦處理；在搜索方式上，為了避免回程間隙而損失定位精度，采用精度較高的三次樣條插值定位方法；采用相對邊界矩對目標進行識別，同時本顯微視覺系統結合力覺傳感器共同控制刀具與加工工件之間的三維距離，從而準確、快速、安全地完成微細操作控制過程.

[1]GEORGIEV Atanas，ALLEN Peter K，MEZOUAR Youcef.Microrobtic crystal mounting using computer vision[J].Pattern Recognition Letters，2007，20:199-206.

[2]宋 宇.面向微操作的微小型機器人視覺伺服技術研究[D].哈爾濱:哈爾濱工業大學，2007.

[3]鄭漢卿，王伯雄，余 超，等.基于自動調焦顯微視覺的MEMS運動測量技術[J].清華大學學報:自然科學版，2007，47（2）:177-180.

[4]吳建華.高效率的微器件自動裝配技術研究[D].合肥:中國科學技術大學，2007.

[5]孫 杰，袁躍輝，王傳永.數字圖像處理自動圖像聚焦算法的分析和比較[J].光學學報，2007，27（1）:35-39.

[6]TANSEL Ibrahim N，GRISSO Benjamin L，SINGH Gurjiwan.Wear estimation by testing the elastic behavior of tool surface[J].Internationa l Journal of Machine Tools&Manufacture，2011，51:745-752.

[7]TEYSSIEUX D，EUPHRASIE S，CRETIN B.MEMS in-plane motion/vibration measurement system based CCD camera[J].Measurement，2011，44:2205-2216.

[8]WANG H P，VASSEUR C，CHRISTOV N，et al.Vision servoing of robot systems using piecewise continuous controllers and observers[J].Mechanical Systems and Signal Processing，2012，33:132-141.

[9]宗光華，孫明磊，畢樹生，等.顯微視覺自動聚焦研究[J].光學學報，2005，25（9）:1225-1231.

[10]LI Lihong，JIA Dongli，CHEN Xiangguo，et al.A fast discrete invariant moment algorithm and its application on pattern recognition[C]//The 6th World Congress on Intelligent Control and Automation.Dalian:Institute of Electrical and Electronics Engineers，2006:9773-9777.