采用頻域融合方法的砂輪刀具磨損三維重構技術

朱愛斌,胡浩強,何大勇,陳渭

(西安交通大學現代設計及轉子軸承系統教育部重點實驗室,710049,西安)

?

采用頻域融合方法的砂輪刀具磨損三維重構技術

朱愛斌,胡浩強,何大勇,陳渭

(西安交通大學現代設計及轉子軸承系統教育部重點實驗室,710049,西安)

針對聚焦合成方法在砂輪刀具磨損區域三維重構過程中高度值離散的問題,運用傅里葉變換將聚焦合成方法與明暗形狀恢復方法相結合,提出了聚焦合成方法的高度值連續化新方法。運用傅里葉變換,在頻域中對聚焦合成方法形成的三維重構圖像進行高通濾波,對明暗形狀恢復方法形成的三維重構圖像進行低通濾波,并將濾波后的圖像在頻域疊加,經過傅里葉反變換,得到空間域融合后的刀具磨損區域三維重構圖像。分析和實驗表明,融合后的三維重構圖像同時保留了聚焦合成方法中蘊含的離散幾何高度信息和明暗形狀恢復方法中蘊含的表面細節特征信息,能有效避免由于聚焦合成方法中高度值離散帶來的誤差。

刀具磨損;聚焦合成;明暗形狀恢復;傅里葉變換

刀具的磨損一直是機械加工中的重點和熱點研究問題[1]。刀具磨損區域形貌的三維重構對刀具磨損區域的觀察和測量以及對磨損機理的研究具有重要的意義。聚焦合成(depth from focus,DFF)方法根據顯微成像過程中焦距、像距、物距之間的關系,能夠建立顯微圖像序列之間的高度關系。姜志國等運用改進的拉普拉斯聚焦算子和區域小波變換的方法,實現了序列圖像的融合顯示和三維重構[2],但需依賴插值的方法解決重構過程中的高度值離散問題,而且對序列圖像高度之間進行插值時需要依靠序列圖像的數量來保證所用方法的精度。童晨等在解決DFF方法中的高度值離散問題時,也是運用了高斯插值的方法[3]。目前,解決DFF方法的高度值離散問題通常采用的是插值或者對像素領域取平均值的方法[4]。這2種方法缺少直接的物理與幾何依據,雖然能起到離散值連續化的作用,但是盲目性與隨意性比較大。

20世紀70年代,Horn等人提出了明暗形狀恢復(shape from shading, SFS)方法,其原理是利用物體表面明暗度的變化,解析出表面的法向矢量信息,從而轉換為物體表面的高度信息[5]。須明和趙榮椿等對SFS方法進行了調研,指出了現有SFS求解方法的病態性,對SFS方法的各種解法以及恢復出的表面形狀的特點進行了綜述[6]。Tsai等指出,SFS方法得到的表面高度圖像一般是連續的,包含較多的細節信息,并提出將立體視覺與SFS方法相結合,通過對立體視覺以及SFS恢復方法得到的圖像進行頻域內的濾波與融合之后,得到質量更好的立體圖像[7]。雖然融合后的圖像在形狀上較原來的2種方法均有所改善,但是這種方法缺少直接有力的證據說明采用濾波的依據以及物理幾何意義。

綜上所述,DFF方法采用的各種聚焦評價函數對序列圖片中聚焦清晰位置像素點的檢測能力不同,而采用何種聚焦評價函數并沒有嚴格的依據,并且,DFF方法中離散高度值連續化過程中采用的連續化算法也只是對實際表面的一種近似插值,故DFF方法的精度誤差來源主要為聚焦評價函數的選擇和離散過程中離散高度值連續化方法的選擇2個方面。SFS方法由于本身的不確定性、在模型求解過程中添加的假設和約束條件以及模型求解采用的方法的復雜度不同,都給SFS方法的表面重構結果帶來了誤差。

本文通過傅里葉變換將基于拉普拉斯算子的DFF方法與基于朗伯表面幾何光照模型的SFS方法相結合,對DFF方法中存在的圖像之間缺失的高度信息,通過SFS方法進行補充,以期為解決DFF方法中高度值的離散問題提供一種新思路。

1 DFF方法的基本原理

對于一個理想的光學系統,在近軸光學理論中其像距v、物距u、焦距f滿足以下關系式

(1)

顯微鏡的景深是有限的,對于顯微鏡系統,像距v一般是固定的,與之對應的物距u也是確定的,因此當物體在顯微鏡載物臺上移動時,如圖1所示,物體由移動前位置1移動到移動后位置2,只有物體表面上距物鏡u附近的部分(即景深內的部分)才能在圖像采集設備感應平面上成清晰的像,其余部分則在感應平面上成模糊的像。隨著物距u的改變,焦距f和像距v不發生變化,根據透鏡成像公式,由顯微鏡和圖像采集設備獲得的圖像只有在景深范圍內是聚焦的,聚焦平面位置不變,而物體上能夠清晰成像的位置發生了改變,那么投射到像平面上能夠清晰成像的區域也會發生改變[8]。

圖1 透鏡成像原理圖

DFF方法是通過獲取不同物距下的顯微樣本序列圖像,使整個序列中每幅圖像有聚焦清晰區域和模糊區域,然后在序列圖像中通過一定的融合規則獲取每一個像素對應的聚焦清晰位置,據此獲得高度索引圖像,再通過一定算法恢復深度信息。DFF的原理如圖2所示,恢復過程一般是對高度索引圖像之間的高度信息進行補充,恢復出比較精確的物體深度信息。由圖2可知,DFF方法只能得到離散序列的高度值,而且恢復出的高度圖精度取決于離散序列的數量。

圖2 聚焦合成原理示意圖

2 采用改進拉普拉斯算子的DFF方法

DFF方法獲取每一個像素對應的聚焦清晰位置時,通常通過聚焦評價函數對圖像中的像素點及其領域像素點的灰度進行某種比較。常見聚焦評價函數采用的算子為灰度梯度算子,包括Roberts梯度算子、Sobel梯度算子、拉普拉斯梯度算子等。傅里葉變換和小波變換為DFF方法提供了新的思路,但是這種變換的幾何以及空間意義并不明顯,在某些場合對像素點的檢測能力與常見的空間域評價算子相比并無太大優勢[9]。一個好的聚焦評價函數應對圖像灰度的方向變化不敏感,具有較強的抗噪聲能力,而且一般聚焦評價函數最大值的位置即為聚焦位置[10-11]。

本文采用改進的拉普拉斯梯度算子(ML)作為聚焦評價函數。拉普拉斯梯度算子是一種二階微分算子,考慮到聚焦評價函數對于方向的不敏感性,所以取x和y方向的導數的絕對值。雖然作為二階微分改進的拉普拉斯梯度算子對于噪聲可能比較敏感,但是考慮到顯微圖像中紋理的變化以及后續對圖像在頻率域的濾波處理,選用改進的拉普拉斯梯度算子是比較合理的

∑|2f(x,y)|=

(2)

式中:f(x,y)代表圖像中橫坐標為x、縱坐標為y的像素點的灰度值。由于數字圖像可以看成一個實數矩陣,所以一般用差分代替上式所述微分。

ML(x,y)=

|2f(x,y)-f(x-s,y)-f(x+s,y)|+

|2f(x,y)-f(x,y-s)-f(x,y+s)|

(3)

(4)

式中:f(x,y)為點(i,j)處的灰度值,表示該點的聚焦測度;ML(x,y)為圖像在(x,y)點處的拉普拉斯梯度算子;s為可變步長,一般取3;Lfocus所對應的位置就是聚焦位置。

3 基于朗伯幾何光照模型的SFS恢復算法

在理想漫反射情況下,物體表面的灰度滿足如下反射圖方程

E(x,y)=R(p,q)=

(5)

式中:E(x,y)為圖像在像素點(x,y)的照度;R(p,q)對應物體表面法向量方向(p,q)的反射圖;(p0,q0)為光源入射方向。根據Tsai等提出的一種求解上述反射圖方程的算法[7],通過將p和q用差分的方法表示為

(6)

(7)

并且將上述反射圖方程在固定點處進行一階泰勒展開,可以得到每一像素點處的反射圖方程。一幅圖像有N×N像素就需要求解N2個等式,所以通過雅可比迭代方法,經過化簡可以得到以下迭代求解方程來代替原來的線性方程組求解過程

Zn(x,y)=Zn-1(x,y)+

(8)

式中

(9)

設Z0(x,y)=0,初始迭代條件由本文實驗條件選擇為表面法向量初值p0=0,q0=0,光源為垂直入射,則光源向量p0=0,q0=0。

4 DFF與SFS方法的結合

由于DFF方法得到的重構圖像精度取決于載物臺上物距變化的精度,如果獲取的序列圖像數量過少的話,對于高度序列圖像之間的高度值就需要進行插值。較常見的插值技術為高斯插值法。這里將SFS方法與DFF方法相結合。SFS方法得到的重構圖像一般是連續的,但是由于SFS恢復方法缺少強有力的外界物理或幾何約束條件,所以方程一般是病態的,需要增加假設條件和簡化才能使得該方法有收斂的解。即使如此,該方法的穩定性和可靠性依然較差,運用SFS方法一般只能得到方程的近似解,恢復出的表面形狀也只是形狀上與真實表面相似而已。然而,SFS方法所采用的模型依賴的是光度學原理與物體表面的形狀特征,所以SFS方法提供的近似解包含著重構區域的細節信息,理論上可以補充DFF方法所丟失的高度信息和表面形狀特征的細節信息。

首先通過下式對SFS恢復方法得到的三維重構圖進行標定

(10)

圖3 頻域融合算法示意圖

濾波選擇高斯濾波器。高斯低通濾波器的頻域表達式為

(11)

相應的高斯高通濾波器的頻域表達式為

(12)

5 實 驗

實驗中采用奧林巴斯DSX500光學數碼顯微鏡,放大倍數調節為69倍,刀具對象為綠碳化硅砂輪。DSX500本身帶有DFF功能,但是一般需要20張以上的圖片數量。本文所用圖像的實際大小為3.989 mm×3.989 mm,調節步長為0.165 mm,而實驗得到的三維重構圖片在水平面上的大小為1 200×1 200像素。

使用20張序列圖片中的4張(如圖4所示),這4張圖片中必須包括聚焦過程中處于極限位置的2張圖片。由基于拉普拉斯梯度算子的DFF方法融合后的圖像如圖5所示。將圖4所示圖片轉化為灰度圖像之后,利用DFF方法進行磨損區域三維表面重構,結果如圖6所示。對圖5利用SFS方法進行磨損區域三維表面重構,結果如圖7所示。

圖4 實驗選用的4張刀具磨損圖片

圖5 由基于拉普拉斯梯度算子的DFF方法融合后的圖像

圖6 DFF方法得到的刀具磨損區域高度圖

由圖6可以看出,采用DFF方法直接對包含有背景的序列圖片進行三維重構不能有效地去除噪聲影響,且高度值為離散值,很難直接辨別出磨損區域的形狀。圖7為采用SFS方法的重構圖像,可見由圖7基本不能得出磨損區域的三維形狀。

圖7 SFS方法得到的刀具磨損區域高度圖

圖8為采用本文所用融合方法得到的三維表面重構圖像,可以看出經過濾波與頻域融合之后圖像的連續性大大提高,并且能夠有效濾除噪聲對重構圖片的影響,磨損區域的形狀特征也比較明顯,與圖9所示DSX500顯微鏡使用20張序列圖片重構得到的圖像相比具有相同的高度趨勢,均為朝一個方向傾斜的斜坡。

圖8 本文頻域融合方法得到的刀具磨損區域高度圖

圖9 利用DSX500顯微鏡得到的刀具磨損區域高度圖

如表1所示,由DSX500顯微鏡獲得的標準三維重構圖可得到磨損體積為1.738 mm3,運用DFF方法計算的磨損體積為2.068 mm3,運用SFS方法計算的磨損體積為2.725 mm3,經頻域融合后計算的磨損體積為1.942 mm3。經頻域融合后計算的磨損體積與顯微鏡使用20張圖片得出的結果相差11.74%,相對單獨使用DFF和SFS方法在精度方面有明顯提升。

表1 3種方法計算得到的磨損體積相對誤差比較

6 結 論

本文通過傅里葉變換將基于拉普拉斯梯度算子的DFF方法與基于朗伯表面幾何光照模型的SFS方法相結合,對DFF方法中存在的圖像之間缺失的高度信息,通過SFS方法進行補充。對于DFF方法,其精度主要取決于采集圖像序列之間的距離,序列圖像離散高度值的連續化是DFF方法精度誤差的主要來源之一。本文運用傅里葉變換,在頻域中對DFF方法形成的三維重構圖像進行高通濾波,對SFS方法形成的三維重構圖像進行低通濾波,并將濾波后的圖像在頻域進行疊加,經過傅里葉反變換,得到空間域融合后的刀具磨損區域三維重構圖像。

分析和實驗結果表明,在頻域中對DFF和SFS重建方法進行融合相對于單獨采用這2種表面重構方法,融合后的三維重構圖像同時保留了DFF方法中的離散幾何高度信息和SFS方法中的表面細節特征信息,能有效避免由于DFF方法中高度值離散帶來的誤差,從而提升砂輪表面磨損區域的重構精度。

研究頻域融合算法在其他磨損表面的適用性,將是我們下一步工作的重點。

[1] 董衛平, 蔡禮君, 盧秉恒. 刀具磨損監測的雙向切削力相干函數法 [J]. 西安交通大學學報, 1988, 22(5): 101-106. DONG Weiping, CAI Lijun, LU Bingheng. Bidirectional cutting force and tool wear monitoring coherence function method [J]. Journal of Xi’an Jiaotong University, 1988, 22(5): 101-106.

[2] 姜志國, 韓冬兵, 謝鳳英. 基于全自動顯微鏡的圖像新技術研究 [J]. 中國體視學與圖像分析, 2004, 9(1): 31-36. JIANG Zhiguo, HAN Dongbing, XIE Fengying. New image techniques based on automatic microscopy [J]. Chinese Journal of Stereology and Image Analysis,2004, 9(1): 31-36.

[3] 童晨, 何寧, 李亮. 刀具磨損三維形貌的測量及評價方法 [J]. 機械制造與自動化, 2008, 37(5): 57-60. TONG Chen, HE Ning, LI Liang. Methods to measure and evaluate 3D topography of tool wear [J]. Mechanical Manufacturing and Automation, 2008, 37(5): 57-60.

[4] PAN W. Multiplane imaging and depth-of-focus extending in digital holography by a single-shot digital hologram [J]. Optics Communications, 2013, 286: 117-122.

[5] HORN B K P. Shape from shading: a method for obtaining the shape of a smooth opaque object from one view [D]. Cambridge, MA, USA: MIT, 1970.

[6] 須明, 趙榮椿. SFS方法及其與立體視覺方法的集成方案綜述 [J]. 計算機工程與應用, 2006, 42(8): 1-6. XU Ming, ZHAO Rongchun. Review: on integration of stereo and shape from shading [J]. Computer Engineering and Applications, 2006, 42(8): 1-6.

[7] TSAI P S, SHAH M. Shape from shading using linear approximation [J]. Image and Vision Computing Journal, 1994, 12(8): 487-488

[8] 劉莉, 姜志國, 謝鳳英. 光學體視顯微圖像立體測量系統研究與開發 [J]. 中國體視學與圖像分析, 2003, 8(4): 220-224. LIU Li, JIANG Zhiguo, XIE Fengying. New image techniques based on automatic microscopy [J]. Chinese Journal of Stereology and Image Analysis, 2003, 8(4): 220-224.

[9] 熊四昌, 楊涌, 胡東. 基于小波分析的顯微序列圖像合成系統 [J]. 光學儀器, 2006, 28(6): 28-32. XIONG, Sichang, YANG Yong, HU Dong. The microscopy serial image synthesis based on the wavelet analysis [J]. Optical Instrument, 2006, 28(6): 28-32.

[10]童晨. 刀具磨損區域的三維重構技術研究 [D]. 南京: 南京航空航天大學, 2008.

[11]MALIK A S, CHOI T. A novel algorithm for estimation of depth map using image focus for 3D shape recovery in the presence of noise [J]. Pattern Recognition, 2008, 41(7): 2200-2225.

(編輯 葛趙青)

Three-Dimensional Reconstruction of Tool Wear Area for Grinding Wheel Using Frequency-Domain Fusion Method

ZHU Aibin, HU Haoqiang, HE Dayong, CHEN Wei

(Key Laboratory of Education Ministry for Modern Design and Rotor-Bearing System, Xi’an Jiaotong University, Xi’an 710049, China)

Aiming at the problem of the discontinuous height values in the three-dimensional reconstruction of tool wear area for grinding wheel using the method of depth from focus (DFF), a new method for continuing the height values with DFF is proposed by using Fourier transform to combine the methods of DFF and shape from shading (SFS). Using Fourier transform in the frequency domain, performing highpass filtering for the 3D reconstruction image of DFF and lowpass filtering for the 3D reconstruction image of SFS, and superimposing the filtered image in the frequency domain, the 3D reconstruction image of the tool wear area of grinding wheel can be obtained by inverse Fourier transform to fuse in the spatial domain. Analysis and experimental results show that the fused 3D reconstruction image not only retains the discrete geometric height information contained in DFF and the detailed surface information contained in SFS, but also effectively avoids the errors caused by the discontinuous height values in the DFF.

tool wear; depth from focus; shape from shading; Fourier transform

2014-09-06。

朱愛斌(1975—),男,博士,副教授。

國家自然科學基金資助項目(51175409)。

時間:2015-03-02

10.7652/xjtuxb201505013

TH113.2

A

0253-987X(2015)05-0082-05

網絡出版地址:http:∥www.cnki.net/kcms/detail/61.1069.T.20150302.1653.003.html