一種適于鏡面反射表面的從明暗恢復形狀算法

王國琿，蘇 煒，宋玉貴

(西安工業(yè)大學光電工程學院，陜西 西安 710032)

從明暗恢復形狀(Shape－from－Shading，SFS)是計算機視覺中實現(xiàn)物體表面三維形狀重構(gòu)的關鍵技術之一。SFS方法通過求解建立的單幅圖像的輻照度方程來獲取物體表面各點的法向量或相對高度，其技術原理簡單，應用非常廣泛［1］。

SFS方法最早是由麻省理工學院的Horn學者在20世紀70年代提出的［2］，在此基礎上，經(jīng)過幾十年的發(fā)展，出現(xiàn)了很多新的算法［3－6］，如:文獻［2 －3］將 SFS 方法中的輻照度方程轉(zhuǎn)化為能量函數(shù)形式，然后附加一定的約束條件將其變換為泛函極值求解問題;文獻［4］將SFS問題中原先的非線性反射圖方程轉(zhuǎn)化為線性問題，從而方便計算輻照度方程的解;文獻［5－6］對SFS問題建立的一階非線性偏微分方程本身直接求解，從圖像中一組已知高度值的初始點出發(fā)，逐步確立出圖像中所有像素點對應的物體表面的三維形狀。上述SFS方法存在著兩方面的問題:一是使用的反射模型通常為Lambert模型，這樣雖可以簡化計算，然而對于非Lambert表面(如鏡面反射表面)通常會引起較大的重構(gòu)誤差;二是采用的數(shù)值算法往往通過迭代形式實現(xiàn)，算法運行時間較長，達不到快速重構(gòu)的要求［7］。

為了實現(xiàn)鏡面反射表面快速重構(gòu)的需求，本文提出了一種基于高階Fast Marching方法的SFS算法，解決了上述幾個不足。本文提出的SFS算法有下面兩個特點:1)使用Blinn－Phong模型刻畫鏡面反射表面的反射特性，這樣更適于鏡面反射表面的實際情況，減少了由于模型誤差引起的重構(gòu)精度不高問題;2)將基于Blinn－Phong模型的鏡面表面圖像輻照度方程轉(zhuǎn)化為含有高度信息的Eikonal偏微分方程，利用高階Fast Marching方法計算上述Eikonal方程的解，在獲得二階精度的同時減少了算法的運行時間。

1 基于Blinn－Phong模型的輻照度方程

假定攝像機的成像平面為x－y平面，攝像機的光軸與z軸重合。在上述坐標系下，SFS問題可以看作是求解如下圖像輻照度方程［7－8］式中:I(x，y)為圖像的灰度值，亦認為是圖像的輻照度;R(p(x，y)，q(x，y))是由物體表面反射模型確立的反射圖，它描述了光源分布與物體表面方向的對應關系。在正交投影條件下，通常使用下式來計算物體表面一點(x，y，z(x，y)) 的方向向量

如圖1所示的表面反射幾何模型，已知點光源的單位方向向量為L，攝像機的單位方向向量為V;θi，φi和θr，φr分別為光源、攝像機方向向量的天頂角和方位角。對于鏡面反射表面，Phong［9］提出了一個經(jīng)驗模型，用來計算鏡面反射表面的輻射亮度

式中:M為鏡面反射指數(shù);R為反射光的單位方向向量，且有R=2×n(n·L)－L。

圖1 表面反射幾何模型

鑒于Phong模型在實際應用時，計算(R·V)不方便，Blinn［10］對Phong模型進行了改進，用(n·h) 來代替(R·V)，簡化了運算。Blinn－Phong模型為

式中，h為光源方向向量L與攝像機方向向量V之間夾角平分線的單位方向向量。本文使用Blinn－Phong反射模型來近似其反射屬性，可以得到鏡面反射表面的圖像輻照度方程為

式中，δ為n與h之間的夾角。

假定光源與攝像機共線，此時有θi=θr，φr=φi，因此 δ= θi。設光源的方向向量為［0，0，－1］，由于θi為n與L之間的夾角，故有

將式(6)代入(5)，得到基于Blinn－Phong模型的圖像輻照度方程

2 圖像輻照度方程求解

為了求解圖像輻照度方程(7)，一種直接的方法就是將其轉(zhuǎn)化為含有高度信息的Eikonal偏微分方程(8)，應用相關數(shù)值方法進行求解

考慮圖像大小為(1，m)×(1，n)的均勻離散網(wǎng)格點:(xi，yj)=(iΔ，jΔ) ，i=1，2，…，m ，j=1，2，…，n，(Δ，Δ)為數(shù)值算法中離散網(wǎng)格的大小。本文中數(shù)值方法的目的就是求解高度函數(shù) z(x，y) 的離散近似解 zi，j=z(xi，yj)。

在作者以前的研究工作中，求解Eikonal方程的算法使用到高階 Fast Sweeping方法［8］及 Fast Marching方法［11］。高階Fast Sweeping方法雖然可以獲取較高的重構(gòu)精度，但算法需要迭代，故運行時間較長，達不到快速重構(gòu)的要求;而Fast Marching方法雖運行時間較短，但重構(gòu)精度較低。考慮到快速精確性的要求，本文使用文獻［12］提出的高階Fast Marching方法來逼近上述Eikonal方程(8)的解。

傳統(tǒng)的Fast Marching方法是一種一階精度的、非迭代(單步)的復雜度為O(NlogN)的數(shù)值方法，其中N為離散網(wǎng)格的總數(shù)。對Eikonal方程(8)，利用單調(diào)迎風Hamilton函數(shù)逼近有

將式(10)代入(9)，可以得到二階精度的‖▽zi，j‖逼近。

于是，基于高階Fast Marching方法的適于鏡面反射表面的從明暗恢復形狀算法過程如下:

1)初始化

(1)設置網(wǎng)格點標志:設置初始點的標志為K;將標志為K的像素點的8個鄰域的標志設為T;剩余網(wǎng)格點的標志設置為F。

(2)將所有標志為K的網(wǎng)格點的值設定為真實高度值，作為Marching過程的初始高度值，而且在整個Marching過程中不發(fā)生變化;標志為T的網(wǎng)格點的值由初始高度值與鄰域的位置確定;所有標志為F的網(wǎng)格點的值設定為無窮大。T和F網(wǎng)格點的值在Marching過程中將得到重新計算。

2)選擇 (iminΔ，jminΔ) 為 T 中 z值最小的點，并將(iminΔ，jminΔ)點從T中移出并添加到K中。

3) 考慮 (iminΔ，jminΔ) 的 8 個鄰域 (imin－1Δ，jminΔ) ，(imin－2Δ，jminΔ) ，(imin+1Δ，jminΔ) ，(imin+2Δ，jminΔ) ，(iminΔ，jmin－1Δ) ，(iminΔ，jmin－2Δ) ，(iminΔ，jmin+1Δ) ，(iminΔ，jmin+2Δ)中不為K的點:

(1)若(iminΔ，jminΔ)的鄰域標志為F，將其從F中移出并添加到T中，并用式(9)更新其值。

(2)若(iminΔ，jminΔ)的鄰域標志為T，則直接用式(9)更新其值。

4)當所有網(wǎng)格點的標志均為K時，算法結(jié)束，否則返回步驟2)。

3 實驗驗證

為了驗證本算法的性能，使用兩幅已知高度的鏡面反射表面圖像進行驗證，高度圖和圖像如圖2所示，重構(gòu)結(jié)果如圖3所示。圖2a與2b分別為圓柱體、花瓶的三維高度圖，圖2c與2d為獲取的對應的圖像。由圖2c與2d可以看出，圖像中含有高光，為鏡面反射表面形成的圖像。圖3a與3b分別為本算法重構(gòu)的三維形狀。對于圓柱體圖像和花瓶圖像，本算法的運行時間均為0.02 s左右。圖3c與3d為圓柱體、花瓶的高度誤差圖。為了定量評價本算法的重構(gòu)結(jié)果，使用高度平均絕對誤差(Mean Absolute Error，MAE)和均方根誤差(Root Mean Square Error，RMSE)來反映其精確度。高度MAE和RMSE分別定義為

圖2 高度圖及圖像

圖3 重構(gòu)結(jié)果

4 小結(jié)

本文提出了一種基于高階Fast Marching方法的從明暗恢復形狀算法，可以實現(xiàn)鏡面反射表面快速重構(gòu)的需求。首先假定光源為點光源，且位于無窮遠處，同時攝像機遵循正交投影，其方向與光源方向保持一致;其次使用Blinn－Phong模型來描述鏡面反射表面的反射特性，減少了由于模型誤差引起的重構(gòu)精度不高問題;建立基于Blinn－Phong反射模型的鏡面表面圖像輻照度方程，然后將該輻照度方程轉(zhuǎn)化為含有高度信息的Eikonal偏微分方程，利用高階Fast Marching方法計算上述Eikonal方程的解，從而獲得鏡面反射表面的三維形狀，在獲得二階精度的同時減少了算法的運行時間。經(jīng)圓柱體和花瓶圖像實驗，結(jié)果表明本文提出的方法可以快速精確地實現(xiàn)鏡面反射表面的三維重構(gòu)。

［1］王國琿，韓九強，張新曼，等.一種從混合表面的明暗變化恢復形狀的新算法［J］. 宇航學報，2011，32(5):1124－1129.

［2］HORN B K P.Height and gradient from shading［J］.International Journal of Computer Vision，1990，5(1):37－75.

［3］HORN B K P，BROOKS M J.The variational approach to shape from shading［J］.Computer Vision，Graphics，and Image Processing，1986，33(2):174－208.

［4］TSAI P－S，SHAH M.Shape from shading using linear approximation［J］.Image and Vision Computing，1994，12(8):487－498.

［5］PRADOS E，F(xiàn)AUGERAS O.A generic and provably convergent shapefrom－shading method for orthographic and pinhole cameras［J］.International Journal of Computer Vision，2005，65(1/2):97－125.

［6］ZHANG L，YIP A M，BROWN M S，et al.A unified framework for document restoration using inpainting and shape－from－shading［J］.Pattern Recognition，2009，42(11):2961－2978.

［7］王國琿，韓九強，張新曼.一種適合漫反射表面從明暗恢復形狀的快速算法［J］.西安交通大學學報，2009，43(10):7－10.

［8］WANG Guohui，SU Wei，SONG Yugui.A new shape from shading approach for specular surfaces［J］.Lecture Notes in Computer Science，2011，7004:71－78.

［9］PHONG B T.Illumination for computer generated pictures［J］.Communications of the ACM，1975，18(6):311－317.

［10］BLINN J F.Models of light reflection for computer synthesized pictures［J］.ACM SIGGRAPH Computer Graphics，1977，11(2):192－198.

［11］WANG Guohui，SU Wei，GAO Fen.A specular shape from shading by fast marching method［J］.Procedia Engineering，2011(24):192－196.

［12］SETHIAN J A.Fast marching methods［J］.SIAM review，1999，41(2):199－235.