基于單幅圖片恢復人體三維形貌的研究

林雪英，徐 曉，劉 希

(1.華南理工大學理學院，廣東 廣州 510640;2.華南理工大學廣州汽車學院，廣東 廣州 510640)

視頻由單幅圖片構成，探討從單幅圖片恢復三維形貌對從二維視頻恢復2.5維信息有實際意義。而從人類視覺能就單幅圖片恢復2.5維信息的特點來看，研究單幅圖片的恢復也具有重要的學術價值。

本文探討從單幅圖片恢復人體三維形貌，是指對單幅圖像進行分析處理，得到人體表面0°～180°的三維信息，是一種實用的三維人體恢復技術，在生物學、醫學及人類科學[1]、多媒體、人機工程、視頻會議、3D游戲開發等領域有廣泛的應用[2]。

本文利用明暗恢復形狀(Shape From Shading，SFS)[3]方法從單幅圖片中恢復人體三維形貌[4]。其核心思想是利用二維圖像中留下的三維線索——灰度信息，在光源坐標系下計算與每個像素點對應的表面法向矢量信息，通過坐標旋轉到圖像坐標系中，得到圖像中的人體的三維尺寸。這種方法不受光源限制、便于現場操作、最大限度的節省硬件資源，測量速度快、成本低，且易于實現系統間的信息集成。將人體知識加入到人體圖像中光源的預測中，利用人體四肢可以近似為圓柱體這個特點進行粗略的光源預測，并將預測的光源用于恢復人體表面三維形貌。以此為基礎進行了實驗，實驗表明此方法在一定情況下是有效的。

1 SFS方法

SFS方法早在1970年由麻省理工學院的Horn等人首次提出來，他們將反射圖的概念引入照度方程中，假定物體表面為朗伯體表面[5]，建立了物體表面方向和圖像亮度之間的函數關系，求解該函數模型即可獲取物體表面坐標的高度值。

朗伯體表面模型如圖1。以攝像機坐標系為參照系，將物體表面高度值表示為z(x，y)，物體表面材質的反射率為ρ。規定物體表面法矢可由物體表面各點的法向量n(n1，n2，n3)的反方向矢量(p，q，－1)表示，其中，(p，q)為表面梯度。深度是攝像機到表面點的相對距離，同時也可以看作是相對于XOY平面的表面高度(表面法矢是與物體表面切平面垂直的向量方向，表面梯度是深度在x和y方向的變化量)。假設觀察者方向的視線與像平面XOY平面垂直相交，光源到達物體表面一點(x，y)的強度為I(x，y)，光源向量為(ps，qs，－1)，光在觀察方向反射的強度為E(x，y)，則由朗伯定理得模型方程如下[6]

從式(1)可以理解，所謂SFS，即要恢復Z(x，y)，則需通過E(x，y)求取 p，q，然后通過光滑性約束來求取Z(x，y)。求解問題需要確定兩類參數，一是光源相關參數，一類是跟被觀察物結構和反射屬性相關參數。關于光源的預測，一般是利用已知幾何形狀的物體對不同光源位置具有不同形狀陰影的原理，通過分析陰影形狀追蹤光源位置。

圖1 被照物體表面模型

在已知光源的情況下，現實的物體及圖像采集系統無法滿足理想的朗伯體模型，以及其他信息的不確定性導致的SFS問題的病態，因而需要根據采集圖像的特點引入附加條件[6]

式中:I是測量亮度;R是估計反射圖亮度;px，py和qx，qy分別表示函數p和q在x和y方向上的偏微分;式(2)為亮度約束;式(3)為光滑性約束;式(4)為可積性約束。求解式(1)時，應使 e1，e2，e3最小。

2 人體圖片光源預測

就單幅圖片而言，若未加特定攝制條件，其光源方向是未知的，因此需要求取光源的方向。關鍵就是預測光源入射角與物體表面點的夾角，以確定已知光源的入射方向。

本文三維形貌恢復的對象具有特定的目標——三維人體形貌恢復，可利用人體知識將光源預測問題簡化。人體的四肢可以近似為圓柱體，而圓柱體是一種簡單特殊的幾何形狀，光線在圓柱體表面發生反射時會遵循指定的規律，因而可以利用四肢這種幾何特殊性對圖像中的人體光源方向進行預測。

若去除毛發、衣服等遮擋物后，人體(如圖2)的軀干、四肢、頸部可以近似為圓柱體(如圖3)。正常情況下，人體四肢表面皮膚的材質和顏色差異不顯著，因此可以將人體圖片中沒有遮擋且彎曲變形程度不大的四肢提取出來，分別擬合成對應的矩形(圓柱體的正面視圖為矩形)，經過分析得到各個圓柱體的預測光源方向，計算出對應該擬合矩形的光源分量，再將得到的幾個光源方向平均值作為預測的整個人體光源方向。

如圖4所示，考慮圓柱體上一點M的法向量為(0，cosα，sinα)，則若以 －Z 方向為觀察方向，根據式(1)得到

圖片上M點的亮度為

圖4 光源照射下的圓柱體模型

如圖5所示，圓柱體的橫截面圓的半徑為r，N點距離圓柱體最左側母線的距離為1，N點距該截面圓心O的距離 d 等于 r－l，光源方向為(ns1，ns2，ns3)，ns2和 ns3分量構成的面與XOY平面的夾角α為

圖5 圓柱體示意圖

通過在二維圖片上選用一個接近矩形的圓柱體像，估計出d;分析一系列不同r的點的強度，利用式(6)，通過最小二乘法估計出相對應的α。根據d，r，α估計值，光源方向的ns2分量估計值為

依此類推，選用不同方向的圓柱體，可以得出ns1分量。依照(ns1，ns2，ns3)，假定 ns3為 1，則可倒換出(ps，qs，－1)。若選出的圓柱體并不在圖片的豎直或水平方向，則通過坐標倒換也可以推出相關結果。綜合人體圖片上選用的不同位置的圓柱體而預測出的光源矢量進行平均即得圖片的光源矢量的預測。

3 人體圖片恢復結果

本文恢復人體三維形狀利用的是人體表面灰度信息，衣服、頭發等遮擋物會產生錯誤的信息，因此實驗對象必須選擇沒有衣服等遮擋物的人體，人體模特在外形和顏色等角度都與真實人體比較接近，且沒有衣服等遮擋物的干擾，本文選擇人體模特圖片作為實驗對象，恢復的步驟如圖6所示[7]。

圖6 三維人體形貌恢復的步驟

1)實例一原始圖像如圖2所示，預測光源方向為(0.53，0，1)，恢復的三維模型幾個不同角度的截圖如圖7所示。

圖7 實例一復原結果不同角度的截圖

恢復結果分析:二維的人體圖片的光源并沒有進行太多的控制，SFS方法中的光源是單一光源，即無限遠的電光源或平行光，而獲得的二維的圖片中的光源情況較復雜，有主光源、環境光，這樣的光源會造成復原結果與真實人體模特的誤差。具體分析如表1所示。

表1 實例一恢復結果分析

2)實例二原始圖像如圖8所示，預測光源方向為(0.19，0，1)，恢復的三維模型幾個不同角度的截圖如圖9所示。

恢復結果分析:整體的復原結果還是比較理想。具體分析如表2所示。

表2 實例二恢復結果分析

4 結論與探討

該三維人體測量方法在實施過程及實際應用中，依然存在不少問題。在提取用于預測光源的人體四肢時，本文采用的辦法是手工提取，如何利用帶入人體知識的邊緣檢測法自動提取出無遮擋的四肢，是下一步的工作。另外陰影在圖片中是在所難免，人體的姿勢千變萬化，經常會出現遮擋的部位，但人體始終逃不脫軀干、頭部、四肢的結構，下一步將利用光源矢量及各點的深度值計算出陰影區域并對其進行修正，并利用人體知識填充遮擋部位丟失的信息量。

雖然目前基于單幅圖像進行人體形貌恢復的精度還不能夠達到很高的要求，但此算法模擬人眼的視覺原理，只須單幅圖像進行分析處理，便可以快速得到人體表面0°～180°的三維信息，是一種實用的三維人體恢復技術。

[1]GUAN P，FREIFELD O，BLACK M J.A 2D human body model dressed in eigen clothing[C]//Proc.11th European Conf.Computer Vision.Berlin:Springer－Verlag，2010:285－298.

[2]IKIZLER N，CINBIS R G，PEHLIVAN S，et al.Recognizing actions fromstill images[C]//Proc.19th International Conference on Pattern Recognition.Tampa，FL:IEEE Press，2008:1－4.

[3]HORN B K P.Shape from shading:A method for obtaining the shape of a smooth opaque object from one view[D].Boston:Massachusetts Inst.of Technology，1970.

[4]宋麗梅.基于單幅實時測量圖像形貌三維恢復的研究[D].天津:天津大學，2004.

[5]BASRI R，JACOBS D.Lambertian reflectance and linear subspaces[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25(2):218－233.

[6]徐東平.基于SFS方法的三維表面重建算法研究[J].計算機與數字工程，2008，36(2):7－9.

[7]阮秋琦.數字圖像處理(MATLAB版)[M].北京:電子工業出版社，2005.