基于球諧函數(shù)的人臉模型表面光場(chǎng)構(gòu)建研究

皮慧婷

摘 要：表面光場(chǎng)廣泛應(yīng)用于基于圖像的渲染與重光照。為實(shí)現(xiàn)任意視點(diǎn)下三維人臉模型繪制，針對(duì)極其稀疏和分散的人臉數(shù)據(jù)，提出基于球諧函數(shù)的人臉模型表面光場(chǎng)構(gòu)建方法。該方法首先利用球諧函數(shù)為線性組合表示表面光場(chǎng)對(duì)應(yīng)的輻射度函數(shù)，然后使用添加穩(wěn)定能量項(xiàng)的無(wú)約束最小二乘法，實(shí)現(xiàn)對(duì)人臉模型表面光場(chǎng)的魯棒性擬合，最后采用仿真技術(shù)對(duì)任意視點(diǎn)下的人臉模型進(jìn)行渲染。在極其稀疏的6個(gè)視點(diǎn)下的人臉圖像上實(shí)驗(yàn)，結(jié)果驗(yàn)證了該方法的有效性。與插值法比較，驗(yàn)證了該方法更具魯棒性。

關(guān)鍵詞：球諧函數(shù)；表面光場(chǎng)；無(wú)約束最小二乘法

DOI：10.11907/rjdk.171517

中圖分類(lèi)號(hào)：TP317.4 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2017）009-0195-04

Abstract：Surface light field is widely used in Image-Based Rendering and Image Relighting， To rendering the 3D human face model at arbitrary views， this paper proposes a method to reconstruct human model face surface light field using spherical harmonic function. It is a robust least-squares based method for fitting 2D parametric surface light field functions on the extremely sparse and scattered data. Surface light field function is expressed as a linear combination of spherical harmonic functions. We add a stabilization energy to the unconstrained least-squares （ULS） fitting process， to robust fit 2D parametric Surface light field function. We carry out experiments on photos of six extremely sparse viewpoints. Experiment results show that this method is efficient. Comparing with the results of interpolation method， the results show that our method is more robust.

Key Words：spherical harmonic function； surface light field； unconstrained least-squares

0 引言

光場(chǎng)能夠獲取場(chǎng)景的密集表示，廣泛應(yīng)用于基于圖像的渲染[1-2]（Image Based Rendering， IBR）框架中，為計(jì)算機(jī)視覺(jué)、虛擬現(xiàn)實(shí)等領(lǐng)域提供了一個(gè)新的研究方向。在假定光線傳播區(qū)域無(wú)遮擋情況下，Leovy等[3]首次提出了光場(chǎng)的四維模型L（u，v，s，t），指出光場(chǎng)是物體光線的空間分布，如圖1所示。圖中位面（u，v）和（s，t）稱(chēng)為光片，一個(gè)光片實(shí)際上是一個(gè)圖像矩陣，則光場(chǎng)可以用穿過(guò)兩個(gè)位面的一條直線描述，該直線表示場(chǎng)景中某個(gè)物理點(diǎn)發(fā)出的光線，相應(yīng)地這條直線的函數(shù)就是光輻射度，稱(chēng)其為流明圖（lumigraph）或者光場(chǎng)（light field）。

基于光場(chǎng)容易通過(guò)物理途徑獲取源數(shù)據(jù)，且利用光場(chǎng)數(shù)據(jù)可實(shí)現(xiàn)三維物體或場(chǎng)景的建模和渲染[4-5]。根據(jù)采樣數(shù)據(jù)的稀疏性，可把光場(chǎng)重建方法大致分為基于密集采樣的光場(chǎng)重建和基于稀疏采樣的光場(chǎng)重建。這些方法一定程度上都可以較好地實(shí)現(xiàn)光場(chǎng)重建，然而，基于圖像的光場(chǎng)數(shù)據(jù)在一定深度范圍內(nèi)具有模糊現(xiàn)象，為此，Miller等[6]首次提出了表面光場(chǎng)概念。

對(duì)于每個(gè)二維表面頂點(diǎn)，表面光場(chǎng)表示該頂點(diǎn)的顏色值（RGB）， 該顏色值取決于一個(gè)連續(xù)方向參數(shù)：視點(diǎn)方向或入射光方向，因此表面光場(chǎng)可以定義為一個(gè)二維的半球形函數(shù)。然而，從獲取的采樣數(shù)據(jù)生成該函數(shù)可能較困難。Wood等[7]利用3D形狀的先驗(yàn)知識(shí)來(lái)減少表面光場(chǎng)的采樣數(shù)量。Miandji等[8]設(shè)計(jì)了一個(gè)框架來(lái)生成表面光場(chǎng)，并將表面光場(chǎng)數(shù)據(jù)進(jìn)行壓縮繪制。Jachnik等[9]提出通過(guò)單一手持相機(jī)實(shí)現(xiàn)實(shí)時(shí)表面光場(chǎng)獲取的算法，但該方法只適用于平面場(chǎng)景。以上表面光場(chǎng)獲取方法均需要稠密采樣，且沒(méi)有考慮模型特定性。

近年來(lái)學(xué)者開(kāi)始關(guān)注在稠密采樣情況下，如何通過(guò)適應(yīng)稠密的輸入樣本擬合構(gòu)建出表面光場(chǎng)。實(shí)際上，估計(jì)參數(shù)的擬合過(guò)程就是生成一個(gè)適應(yīng)輸入樣本的函數(shù)。輸入樣本是位于可見(jiàn)半球的一組顏色值，這個(gè)位置可通過(guò)照片在表面的投影或光源位置推導(dǎo)出來(lái)。非線性函數(shù)可精確擬合半球形函數(shù)，但需要密集抽樣[10]，且它常用于高維（4D）的半球形函數(shù)。在二維情況下， 由于基函數(shù)的線性組合簡(jiǎn)單，經(jīng)常被用于表示一組線性方程的擬合問(wèn)題。最常用的有球諧函數(shù)[11]、多項(xiàng)式[12-13]、lumispheres[14]和剪切波變化[15]等。其中，球諧函數(shù)由于正交完備性，且可展開(kāi)系數(shù)平方和具有旋轉(zhuǎn)不變性，被廣泛應(yīng)用于各種對(duì)象的擬合或表示[16-19]。

通常，針對(duì)低質(zhì)量的采樣數(shù)據(jù)，約束最小二乘法常用于解決擬合半球形函數(shù)問(wèn)題。Woods等使用這種方法解決了由于遮擋造成的亞約束問(wèn)題。Lam等[20-21]使用約束最小二乘擬合，使壓縮的噪聲最小化。K Vanhoey等針對(duì)低質(zhì)量采樣數(shù)據(jù)，使用無(wú)約束最小二乘擬合得到物體任意視點(diǎn)的圖形。故本文為適應(yīng)稀疏采樣數(shù)據(jù)也使用最小二乘擬合算法。endprint