一種透視投影下的非剛體迭代重構方法

戴龍利，曹蓉蓉，阮宗才,2

(1.東南大學 學習科學研究中心，江蘇 南京 210000；2.東南大學 兒童發展與學習科學教育部重點實驗室，江蘇 南京 210000)

一種透視投影下的非剛體迭代重構方法

戴龍利1，曹蓉蓉1，阮宗才1,2

(1.東南大學 學習科學研究中心，江蘇 南京 210000；2.東南大學 兒童發展與學習科學教育部重點實驗室，江蘇 南京 210000)

透視投影下的非剛體三維重構中既存在著非剛體形變也存在著透視形變，同時區分兩種形變是比較困難的。大多數非剛體三維重構算法通常進行了簡化，只考慮正交投影下的非剛體重構。為了解決透視投影下的非剛體重構問題，將基于形狀基的EM算法和仿射迭代方法進行有機結合，提出了一種適用于透視投影的新算法。該算法利用EM算法可解決數據點丟失問題的優勢以及仿射迭代方法結果較為精確的優點，可提高計算的魯棒性和重構效果。為驗證算法的有效性，選擇5 000幀面部表情連續變化的Frank圖像序列進行了迭代重構仿真實驗。實驗結果表明，所提出算法在透視投影模型下具有較好的魯棒性以及重構效果，能準確地實現動態場景下對人臉的非剛體三維結構重構。

透視投影；非剛體；形狀基；三維運動重構

0 引 言

三維運動重構(Structure from motion)是計算機視覺領域的基本問題，即從二維的圖像序列中獲取剛體或非剛體三維結構和運動信息。盡管剛體三維運動重構的方法已經得到了廣泛的研究和應用，但是真實世界中的很多場景和對象都是動態和非剛體的。目前來說，剛體情況已經基本解決，而非剛體問題逐漸成為研究熱點，并取得了顯著成果。

Bregler等[1]將剛體的矩陣分解方法進行了擴展，將剛體形狀基引入到形變約束的場景結構中。但是這種方法只有在場景下的所有圖像序列的特征點都能被追蹤到才能奏效，對于數據丟失的情況則沒有辦法重構。Torresani等[2]引入EM算法，用于解決數據缺失的情況。Gonzalez-Mora等[3]提出了一種從大量數據的不同表情和姿勢的圖片中學習三維人臉模型的三維重構方法。Lladó等[4]提出了一種新穎的從未標定的立體相機對中獲取可變形對象歐氏三維結構的方法。Khan[5]針對缺少約束的非剛體三維運動重構問題，提出了一種新的基于約束的框架來約束解空間。國內專家學者近期在這方面也得出了一些成果[6-13]。

在透視投影下的非剛體三維重構中，既存在非剛體形變也存在透視形變，同時區分兩種形變是比較困難的。大多數非剛體三維重構算法，為了方便處理，只考慮正交投影下的非剛體重構。Torresani等提出的基于形狀基的EM算法[2]，有效解決了在非剛體重構過程中的數據丟失問題，但仍然采用的是正交投影。Christy等[14]提出一種透視投影下的仿射迭代方法，可以將模型拓展到透視投影下，逐步消除透視變形帶來的影響。

在此基礎上，將基于形狀基的EM算法和仿射迭代方法有機結合，提出了一種在透視投影下的迭代非剛體重構算法。該算法利用EM算法可解決數據點丟失問題的優勢以及仿射迭代方法結果較為精確的優點，可提高計算的魯棒性和重構效果。并通過仿真迭代實驗對算法的有效性進行了驗證。

1 相關工作

1.1 基于形狀基的EM算法

根據文獻[2]，給定一系列的圖像追蹤點，利用EM算法，能夠在部分追蹤點缺失的情況下恢復出非剛體的運動和變形。在整個重構過程中定義如下相關變量：J表示總點數，T表示總幀數，t表示當前幀數。

正交投影方程為：

Pt=Rt(St+Dt)+N

(1)

其中，Pt為圖像追蹤點；Rt為旋轉矩陣；Dt為平移矩陣；N(0,σ)為零均值高斯噪聲；St為形狀矩陣，表示為：

(2)

E步驟：考慮已知的運動和形狀估計ψ，在t幀時，對隱變量Zt的分布做出估計。定義q(Zt)為t時刻的概率密度分布：

q(Zt)=p(Zt|Pt,ψ)

(3)

M步驟:最小化期望負對數。

Q(P1,P2,…,PT|ψ)=Eq(Z1),q(Z2),…,q(ZT)[-logp

(4)

補充缺失跟蹤點：如果有部分的追蹤點丟失了，那么在M步驟里同樣沒有這些數據。用(*)表示對應的缺失的數據行，用P*表示一幀數據中數據不能被追蹤到的元素，它們能夠這樣被估計：

(5)

1.2 透視投影下的仿射迭代方法

根據文獻[3]，假設攝像機是標定的，可以忽略內參數。在透視投影下，空間點Stj在圖像平面的投影為stj，有如下關系：

mtjstj=RtStj+Dt

(6)

根據式(6)，可以求得：

(7)

(8)

由式(8)可知，透視投影和正交投影之間的差別在于投影因子λtj，定義一個追蹤矩陣：

(9)

因此，能夠用正交投影法恢復方程(9)中的標量λtj，得到物體透視投影下的修正投影點。

2 透視投影下的迭代非剛體重構方法

如果圖像序列存在遮擋的話，就會存在采不到數據的特征點，追蹤矩陣就會還有缺失的數據項，采用EM算法正是為了解決這個問題，同時也能增強算法的魯棒性。其次，透視投影過程中存在透視變形，使用文獻[3]提供的迭代方法，將投影結果逐步迭代到透視投影下。針對這些問題，提出在透視投影下的迭代非剛體重構方法，能夠較好地在真實透視投影模型下對非剛體進行三維重構。

迭代算法如下：

(2)更新跟蹤矩陣W;

(3)根據基于形狀基的EM算法，得到形狀Stj，Dt；

(4)由λtj=1+εtj=1+rj3Stj/dtz估算新的λjt;

(5)如果λjt不收斂,回到第(2)步。

經過數次迭代，最終逼近透視投影模型下的結果。

3 實驗結果與分析

實驗選擇了5 000幀面部表情連續變化的Frank圖像序列來驗證算法的有效性。Frank圖像序列每幀圖像具有68個特征點。實驗中，選取了簡化的攝像機模型，假設所有的特征點都在圖像中心，并且攝像機的參數在投影過程中不會改變。圖1給出了第101、149和191幀圖像的原始圖像及其對應的正視、側視和俯視重構結果。

圖1 基于形狀基非剛體運動重構結果

從圖中可以看出，該方法能夠準確地重構動態場景下人臉的非剛體三維結構。

為了定量分析在透視投影模型下重構非剛體結構方法的性能，表1給出了基于EM算法的形狀基方法和所采用迭代法重構結果的重投影誤差的對比結果，重投影誤差定義如下：

(10)

其中，W為原始測量矩陣；WF為重構三維結構的重投影矩陣。

表1 改進矩陣分解法和迭代方法的重投影誤差

從表1看出，相比基于EM算法的形狀基方法，提出的迭代法能夠很好地改進形狀基方法的準確性。

圖2中，第一步迭代的誤差對應于正交投影方法所產生的投影誤差。從圖中可以看出迭代算法的改進之處。所采用的迭代算法在第五到第六步之后開始收斂。

圖2 提出的迭代法每次重投影誤差

因為引入EM算法能夠有效解決數據丟失的問題，因此，圖3給出了在丟失特征點情況下所用迭代法的重投影誤差。可以看到迭代算法在數據丟失時依然有較好的魯棒性。

圖3 數據丟失的重投影誤差

4 結束語

透視投影下的非剛體三維重構中同時區分非剛體形變和透視形變是比較困難的。大多數非剛體三維重構算法通常進行了簡化，只考慮正交投影下的非剛體重構。為了解決透視投影下的非剛體重構問題，在基于形狀基的非剛體三維運動重構研究以及從動態圖像序列中恢復非剛體三維結構和運動信息的基礎上，將基于形狀基的EM算法和仿射迭代方法有機結合，并假設非剛體的三維形狀是剛性形狀基的加權線性組合，在正交投影下運用EM算法，解決追蹤點丟失的問題，提高算法的魯棒性。同時使用仿射迭代的方法，逐步修正投影點到透視投影模型下，逼近全透視投影攝像機模型下的結果，較好地實現了透視投影模型下較好的魯棒性以及重構效果。

[1] Bregler C, Hertzmann A, Biermann H.Recovering non-rigid 3D shape from image streams[C]//IEEE conference on computer vision and pattern recognition.[s.l.]:IEEE,2000:690-696.

[2] Torresani L,Hertzmann A,Bregler C.Learning non-rigid 3D shape from 2D motion[C]//NIPS.[s.l.]:[s.n.],2004:1555-1562.

[3] Gonzalez-Mora J,Torre F D L,Guil N,et al.Learning a generic 3D face model from 2D image databases using incremental structure-from-motion[J].Image and Vision Computing,2010,28(7):1117-1129.

[4] Lladó X,Bue A D,Oliver A,et al.Reconstruction of non-rigid 3D shapes from stereo-motion[J].Pattern Recognition Letters,2011,32(7):1020-1028.

[5] Khan I.Non-rigid structure-from-motion with uniqueness constraint and low rank matrix fitting factorization[J].IEEE Transactions on Multimedia,2014,16(5):1350-1357.

[6] 林義閩,呂乃光,婁小平,等.用于弱紋理場景三維重建的機器人視覺系統[J].光學精密工程,2015,23(2):540-549.

[7] 彭亞麗,劉侍剛,裘國永.一種線性迭代非剛體射影重建方法[J].西安交通大學學報,2015,49(1):102-106.

[8] 吳 悅,翁小蘭.非剛體三維運動圖像重建優化模型仿真[J].微電子學與計算機,2015,32(5):157-160.

[9] 李水平,吳 雨.一種融合紋理的三維圖像重建快速實現方法[J].計算機技術與發展,2014,24(5):138-141.

[10] 閆曉萌.基于稀疏逼近的非剛體三維運動重建研究[D].杭州:浙江理工大學,2016.

[11] 張珊珊,呂東輝,孫九愛.近光源光度立體三維重建誤差分析[J].計算機技術與發展,2015,25(1):168-172.

[12] 彭亞麗,劉侍剛,賁晛燁,等.基于非剛體的線性迭代相機自標定方法[J].電子學報,2016,44(5):1051-1054.

[13] 劉彥宏,王洪斌,杜 威,等.基于圖像的樹類物體的三維重建[J].計算機學報,2002,25(9):930-935.

[14] Christy S,Horaud R.Euclidean shape and motion from multiple perspective views by affine iterations[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(11):1098-1104.

An Iterative Non-rigid Reconstruction Method under Perspective Projection

DAI Long-li1，CAO Rong-rong1，RUAN Zong-cai1,2

(1.Research Center for Learning Science，Southeast University，Nanjing 210000,China;2.Key Laboratory of Child Development and Learning Science of Ministry of Education，Southeast University，Nanjing 210000,China)

Non-rigid three-dimensional reconstruction under perspective projection has both non-rigid deformation and perspective deformation,and it is difficult to distinguish them.Most of the non-rigid three-dimensional reconstruction algorithm is usually simplified,only considering the non-rigid body reconstruction in orthogonal projection.In order to solve the problem of non-rigid body reconstruction in perspective projection,after combination of the EM algorithm based on shape basis and the affine iterative method,a new algorithm for perspective projection is proposed.It uses the advantage of EM algorithm that can solve the problem of data point loss and of affine iterative method that is more accurate and thus can improve the robustness and reconstruction effect.In order to its effectiveness,an iterative reconstruction simulation experiment has been performed by selecting 5 000 consecutive Frank images with facial expressions,which indicates that it has good robustness and reconstruction effect under the perspective projection model,and can accurately reconstruct the non-rigid three-dimensional structure of human face under dynamic scene.

perspective projection;non-rigid;shape basis;three dimensional reconstruction

2016-09-29

2016-12-29 網絡出版時間：2017-07-05

全國教育科學規劃教育部重點課題(GQA106013)；江蘇省高校基本科研業務費基礎科研扶持項目(2242016K40040)

戴龍利(1991-)，男，碩士，研究方向為神經信息工程；阮宗才，博士，講師，研究方向為計算機視覺、可視化技術、神經信息工程。

http://kns.cnki.net/kcms/detail/61.1450.TP.20170705.1652.070.html

TP301

A

1673-629X(2017)08-0016-04

10.3969/j.issn.1673-629X.2017.08.004