三維變形體的因式分解重建方法

彭亞麗1，2，劉侍剛2，梁新剛2，廖福軒2

（1.陜西師范大學(xué)現(xiàn)代教學(xué)技術(shù)教育部重點實驗室，陜西西安 710062；2.陜西師范大學(xué)計算機(jī)科學(xué)學(xué)院，陜西西安 710119）

三維變形體的因式分解重建方法

彭亞麗1，2，劉侍剛2，梁新剛2，廖福軒2

（1.陜西師范大學(xué)現(xiàn)代教學(xué)技術(shù)教育部重點實驗室，陜西西安 710062；2.陜西師范大學(xué)計算機(jī)科學(xué)學(xué)院，陜西西安 710119）

為了從非標(biāo)定圖像序列中重建出三維非剛體的結(jié)構(gòu)，提出了一種三維變形體的因式分解重建方法.該方法首先利用圖像矩陣為低秩矩陣的特性，通過奇異值分解求到射影重建，利用投影矩陣的正交約束，實現(xiàn)射影重建到歐氏重建的過渡.該方法的優(yōu)點是，重建過程全部為線性求解，且將圖像及圖像點平等對待.模擬實驗和真實實驗數(shù)據(jù)結(jié)果表明，該重建方法具有魯棒性好和重投影誤差小等優(yōu)點.

變形體；重建；因式分解

從圖像序列中重建三維物體是計算機(jī)視覺的研究熱點［1-2］，自從Tomasi提出基于因式分解的三維重建方法［3］以來，許多重建方法都是基于該思想［4-5］.但這些方法要求物體做剛體運動，導(dǎo)致其應(yīng)用受到限制.

為了重建非剛體，Bregler等首先提出了非剛體可以由若干個剛體基元組成［6］，并重建了非剛體的三維結(jié)構(gòu)，但該方法實現(xiàn)極其繁瑣.后來許多非剛體三維重建方法都是基于Bregler的假設(shè)［7-8］.Brand在物體離相機(jī)比較近的情況下基于分解的方法進(jìn)行了重建［9］，但當(dāng)物體離相機(jī)比較遠(yuǎn)時，重建誤差較大；有些學(xué)者利用雙目視覺的方法對非剛體進(jìn)行三維重建［10］，但該方法不適合單目視覺系統(tǒng)；Llado等認(rèn)為非剛體運動中包含著剛體運動部分和非剛體運動部分［11］，利用剛體運動部分進(jìn)行重建，但很難對特征點進(jìn)行分類，因此，這種方法在實際應(yīng)用中很難推廣.

為克服上述問題，筆者提出了三維變形體的因式分解重建方法，該方法利用因式分解，求到相差一個變換矩陣的重建，再利用投影矩陣的約束關(guān)系，求解出該變換矩陣，完成到歐氏重建的過渡.該方法的優(yōu)點在整個重建過程中都是線性的，而且將所有圖像及圖像點都平等對待.

1 相機(jī)模型

假定相機(jī)模型為正投影模型，成像過程可表示為

其中，X=［x，y，z］T，為三維空間點；m=［u，v］T，為對應(yīng)的圖像點；P=［R，t］2×4，為投影矩陣，R和t分別為旋轉(zhuǎn)矩陣和平移向量的前2行.

假設(shè)有m幅圖像，每幅圖像上有n個對應(yīng)的圖像點，則式（1）可表示為

其中，i（i=1，2，…，m）表示第i幅圖像，j（j=1，2，…，n）表示第j個圖像點.對于第i幅圖像，有

對式（3）兩邊求和，則有

由于世界坐標(biāo)系可任意建立，因此，可假設(shè)世界坐標(biāo)系的原點位于物體中心，即有

將式（5）代入式（4），即有

當(dāng)所有圖像點都已知時，可利用式（6）對式（3）去除向量ti的影響，即式（3）可表示為

其中，m′i，j=mi，j-ti.

2 射影重建

當(dāng)物體做非剛體運動時，［Xi，1，Xi，2，…，Xi，n］在運動過程中是變化的，可認(rèn)為是由若干個剛性基元線性組合而成的［8］，即

其中，βi，k為權(quán)值，Bk為第k個剛性基元.

將式（8）代入式（7），有

由式（9）整理可得

若將所有圖像放在一起，則有

對于式（11）中的M2m×n矩陣，其秩為3l，因此，M2m×n不是一個滿秩矩陣.通過對M2m×n奇異值分解（Singular Value Decomposition，SVD），可求得P2m×3l和B3l×n，但從式（11）中可看出，P2m×3l和B3l×n之間相差一個非奇異矩陣T3l×3l，即

其中，P′2m×3l=P2m×3lT3-l1×3l，B′3l×n=T3l×3lB3l×n.

因此，該重建落在射影空間.

3 歐氏重建

通過SVD分解，可以求到一組射影重建P′2m×3l和B′3l×n，根據(jù)式（12），有

其中，P2m×3l為歐氏空間中的投影矩陣.

對于第i幅圖像，由式（10）可得

為描述方便，將式（13）中的T3l×3l和P′2m×3l表示為

由式（13）可得

將式（16）兩邊乘以其轉(zhuǎn)置，則有

其中，I2×2為單位矩陣.

4 實 驗

4.1仿真實驗

為比較文中方法和Llado方法［11］的重建精度，隨機(jī)地在一個單位球產(chǎn)生200個空間點，并將這些空間點分別分成3個和4個非剛體的剛體基元.當(dāng)分成3個剛體基元時，第1個剛體基元由前80個空間點組成，第2個和第3個基元各由60個空間點組成；當(dāng)分成4個剛體基元時，第1個剛體基元由前80個空間點組成，后面3個基元各由40個空間點組成.變化相機(jī)的參數(shù)以產(chǎn)生50幅圖像，并在圖像中加入0至2個像素的圖像噪聲，分別用文中方法和Llado方法進(jìn)行重建，在每個圖像噪聲下，各運行100次，計算重投影誤差，后取平均值，模擬實驗結(jié)果如圖1所示.

從圖1可以看出，在假設(shè)非剛體由3個和4個基元組成的情況下，文中方法的重投影誤差都要比Llado方法的重投影誤差約小15%，因此，文中方法的重建精度比Llado方法的重建精度要高，原因是Llado方法進(jìn)行重建時，將特征點分成做剛體運動和非剛體運動兩類，但分類誤差非常大，直接導(dǎo)致后續(xù)的重建誤差增大，而且Llado方法沒有將所有的圖像點平等對待，而文中方法不需要對特征點進(jìn)行分類，而且將所有的圖像點都平等對待，因此，Llado方法的重投影誤差要大.同時，從圖1中還可看出，非剛體組成成分越多（即非剛性基元越多，秩越大，非剛體運動越復(fù)雜），文中方法和Llado方法的重投影誤差都越大.

圖1　文中方法和Llado方法比較實驗

4.2真實實驗

為驗證文中方法的正確性，采用一個包括有300幅圖像的跳舞動作圖像序列，其中的兩幅圖像如圖2所示.在該圖像序列中，提取并跟蹤了75個特征點.利用這些特征點，用文中方法進(jìn)行非剛體的三維結(jié)構(gòu)及運動恢復(fù)，恢復(fù)結(jié)果如圖3所示.從圖3可看出，筆者的重建方法能夠有效地恢復(fù)出非剛體的三維結(jié)構(gòu)及運動.

圖2　跳舞動作圖像序列

圖3　三維重建結(jié)果

5 結(jié)束語

筆者提出了一種三維變形體的因式分解重建方法，該方法采用了線性求解的方法求解變換矩陣，且將圖像點平等對待.模擬實驗結(jié)果表明，該方法具有良好的收斂性、魯棒性，同時和Llado方法進(jìn)行比較顯示，文中方法的重投影誤差比Llado方法的重投影誤差約小15%.真實圖像實驗結(jié)果表明，筆者提出的重建方法是非常有效的.

［1］SHEEHAN M，HARRISON A，NEWMAN P.Automatic Self-calibration of a Full Field-of-view 3D n-laser Scanner ［J］.Experimental Robotics，2014，79（1）:165-178.

［2］PENG Y，LIU S，LIU F.Projective Reconstruction with Occlusions［J］.Opto-Electronics Review，2010，18（2）:14-18.

［3］TOMASI C，KANADE T.Shape and Motion from Image Streams under Orthography:a Factorization Method［J］. International Journal of Computer Vision，1992，9（2）:137-154.

［4］DIGNE J，STEINER D，ALLIEZ P，et al.Feature-preserving Surface Reconstruction and Simplification from Defectladen Point Sets［J］.Journal of Mathematical Imaging and Vision，2014，48（2）:369-382.

［5］彭亞麗，劉芳.一種組織進(jìn)化的遮擋點恢復(fù)算法［J］.西安電子科技大學(xué)學(xué)報，2013，40（4）:137-141. PENG Yali，LIU Fang.An Organizational Evolutionary Algorithm for Occlusion Recovery［J］.Journal of Xidian University，2013，40（4）:137-141.

［6］BREGLER C，HERTZMANN A，BIERMANN H.Recovering Non-rigid 3D Shape from Image Streams［C］// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE，2000:690-696.

［7］NOGUER F，F(xiàn)UA P.Stochastic Exploration of Ambiguities for Nonrigid Shape Recovery［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（2）:463-475.

［8］GARG R，ROUSSOS A，AGAPITO L.Dense Variational Reconstruction of Non-rigid Surfaces from Monocular Video ［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Piscataway:IEEE，2013:1272-1279.

［9］BRAND M.A Direct Method for 3D Factorization of Nonrigid Motion Observed in 2D［C］//Proceedins of the IEEE International Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE Computer Society，2005: 122-128.

［10］SHEN S.Accurate Multiple View 3D Reconstruction Using Patch-based Stereo for Large-scale Scenes［J］.IEEE Transactions on Image Processing，2013，22（5）:1901-1914.

［11］LLADO X，BUE A，AGAPITO L.Non-rigid Metric Reconstruction from Perspective Cameras［J］.Image and Vision Computing，2010，28（9）:1339-1353.

（編輯:齊淑娟）

Factorization reconstruction method for the 3D deformable structure

PENG Yali1，2，LIU Shigang2，LIANG Xingang2，LIAO Fuxuan2
（1.Key Lab.of Modern Teaching Technology of Ministry of Edu.，Shaanxi Normal Univ.，Xi’an 710062，China；2.School of Computer Science，Shaanxi Normal Univ.，Xi’an 710119，China；）

To recover the 3D deformable structure from an un-calibration image sequence，a factorization reconstruction method for 3D deformable reconstruction is presented.Based on the low rank constraint on the image matrix，the projective reconstruction can be obtained by single value decomposition.By using the orthogonality of the projective matrix，the Euclidean reconstruction is upgraded from projective reconstruction.The innovation of the method is that the solving of the 3D non-rigid reconstruction is linear and that all the images and the image points are treated uniformly.The experiments with both simulated and real data show that the method presented in the paper is efficient.

deformable structure；reconstruction；factorization

TP391.41

A

1001-2400（2016）01-0116-04

10.3969/j.issn.1001-2400.2016.01.021

2014-08-12 網(wǎng)絡(luò)出版時間：2015-04-14

國家自然科學(xué)基金資助項目（61402274，41271387）；中國博士后科學(xué)基金特別資助項目（200902594）；中央高校基本科研業(yè)務(wù)費專項資金資助項目（GK201402040，GK201302029）；陜西師范大學(xué)學(xué)習(xí)科學(xué)交叉學(xué)科培育計劃資助項目；陜西師范大學(xué)實驗技術(shù)研究資助項目（SYJS201314）；陜西師范大學(xué)大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計劃資助項目（cx14023）

彭亞麗（1979-），女，講師，E-mail:pengyl@snnu.edu.cn.

網(wǎng)絡(luò)出版地址：http://www.cnki.net/kcms/detail/61.1076.TN.20150414.2046.018.html