基于二維圖像的三維服裝重建

潘 博， 鐘躍崎,2

(1. 東華大學 紡織學院， 上海 201620； 2. 東華大學 紡織面料與技術教育部重點實驗室， 上海 201620)

二維服裝重建對于虛擬商品展示、虛擬試衣技術等在提高用戶體驗、增強沉浸感方面具有重要的現實意義。盡管三維模型可由人工手動創建，但該方法不適于工業化應用。掃描儀的出現填補了三維重建技術的空白，不僅提供了現成的工具，且獲得的模型精度高，但受限于其設備價格昂貴，重建模型的規模和形狀，以及獲取的模型不包含紋理，無法進行進一步的完善[1]等問題，研究者們開始將研究方向聚焦在二維圖像到三維模型的轉化問題上。運動結構恢復(SFM)[2-3]和視覺即時定位與地圖構建技術(VSLAM)是2種常用于二維圖像恢復三維信息的方法。VSLAM被廣泛應用在機器人定位和場景的實時構建技術中，但同樣可用來恢復二維照片中的三維信息，與SFM方法最顯著的區別在于，VSLAM需要得到二維圖像的序列先驗，且不支持離線算法，鑒于適用性的考慮，本文基于SFM方式進行展開。SFM是一種通過收集二維圖像，并利用圖像中的對應關系估計相機姿態，還原三維信息的一種技術，SFM包含3個主要步驟：1)圖像內特征(包括點、線、顏色等多種信息)的提取與匹配；2)相機姿態估計；3)利用估計的相機姿態和提取的特征點恢復三維結構(最小化重投影誤差的方式)。

三維重建技術在紡織行業中早有應用：楊曉波等[4]設計了一種儀器利用三維重建織物輪廓來評價織物起皺，其還在設計過程中結合模糊聚類與Woodham[5]的光度視覺技術進行織物種類的識別；沙莎等[6]利用織物物理模型、線圈模型和紗線真實感三方面對織物外觀進行三維模擬研究等。目前，三維重建主要應用在紗線、織物的三維動態仿真以及織物評價等方面，針對服裝模型整體的重建研究較少，尚處在起步階段。該方法旨在從若干幅圖片中計算提取出目標的三維深度信息，重構出具備真實感的三維服裝模型。

此前已有不少報道對于圖像的三維重建進行過相關研究[7-9]，但大部分工作集中于建筑、文物等剛性物體的重建，且多數研究僅停留在點云重構層面。然而，作為典型的柔性材料，這種技術路線下的服裝三維重建往往存在由自遮蔽問題所導致的點云模型局部缺失，進而引起三維表面網格重構錯誤。針對此問題，本文提出利用點云融合提高網格模型逼真度的改進措施，同時針對不同的圖像拍攝方式獲取的模型效果進行比較，并給出重建結果與深度相機獲取的點云數據的比對結果。

圖2 增廣式SFM流程示意Fig.2 Incremental structure from motion pipeline

1 三維服裝重建流程簡介

本文三維服裝模型重建的具體流程包括如下步驟：首先，提取二維圖像特征點，然后利用SFM構建服裝模型的稀疏點云，通過SFM恢復的相機姿態利用多視角立體視覺(multi-view stereo)獲取服裝模型的稠密點云；之后使用泊松重建獲取模型網格；最后應用法線映射貼圖技術得到包含紋理的服裝模型。利用二維圖像獲取三維模型的重建過程效果展示如圖1所示。

圖1 服裝模型重建效果展示Fig.1 Garment reconstruction result display. (a) Sparse point cloud; (b) Dense point cloud; (c) Mesh; (d) Texture mapping

1.1 SFM點云稀疏重建

SFM可將不同觀察角度得到的待重建物體的二維圖片重建生成三維模型的稀疏點云。作為一種端到端的重建技術，與其他三維重建技術相比，這種方式不需要對相機進行標定，可直接從二維圖像中推導出相機姿態。按照SFM過程中圖像添加順序的拓撲結構，SFM可分為增廣式SFM、全局式SFM以及混合式SFM。增廣式SFM的優勢在于對錯誤的特征匹配對更加魯棒，總體精度更高；而缺點在于重建時間較長，且隨著相機注冊步驟會存在誤差累積的現象。全局式SFM與之相反，雖然提高了重建效率，避免了相機注冊過程中的誤差累積，但對于錯誤的匹配對魯棒性差，難以修正。混合式SFM則是二者在效率和效果上的折中。鑒于本文以服裝作為重建對象，數據集較小，全局式SFM的效率優勢并沒有明顯體現且誤差累積不顯著，所以本文主要以增廣式SFM進行討論。增廣式SFM[10]技術的流程示意圖如圖2所示。

1.2 多視角立體視覺稠密點云重建

鑒于SFM通過特征匹配重構三維點云，因此，由其生成的點云只能是稀疏的點云模型。在此基礎上，本文引入多視角立體視覺[11-12]技術，該技術是對二維圖像中每個像素進行匹配，從而使得所得三維點的密集程度可較為接近圖像展示出的清晰度。具體流程如下。

1)計算多張圖像的Harris角點，并利用差分金字塔的特征點檢測得到圖像顯著區域的稀疏面片，以這些匹配好的初始特征點作為初始面片。

2)使用與文獻[13]中的類似技術，對稀疏點云面片附近的像素進行擴展獲取對應關系，最終得到一系列稠密的點云。

3)利用SFM獲取的相機內外參數得到極線幾何約束，過濾掉錯誤的匹配對。

為得到較好的重建效果，需要對步驟2)、3)進行多次迭代。在本文中通過大量實驗發現，將迭代次數設置為3，可得到質量較好的三維服裝表面稠密點云。下面本文通過泊松重建將點云轉換為三維世界中更為常用的網格式拓撲結構。

1.3 泊松重建

泊松重建是Kazhdan等[14]于2006年提出的網格重建方法，其核心思想是利用空間點云代表物體表面位置，三維點的法向量代表內外的方向。在具體實現過程中，該方法需要通過八叉樹(octree)數據結構存儲所輸入的三維點集，即根據采樣點集的位置定義八叉樹，然后細分八叉樹使每個采樣點都落在深度為D的葉節點中，因此，重建后表面細節程度與深度D密切相關。圖3示出稠密點云經不同八叉樹深度所得泊松重建效果。可知：泊松重建過程中八叉樹深度為5時，無法有效還原重建對象形態；深度為8時，網格模型已基本還原服裝形態但缺少細節；深度為11和13時都可有效還原模型形態及細節。經大量的實驗，平衡考慮效率和網格細節2種因素，本文最終選擇迭代深度為11的泊松重建效果作為原始服裝對象的三維重建模型。

3.1.2 基質土配制 基質（或疏松大田土）∶腐熟有機肥和草木灰∶過篩的陳爐渣（或細綿沙）=5∶3∶2，每立方米營養土加入0.5 kg尿素，或10 ml親土一號或土壤殺菌劑，混合均勻后將拌好的基質土裝入72孔的穴盤或8 cm×8 cm的營養缽，然后擺放于搭好的苗床上。

圖3 不同八叉樹深度泊松重建的表面Fig.3 Poission reconstruction results by different octree depth

2 改善模型重建效果的方法

此前多張二維照片重建三維對象較為成功的應用大都集中在大規模場景重建中，在將其應用在三維服裝這種較小規模的對象重建時，需要根據紡織服裝行業的需求對算法進行優化和改進，因此，本文通過實驗探究，給出通過點云融合解決稠密點云缺失問題的可行性，測試了拍攝方式對點云重建效果以及圖片預處理對貼圖效果的影響，并在此基礎上獲得了服裝網格與包含紋理圖案的服裝模型。

2.1 基于最近點迭代的點云配準融合

通過服裝圖像構建稠密點云的過程中，往往會出現錯誤重構的問題，如圖4所示。

圖4 泊松重建網格錯誤重構Fig.4 Mesh reconstruction error.(a) Initial dense point cloud; (b) Reconstructed mesh effect before improvement; (c) Dense point after fusion; (d) Mesh effect after improvement

錯誤重構的原因在于2個局域內的點距離很近，且二維圖像上彼此存在遮蔽現象。而事實上，這2個局域分屬不同的語義空間，如袖子和衣身。在這樣的前提下會出現點云缺失，導致后續網格重建過程表面被錯誤重構，出現“黏連”現象。

為解決該問題，本文提出采用分批拍攝分批重建的方式，分別重建包含衣袖區域的點云P和部分包含衣袖區域的點云Q，并通過最近點迭代(ICP)的方式實現點云P與Q的配準融合。

2.1.1 ICP算法

ICP算法是一種點云的配準方式，在計算機應用領域，三維點云配準在表面重建、相機定位等問題中有著重要應用，可理解為給定2個不同坐標系的三維數據點集，找出2個點集的仿射變換。

Qi=RPi+T

式中，N表示待匹配點云的數目。

2.1.2 點云融合

根據上述算法，用同一件服裝在模特身上分 2次進行圖像采集工作，分別獲取P和Q，具體穿套方式如圖5所示。

圖5 圖像采集過程中不同的穿套方式Fig.5 Different wearing types during images shooting

圖6示出點云融合前的準備工作以及融合后的模型效果。為更準確地對點云模型進行融合，在配準步驟中刪除了如圖6(a)衣袖部分的點云得到如圖6(b)所示的點云模型，用圖6(b)點云和包含衣袖部分的點云配準后融合，服裝擺縫位置的點云及網格效果分別如圖4(c)、6(c)所示，融合后稠密點云整體效果如圖6(d)所示。

圖6 稠密點云的配準實現Fig.6 Realization of dense point cloud registration. (a) Dense point cloud before cropping; (b) Dense point cloud after cropping; (c) Reconstructed mesh after fusion;

2.2 圖像數量與拍攝方案對模型的影響

根據圖像采集方式的不同，本文將拍攝方式定義為如圖7所示的環式和半球式拍攝方案 2種。環式是保持固定拍攝距離，均勻環繞重建對象拍攝采集圖像的方法；半球式是在環式拍攝重建對象的同時，通過改變拍攝距離、相機高度以及相機方向等因素，增加重建對象細節圖像拍攝的一種方法。

圖7 拍攝方案Fig.7 Shooting scheme. (a) Ring style; (b) Hemisphere style

為探究圖像數量對模型重建效果的影響，本文采用環式拍攝方式共采集了100張待重建服裝的圖像，并從中均勻篩選40、60、80、100張圖像分別用于重建任務。圖8示出不同拍攝方案和圖像數量的稠密點云重建效果。按重建圖片數量遞增的順序獲取的點云數量(單位：百萬)依次為0.35、1.3、1.7、1.8。通過觀察結果不難看出，點云數量隨著輸入圖像的增加而增加，且數量大于60時已可完整還原重建對象的空間形態。值得強調的是，雖然點云片數量不斷的增加，但圖8(b)、(c)、(d)中的模型都存在著肩部點云稀疏的問題，如圖9(a)所示。這不利于后續的網格重建工作。

圖8 重建效果對照Fig.8 Reconstruction effect comparison. (a) Ring/40; (b)Ring/60; (c) Ring/80; (d) Ring/100; (e) Hemisphere/80

圖9 不同拍攝方案下肩部點云的效果對比Fig.9 Point cloud comparison on shoulder parts with different shooting scheme. (a) Ring; (b) Hemisphere

前文比對實驗中，環形拍攝方式獲取的二維圖像中存在著大量的重疊區域，有利于重建對象特征點的匹配以及三維空間點位置的計算，但過于密集的重疊帶來的冗余信息可能在增加了計算資源消耗的同時，卻并沒有帶來有效的效果提升，導致前面提及的肩部點云稀疏問題難以改善。為此，本文采用2種不同拍攝方式各拍攝80張圖像進行重建，半球式重建方案分別選取了50張環繞服裝拍攝的圖像以及30張不同拍攝角度和服裝細節的圖像，以此探究拍攝方式對重建效果的影響(見圖8(e))。結果顯示，輸入同樣數量的圖像，半球式與環式拍攝方案都完整重建出了服裝的空間形態，且重建出的點云數目基本相同，但半球式拍攝方案更好地改善了肩部點云稀疏的現象，如圖9(b)所示。

綜上分析可認為，在對服裝的二維圖像進行三維重建任務時，圖像數目多于60張即可有效構建重建對象的空間形態，半球式拍攝方案增加了圖像的表面細節，對特定區域點云稀疏問題有更好的改善效果。

2.3 三維重建精度

為驗證本文提出的服裝重建算法精度，從 kinect V2 型設備掃描獲取的點云數據中篩選出服裝點云作為基準進行測試。因為不涉及標定步驟，本文將重建的服裝網格模型進行縮放后，與掃描得到的點云數據經泊松重建后的網格進行比對，以此來探究誤差的大小與分布情況，結果如圖10所示。顏色深淺不同代表掃描的點云數據到重建服裝的歐式距離的絕對值。可看出，本文算法重建的服裝與掃描數據較為相近，最大誤差為5.8 mm，標準偏差為0.6 mm。

圖10 重建結果誤差分布Fig.10 Reconstruction result error distribution

3 結 論

本文針對服裝二維圖像重構三維模型的問題，提出了一種利用最近點迭代(ICP)點云配準算法處理服裝點云模型擺縫位置點云缺失的問題。由實驗驗證可知：本文提出的基于點云融合技術的服裝二維圖像三維重構方法可有效避免服裝模型網格重建的“黏連”現象，有效提高了模型真實感。泊松表面重建工作中八叉樹深度設置為11時，可在有效重建服裝空間形態、保留網格細節的同時兼顧重建效率。從稠密點云比對效果來看，環式拍攝方案始終存在模型肩部點云稀疏的缺陷，本文定義的半球式拍攝方案結合了重疊的環形圖像以及改變拍攝視角、拍攝距離的圖像，結果表明，半球式拍攝方式可有效改善點云稀疏的問題，可更有效地利用計算資源提高重建效果。本文最終利用拍攝的二維服裝圖像實現了服裝模型的三維重建工作，獲得的三維模型完整保留了目標服裝的空間形態和網格細節，保證了模型真實性，對服裝虛擬展示等應用領域有一定參考意義。