多視角單目服裝圖像三維重建算法的研究與實現

胡新榮 曾瀟 劉軍平 彭濤 何儒漢 陳常念

摘 要：為降低服裝三維模型的重建難度，提升三維服裝模型的重建效率，提出一種基于多視角單目的服裝三維重建方法，該方法首先獲取服裝圖像序列，然后對服裝圖像序列進行實例化分割獲得含服裝部分的輪廓信息，使用SIFT算法提取每張圖像的特征點和匹配對，加入雙重約束去除誤差匹配對。然后進行稀疏點云以及稠密點云的重建，最后使用泊松重建還原服裝表面細節。結果表明：在多視覺單目服裝三維重建過程加入實例分割和雙重約束后可以將特征的匹配率提升至88.3%，三維重建的速度較傳統方法提升了22%。該方法在服裝三維模型重建的過程中也能較好還原服裝表面細節。

關鍵詞：服裝重建;實例分割;特征點檢測;特征點匹配;點云

中圖分類號： TP391.41

文獻標志碼：A

文章編號：1009-265X（2021）06-0084-07

Research and Implementation of 3D Reconstruction Algorithm for Images of

Multi-view Monocular Garment

HU Xinrong， ZENG xiao， LIU Junping， PENG Tao， HE Ruhan， CHEN Changnian

（School of Computer Science and Artificial Intelligence， Wuhan Textile University， Wuhan 430200， China）

Abstract： In order to reduce the difficulty of 3D garment model reconstruction and improve the efficiency of 3D garment model reconstruction， a 3D reconstruction method based on multi-view monocular garment is presented. In this method， the garment image sequence is firstly obtained， and then the contour information of garment is obtained by instantiating and segmenting the garment image sequence. The feature points and matching pairs of each image are extracted by using SIFT algorithm and error matching pairs are eliminated by adding dual constraints. Then， sparse point cloud and dense point cloud are reconstructed， and finally the surface details of the garment are restored by Poisson reconstruction. The results show that after adding instance segmentation and dual constraints to the 3D reconstruction process of multi-view monocular garment， the matching rate of features can increase to 88.3%， and the speed of 3D reconstruction can increase by 22% compared with the traditional method. This method can also restore the surface details of the garment properly in the process of 3D model reconstruction.

Key words： garment reconstruction; instance segmentation; feature point detection; feature point matching; point cloud

收稿日期：2020-03-20? 網絡首發日期：2020-12-17

基金項目：國家自然科學基金項目（61103085）;湖北省高校優秀中青年科技創新團隊計劃項目（T201807）

作者簡介：胡新榮（1974- ），女，武漢人，教授，博士，主要從事圖形圖像處理方面的研究。

隨著互聯網技術和虛擬現實技術的發展，三維服裝模型廣泛應用于服裝設計、個性化定制、虛擬試衣、影視娛樂、動漫游戲各領域[1]。三維服裝模型的制作同時也吸引了越來越多服裝及圖形學相關領域研究者的興趣。由于服裝具有材質柔軟、易變形、易褶皺及結構復雜等特性，使得服裝三維建模相較于其他剛性物體建模具有更大的難度。

服裝三維重建根據方法的不同可以分為以下四類：幾何法、掃描法、深度學習法、多視角法。幾何法的基本原理是基于物體都是由許多微小幾何體構成的集合，常用于幾何法制作服裝三維模型的工具有CAD、Maya、CLOTH[2-4]等，這些工具可以較好地完成服裝的建模。但是，該類工具操作起來難度較大，耗時較長，且無法準確地還原服裝表面的細節。掃描法基本原理是利用脈沖的反射時間從而計算服裝的表面細節，這類方法常用的工具有Kinect、Li-Diar等[5]。掃描法可以快速有效地完成服裝表面的重建，但該類設備對應的場景有限，其價格也較為昂貴，難以大規模普及。深度學習法的基本原理是通過大量的服裝數據訓練，得到合適的服裝三維重建模型，這類方法對數據量要求極高，且得到的服裝模型結果有較大的局限性[6]。多視角法根據相機數量的不同又可分為雙目多視角和單目多視角[7-9]，其基本原理都是圍繞服裝表面拍攝一組圖像序列，然后根據一定圖形幾何學原理生成三維模型。其中，雙目多視角在操作過程中需要將多個相機維持在一個固定距離，相比單目多視角而言不僅增加了成本也加大了操作難度。此外，單目多視角在服裝三維重建過程中具有成本低、操作簡單、魯棒性好等優勢。

本研究從傳統單目多視角出發，拍攝一組服裝圖像序列，然后使用Mask R-CNN[10]用于服裝目標檢測和語義分割從而降低后期生成點云的噪聲，也加快了三維重建的速度。得到語義分割的服裝圖像之后使用SIFT算法提取服裝圖像的特征點和匹配對，由于SIFT在粗匹配過程中會產生大量的誤差匹配對，在此基礎上，本研究加入雙重約束，有效地減少了特征點誤差匹配對。接著使用SFM算法對特征點進行稀疏點云重建，再使用多視角密集匹配算法CMVS/PMVS將稀疏點云轉為稠密點云。最后使用泊松表面重建算法將稠密點云轉為光滑連續的服裝三維模型。

1 圖像獲取和服裝輪廓提取

二維服裝的圖像獲取是服裝三維重建的第一步，獲取的圖像的質量將直接影響后續系列的重建操作。服裝輪廓的提取是為了減少后續的計算量，同時減少冗余點云的產生。

1.1 圖像獲取

由于視角和遮擋等原因，單張圖像往往無法包含一個物體表面的所有信息，為獲得服裝表面更多豐富的細節，需要對服裝表面進行多角度拍攝從而獲得一組圖像序列。拍攝時，所選擇服裝的顏色應避免整體單一，并且應避免其顏色與所拍攝背景顏色相同。同時服裝材質的選擇應為質地清晰紋理分明的材質，如服裝表面帶有條紋或格子。實驗拍攝對場地無特殊要求，僅光源足以清晰的拍攝出主體即可。手持相機順時針均勻的圍繞服裝表面拍攝一組圖像序列，拍攝的每張圖像須包含主體在此角度的全部信息。進行拍攝時相鄰兩張圖像的角度不能超過30°，由SIFT算法特性決定，在兩張圖像角度相差大于30°時，其匹配對明顯減少，從而導致重建效果不理想。圖1為圖像拍攝方式，圖2為拍攝的部分服裝圖像序列。

1.2 服裝實例分割

實例分割是指檢測圖像中的目標物，并完成對目標物的分類、圖像分割以及目標區域定位。本研究使用Mask R-CNN用于服裝圖像的實例分割，Mask R-CNN算法具有操作簡捷、識別精度高等優點，是目前最優秀的實例分割算法之一。Mask R-CNN的基本思想是先用RPN（Region proposal network）區域建議網絡對圖像進行檢測并找到圖像中的ROI（Region of interest）候選區域，再使用卷積層提取圖像中所有的特征，隨之使用ROIAlign對特征進行檢測并通過FCN將圖像中不同實例進行分類，最后得到目標實例的結果。

實驗選用DeepFashion、COCO數據集，同時結合實際情況采用Lableme圖像標識工具完成對服裝圖像的標識處理。香港中文大學所開放的數據集DeepFashion，總共涵蓋80多萬張不同場景、角度各異的買家秀服裝圖像。

Mask R-CNN實例分割的網絡結構分為兩部分：Faster R-CNN[11]檢測器和FCN，流程如圖3所示。

Faster R-CNN由兩部分組成：RPN和ROI Pool。RPN的主要功能是選取目標物候選框并對ROI進行分類。ROI Pool則是對每個候選框的特征進行提取，然后進行分類和回歸操作。

FCN是對Faster R-CNN提取的候選框添加掩模，然后對目標對象進行分割的操作。其中掩模表示的是各個候選框之間的位運算。

本研究模型選用101層的深度殘差網絡ResNet101，通過該網絡的使用能夠從第四階段對應的最終卷積層完成特征的提取處理操作。在實驗訓練過程中，是將圖像作為中心，將目標圖像邊長尺寸相對較小的一側歸一化處理至800像素，類似Faster RCNN完成其相應參數的設置。

在實驗訓練過程中，各樣本的ROI均存在一個與之對應的損失函數（Loss，L），L的相關定義如式（1）：

2 圖像特征點檢測和匹配

服裝圖像特征點的檢測和匹配的好與壞直接影響后續SFM稀疏點云的質量。本研究關于特征點的提取與匹配使用的是SIFT算法，由Lowe[12]提出，其具有較好的尺度、旋轉、平移不變性。

2.1 特征點檢測

SIFT特征點的檢測分為5步，如圖4所示，分別是尺度空間的構建、極值點的檢測、去除邊緣效應點、關鍵點主方向的確定、描述子。

a）構建尺度空間需要依賴高斯濾波器G（a，b，σ）：

式中：I（a，b，σ）表示為一個尺度空間，M（a，b）表示為原圖像，G（a，b，σ）為高斯濾波核，a，b表示為服裝圖像的像素位置，表示卷積運算，σ表示為尺度空間，其值越小，表示圖像越平滑，對應的圖像尺度也就越小。

根據σi的取值不同，可以得到一組尺度空間。然后對這組尺度空間的圖像進行降采樣處理得到只有原圖像大小的二分之一的一組尺度空間。對第一組尺度空間進行多次降采樣得到O層數據。

其中O層的求解方法如下：

為了使算法具有尺度不變性，還需對同一組中尺度大小不一致的相鄰圖像進行相減得到高斯差分金字塔D（a，b，σ）。

式中：k為整數。

b）極值點檢測。在高斯差分金字塔中尋找極值。若高斯差分金字塔中某一像素點同時大于或小于同一尺度中周圍8個位置，以及上下相鄰兩個尺度18個點位置時，將該點列為極值點。進一步將檢測到的極值點作泰勒展開，得到其精準極值點位置。

c）去除邊緣點。上一步得到的極值點中有比較多的多余點，因此需要使用Hessain矩陣，若高斯差分金字塔中對a，b的二階偏導之和與a，b二階混合偏導的差之間的比值小于給定的閾值，稱該點為邊緣點，應予以剔除。

d）確立主方向。根據步驟c）中留下的最終特征點，以其特征點為圓心，以該特征點所在高斯圖像尺度的1.5倍為半徑作圓，統計圓內所有像素的梯度方向以及其梯度幅值，依據統計得到的最多數據值為主方向。

e）描述子。根據關鍵點的主方向，先將圓內的16個子區域旋轉成與主方向一致。然后統計每個子區域中8個方向上的數值，構成含有128個維度的向量。最終，SIFT特征點檢測結果如圖5所示。

2.2 特征點匹配

SIFT獲取特征點之后，接下來需要進行特征點的匹配。通常判定兩個描述子之間是否存在相似性使用歐氏距離表示。根據特征點提取的過程知道描述子是具有128個維度的向量。假設其中一個經由SIFT提取的描述子為Xi=（Xi1...Xi128），另一待匹配的描述子為Yi=（Yi1...Yi128），這兩個描述子經歐氏距離計算的過程如下：

經過上述的歐式距離可以得到比較多的匹配對，由于歐氏距離計算的是向量之間的距離，卻沒計算不同向量之間的相關性。所以還需將歐氏距離得到的匹配對進一步篩選。因此，在歐氏距離基礎上加入余弦相似度和切比雪夫距離作為雙重約束用于過濾粗匹配對。余弦相似度檢測兩向量的特征關系時，當余弦值越接近0時，越說明兩向量不相關，即為誤匹配點，應予以剔除。

最后，通過Ransac（Random sample consensus）隨機采樣一致方法作為最后的提純，得到最佳匹配對結果。Ransac算法是一個迭代不斷尋找最優解的過程。其具體步驟為：首先隨機選取四對匹配點，根據這四對匹配點建立一個初始的模型。接著將該模型用于檢測其他匹配點，并統計其中的誤差匹配點數目是否滿足某一閾值。若滿足則將該模型作為最終方法，若不滿足，然后重建選取四對匹配點完成上述過程。但若特征點匹配過程中誤差對較多的時候，那么此時加入Ransac算法反而會降低匹配精度同時減少正確的匹配對數目。為此，對Ransac算法進行了改進。

假設兩幅圖像中存在一組正確的特征點匹配對分別是（Xi，Yi），（Xj，Yj），其中d（Xi，Xj）表示兩個維度向量Xi和Xj之間的距離，同理d（Yi，Yj）表示Yi和Yj的距離。因為是在一組正確匹配對，因此d（Xi，Xj）和d（Yi，Yj）兩者間的距離也相似。相對應的，若相鄰兩幅圖像的左圖和右圖中的Xi和Xj的距離與左圖中Yi和右圖中的Yj距離相似，可以認為這兩點之間存在匹配關系，于是提出以下約束函數關系：

式中：D（i，j）表示的是d（Xi，Xj）和d（Yi，Yj）的平均距離，e（i，j）表示e（-tij），e（-tij）為e（-tij）=d（Xi，Xj）-d（Yi-Yj）D（i，j）即Xi與Yi和每對潛在點的距離相似差異。

具體實現步驟如下：

首先求出所有ν（i）的值，然后計算ν（i）的平均值ν，若ν（i）大于0.8倍的ν，認為這兩點之間存在正確匹配，則將該兩個數據進行保留，否則，刪除。最后，將保留得到的一組精度較高的特征點通過Ransac迭代方式進行最后提純。

圖6為特征點匹配效果圖。其中圖6（a）表示為僅為SIFT特征點匹配結果，圖6（b）為Ransac算法提純后效果，圖6（c）為加入雙重約束后效果。其特征點匹配數目實驗分析如表1所示。

根據表1中數據可知，在傳統SIFT特征點匹配過程中，能夠提取較多的匹配對，其匹配的平均準確率為62.2%，無法滿足服裝三維建模過程的精度。Ransac算法能夠較大程度提高特征點的匹配率，其平均準確率為84.3%，但由于Ransac在匹配過程中同時也剔除了較多的正確匹配對，使得特征匹配對數目較少。針對SIFT特征點匹配率低、Ransac提取特征匹配對數少，加入雙重約束即余弦相似度約束和Ransac前置約束，其特征匹配準確率為88.3%，可以有效提高其匹配對同時提升匹配的準確率，這將提高服裝模型重建過程中點云的數量，細節還原更加逼真。

3 服裝三維重建

3.1 稀疏點云重建

選用SFM（Struct from motion）[13]算法對服裝進行稀疏點云重建。SFM算法具有迭代性，第一步選擇匹配對數目最多的相鄰兩幅圖像作為算法的開始，通過兩幅圖像之間的匹配對信息使用三角測量得到三維點云信息，此時得到的點云信息對應著真實服裝在空間中的部分特征。依此方法逐漸加入更多服裝圖像從而得到更多的三維點云信息。最后通過最小化重投影誤差（Bundle ajustment，BA）[13]方法進行優化。

最小化重投影誤差算法使用的是非線性最小二乘法技術[14]，重投影誤差計算的式為：

式中：n表示三維點個數，m表示服裝圖像總數量，Xij表示第j張服裝圖像上的第i的三維點，vij表示在第j張服裝圖像上第i個三維點的映射系數。

當映射系數為1時，說明兩者有映射關系，若映射系數等于2則說明沒有映射關系。aj表示的是每幅圖像對應的相機，bi表示三維點為i的向量。函數Q（aj，bi）表示的是在三維點bi在aj相機下對應的投影位置，即預測值，d則表示點坐標與預測點坐標的空間距離。

3.2 稠密點云重建

SFM算法對服裝進行三維重建后，得到的是具有低點云密度的三維特征點，包含服裝信息較少。為了使服裝模型更加飽滿還需要對稀疏點云進行稠密重建。本研究使用CMVS/PMVS[13]多視角密集匹配進行服裝的稠密重建。CMVS（Clustering multi-view stereo）可以對SFM得到的稀疏點云進行聚簇分類以及優化，減少密集匹配所需的時間從而提高效率。PMVS（Patch-based multi-view stereo）對得到的密集匹配進行匹配、擴展以及過濾。

PMVS方法是基于區域增長[14-17]：首先使用Harris和高斯差分查找圖像中的特征點t，然后在其他圖像中找到和t相匹配的特征t，組成一個匹配集合T。再根據三角測量公式將匹配集合演變為空間三維點云，通過迭代在已有稀疏點云面片的基礎上不斷增加點云的密度，從而得到稠密點云;最后將得到的稠密點云使用濾波算法進行矯正，從而得到一個完整的服裝三維稠密點云。

3.3 泊松表面重建

稠密點云得到的服裝三維模型，中間仍然包含許多孤立的三維點集合，從而導致服裝表面出現許多難以修復的孔洞。采用泊松表面重建方法[18]，對稠密點云數據求解泊松方程，從而得到表面連續光滑的服裝三維表面。

泊松表面重建的流程可以分為4個部分：離散化、向量場的創建、求解泊松等式、提取等值面。為了將泊松公式離散化，首先創建函數空間F，然后定義一個八叉樹，將稠密點云集合存入八叉樹節點。為提高八叉樹的搜索效率還需通過三線性插值方法創建向量場。通過向量場求解泊松方程得到指示函數的值。最后根據指示函數求解等值面，并通過平均值法將等值面進行提取，隨后通過移動立方體得到最終服裝模型。

4 結果與分析

采用小米Max3手機拍攝的一組服裝圖像序列，實驗環境為Ubuntu16.04 64位、C++、Clion。對于拍攝環境沒有嚴格要求，以服裝作為目標物，繞其表面拍攝一圈。加入Mask R-CNN作為服裝的實例分割降低點云噪聲，在特征點匹配過程加入雙重過濾算法優化特征點的匹配精度。圖7、圖8、圖9分別表示稀疏點云效果、稠密點云效果以及完整服裝三維模型效果。表2為與傳統實驗數據對比實驗結果，表明加入Mask R-CNN作為服裝的實例分割降低點云噪聲、降低重建所需時間。加入雙重約束作為過濾可以有效減少誤差匹配對，提高了特征點匹配的精度。本研究重建實驗具有較好的魯棒性。

5 結 語

本研究在SIFT特征匹配基礎之上加入雙重約束過濾算法能夠減少三維重建的時間，降低特征點誤匹配對情況，從而提升服裝三維重建的效率和效果，在單目圖像重建算法的性能方面有較大的改善。雖然在多視角單目服裝圖像三維重建方面取得了初步進展，但仍然存在不足，如重建所需圖片較多，耗時較長無法達到實時重建的效果，重建時沒考慮遮擋的數據點等等。下一步工作可以通過服裝對稱性、插值法增加被遮擋的數據點云的考慮來提高重建性能。

參考文獻：

[1]遲曉琳.談舞蹈服裝設計在3D數字游戲中的應用[J].藝術教育，2018（1）：186-187.

[2]張菲菲.基于三維掃描的旗袍CAD樣板參數化設計[D].蕪湖：安徽工程大學，2019.

[3]郭丹，商書元.基于Maya技術的虛擬服飾模型構建[J].電腦知識與技術，2016，12（35）：240-241.

[4]黃益品.CLO3D技術在服裝款式設計中的應用研究[J].中國文藝家，2019（9）：103.

[5]李健，李豐，何斌，等.單Kinect+回轉臺的全視角三維重建[J].數據采集與處理，2019，34（2）：205-213.

[6]DANˇ REK R， DIBRA E， ZTIRELI C， et al. Deep-Garment： 3D garment shape estimation from a single image[J].Computer Graphics Forum， 2017，36（2）：269-280.

[7]王欣，袁坤，于曉，等.基于運動恢復的雙目視覺三維重建系統設計[J].光學精密工程，2014，22（5）：1379-1387.

[8]KANAZAWA A， BLACK M J， JACOBS D W， et al. End-to-end recovery of human shape and pose[C]//CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA. IEEE， 2018：7122-7131.

[9]WANG X， YUAN K， YU X， et al. Design of binocular vision 3D reconstruction system based on motion recovery[J]. Optics and Precision Engineering， 2014，22（5）：1379-1387.

[10]HE K M， GKIOXARI G， DOLLAR P， et al. Mask R-CNN[C]//2017 IEEE International Conference on Computer Vision （ICCV）. Venice. IEEE，2017：6870-6878.

[11]REN S Q， HE K M， ROSS G， et al. Faster R-CNN： Towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017，39（6）：1137-1149.

[12]LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision， 2004，60（2）：91-110.

[13]張平，王山東，黃瑾娉，等.基于SFM和CMVS/PMVS的建筑物點云重構方法研究[J].蘇州科技學院學報（自然科學版），2015，32（3）：60-64.

[14]Westoby M J， Brasington J， Glasser N F， et al. 'Structure-from-Motion' photogrammetry： A low-cost， effective tool for geoscience applications[J]. Geomorphology， 2012，179：300-314.

[15]繆君，儲珺，張桂梅，等.基于稀疏點云的多平面場景稠密重建[J].自動化學報，2015，41（4）：813-822.

[16]FATHI H， BRILAKIS I. Automated sparse 3D point cloud generation of infrastructure using its distinctive visual features[J]. Advanced Engineering Informatics， 2011，25（4）：760-770.

[17]何豫航，岳俊.基于CMVS/PMVS多視角密集匹配方法的研究與實現[J].測繪地理信息，2013，38（3）：20-23.

[18]劉濤，高媛，秦品樂，等.基于點云增強優化的泊松重建算法[J].計算機應用研究，2018，35（3）：940-943.