面向服裝行業的人體三維重構建模研究現狀

李玉卓，李新榮 ，馮文倩，蔣 蕾

(1.天津工業大學 機械工程學院，天津 300387； 2.天津市現代機電裝備技術重點實驗室，天津 300387； 3.天津工業大學 紡織科學與工程學院，天津 300387)

服裝行業正由傳統生產方式向服裝虛擬展示、網絡虛擬試衣、服裝個性化定制等數字化和智能化方向發展，快速精準的建立與各種體型身材尺寸相符合的三維虛擬人體模型，即快速重構逼真的三維人體模型是服裝行業實現數字化和智能化的關鍵環節。近年來，已有學者對人體三維重構方法做了總結，但并未確定一種可應用于服裝行業的時間短、設備簡單和真實感強的建模方法。一種規格簡單、無需復雜采集和處理裝置的三維人體重構方法可在短時間內建立虛擬人體模型，人們依據重構出的符合自身特征的三維虛擬人體模型可完成直觀有效的服裝定制和虛擬試衣等，因此有必要對當前面向服裝行業的人體三維重構方法的研究現狀進行分析。

三維人體重構的建模方法目前有很多，主要應用在以下幾個方面：基于三維掃描數據的人體重構，一般使用三維掃描儀得到的單張或多幀數據來重構一個靜態的三維人體模型，劉詠梅等[1]使用Vitus Smart三維人體掃描儀構建了兒童系列的虛擬人臺，這一方法完成了由二維試衣到三維試衣的轉變，但使用的掃描儀設備體積大、造價高，對環境和機器本身有較高要求，使用不便。基于特定軟件的人體重構方法無需占用很大的空間，如吳旭琤[2]基于Unity3D完成了虛擬人模型的建立并能夠控制虛擬人的姿態，但這一方法對人體動態的描述較差且需要足夠知識儲備才能完成對軟件的操控。基于參數化曲面建模的人體重構方法可以通過輸入參數快捷修改人體模型中某些細微之處，Wang等[3]開發了1個三維建模系統，在標準人體模型的基礎上按照相應的尺寸修改參數從而生成個性化三維人體模型，建模速度快且精度高，但在確定人體主要特征參數時較為困難。基于圖像的重構方法是指使用單張或多張圖像精準重構三維人體模型，陳佳宇等[4]構建了輸入人體輪廓二值圖像重構人體模型的卷積神經網，利用二維圖像與三維人體模型點云數據的映射關系重構人體模型，這一方法能夠快速重構人體模型，但對重構后的人體模型進行細節上的修改則較為繁瑣。本文對目前已有的人體三維重構建模方法進行對比研究，提出將基于二維圖像的數據提取與參數化曲面建模的人體重構相耦合的思路，首先通過軟件建立標準三維人體通用模型，再將從二維圖像中提取的人體尺寸數據作為參數，然后通過參數化驅動建模對人體模型的細節進行修改，可快速且精準的得到個性化三維人體模型，為服裝虛擬展示、網絡虛擬試衣和服裝個性化定制等提供了技術支撐。

1 三維人體重構方法

面向虛擬試衣、服裝設計等領域的三維人體重構方法要求模型外形逼真且需嚴格控制其各項人體特征與真人之間的誤差，好的人體重構方法能為三維虛擬試衣等提供接近于真實人體試穿的效果，下文將對已有的人體重構方法進行匯總和概述。

1.1 基于三維掃描技術的人體重構

三維人體掃描融合了信息處理、電子學、計算機圖形學、計算機視覺等多項技術進行人體重構工作，三維人體掃描主要完成采集人體的高精度點云圖像、提取特征等工作[5]。基于三維掃描技術的人體重構技術路線見圖1。

圖1 三維人體掃描技術路線圖Fig.1 Roadmap of 3D body scanning technology

1.1.1 全身掃描儀

全身掃描儀是一種基于光學的3D測量系統。主要使用激光測量法、白光相位法、莫爾條紋法和紅外線測量法獲得所需數據。

世界上最早的全身掃描儀是Cyberware公司的WB4全身掃描儀[6]，如圖2所示。WB4全身掃描儀采用激光掃描技術得到了高分辨率的人體外表面，激光測量法依據相似三角形原理，通過激光的出射點、激光照射在被測人體上的投影點、成像點這三點之間的關系確定人體表面的數據信息并獲得準確的三維位置，最終以點云形式重構三維人體模型[7]。

圖2 Cyberware WB4對人體進行全身掃描示意圖Fig.2 Whole body scanning of human body with cyberware Wb4

隨后TC2公司研發了基于結構光模式并能夠投影的TC2掃描儀，如圖3 所示。這一設備將投影儀和照相機組合為1個傳感器，使用白光分層輪廓檢測方法獲取人體三維數據，這一方法使用白色光源把正弦曲線投影到人體表面，人體表面的不規則性使投影發生變形，由此產生的圖樣可用來表示人體的表面數據，最后將6臺攝影機采集的單一圖像合成為人體表面數據圖像[8]。

圖3 TC2投影機、攝像機和掃描物體之間的三角測量示意圖Fig.3 Schematic diagram of TC2 triangulation between projector, camera and scanned object

前面2種方法都會因被測者著裝而產生一定測量誤差，而基于CCD與紅外傳感技術的紅外線測量法可避免這一劣勢，其原理是紅外光電二極管通過脈沖進行傳送，然后通過投射鏡頭將被測人體表面反射成像，第二級鏡頭收集光線聚焦于PSD，PSD在這一過程中的主要作用是檢測質心位置，如圖4所示。基于PSD的光電二極管測量方法與之相同，這一方法在Hamamatsu人體掃描系統中得到應用[9]。

圖4 基于PSD的光電二極管示意圖Fig.4 Schematic diagram of photodiode based on PSD

全身掃描儀具有采集數據迅速、建模精度高的特點。但需要花費大量的時間去處理帶有噪聲的數據以及填充不完整表面，且有些細節仍難以解決，包括腋窩和胯部的陰影部分、頭發和皮膚對光的吸收效果、數據處理等方面[10]，若要減少陰影效果則需要多臺相機同時工作，這就體現出掃描儀普遍存在的儀器占地面積大、造價昂貴等劣勢，使得全身掃描儀不能為普通用戶所使用，只能用于特定科研公司、高校等。

1.1.2 深度掃描儀

深度掃描儀使用光編碼技術得到物體的點云信息，其主要是依靠掃描儀發射的激光透過毛玻璃因散落距離不同形成不同圖案的隨機衍射斑點，得到物體的幾何位置。由于深度掃描儀具有點云數據實時輸出、重構過程不完全依賴于圖像、操作簡單、制造成本相對較低等優勢，借助深度掃描儀完成三維人體重構的建模方法逐漸開始被應用。

Kinect攝像頭在標準視頻速度范圍內，可同時測量深度和顏色2個參數，但Kinect相機存在遠距離獲取人體全身圖像導致掃描數據質量較差的問題，Yan等[11]使用超高分辨率算法，結合深度和顏色傳感器幀來提高分辨率解決以上問題，但實際效果并不理想，隨后有學者提出使用多臺Kinect深度相機掃描人體不同部位，然后將多個傳感器中獲得的圖像數據整合以重建精確的人體模型[12-14]，如圖5所示，解決了深度相機大范圍掃描精度低這一問題。

圖5 3個Kinects深度相機人體掃描示意圖Fig.5 Schematic diagram of human body scanning with three Kinects depth cameras

RGB-D相機可以獲得RGB圖像以及每像素的深度信息。Peter等[15]和Richard A等[16]將視覺和深度信息相結合重建出室內場景，同樣原理也可使用Kinect相機進行人體重構，Kinect深度傳感器基于紅外相機向人體發射的紅外光束，使用激光三角測量法得到精密度以毫米為單位的深度圖像，將不同角度得到的不同深度圖像融合相交實現人體三維重構[17]。Zollhoefer等[18]就使用深度掃描和Kinect傳感器結合重建了面部幾何和紋理。

深度掃描儀掃描范圍廣，相比較全身掃描儀價格低廉，便于放置。但深度相機對于人臉、頭發和服飾等細節處理較差，分辨率不高且獲得的圖像噪聲大，將多幅深度圖像進行融合的算法開發具有一定的難度，還存在點云數據采集過程中人體很難長時間保持同一姿勢而出現的非剛體配準的問題。

1.2 基于特定軟件的人體重構

使用特定的軟件可以獲取人體曲面，也可實現對模型的渲染和交互控制，目前能實現三維人體重構的交互式軟件有3D Studio MAX、OpenGL、Geomagic、MatLab、Poser等。

首先通過非接觸掃描設備獲取建模所需人體部位的尺寸數據，再通過Geomagic或MatLab對人體模型進行逆向重構[19-21]，這種方法可實現大量個性化數字人體模型的構建，但前期花費較大，構建出的人體模型因測量誤差也會出現變形現象。針對這一問題，王鵬等[22]提出將OpenGL和3D Studio MAX軟件結合重構人體模型，利用OpenGL制作的動畫具有交互性且可以實時控制，三維動畫軟件3D Studio MAX可輕松建立復雜物體的模型[23]。先使用三維動畫軟件3D Studio MAX搭建人體模型，再運用OpenGL對已建立的模型進行編程和控制，得到的三維人體模型就可控制誤差并做任意的變形。

陳君[24]通過Poser構造人體模型，如圖6所示，首先使用Poser采集大量人體復雜曲面的頂點數據并導出，再使用Java 3D將頂點數據轉化為小三角面并形成人體曲面，最后完成對Poser構建的人體模型的交互控制及模型與環境的融合。結合2個軟件的優勢實現了快速建模、形態逼真和交互性強的靜態人體模型。

圖6 基于Poser人體重構系統結構圖Fig.6 Body reconstruction system structure diagram based on Poser

利用軟件建模定義過程簡單、數據修改便捷，但一般需要將2個軟件結合起來使用并充分發揮各自的優勢，這對操作人員的專業技能有較高要求，所以不能廣泛地應用于日常生活中，且操作人員在長時間的工作中容易因疲憊而導致出錯率增加。

1.3 基于參數化曲面建模的人體重構

人體特征點的位置及特征尺寸的長度隨人體體型變形而變化，以人體特征尺寸定義特征參量，可通過局部圍度特征變形實現人體圍度的變形[24-25]，但這一方法與真實人體曲面變形相差較大，在此基礎上，修毅等[26]通過設置特征圍線并采用角度加權平均算法實現變形，加強了人體曲面變形的精度，但僅適用于圍線起伏較小的部位。

結合人機工程學原理，通過輸入特征參數來改變標準3D人體模型生成個性化3D人體模型是基于參數化曲面建模的主要應用形式。以人體尺寸數據和三維點云數據為基礎，Seo[27]選擇了身高、胯部的長度、臂長、頸圍、胸圍、下胸圍、腰圍和臀圍8個人體參數用離散數據插值方法對關節和人體形狀進行插值得到變形函數，對人體進行變形。鄭曉慧[28]選擇了身高、坐高、頸椎點高、坐姿頸椎點高等12個關鍵人體特征點，并將其分成2組確定4個主控參數，根據參數標準差和相關性分析結果使用參數回歸技術重構人體模型。主要流程如圖7所示。

圖7 虛擬人重構流程圖Fig.7 Virtual human reconstructs the flow chart

另一種方法是通過輪廓線重建體表曲面重構三維人體模型，秦可等[29]提出了一種任意角度的人體輪廓切片生成算法，使用封閉的B樣條曲線表示三維人體表面的輪廓線，通過輸入影響用戶試衣效果的關鍵參數后從數據庫中選擇相似人體模型，再對差異較大部位的輪廓線進行調整構建使用三角網格表示的三維人體模型。崔樹芹等[30]對以上算法進行改進并提出基于曲率的雙向采樣方法，在保存了人體特征點和特征輪廓線的基礎上生成了人體骨架，使用少量數據生成了三維人體模型。

參數化建模可以實現大量建模，如果需要對目標建模進行頻繁修改，使用參數化建模便可使問題簡單化。但這一方法的缺點是需要大量數據支撐且需選取合適的特征點作為變形基底，另外需注意參數的數量問題，若選擇的參數不夠全面，則無法滿足人體重建的要求，若選擇的參數數量過于冗雜則會給重建過程增加一定的難度，最終無法達到需要的重建效果。

1.4 基于圖像的人體重構

圖像建模是指利用真實照片、繪制圖像、視頻圖像、深度圖像等獲取人體圖像的二維信息，再選擇相應的圖像處理算法提取人體的輪廓、特征尺寸等，將圖像數據轉化為三維空間數據來構建人體的三維模型。

使用圖像建模首先需要解決重構三維人體模型參數和尺寸的獲取問題。鄧衛燕等[31]通過提取圖像上的特征點構造三維人體模型，對人體圖像中的頭部、手、腿、上半身等特征區域進行定位，然后獲取各個部位的像素數，最終得到人體的身高、腿長、臂長等特征尺寸參數，具體流程見圖8。

圖8 基于圖像的人體特征參數提取流程圖Fig.8 Flow chart of human feature parameter extraction based on image

基于人體的正面、兩側、背面4幅正交圖像重構人體模型的主要過程是在人體圖像與模型圖像保持相同的標準姿勢下提取人體圖像與模型圖像的輪廓，再進行關鍵特征點的擬合，最后將標準的三維類人模型轉化為近似人的形狀，然后使用顏色紋理映射將二維正交視圖轉化為逼真的三維人體模型[32-33]。Wang等[34]在Hilton研究基礎上，使用2張人體圖片構成正交圖像，使用分割算法對2張圖片進行分割得到人體輪廓，再使用輪廓提取算法利用人體形態學規則確定特征點，最后使用視點相關變形技術利用輪廓構造出虛擬人體。與以上相法相比，李基拓等[35]通過變形截面環參數化人體模型得到個性化人體模型，增強了三維人體模型上的點與二維圖像上的點對應關系的確定性。

以上是使用正交圖像重構人體模型的研究，也有研究者使用非正交的多張圖像重構人體模型。Nister等[36]使用針孔相機模型將三維模型從圖像和視頻中重建出來。使用相機拍攝一組相似度高的重建目標圖像，提取未定標圖像的特征點作為原始數據，然后與目標圖像進行匹配以獲得相機參數和特征點所在的三維坐標，完成模型重構。陳利珍等[37]也是通過獲取人圖像序列完成三維人體重構，但將二維數據轉換成三維數據得到標記特征點的三維坐標主要依據立體視覺原理，最終運用3次樣條插值法建立平滑的人體曲線繪制出標準三維人體模型，通過標準人體與個性化人體正、側面圖像輪廓之間的比例映射建立個性化三維人體模型。

基于圖像的人體重構方法采集序列圖像簡單、成本低，可以應用于多種場景，重構人體所需的數據容易獲取，通過幾張序列圖像便可以得到人體幾何特征，但無法做到控制人體模型的關鍵尺寸，導致重構出的人體模型缺乏真實感。

2 基于二維圖像的參數化三維人體重構方法及其對比分析

當前服裝行業需要設備簡單、對專業技術要求不高且可以快速成型的人體三維虛擬模型重構建模方法，由此提出將多種方法進行優勢耦合，基于二維圖像的參數化三維人體重構思路，并與現有三維人體重構方法進行對比分析。

2.1 基于二維圖像的參數化三維人體重構

這一方法只需使用手機拍攝任意用戶的正、側面照片，經過后臺的輪廓檢測、特征點提取、擬合圍度尺寸獲取用戶各個身體部位的尺寸參數，再使用軟件建立通用三維人體模型，將尺寸參數用于參數化驅動通用三維人體模型，最終在手機上呈現出高度貼合用戶自身尺寸數據的三維虛擬人體模型，如圖9所示。顯然，基于二維圖像參數的三維人體重構成本低、時間短、效率高、真實感強且智能化程度高，更能滿足服裝行業的個性化設計和大批量定制需求。

圖9 基于二維圖像的參數化三維人體重構流程 (虛線內為后臺運行)Fig.9 Image based parametric 3D human body reconstruction process (the dotted line is the background operation)

2.2 三維人體重構方法及其對比分析

上文介紹了人體三維重構建模的5種方法，并對這5種方法進行了優缺點分析，人體三維重構建模方法對比表如表1所示。

表1 人體三維重構建模方法對比表Tab.1 Comparison of human 3D reconstruction modelingMethods

由表1示出：①基于全身掃描儀和深度掃描儀進行三維人體重構的方法要求三維掃描設備精度高、掃描速度快，但所需掃描設備造價昂貴，只能在特定場所使用。深度掃描儀不需要使用定制的感光芯片，使用普通的COMS感光芯片便可完成掃描，相對于全身掃描儀體積小、制造成本低，但獲得的圖像分辨率低且圖像噪聲大，無法滿足面向服裝行業的三維虛擬人體建模要求。②基于特定軟件和圖像進行三維人體重構的方法無需使用專業儀器、成本低、操作便捷，但建模質量依賴于建模人員的專業水平，具有很強的局限性，且無法控制重構出的人體模型的關鍵尺寸，缺乏一定的真實感，無法滿足面向服裝行業的三維虛擬人體建模要求。③基于參數化曲面建模的人體重構方法可實現大量建模并對重構出的三維人體模型關鍵尺寸進行修改，但前期需要大量數據支持且特征點及主控參數的選擇較為困難。

3 結束語

隨著服裝行業的不斷發展，通過簡單的通信設備建立符合真實人體特征的三維人體模型成為服裝行業智能化發展的趨勢。通過對比分析的方法，對當前基于三維掃描技術、特定軟件、曲面建模和視覺圖像的人體三維重構建模方法進行優缺點探討，提出了基于圖像的參數化三維人體重構方法，通過對圖像的多次處理識別到人體特征點及輪廓等有效信息并采用相關算法擬合出人體尺寸參數，便捷精準的建立了服裝行業所需的三維人體模型，該三維人體模型及相應尺寸參數在用戶手機中直觀呈現，用戶可實時查看并使用，這一方式帶來了更為流暢的用戶體驗，未來在紡織服裝行業中將會發揮至關重要的作用。