基于照片序列的織物懸垂形態重建及測量

胡 堃,毋 戈,鐘躍崎,b

(東華大學 a. 紡織學院;b. 紡織面料技術教育部重點實驗室,上海 201620)

基于照片序列的織物懸垂形態重建及測量

胡 堃a,毋 戈a,鐘躍崎a,b

(東華大學 a. 紡織學院;b. 紡織面料技術教育部重點實驗室,上海 201620)

現有織物懸垂性能的測試多局限于二維尺度,不能直觀地反映織物的三維外觀形態.提出了一種簡單有效的織物懸垂測試方法,能夠基于普通智能手機后置攝像頭采集的照片序列重建織物懸垂的三維彩色模型,并且通過點云和圖像處理技術提取出織物的懸垂性能指標.試驗結果表明,基于照片序列的建模方法能夠有效應用于不同花紋、顏色織物的三維懸垂形態重建,其測量結果與傳統方法之間具有高度相關性,能夠滿足多數織物懸垂性能表征的需要.

織物懸垂;特征點提取;照片序列;三維重建;懸垂測量

織物懸垂性是指織物因自身重量而下垂的性能,它是影響織物視覺風格和舒適性諸多因素中最重要的因素之一,關系到織物實際使用時能否形成優美的曲面造型和良好的貼身性,這將直接對面料的檔次、價位以及服裝設計師的選料與否造成很大影響.對織物懸垂性能的評價,包括織物懸垂程度和懸垂形態兩方面.懸垂程度主要是指織物在自然下垂穩定之后其曲面下垂程度的大小,而懸垂形態主要是指織物懸垂曲面的三維外觀形態[1].

20世紀30年代,文獻[2]首次提出了使用懸臂梁法測量織物的彎曲性能,并以彎曲性能間接表征織物的懸垂性能.進入50年代,研究者第一次采用光電投影的原理設計并制作了FRL(fabric research laboratory)懸垂性測試儀[3].在此基礎上,隨著計算機技術的進步,學者們逐漸開始采用圖像處理技術對織物懸垂性進行測量,并開發出一系列織物懸垂測量儀[4-6].但是,這些儀器大都采用投影測量原理,僅能給出懸垂系數、波紋數、波峰夾角等少量二維圖像指標,并不能全面地反映織物的三維懸垂形態.

織物三維懸垂形態重建和測量的研究目前還處于探索階段.文獻[7]根據圖像畸變原理,采用單個CCD相機對織物懸垂表面進行三維重建,但該方法對織物位置和懸垂形態都有較高的要求,實用性不強.文獻[8-9]基于結構光原理開發的三維懸垂儀,雖能反映織物的三維信息,但是其操作復雜、步驟繁瑣,且沒有給出織物的三維模型.文獻[10]嘗試采用Kinect深度相機對織物的懸垂形態進行三維重建,雖能獲取較好的懸垂模型,但由于其采用的Kinectfusion算法對計算機顯卡性能要求較高,不利于實際應用.

本文提出了一種基于照片序列對織物三維懸垂形態進行重建和測量的方法,不需要復雜的設備,僅采用一般智能手機攝像頭便可完成數據的采集,重建過程簡單穩定,重建結果的精度較高,能夠真實完整地反映出織物的三維懸垂形態.本文所用方法的流程如圖1所示.

圖1 本文所用方法的流程圖Fig.1 Flow chart of the new method

首先對自制懸垂儀上的織物進行拍照以得到其照片序列,其次基于照片序列重建織物三維懸垂模型,最后基于三維懸垂模型提取懸垂參數.其中,三維重建需要先提取各張照片上的特征點并進行特征點匹配,再通過匹配點之間的幾何關系計算并優化點云坐標,繼而對獲取的點云進行表面重建及紋理貼圖,以得到最終的三維懸垂模型.懸垂參數提取則按照模型坐標系轉換、投影輪廓提取和懸垂參數計算的步驟進行.

1 試 驗

1.1 試驗設備

為便于數據采集,本文設計制作了織物懸垂儀,如圖2(a)所示. 其尺寸嚴格按照XDP-1型織物懸垂儀制作,頂盤和托盤直徑均為12 cm.為實現順利建模,頂盤表面采用花色紋理圖案.為實現中心點自動檢測和尺寸測量,在頂盤上方安裝一個6 cm×4 cm的棋盤.棋盤方格邊長為1 cm,棋盤中心與頂盤中心重合.測試時,織物居中放置于托盤和頂盤之間,如圖2(b)所示.

(a) (b)圖2 自制織物懸垂儀Fig.2 Self-made drapeometer

1.2 試樣準備

為探索方法的有效性,本文選取了懸垂性能各異的10種花色織物和5種純色織物進行試驗,并依據GB/T 23329—2009《紡織品織物懸垂性試驗方法》的規定,將這些織物裁剪成直徑為24 cm的圓形試樣.試驗前,所有試樣都按照GB/T 6529—2008《紡織品調濕和試驗用標準大氣》進行預調濕處理.

1.3 照片序列采集

本文采用智能手機的后置相機(HUAWEI P6,分辨率800萬像素)對試樣進行拍照.織物試樣擺放在織物懸垂儀上,相機分別沿上、下兩個環形軌跡移動并對試樣進行拍照,如圖3所示.上環軌跡在織物正上方,下環軌跡與織物懸垂底邊平齊,拍攝時要求織物圖像完整且盡量占滿照片,相機移動角度盡量均勻且不超過30°.一般情況下,上環軌跡拍15～20張,下環軌跡拍20～30張.鑒于照片數量與織物照片的紋理復雜程度相關，因此據經驗觀察，花型較為復雜的織物，其完成建模所需拍攝的照片數量有減少的趨勢.

圖3 照片采集示意圖及照片序列Fig.3 Image acquisition and image sequences

1.4 懸垂模型三維重建

1.4.1 特征點提取和匹配

基于照片的三維重建,其特征點提取主要是利用尺度不變特征轉換(SIFT)算法[11].由于本文還涉及對模型進行坐標轉換和頂盤中心自動定位,故在SIFT算法的基礎上引進了Harris算法[12]聯合提取特征點,如圖4所示,其中,星形點為SIFT特征點,而圓形點為Harris特征點.在提取所有照片上的特征點后,利用搜索最鄰近點算法[13]進行特征點匹配,從而為下一步點云坐標計算建立幾何關系.

圖4 SIFT和Harris算法聯合的特征點檢測Fig.4 Feature points detection of SIFT combined with Harris algorithms

1.4.2 計算點云坐標

本文采用SFM(structure from motion)算法[14]計算點云坐標.SFM算法是當前基于照片三維重建中效果最好的算法之一,不僅易于實現,而且具有計算效率高、魯棒性強、對計算機性能要求低等特點.根據針孔攝像機模型,如圖5所示,照片上的二維點p=[u0,v0]T與其對應的三維點Pw=[X,Y,Z]T間的關系為

p=K[R|t]Pw

(1)

圖5 針孔攝像機模型Fig.5 Pinhole camera model

其中: [R|t] 為相機的外參矩陣,表示相機在世界坐標系中的位置;K為相機的內參矩陣,為攝像頭固定參數.當使用同一臺相機在不同位置拍攝同一固定物體時,物體上相同的一點Pw在兩張照片中對應點p1和p2的關系為

(2)

其中: 基礎矩陣F=K-TEK-1=K-T[t]×RK-1有7個自由度,可以通過代入8 個點求解線性方程求得.由于相機內參矩陣K可以由攝像頭硬件信息估計,因此，R和t分別可以通過對本質矩陣E進行奇異值分解[15]得到.采用上述算法求出所有照片兩兩之間的外參矩陣，并將其歸一到同一世界坐標系下,即可計算出特征點點云坐標.由于上述方法的內參矩陣是估計得到的,因此最終結果并不精確.為了提高精度,還需要采用BA(bundle adjustment)算法[16]來進一步優化,其表達式為

(3)

1.4.3 表面重建及紋理貼圖

經過上述計算可以得到織物的稀疏三維點云,為了便于觀察和測量,本文利用開源軟件Meshlab[17]對織物進行表面重建和紋理貼圖,重建過程及最終效果如圖6所示.

圖6 三維重建過程及效果Fig.6 Process and result of 3D reconstruction

1.5 坐標系轉換

得到懸垂模型后,為方便數據處理和參數提取,需將標定坐標系XCYCZC下三維懸垂數據轉換到建立的懸垂坐標系XDYDZD下,如圖7(a)所示.由于XCO1YC平面和標定棋盤平行,故可以利用標定棋盤的平面法向量計算標定坐標系到懸垂坐標系的轉換關系,計算步驟如下:

(1) 根據圖像中棋盤格角點坐標索引出其在點云模型中對應的三維角點坐標,因為棋盤角點對稱分布,故頂盤中心即為這些三維角點的中心點O1,如圖7(b)所示;

(3) 將O1點平移到坐標原點得到變換矩陣T1;

(4) 將O1P1繞YD軸順時針轉θy,與YDO0ZD平面重合,得到變換矩陣T2;

(5) 將O1P1繞XD軸順時針轉θx,與ZD軸重合,得到變換矩陣T3;

(6) 從標定坐標系到懸垂坐標系的轉換矩陣T=T1×T2×T3.

圖7 坐標系轉換Fig.7 Conversion of the coordinates

1.6 懸垂模型投影輪廓提取

為了與已有的懸垂系數計算方法相比對,將模型轉換到懸垂坐標系后,通過點云投影提取出模型在XDO0ZD平面上的投影輪廓以計算織物懸垂參數,具體步驟如下:

(1) 將模型頂點投影在XDO0ZD平面上;

(2) 將上述平面點云按坐標索引規整化為二值圖像,如圖8(a)所示;

(3) 對圖8(a)進行去噪、膨脹和輪廓提取,結果如圖8(b)所示.

1.7 懸垂參數的提取

在1.5節中已經獲取了三維模型上棋盤格角點坐標,可以計算棋盤格在點云模型中的面積SVC.由于棋盤格的真實面積SRC是確定的,因此投影輪廓的真實面積SRS可由圖8(b)中的輪廓面積SVS算得:

(4)

由于頂盤中心點坐標和棋盤格中心角點坐標重合,因此,可以計算得到輪廓線各點到中心點的距離R.將結果按輪廓線順時針方向依次繪制后可得到如圖9所示的波形圖,橫坐標n為輪廓線采樣點的個數,對其采用文獻[18]中的波形分析方法即可提取出波峰、波谷、波形個數等所需懸垂參數.

圖8 懸垂模型投影輪廓提取Fig.8 Extraction of the model’s projecting contour

圖9 懸垂投影輪廓信息的獲取

2 結果與討論

2.1 重建效果

采用本文方法對所有試樣進行三維重建后都取得了較好的效果.限于篇幅這里只選取6個試樣進行展示,如圖10所示,各組圖片中的左圖為試樣懸垂照片,右圖為其重建模型截圖.其中,為增加純色織物的表面特征,在不影響懸垂性的情況下,本文采用記號筆在其表面繪制了間距為3 cm的網格,如圖10(e)和10(f)所示.

圖10 織物試樣懸垂三維重建效果Fig.10 Effect of the 3D reconstructions of the fabrics

2.2 重建精度

為了評估本文重建方法的精度,這里采用Kinect相機(誤差<1 mm)[19]進行了掃描對比試驗,具體過程如下:

(1) 采用本文方法對一種織物試樣進行懸垂模型重建;

(2) 采用Kinect相機對相同織物試樣進行懸垂模型掃描重建;

(3) 利用最近點迭代算法(ICP)[20]將兩個模型進行匹配;

(4) 以掃描模型為參照,計算本文重建模型上每一個點和掃描模型上最近點之間的歐氏距離,結果如圖11所示.

由圖11可以看出,本文重建模型和掃描模型之間的最大誤差約為3.36 mm,平均誤差為0.800 mm,標準偏差為0.384 mm,重建模型95%以上數據的誤差小于1.50 mm.

圖11 重建模型和掃描模型間的誤差(單位: mm)Fig.11 Errors between the reconstructed drape and the scanned drape (unit: mm)

2.3 懸垂模型測量結果

根據試驗提取出的投影輪廓線參數,可以計算出織物模型的懸垂參數[10],結果如表1所示.

表1 基于三維重建模型的織物懸垂測量結果
Table 1 Results of the drape parameters of fabrics based on the 3D reconstructed models

編號懸垂系數/%波峰數/個最大波峰幅值/mm最小波峰幅值/mm波峰幅值CV值/%最大波峰夾角/(°)最小波峰夾角/(°)波峰夾角CV值/%158.53653.0048.411.475.0226.9233.9272.07459.4353.501.673.0035.6927.5370.23459.8250.842.7100.4516.4341.8460.38558.0243.834.397.1550.2121.2551.46758.305.9120.880.1212.6958.3655.58555.8748.022.4106.4334.7536.8765.20556.8244.023.257.1844.5025.8874.33660.9852.572.4133.0236.1254.1964.82653.9249.571.878.7346.3218.31066.38755.1247.522.578.1221.3438.31159.87557.4945.023.691.7243.0624.31258.94560.1846.603.8101.4042.5327.11381.11657.5250.182.087.0830.2336.21482.28558.4755.311.0106.8734.9238.31552.85649.6220.4511.791.3220.4339.4

2.4 相關性分析

為了驗證上述方法所測懸垂系數的準確性,本文用XDP-1型織物懸垂儀對相同的15個試樣進行了測試,并將其結果與表1中的懸垂系數進行相關分析,結果如表2和圖12所示.

表2 相關性分析結果
Table 2 Result of the correlation analysis

相關性儀器懸垂系數重建模型懸垂系數儀器懸垂系數相關系數10.988*顯著性(雙側)0N1515重建模型懸垂系數相關系數0.988*1顯著性(雙側)0N1515

注：* 表示在 0.01 水平(雙側)上顯著相關.

圖12 相關性散點圖Fig.12 Scatter plot of the correlation

由表2可見,儀器懸垂系數與重建模型懸垂系數之間的相關系數為0.988,顯著性(雙側)值為0,說明兩者高度相關.從圖12中也可以直觀看出,兩者間存在著高度的線性相關性,其回歸方程為y=1.025x-5.081.

3 結 語

本文提出了一套基于照片序列對織物三維懸垂形態進行重建和測量的完整方法,其操作簡單、方便.通過試驗和分析得到以下主要結論:

(1) 利用智能手機拍攝的照片序列在一般計算機上即可以穩定地對織物懸垂形態進行三維重建;

(2) 通過聯合SIFT和Harris算法進行角點檢測,可以準確地找到懸垂頂盤圓心坐標及其法向量,并完成懸垂模型的坐標轉換;

(3) 本文提出的方法不僅能夠得到與傳統懸垂參測試方法高度一致的測量結果,而且能完整準確地獲取織物的三維懸垂形態,為進一步表征織物懸垂提供了新思路.

[1] 紀峰,李汝勤,郭永平,等. 織物懸垂性研究的追蹤與展望[J]. 紡織學報,2003,24(1): 72-74.

[2] PEIRCE F T. 26—The “handle” of cloth as a measurable quantity[J]. Journal of the Textile Institute Transactions,1930,21(9): 377-416.

[3] CHU C C,CUMMINGS C L,TEIXEIRA N A. Mechanics of elastic performance of textile materials Part V: A study of the factors affecting the drape of fabrics—The development of a drape meter[J]. Textile Research Journal,1950,20(8): 539-548.

[4] 吳勝君. YG811 型織物懸垂儀數字處理系統的研制[J]. 毛紡科技,2001 (3): 54-55.

[5] 徐軍. 織物傘式懸垂客觀評價的研究：靜態懸垂,動態懸垂與服裝美感[D]. 上海：中國紡織大學紡織學院,1996.

[6] 黃新林,李汝勤. 織物懸垂性圖像測試方法[J]. 紡織學報,2006,27(11): 14-19.

[7] 李強,過玉清. 基于 Labview 織物懸垂性測試及三維重建系統[J]. 儀器儀表與分析監測,2007 (1): 15-17.

[8] 王壽兵,周華,沈毅,等. 基于光柵成像的織物懸垂三維形態重建算法[J]. 工程圖學學報,2008,29(2): 136-141.

[9] 陳明,周華,楊蘭君,等. 織物三維懸垂形態測試指標與三維重建[J]. 紡織學報，2008,29(9):51-55.

[10] 沈偉,任靜,周華,等. 基于 Kinect 傳感器的織物懸垂性測試[J]. 浙江理工大學學報,2014,31(3): 306-309.

[11] LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision,2004,60(2): 91-110.

[12] 侯建輝,林意. 自適應的 Harris 棋盤格角點檢測算法[J]. 計算機工程與設計,2009,30 (20): 4741-4743.

[13] ARYA S,MOUNT D M,NETANYAHU N S,et al. An optimal algorithm for approximate nearest neighbor searchingfixed dimensions[J]. Journal of the ACM,1998,45(6): 891-923.

[14] AGARWAL S,FURUKAWA Y,SNAVELY N,et al. Building Rome in a day[J]. Communications of the ACM,2011,54(10): 105-112.

[15] 李金嶺. SVD 算法簡介與模擬數據檢驗[J]. 中國科學院上海天文臺年刊,1998(19): 16-21.

[16] WU C,AGARWAL S,CURLESS B,et al. Multicore bundle adjustment[C]//Computer Vision and Pattern Recognition (CVPR),2011 IEEE Conference on. 2011: 3057-3064.

[17] CIGNONI P,CORSINI M,RANZUGLIA G. Meshlab: An open-source 3D mesh processing system[J]. Ercim News,2008,73: 45-46.

[18] 毋戈. 束纖維拉伸中的聲與斷裂力學的原位表征[D]. 上海:東華大學紡織學院,2013.

[19] IZADI S,KIM D,HILLIGES O,et al. KinectFusion: Real-time 3D reconstruction and interaction using a moving depth camera[C]//Proceedings of the 24th Annual ACM Symposium on User Interface Software and Technology. 2011: 559-568.

[20] BESL P J,MCKAY N D. Method for registration of 3-D shapes[J].IEEE Transactions on Pattern Analysis&Machine Intelligence,1992,14(2): 239-256.

Reconstruction and Measurement of Fabric Drape Based on Image Sequences

HUKuna,WUGea,ZHONGYue-qia,b

(a. College of Textiles;b. Laboratory of Textile Science &Technology,Ministry of Education,Donghua University,Shanghai 201620,China)

Most of the existing fabric draping tests are confined to the two-dimensional(2D) properties,which can not reflect the three-dimensional(3D) appearance of fabrics directly. A simple and useful method is proposed to obtain 3D colored drape models using image sequences collected by the camera of a smart phone. Moreover,the parameters of the drape configuration can be extracted according to the points cloud of the fabric and image processing techniques. Experiment results demonstrate that the 3D fabrics drape with various patterns and colors can be reconstructed through the proposed method effectively. The measured results have a high correlation with the traditional method,which indicates that,this method can be applied for the characterization of the drape of most fabrics.

fabric drape;feature points extraction;image sequence;3D reconstruction;drape measuring

1671-0444 (2016)05-0674-07

2015-06-15

上海市自然科學基金資助項目(14ZR1401100)

胡 堃(1992—)，女，湖北天門人，碩士研究生，研究方向為紡織服裝面料三維重建及應用. E-mail: hukun610@163.com 鐘躍崎(聯系人)，男，教授，E-mail：zhyq@dhu.edu.cn

TS 101.8

A