三維人體掃描系統的研究及其應用

劉烈金,梁 晉,尤 威,梁 瑜

(1.西安交通大學 機械工程學院,機械制造系統工程國家重點實驗室,陜西 西安 710049;2.廣東順德西安交通大學研究院,廣東 佛山 528300)

?

三維人體掃描系統的研究及其應用

劉烈金1,2,梁 晉1,2,尤 威1,2,梁 瑜1,2

(1.西安交通大學 機械工程學院,機械制造系統工程國家重點實驗室,陜西 西安 710049;2.廣東順德西安交通大學研究院,廣東 佛山 528300)

為了快速捕獲人體的三維信息,獲得高質量的三維彩色點云數據,研制了XTBodyScan型三維人體掃描系統.詳細闡述了系統的工作原理,并分析設計了系統的相關軟、硬件方案.設計了一種主動散斑投射器,解決了掃描時間長的問題,掃描僅需0.25 ms,大大降低了掃描時人體晃動引起的誤差.使用滾球法實現三維人體點云融合,精度可達0.5 mm,與真實人體三維信息吻合,不存在模型失真問題.最后介紹了該系統的應用實例,產品中人體模型真實,顏色分明,進一步驗證了系統的高效實用性.

人體掃描; 散斑; 點云融合; 滾球法

半導體光電器件的飛速發展促進了計算機視覺技術越來越廣泛的應用.而三維光學測量不僅僅是對工業零部件的測量,已經對人體測量提出了迫切的要求.三維人體掃描技術作為其新興的代表,在體型測量、服裝、醫學、影視游戲、虛擬現實、激光內雕、3D打印等行業得到領先應用.按目前國內外的研究現狀,三維人體掃描儀按光源來分有激光、紅外、普通白光,按掃描方式也分主動式和被動式.先進的三維人體掃描系統有德國的Anthroscan Bodyscan彩色三維人體掃描儀,美國的3dMD三維立體成像系統[1-3].本文介紹的是自主研發的XTBodyScan三維人體掃描系統,摒棄了矩形光柵投影掃描方式[4],采用對人體無害的普通白光,散斑投射的主動掃描方式,1 s內完成掃描,最大限度降低了人體晃動產生的誤差,精度可達0.5 mm.系統一次掃描獲得30萬個左右點云數據,接著自動化完成點云數據的三角化而重建人體模型,彩色相機采集的照片完成紋理貼圖,得到三維彩色人體模型.

1 系統工作原理與方案設計

1.1 系統工作原理

在第一次掃描之前,需要使用高精度標定板對XTBodyScan型三維人體掃描系統進行標定,以獲得相機的內外參數(內參包括各相機的焦距、主點坐標和各種畸變參數,外參數指各個相機坐標系之間的旋轉矩陣R和平移矩陣T).此過程原理是使各個相機坐標系通過算法旋轉和平移到統一世界坐標系中,在點云數據生成后,就不再需要數據配準過程,直接就在同一坐標系下生成三維模型.標定成功后進行掃描,具體工作原理是:掃描時各視角散斑投射器向人體全身投射散斑,所有黑白相機此時采集相應的帶有散斑的人體圖片,然后彩色相機采集真實人體圖片.相機采集的深度圖像經過坐標轉換計算為點云,利用數字圖像相關法[5]和雙目立體視覺技術[6]分別完成圖像匹配和點云三維重建,再使用彩色照片進行點云紋理貼圖,得到三維彩色人體模型.

1.2 系統方案設計

系統總體設計如圖1所示,總共由9組測量頭組成,位置分布為:正前方一組測量頭,其余8個測量頭分別安裝在4根立柱上,立柱擺放在4 m×3 m長方形的4個角的位置,每根立柱上、下各有一組測量頭.

圖1 三維人體掃描系統設計Fig.1 Design of 3D body scan

立柱測量頭設計有A型和B型,如圖2所示.立柱下測量頭采用A型,上測量頭采用B型.

A型和前測量頭則由2個黑白相機、1個彩色相機和1個散斑投射器組成.B型測量頭由2個黑白相機、1個彩色相機和2個散斑投射器組成.綜上,系統共有13個散斑投射器、27個相機對人體全身進行采集,數據采集完整.系統還包括1個控制箱、1臺高性能計算機和1臺寬屏LED電視顯示屏.

圖2 測量頭設計Fig.2 Design of measurement head

2 系統關鍵技術

2.1 主動散斑投射器設計

設計了一種散斑投射器,如圖3所示(圖中,f0是前菲涅爾鏡焦距,f1是后菲涅爾鏡焦距,f2是鏡頭到霸面距離).

從LED光源發射的光線通過一個聚光透鏡匯聚成具有一定角度的發散光束,然后通過一個前菲涅爾螺紋透鏡,將發散的光束變成平行光,平行光通過散斑片后再通過后再菲涅爾鏡片,將平行光重新匯聚,經過鏡頭,在鏡頭中的焦距的焦點位置匯聚,最后投射到人體身上.這種投射原理,能夠使投射的散斑圖案在大幅面下保持均勻亮度和較高的清晰度,極大方便了后續的特征點搜索,使匹配率大大提高.該投射器中使用了菲涅爾鏡片,其功能類似凸透鏡,能進行發散光和平行光之間的轉換.但因為凸透鏡的透光性不如菲涅爾鏡,且體積較大,規格難于控制,所以最終選擇菲涅爾鏡片.

圖3 散斑投射器工作原理圖Fig.3 Working principle of speckle projector

而散斑片制作需要一個模板,這個模板通過計算機生成散斑矢量圖,然后使用激光刻蝕方法制成帶有散斑圖案的透光模板.具體分為:①設置光源.在圖像范圍內隨機放置N個虛擬光源,光源強度和位置隨機.②生成灰度圖像.圖像上每個像素點的灰度值是所有光源共同影響的結果,具體表達式為

(1)

式中:g(x,y)為像素灰度值;ki為每個光源的亮度,為0～255的隨機數;(x,y)是像素坐標;(sxi,syi)是每個光源的位置,也為隨機數;σ是光強因子,一般在1～10之間.為了得到像素級的隨機斑,光源的個數N一般是圖像寬度的2～3倍.③進行圖像二值化.對圖像中大于128的像素點全置為255,其余置為0,得到黑白雙色圖像.④矢量化.對二值化的圖像逐行掃描,將所有連通的白色區域連接為矩形單元,最終整幅矢量圖由H(圖像高度)層微小矩形堆積而成.圖4是投射效果圖,可以看出該圖案總體亮度均勻且清晰.

圖4 散斑投射效果Fig.4 Result of speckle projector

2.2 點云融合技術

三維人體掃描系統的一大特點就是數據量龐大,因此三維點云融合必須滿足大數據量點云快速、準確和高效的融合需求.點云融合是去除重疊區域得到單層的、完整的點云模型的過程.點云融合技術一直是點云預處理技術中的難點,對于這方面的研究,經典的有delaunay 三角網格化方法[7-8],TURK等[9]提出了基于深度圖像縫合多邊形網格的方法,本系統使用的是滾球法,由BERNARDINI等[10]提出.此方法將網格化的過程和去除冗余點結合在一起,大大提高了效率.滾球法原理如圖5所示.該方法的算法組織如下:首先定義滾動球的合適半徑,并選定一個三角形或邊界邊作為基準,其次滾動球沿邊界邊滾動,如果有3個點(其中包括滾動球所在邊上的兩個端點)落入滾動球內,那么把這3個點連接成一個新三角形.接著檢查這3個點的法向量是否一致,如果3個點之間的法向量的夾角均小于180°,那么認為它們是一致的,可以構成三角形,否則這3個點不可以構成三角行,應該去掉.最后一步是更新邊界邊鏈表,讓滾動球沿著新邊繼續前面的步驟,直至所有的點被處理完成為止.

圖5 滾球法原理Fig.5 Principle of ball-pivoting

3 掃描試驗及應用實例

3.1 掃描試驗

掃描人體前,需要進行相機標定以獲得相機的內外參數.系統采用27個工業CCD相機,對粘貼編碼點的標定板采集進行相機標定.標定是基于攝影測量多目相機標定[11],因為標定前使用XJDP攝影測量系統已經得到標志點的準確三維坐標.標定成功后,新建一個工程,然后掃描.對人體掃描后,初始的三維彩色點云數據如圖6.由于非接觸式掃描的特點,從圖中可以看出,除了部分光線沒有照射到的地方出現了洞外,其余數據總體完整,顏色真實,得到了較高質量的三維彩色人體模型.接下來導出數據,本系統設計兼容性高,支持asc,stl,obj等格式.

3.2 應用實例

經過點云數據處理[12]之后,其中的應用之一是人體水晶雕刻,即用一個水晶玻璃材質的模型,通過激光雕刻機在水晶玻璃內打點來完成雕刻.人體水晶產品源于不同人的點云數據,滿足個性化需求,可以作為工藝品來收藏,廣受大眾的喜愛.此外,水晶玻璃內除了雕刻人體模型,還可以輔助雕刻文字、圖片背景等,可以靈活地滿足大眾的個性化需求.如圖7a是半身人體水晶雕刻品,圖7b是全身人體水晶雕刻.這里用的是50 mm×50 mm×80 mm尺寸的水晶,由于雕刻原理是在水晶玻璃里激光打點,顏色為白色,因此在其下面加上燈座,能更好地展示效果.

圖6 三維彩色點云模型Fig.6 Colour model of 3D point cloud

圖7 人體水晶雕刻Fig.7 Crystal engrave the body

另一個應用實例是使用三維人體掃描數據處理后用于3D打印(圖8),用彩色打印機打印模型,材料使用的是石膏.其他應用如建立人體尺寸數據庫,進行服裝虛擬試衣.三維人體點云重建,可以完成虛擬現實中的人物場景重現,這在影視游戲、醫學虛擬手術方面可以展開應用.

4 結論

XTBodyScan型三維人體掃描系統設計了主動式散斑測量方法,對硬件和算法進行了研究,掃描可以得到讓人總體滿意的三維彩色模型.但仍然存在一些問題,例如光線測量不到的部位會造成數據缺失,形成孔洞,在算法方面還需進一步改進.三維人體掃描技術是一門新興的技術,在服裝業、影視游戲、醫療、3D打印、激光內雕等領域還有很大的潛在應用價值.

圖8 3D打印人體Fig.8 3D print the body

[1] FREDRIK N,RUTH F,BURKHANDT S,et al.The 3dMD photogrammetric photo system in cranio-maxillofacial surgery:validation of interexaminer variations and perceptions[J].Journal of Cranio-Maxillo-Facial Surgery,2015,43(9):1798-1803.

[2] CHENZ C,MOHAMMAD N A,JESUS A L,et al.Precision of three-dimensional stereophotogrammetry(3dMD) in anthropometry of the auricle and its application in microtia reconstruction[J].Journal of Plastic Reconstructive & Aesthetic Surgery,2015,68(5):622-631.

[3] 沈舜堯,辛鵬飛,代杰文,等.3dMD攝影測量系統在半側顏面短小診斷中的初步應用[J].口腔頜面外科雜志,2012,22(4):261-264.

SHEN S Y,XIN P F,DAI J W,et al.Application of 3dMD photogrammetric system for classification of hemifacial microsomia:a pilot study[J].Joumal of Oral and Maxill of acial Surgery,2012,22(4):261-264.

[4] 楊亮.光柵式三維人體掃描系統的設計與實現[D].大連:大連理工大學,2006.

YANG L.The design and implementation of 3D body scan system[D].Dalian:Dalian University of Technology,2006.

[5] SUTTOM M A.Digital image correlation for shape and deformation measurements[M].New York:Springer,2008:65-600.

[6] 隋婧,金偉其.雙目立體視覺技術的實現及其進展[J].電子技術應用,2014,30(10):4-12.

SUI J,JIN W Q.The implementation and progress of stereo binocular vision technology[J].Application of Electronic Technique,2014,30(10):4-12.

[7] WATSOND F.Computing the n-dimensional delaunay tessellation with application to Voronoi polytopes[J].The Computer Journal,1981,24(2):167-172.

[8] GOPI M,KRISHAN S,SILVA C.Surface reconstruction based on lower dimensional localized delaunary triangulation[M].Oxford:Blackwell Publishers Ltd,2000:467-478.

[9] TURK G,LEVOY M.Zippered polygon meshes from range images[C]//Proceedings ACM SIGGRAPH 94,New York:ACM,1994:311-318.

[10] BERNARDINI F,MITTLEMAN J,RUSHMEIER H,et al.The ball-pivoting algorithm for surface reconstruction[J].Visualization & Computer Graphics IEEE Transactions on,1999,5(4):349-359.

[11] 胡浩,梁晉,唐正宗,等.大視場多相機視頻測量系統的全局標定[J].光學精密工程,2012,20(2):369-378.

HU H,LIANG J,TANG Z Z,et al.Global calibration for muti-camera videogrammetric system with large-scale field-of-view[J].Optics and Precision Engineering,2012,20(2):369-378.

[12] 龔建江,王國光,燕樟林,等.三維激光掃描點云數據處理技術及其應用[J].水力發電,2014,40(8):82-85.

GONG J J,WANG G G,YAN Z L,et al.Processing technologies of point cloud data obtained by 3D laser scanner and its application in engineering[J].Water Power,2014,40(8):82-85.

Research and application for 3D body scanning system

LIU Liejin1,2,LIANG Jin1,2,YOU Wei1,2,LIANG Yu1,2

(1.State Key Laboratory for Manufacturing Systems Engineering, School of Mechanical Engineering, Xi’an JiaotongUniversity，Xi’an 710049,Shangxi,China; 2. Guangdong Shunde Xi’an Jiaotong University Academy，Foshan 528300,Gungdong,China)

In order to rapidly acquire 3D body information and high-quality colored 3D body point cloud, the 3D body scanning system is first designed.Then,the principle,together with relevant software and hardware solutions, is postulated in details. Next, the speckling projection technology is applied with the scanning time of 0.25 ms,whereas the error is significantly reduced with body shaking. By employing the ball-pivoting algorithm for 3D point-cloud fusion, the precision reaches 0.5 mm without distortion. Finally,the practical examples are used for clear colored body model to further verify the system efficiency and practicality.

body scan； speckle； point-cloud fusion； ball-pivoting method

劉烈金(1991-),男,碩士.E-mail:729935238@qq.com

TN 29

A

1672-5581(2017)01-0027-04