主動激光散斑投射的面部測量方法研究

趙鵬亮 ， 梁 晉 ， 徐勁瀾 ， 武國慶 ， 孟繁昌

（1.西安交通大學機械工程學院 機械制造系統工程國家重點實驗室，陜西 西安，710049；2.廣東順德西安交通大學研究院，廣東 佛山 528300；3.中航工業洛陽電光設備研究所，河南 洛陽 471009）

主動激光散斑投射的面部測量方法研究

趙鵬亮1，2， 梁 晉1，2， 徐勁瀾1，2， 武國慶3， 孟繁昌1，2

（1.西安交通大學機械工程學院 機械制造系統工程國家重點實驗室，陜西 西安，710049；2.廣東順德西安交通大學研究院，廣東 佛山 528300；3.中航工業洛陽電光設備研究所，河南 洛陽 471009）

針對醫學等相關領域對面部輪廓測量的需求，提出一種主動激光散斑投射的面部點云獲取方法。該方法結合數字圖像相關法和雙目立體視覺原理，能夠快速重建面部三維輪廓。首先，介紹數字圖像相關法的基本原理；其次，提出一種匹配前的散斑圖像預處理方法，去除散斑圖像的邊緣化區域，提高散斑匹配質量；最后，計算面部三維點云。為驗證該方法的可行性及最終重建效果，設計面部掃描重建及誤差實驗，結果表明：該方法具有體積小和不受光強影響的特點，能夠較好地重建出面部模型，整體測量誤差為±0.2mm。

面部測量；激光散斑；數字圖像相關法；圖像去邊緣化

0 引 言

隨著三維光學測量的發展，提取物體輪廓信息已經變得越來越方便，而面部的三維輪廓信息也正在被越來越多的行業所需要。例如：醫學整形和臨床治療[1]，CG電影中數字虛擬演員的設計[2]，VR人物開發等[2]。

目前在國內相關研究中，面部三維的信息提取和重建方法按照原理的不同大致可以分為結構光投影方法[3]、激光線掃描方法[4]、基于特征分塊的方法[5]。其中結構光投影法是一種基于光學三角形測量原理，采用格雷碼和相移組合編碼的方法，通過攝像機捕捉面部結構光調制信息并運用圖像處理技術進行解調，實現面部外形的三維測量和重建，但該方法對光源比較敏感；激光線掃描法是指利用激光測距原理，采用激光光帶掃掠人整個面部，最終得到完整的面部點云模型，近年來為了提高其效率也有人提出了多光帶激光掃描的方案[6]，但是總體來說激光線掃描的方法耗時較長；基于特征分塊的三維面部重建是利用原始三維數據庫中的人臉進行特征定位與分割，然后建立每個特征分塊的形變模型，通過對二維面部圖像的特征定位與分割，最終實現每個特征分塊的三維重建，但該方法流程比較繁瑣。

本文提出一種主動激光散斑投射的面部測量方法。首先通過主動激光散斑投射器向面部投射紅外散斑圖案；其次由兩個黑白相機采集臉部帶有紅外散斑圖案的灰度圖像，由彩色相機采集面部的彩色圖像；然后對獲取的散斑圖像進行去邊緣化處理，去除無效散斑區域；最后通過雙目立體視覺原理、數字圖像相關方法以及紋理映射重建出面部的彩色點云信息。

1 系統方案設計及測量流程

1.1 測量系統方案設計

測量系統主要包括兩個測頭，每個測頭由兩個黑白相機、一個彩色相機、一個主動激光散斑投射器組成，如圖1所示。測頭中散斑投射裝置采用自主設計的主動激光散斑投射器，其結構如圖2所示。其工作原理是：首先由Vcsel激光陣列發射出紅外激光，依次經過雙凸鏡的會聚與發散，聚光鏡的會聚，然后穿過已經被刻蝕好的散斑玻片，最終經過鏡頭向物體投出散斑。該主動激光散斑投射器內部高度集成體積較小，壽命較長，使用過程中光束發散角小，抗干擾性強，激光陣列亮度較高，可實現遠距離清晰投射。在復雜環境下，有效解決了散斑成像弱化問題，實現了高清晰度、均勻亮度散斑圖像的采集。

圖1 測試系統結構示意圖

圖2 主動激光散斑投射器結構示意圖

該系統相機視場大小為960mm×600mm，采用的紅外散斑波長為850nm，相機分辨率為1920像素×1200像素。考慮到激光使用安全等級以及激光測量可能對人體造成的傷害，經過計算采用5W的主動激光散斑投射器，光線強度經過擴散衰減之后的安全測量距離是800mm。

1.2 面部點云計算流程

1）相機標定。相機標定之前，應首先對標定板進行攝影測量，計算出標定板的全局點，然后調節相機焦距，使相機能夠清晰地看到標志點。將標定板擺放多個不同位置，分別采集圖像信息，然后計算出各個相機相對于世界坐標系的旋轉矩陣和平移矩陣以及相機的夾角和內參數。

2）圖像采集。通過主動激光散斑投射器向面部投射紅外散斑圖案，并利用兩個測頭中的黑白相機和彩色相機進行圖像采集，黑白相機獲得面部的散斑圖像，彩色相機獲得面部的彩色RGB圖像。

3）點云重建。首先對灰度圖像進行去邊緣化處理，然后利用盒圖像運算法及數字相關法對其進行比配，待匹配完成后，結合相機的內外參數重建出面部三維點云。

4）顏色貼圖。將彩色圖像的RGB信息映射到已重建好的點云上，形成更加逼真的彩色點云。

2 系統關鍵技術

在獲得散斑圖像后，為快速有效地得到高準確度三維輪廓，設計了計算流程，如圖3所示。并針對傳統散斑匹配圖像邊緣問題導致的誤匹配問題，重點研究了散斑圖像去邊緣化的預處理過程。

圖3 三維輪廓計算流程

2.1 數字圖像相關法

數字圖像相關法[7-9]的基本問題是對兩個散斑圖像進行相關計算。在面部掃描過程中，單測組黑白相機采集的散斑圖像需要利用數字圖像相關方法進行匹配，匹配原理如圖4所示。在左側黑白相機圖像中，取以待匹配點 C 為中心的（2N+1）×（2N+1）大小的矩形子圖像作為參考子圖像，在右側黑白相機圖像中，通過一定的搜索方法，并按照預先定義的相關系數進行計算，尋找與參考子圖像相似度最大的以C′為中心的待匹配圖像，則點C′即為點C在右側黑白相機圖像中的對應點。

圖4 數字圖像相關原理

在本方法中所采用的相關系數為最小距離平方和函數：

2.2 圖像去邊緣化

數字圖像相關法是一種區域性的匹配方法，是圖像子區中所有像素均參與的特征匹配，但在圖像的尖銳部分（如圖像邊緣），會產生很多錯誤匹配點。為了消除該方法的邊緣效應，使用梯度均值和梯度重心偏移量的算子來定位和去除邊緣區域就顯得非常必要。對圖像梯度 g（x，y）的計算采用 Sobel算子，梯度均值為圖像子區范圍內所有圖像點的平均值：

引入梯度均值閾值α，當子區梯度均值大于α，代表該子區特征飽滿，可進行計算；當子區均值小于α，則表示該區域特征過于統一，即整體偏白或偏黑，不利于計算，可以將其去除。梯度重心偏移量d表示圖像子區梯度重心（dx，dy）相對于子區中心（x0，y0）的偏移程度：

同樣引入閾值β，當d＞β時，表明該區域梯度特征分布不均，可能處于邊緣區域，可以去除。

為提高該環節的計算速度，本文采用盒濾波運算法[10-11]來加速散斑圖像梯度計算過程。其基本思想是采用一個不斷更新數據的像素窗口，利用前一個圖像子區的梯度計算代價，為下一個圖像子區梯度計算消除冗余的加法、乘法運算，并且在數據訪問時通過直接訪問數據位置而有效減少了尋址操作，計算效率顯著提高。對于一幅1920像素×1200像素的散斑圖像，計算子區大小為30像素×30像素，選取α=64，β=0.25，去邊緣化效果如圖5所示。對散斑圖像進行該處理后，在匹配階段可有效改善散斑的誤匹配以及被測物外的無限制匹配所產生的諸多數據雜點。

3 實驗分析

3.1 面部點云掃描

為驗證該方法點云重建效果，設計了面部輪廓測量實驗。首先對相機進行內外參數的標定，調節散斑投射器，標定后固定相機位置。人位于兩測頭中心線上，與每個測頭相距1 050 mm，掃描面部時，黑白相機曝光時間設置為3 ms，彩色相機曝光時間設置為15ms。掃描時，通過驅動電路板觸發兩測頭上的主動激光散斑投射器來投射散斑，在投射散斑5ms后，控制所有的相機同步采集面部散斑圖片和彩色圖片，16ms后關閉散斑投射器，相機停止數據采集。獲取散斑圖像后，通過設定的三維輪廓計算流程，對其進行邊緣化去除操作，隨后根據數字圖像相關原理及多種子點擴散原理進行面部點云重建。

由圖6、圖7中圖像可以觀察到，使用主動激光散斑投射器采集的面部散斑圖像亮度均勻，散斑密集且清晰。在環境光線較弱情況下，依然能夠得到優質的散斑圖像；在高亮環境下，黑白相機加裝850濾光片后可屏蔽環境光影響，保證散斑效果。對散斑圖像進行輪廓重建之后，將點云分別保存為“.wrl”格式的彩色點云文件、“.asc”格式的正面點云文件和“.stl”格式的三角面片文件，如圖8所示。從點云信息中可看出，通過該方法所得到的面部點云比較光滑，眼、鼻、眉等細節特征保存比較完整，能夠較好地識別出主要特征。

圖5 去邊緣化處理實例效果

圖6 右測頭相機采集圖片

圖7 左測頭相機采集圖片

通過多次測量點云的結果來看，該方法在保證了重建效果的同時，還具有較好的穩定性。另外，采用雙測頭的測量方案能夠比較完整地獲取人面部兩側的點云信息，而且對于兩測頭測量范圍相交區域，互補作用使點云數據更加完整，可以滿足相關行業的使用要求。

圖8 掃描點云

3.2 誤差驗證

實驗采用直徑為100mm的標準球進行點云重建，然后根據生成的點云進行球體擬合并計算其直徑，將計算值與標準值進行對比分析，驗證散斑點云重建的誤差，散斑圖像及球體擬合效果如圖9所示。

圖9 標準球直徑擬合

對標準球的掃描測量實驗共進行5次，多次擬合球直徑得到的結果如圖10所示。

圖10 多次擬合結果圖

根據5組實驗的標準球直徑擬合結果得到平均擬合直徑為99.64mm，標準差為0.15mm。因此，該方法的散斑測量誤差在±0.2mm左右。

4 結束語

本文針對目前對面部輪廓信息測量的需求，使用一種主動激光散斑投射器向人面部投射激光紅外散斑，該方法數據采集時間較短，不易受環境光強的影響。在三維輪廓重建流程中，對獲得的散斑圖像進行預處理去邊緣化操作，防止誤匹配及無限匹配的發生，最終重建面部輪廓。實驗證明該方法所獲得面部點云信息擁有較好的特征辨識度，五官清晰，驗證了該方法的可行性，并通過誤差測試驗證了該方法的測量誤差可以達到±0.2mm。

[1]鐘世鎮．數字化虛擬人體研究現狀和展望[J]．解放軍醫學雜志，2003，28（5）：385-388.

[2]潘紅艷，柳楊華，徐光祐．人臉動畫方法綜述[J]．計算機應用研究，2008，25（2）：327-331.

[3]熊耀陽，陳曉波，孫健，等．結構光投影面部三維測量系統的研制[J]．上海交通大學學報（醫學版），2009，29（7）：837-841.

[4]楊宇，闞凌雁，于佳，等．基于激光掃描的人臉三維重建方法[J]．紅外與激光工程，2014，43（12）：3946-3950．

[5]鹿樂，周大可，胡陽明．基于特征分塊的三維人臉重建和識別[J]．計算機應用，2012，32（11）：3189－3192．

[6]葛寶臻，趙丹，田慶國，等．三光帶激光三維人臉掃描方法[J]．2010，37（6）：1594-1598.

[7]唐正宗，梁晉，肖振中，等．用于三維變形測量的數字圖像相關系統[J]．光學精密工程，2010，18（10）：2244-2253．

[8]SAVIC V， HECTOR L G J， FEKETE J R.Digital image correlation study of plastic deformation and fracture in fully martensitic steels[J].Experimental Mechanics，2010，50（1）：99-110.

[9]KARTAL M E，MULVIHILL D M，NOWELL D，et al.Determination of the frictional properties of titanium and nickel alloys using the digital image correlation method[J].Experimental Mechanics，2011，51（3）：359-371.

[10]鄧祥．多分辨率與視差梯度相結合的快速區域匹配[J]．山西電子技術，2014（6）：9-11.

[11]MCDONNELL M J.Box-filtering techniques[J]．Computer Graphics and Image Processing，1981，17（1）：65-70.

（編輯：商丹丹）

Research on active laser speckle projection for facial measurement

ZHAO Pengliang1，2， LIANG Jin1，2， XU Jinlan1，2， WU Guoqing3， MENG Fanchang1，2
（1.State Key Laboratory for Manufacturing Systems Engineering，School of Mechanical Engineering，Xi’an Jiaotong University，Xi’an 710049，China；2.Guangdong Shunde Xi’an Jiaotong University Academy，Foshan 528300，China；3.Institute of Electro-Optical Equipment，AVIC，Luoyang 471009，China）

In order to solve the problem of facial measurement in medical and other related fields，a method to acquire the facial point cloud based on active laser speckle projection is proposed.This method can rapidly reconstruct the three-dimensional facial contour by combining stereo vision with digital image correlation method.Firstly，the fundamental of digital image correlation method is introduced，and then a preprocessing method of speckle image before matching is proposed to remove the marginalized area of the speckle image for high quality speckle matching.Finally， according to the speckle matching，the facial three-dimensional point cloud is calculated.To verify the feasibility and the final reconstruction effect of the method， the facial scan reconstruction and error experiment are designed and conducted.Experimental results demonstrate that the method has small measuring device size and light robustness.It can reconstruct the facial model well， and the overall measurement error is ±0.2mm.

facial measurement； laser speckle； digital image correlation method； image marginalization removal

A

1674-5124（2017）09-0008-05

10.11857/j.issn.1674-5124.2017.09.002

2016-12-23；

2017-02-10

國家自然科學基金項目（51421004）；廣東省公益研究與能力建設專項資金（2014A010104003）

趙鵬亮（1991-），男，河南許昌市人，碩士研究生，專業方向為三維光學測量。

梁 晉（1968-），男，河南鄭州市人，教授，博士生導師，主要從事機電控制、機器視覺等方面的研究。