人臉皺紋三維測量與量化系統

【作 者】蔡國超，于云雷，曹熠偉，黃朔，周平, 2 東南大學生物科學與醫學工程學院，南京市，200962 東南大學蘇州研究院，蘇州市，2523

?

人臉皺紋三維測量與量化系統

【作 者】蔡國超1，于云雷1，曹熠偉1，黃朔1，周平1, 2
1 東南大學生物科學與醫學工程學院，南京市，210096
2 東南大學蘇州研究院，蘇州市，215123

【摘 要】人臉皺紋的三維測量與量化在眾多領域有著重要的應用價值。該文提出了一套完整的系統，實現了對人臉皺紋的三維測量與量化。首先，該系統采用基于結構光的立體視覺測量方法，完成了系統標定、對應點匹配與三維反求，實現了人臉皺紋的三維測量。其次，該系統將皺紋視為疊加在人臉光滑輪廓上的噪聲，采用三維噪聲提取與形態學處理方法，實現了人臉皺紋的量化。實驗結果表明，該文提出的系統可以實現對人臉皺紋的準確測量與客觀量化評價，且具有非接觸、高精度等特點，具有廣泛的應用前景。

【關 鍵 詞】皺紋；三維測量；立體視覺

0　引言

皮膚的衰老伴隨著人體的衰老，是人體衰老的表征之一。對人臉皺紋進行準確、客觀的測量、評價具有重要的應用價值[1-4]。

早期的皺紋測量多采用硅膠倒模得到表面皮膚復制品（SSR），再以SSR為測量對象，以機械手段對SSR進行三維測量[5]。由于硅膠為柔性材料，擠壓變形等原因會導致SSR與真實皺紋之間存在必然差異，因此SSR方法只能作為皺紋的初步評價，分辨率較低，誤差較大。激光測距方法是上世紀八十年代逐步發展起來的一種皺紋三維測量方法[6]，此方法提高了測量的分辨率與精度，但整個測量過程需進行逐點掃描，耗時較長，人體的絕對位置在測量中的微小改變是其主要誤差源。近年來雖然出現了很多基于二維圖像的皺紋測量與評價方法[7-8]，但由于二維圖像測量對于皺紋深度信息的損失無法避免，因此這種方法的準確性與重復性都難以得到保證。

本文提出一種基于結構光的立體視覺方法進行人臉皺紋的三維測量[9]，并對測量得到的人臉皺紋點云數據進行了特征提取與量化研究，研發了一套完整的人臉皺紋測量與量化系統。

1　皺紋測量

針對上述問題，本文針對人臉皺紋進行三維測量，提出了一種基于結構光的立體視覺測量方法，如圖1所示為本文測量系統的結構示意圖。

本文提出的人臉皺紋三維測量系統采用立體視覺原理，由圖1中所示的兩臺CCD相機（A1, A2）同時采集人臉皺紋二維圖像；P為投影儀，在進行人臉皺紋測量時，投影儀向待測人臉皺紋投射正弦結構光柵，由CCD相機采集經人臉皺紋調制后的變形光柵。本系統采用多頻外差法[10]，生成的光柵表示為：

圖1　人臉皺紋三維測量系統結構示意圖Fig.1 3D facial wrinkle measurement system structure diagram

其中Iki表示頻率為λi的第k步相移光柵的光強，?ki表示頻率為λi的線性相位函數的第k步相移相位，A與B是光柵的調制系數。本文使用四步相移函數，光柵頻率分別為λ1= 1/74，λ2= 1/68，λ3=1/63。 本系統采用投影儀投射結構光柵的目的為：當在由兩臺CCD采集到的二維人臉皺紋圖像中進行對應點匹配時，其匹配精度不高，因此需要結構光柵提供額外的匹配信息，以提高對應點匹配精度，進而提高人臉皺紋的三維測量精度。

完成兩幅二維圖像間的對應點匹配后，需通過系統的內、外參數矩陣實現人臉皺紋的三維反求，即需要對測量系統進行標定。本文采用張正友標定工具箱實現系統標定，此方法基于小孔成像原理，將雙目立體視覺系統簡化為如圖2所示結構。

圖2　系統標定原理Fig.2 System calibration principles

空間中一點P在左右相機的成像平面上分別成像為PL(uL, vL)與PR(uR, vR)，PL與PR即為一對匹配的對應點，前述采用結構光柵的目的即為提高PL與PR的匹配精度。

此標定方法包含如下坐標系：世界坐標系Ow-XwYwZw、相機坐標系Oc-XcYcZc、理想圖片坐標系OI-XY和計算機圖像坐標系o-uv。對世界坐標系中的一點P(xw, yw, zw)，其與左相機成像平面的成像關系可以表示為：

其中，[uL, vL, 1]’為PL的齊次坐標，[RLTL]分別為左相機的旋轉矩陣與平移向量，二者構成左相機的外參數矩陣，外參數左側的矩陣為左相機的內參數矩陣。將式(2)中的下腳標L變為R，則可得到點P與右相機成像平面的成像關系。本文采用以圓形為特征圖形的標定板實現人臉皺紋三維測量系統的標定，標定板的精度為 0.005 mm。為提高系統測量精度，本系統在標定時考慮了二階徑向畸變與偏心畸變。最終，高精度標定后的系統測量精度達到了小于0.1 mm的水平，基本滿足了人臉皺紋三維測量的要求。

完成標定相當于得到了如公式(2)所示的兩個矩陣表示，若以方程形式展開公式(2)，則空間中一點P在左右相機的成像關系可表示為一個含有4個方程的方程組，其中的待求未知數即為點P在世界坐標系中坐標。本文采用基于結構光的立體視覺方法，實現了點P在左右相機成像平面的對應點匹配，即搜索得到點P在左右相機所成的像點PL(uL, vL)與PR(uR, vR)。至此，本系統將點P坐標的三維反求轉化為求解一個3個未知數4個方程的超定線性方程組問題，本系統求其最小二乘解。如圖3所示，為采用本系統測量的一幅人臉外眥皺紋的三維結果。

圖3　人臉外眥皺紋三維測量結果Fig.3 3D measurement result of face outer canthus wrinkles

2　皺紋提取

考慮到人臉輪廓在成年后變化很小，若忽略皺紋，人臉輪廓可近似為光滑、連續曲面，因此本文將人臉皺紋視為疊加在光滑、連續曲面上的噪聲，并采用三維噪聲提取方法實現人臉皺紋的提取。

對如圖3所示的人臉皺紋采用式(3)進行低階樣條曲面擬合。

公式(3)表明擬合曲面每一點都是相鄰節點數據的線性組合，因此可將擬合過程采用一線性函數表示，即：

其中，Z為擬合后的光滑曲面。為了將含有皺紋的人臉區域擬合成光滑、連續的曲面，對式(4)表示的擬合過程增加一階導數相等的約束，表示為：

其中，B為二階差分算子。本文采用拉普拉斯正則化方法對曲面擬合的過程進行迭代求解，求解公式(6)所得的最小值以獲得向量x，該過程表示為：

其中，參數λ被初始化為1。求解某一次的擬合結果為Zi，i為大于0的整數，通過計算Zi與前一次迭代結果Zi-1的殘差，Z0表示原始含有皺紋的曲面。以閾值法確定迭代結束的時刻，若殘差超過設定閾值，則增加λ并重新計算式(6)，直到殘差小于閾值。對應于圖3所示含有皺紋的人臉區域，當滿足閾值條件時，λ迭代至60，迭代結束。圖4所示為采用此方法獲得的光滑、連續人臉輪廓。

圖4　光滑人臉輪廓擬合結果Fig.4 Fitting result of smooth face contour

以人臉皺紋為研究對象，將圖3、圖4所示點云數據做差，即可實現人臉皺紋的三維提取，但此提取結果含有較多的噪聲。由于三維噪聲濾除算法過于復雜，不利于實現系統實時性，且由于本文提取的人臉皺紋三維點云數據是以二維圖像為基礎進行三維反求獲得，因此，本文采用了一種便捷的方法實現對噪聲的濾除。

將初步提取的三維人臉皺紋數據向XY平面進行投影得到二維圖像，將皺紋深度量化為二維圖像相應像素的灰度值，如圖5所示。

圖5　三維皺紋數據的二維投影Fig.5 2D projection of 3D wrinkle data

對圖5所示的二維圖像采用基于形態學的處理方法，通過連通域提取、連通域面積計算、基于連通域面積直方圖的閾值選取、基于閾值去除噪聲連通域的方法進行噪聲濾除。經去噪處理后的皺紋如圖6所示，可見其中共有8條皺紋。

圖6　人臉皺紋三維提取結果Fig.6 Facial wrinkles 3D extraction results

3　實驗結果與討論

本文采用皺紋數量(number of wrinkles, Wn)、平均皺紋深度(overall average wrinkle depth, Wd)、皺紋最大深度均值(average maximum wrinkle depth, MaxWd)、最大皺紋深度(maximum largest wrinkle depth, lWd)、皺紋絕對面積(absolute wrinkle area, aWa)等五個參數來量化、評估人臉皺紋狀態。圖6所示皺紋的量化結果為Wn=8，Wd=0.12 mm，MaxWd=0.41 mm，lWd=1.14 mm，aWa=286.25 mm2。

由測量數據可知，lWd較大，顯示皺紋存在深度較大的區域。同時，lWd顯著大于Wd和MaxWd，顯示皺紋深度分布不均，在某些區域深度顯著大于其余部分。同時，結合圖6中給出的三維提取結果，可以確定深度較大區域的位置，即位于y∈[6～10] mm，x∈[15～20] mm的區間內。

根據測量數據，Wd和MaxWd較小，表現出皺紋整體深度較淺，這與圖3中的測量結果吻合。相較于實驗區域表面積，aWa較大，顯示皺紋區域面積較大，皺紋分布密集。綜合以上測量結果，可以判斷該實驗區域皺紋分布較為密集，整體深度較淺，但深度分布不均勻。

本實驗的測量分析結果有助于醫生掌握病人的皺紋分布、皺紋深度等信息，有助于醫生客觀地分析病人的皺紋嚴重程度，并根據病人皺紋的整體與局部特點制定有針對性的治療方案，提高治療效果。同時，在治療期間使用本測量方法對病人皺紋嚴重程度與特點進行持續的跟蹤與分析，有助于對治療效果進行量化分析，從而合理調整治療方案。使用本系統也可以評測去皺產品的去皺效果。

由此實驗結果可見，本文提出的人臉皺紋三維測量與量化系統可以實現對人臉皺紋的精確三維提取與客觀量化。后續的研究將進一步圍繞提高系統測量精度進行。

參考文獻

[1] 頊改燕, 徐華, 翟忠武, 等. 基于Gabor濾波器與BP神經網絡的人臉皮膚皺紋區域自動識別[J]. 計算機應用, 2010, 30(2): 430-432.

[2] Choi SE, Lee YJ, Lee SJ, et al. Age estimation using a hierarchical classifier based on global and local facial features[J]. Pattern Recogn, 2011, 44(6): 1261-1281.

[3] 熊磊, 畢篤彥，何林遠, 等. 分層人臉模型機器真實感風格表情合成[J]. 計算機輔助設計與圖形學學報, 2013, 25(8): 1204-1212.

[4] 蔣大林, 曹虹, 李琳, 等. 皮膚表面測量技術的研究[J]. 北京生物醫學工程, 2007, 26(1), 107-110.

[5] Hatzis J. The wrinkle and its measurement— a skin surface profi lometric method[J]. Micron, 2004, 35(3): 201-219.

[6] Chernoff G, Slatkine M, Zair E, et al. Silk touch: a new technology for skin resurfacing in aesthetic surgery[J]. J Clin Laser Medand Surg, 1995, 13(2): 97-100.

[7] 夏寅輝. 人臉皮膚紋理測量及識別方法研究[D]. 秦皇島: 燕山大學, 2003.

[8] 宋佳麗. 皮膚紋理圖像特征的提取與分析[D]. 沈陽: 東北大學, 2009.

[9] 郝麗俊, 程勝. 基于結構光亞像素提取的三維重建[J]. 中國醫療器械雜志, 2009, 33(5): 336-338.

[10] 黃亞楠，婁小平. 基于多頻外差原理的相位校正及匹配方法研究[J]. 應用光學, 2014, 35(2): 237-241.

Three-Dimensional Facial Wrinkle Measurement and Quantifi cation

【Writers】CAI Guochao1, YU Yunlei1, CAO Yiwei1, HUANG Shuo1, ZHOU Ping1, 2
1 School of Biological Science and Medical Engineering, Southeast University, Nanjing, 210096
2 Suzhou Research Institute of Southeast University, Suzhou, 215123

【Abstract】The three-dimensional facial wrinkle measurement and quantification have important applications in many fields, which are implemented by an entire system proposed in this paper. The system uses stereo vision method based on structured-light to achieve three-dimensional facial wrinkle measuring, where the system calibration, corresponding points matching and three-dimensional reverse method are implemented. Furthermore, the facial wrinkle is considered as the noise attached on smooth facial profi le so that the facial wrinkle is acquired quantitatively by three-dimensional noise acquisition and morphologic processing method. The experimental results show that this system can accomplish accurate facial wrinkle acquisition and objective quantifi cation. This system has comprehensive applications as it is non-contact and it has high precision.

【Key words】wrinkle, three-dimensional measurement, stereo vision

【中圖分類號】TP391.41

【文獻標志碼】A

doi:10.3969/j.issn.1671-7104.2016.02.001

文章編號：1671-7104(2016)02-0079-04

收稿日期：2015-10-22

通信作者：周平，E-mail: capzhou@163.com