人臉對齊處理對面部色澤變化的影響

李思璇　孫兵

摘要：對人臉識別考勤系統所獲取的圖像序列進行色澤變化分析，可有效獲取員工的健康信息。本文利用基于Haar-like特征的人臉識別算法自動確定左眼、右眼、鼻子和嘴巴特征點位置，分別采用左右眼兩點對齊法、左右眼+鼻子三點對齊法、左右眼+嘴巴三點對齊法，對圖像序列進行配準處理以得到標準化圖像序列，對標準化圖像序列的各色彩分量進行相關函數分析，研究人臉圖像序列對齊處理方法對面部色澤變化的影響。探討能夠有效減小圖像序列對齊處理引起的面部色澤變化的方法，更好地保留員工自身健康變化引起的面部色澤變化，提供更為準確的健康警示信息。

關鍵詞：人臉對齊;面部色澤變化;健康警示;相關函數

中圖分類號：TP391 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 文獻標識碼：B ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? DOI：10.3969/j.issn.1006-1959.2019.19.002

文章編號：1006-1959（2019）19-0004-04

Analyzing the Influence of Face Alignment Processing on Facial Color Change

LI Si-xuan1，SUN Bing2

（College of Biological and Medical Engineering1，College of Electronic and Information Engineering2，

Beijing University of Aeronautics and Astronautics，Beijing 100191，China）

Abstract：The color image change analysis of the image sequence obtained by the face recognition attendance system can effectively obtain the employee's health information. In this paper， the face recognition algorithm based on Haar-like feature is used to automatically determine the position of the left eye， right eye， nose and mouth feature points， respectively， using the left and right eye two-point alignment method， left and right eye + nose three-point alignment method， left and right eyes + mouth three point alignment method is used to register the image sequence to obtain a standardized image sequence， and the correlation function analysis is performed on each color component of the normalized image sequence， and the face image sequence alignment processing method affects the color change of the face. To explore ways to effectively reduce facial color changes caused by image sequence alignment processing， to better preserve facial color changes caused by employees' own health changes， and to provide more accurate health warning information.

Key words：Face alignment;Facial color change;Health warning;Correlation function

人臉對齊處理是采用計算機進行人臉圖像處理的一個很關鍵的預處理步驟，通過人臉對齊處理可以將多幅人臉圖像中的眼睛、鼻子和嘴巴等特征點位置校準到相同位置，進而實現多幅人臉圖像的配準[1]。在對彩色人臉圖像進行配準時，人臉對齊處理會對人臉圖像的色彩產生影響，所以應選取對色彩影響盡可能小的對齊方法。本文圍繞人臉采集后進行人臉對齊處理開展研究，通過實驗分析了基于幾何變換的兩點對齊法和三點對齊法[2]對人臉圖像色彩（人臉面部色澤）變化的影響，從而優選出對人臉面部色澤變化影響盡可能小的人臉對齊方法。

1概述

人體內臟器官在人臉面部都有對應的反射區，可以通過對人臉面部反射區的色澤觀察了解對應內臟器官的狀況，進而評估人體的健康狀況。“亞健康”是介于健康和疾病間的一種狀態[3]，既沒有達到“健康”的標準，又不符合西醫中對于“疾病”的診斷標準，如果能夠及時發現并采取相應的措施和手段就可恢復健康，否則可能引起疾病。據世界衛生組織的一項全球調查顯示，75%的人群處于亞健康狀態，20%需要醫治，健康人群只占5%[3]。中醫“治未病”的主要思想是未病先防，在中醫診斷的“望、聞、問、切”四診法中，“望診”是通過觀察人面、舌、眼、耳、手的顏色、紋理和形態來了解就診者的身體狀況和內臟器官功能的變化情況，其中面部是很重要的觀察部位，也就是“望診”中的“面診”。

隨著計算機信息處理技術的發展，人們已經能夠通過采集人臉面部圖像并結合圖像處理技術實現中醫面診，已獲得很多的相關研究成果[4-9]。但就目前的研究成果來看，都要求人們必須在指定的時間段到指定的場所采集人臉面部圖像，這對于上班族們來說就成了一種“額外”的負擔，不能做到隨時隨地實現健康狀況的評測和監管。人臉識別考勤機已成為利用人臉識別技術對員工進行非接觸、快速高效的考勤記錄設備[10]，并可積累員工的長時間人臉圖像。本研究提出了一種兼有健康警示功能的人臉識別考勤系統，該系統能夠在完成員工日常簽到考勤的同時，對人臉圖像序列進行面部色澤變化檢測，通過分析給出員工健康評估和健康警示。基于該系統獲取健康警示信息的關鍵是從人臉圖像序列中提取面部色澤變化信息，而面部色澤變化一方面是由于員工自身健康狀況變化引起，另一方面是由于人臉采集和處理過程中的誤差導致，后者需要盡可能減小。

2人臉圖像對齊處理方法

2.1人臉圖像和特征點數據采集 ?人臉圖像序列的采集過程首先選取實驗場地，然后采集測試者人臉圖像并自動檢測出左眼、右眼、鼻子和嘴巴特征點，記錄相應的位置信息。人臉圖像序列采集采用Python語言實現，其中人臉檢測采用了OpenCV庫函數中的基于Haar-like特征的Haar級聯分類器實現，處理流程見圖1。

本文采用了以下函數分別檢測人臉、眼睛、鼻子和嘴巴特征位置。

cv2.CascadeClassifier（'haarcascade_frontalface_default.xml'）

cv2.CascadeClassifier（'haarcascade_eyes.xml'）

cv2.CascadeClassifier（'haarcascade_nose.xml'）

cv2.CascadeClassifier（'haarcascade_mouth.xml'）

Haar級聯分類器以長方形框出眼睛、鼻子或嘴巴的位置信息，本文以長方形中心處的位置作為眼睛、鼻子或嘴巴特征點的位置數據。

2.2人臉對齊處理和標準化圖像截取 ?標準圖像是指經過人臉對齊處理后、從采集的人臉圖像中截取僅包含人臉面部的圖像，標準化圖像的模板見圖2。

標準化圖像寬度W、高度H，圖像左上角為原點（0，0），固定左眼和右眼位置分別為（x1，y1）和（x2，y2），由于每個人的鼻子和嘴巴位置相對于眼睛的位置不盡相同，所以在模板中沒有固定鼻子和嘴巴的位置。

2.2.1左右眼兩點對齊法 ?人臉圖像雙眼兩點對齊法只需要知道兩個眼睛的位置就可以實現。通過MATLAB的兩個函數可以實現人臉兩點對齊和標準圖截取。

tform2=cp2tform（input_pts，base_pts，'Nonreflective Similarity'）

Img2=imtransform（Img， tform2，'XData'，[1：W]，'YData'，[1：H]）

上述函數中Img是采集的圖像序列Pi，i=1，2，3…K，人臉對齊和標準化截取后的圖像序列Img2記為Ii=i，1，2，3，……，K。

2.2.2左右眼+鼻子三點對齊法 ?人臉圖像雙眼和鼻子三點對齊法需要知道兩個眼睛和鼻子的位置對應關系，圖2的標準化圖像模板中只預設了左眼和右眼位置，沒有預設鼻子的位置。本文首先采用前文所述的雙眼兩點對齊法對第1幅圖像進行標準化處理后，再將第1幅人臉圖像中鼻子（x）的位置投影到標準圖上并設定為標準化圖像模板中鼻子的位置（x3，y3）。

tform3=cp2tform（input_points， base_points，'Similarity'）

Img3=imtransform（Img，tform3，'XData'，[1：W]，'YData'，[1：H]）

上述函數中Img是采集的圖像序列Pi，i=1，2，……，K，人臉對齊和標準化截取后的圖像序列Img3記為Ii=i，1，2，3，……，K。

2.2.3左右眼+嘴巴三點對齊法 ?雙眼和嘴巴三點對齊法只是將第三個特征點選為嘴巴，處理過程與左右眼+鼻子三點對齊法相同。

3面部色澤變化評價指標

為了定量描述標準化圖像序列的色澤變化，分別對人臉圖像的紅色、綠色、藍色三個通道分量和灰度圖像數據進行統計分析，計算圖像序列的相關系數及相關系數的均值和均方差。

人臉對齊處理后，得到標準化圖像序列Ii=i，1，2，3，……，K，分別采用公式（1）計算紅色、綠色、藍色通道數據和灰度圖像數據的相關系數C（i）i，i=1，2，3，……，K。

其中，Ii=i，1，2，3，……，K，表示第i幅標準化圖像， 是像素點位置。如果上式計算過程中像素點取自紅色通道，得到紅色通道數據相關系數，同理可以得到綠色和藍色通道以及灰度圖像的相關系數，B（k，l）是由0或1組成的掩膜數據，見圖3。

獲得相關系數C（i），i=2，3，……，K后，通過公式（2）和（3）計算相關系數的均值和均方差。

4人臉對齊方法對面部色澤的影響分析

4.1數據采集方法 ?首先讓測試者面對鏡頭、雙目凝視鏡頭，頭部隨機上下左右做微小擺動和轉動，獲得原始圖像序列;再利用基于Haar-like特征的人臉識別模塊識別出面部、左眼、右眼、鼻子和嘴巴位置，存儲原始人臉圖像和各人臉圖像中左眼、右眼、鼻子和嘴巴位置數據。

4.2實驗數據集 ?為了充分驗證所采用三種不同對齊方法的性能差異，共設計采集了兩類各2組數據，每組數據由24幅圖像組成，分辨率為640×480：

①同一天同一背景下測試者面部位置和姿勢略不同的48幅圖像分成2組（各24幅），后續分析分別稱為數據1和數據2。這兩組數據避免了時空因素的影響，能夠較好地反映人臉對齊法對圖像色彩的直接影響。

②背景不同、隔天（相近時間）采集的48幅圖像，地點1采集的24張人臉數據稱為數據3，地點2采集的24張人臉數據稱為數據4。這兩組數據在測試者無顯著健康變化的前提下獲得，反映人臉對齊法對圖像色彩影響分析結論的魯棒性。

4.3實驗結果和分析 ?實驗選取標準圖像寬121個像素、高151個像素，左眼位置（91，45）、右眼位置（31，45）。

對各組圖像序列進行特征點位置提取，并基于雙眼兩點法、雙眼+鼻子三點法、雙眼+嘴巴三點法獲取相關系數，數據1的特征點位置以及三種方法得到的相關系數曲線見圖4～圖7，另外3組數據的結果類似。在此基礎上計算得到三種方法相關系數的統計結果見表1。

由圖4和表1可以看出：①在每組實驗結果中，紅色通道相關系數的均方差最小，藍色通道相關系數的均方差最大;②同一組圖像序列中，雙眼兩點對齊法的相關系數方差最大，雙眼+嘴巴三點對齊法的相關系數方差最小;③相同背景、短時間內獲得的圖像序列的相關系數變化要遠小于不同背景及不同時間獲得的圖像序列。

綜上所述，三種對齊方法中的雙眼兩點對齊法對色澤影響較大，雙眼+嘴巴三點對齊法對色澤影響較小。理論分析也可知，由于雙眼+嘴巴構成三個特征點三角形要大于雙眼+鼻子三個特征點三角形，從而在圖像配準過程中減小未知畸變，進而避免帶來較大的色彩變化，因而實驗結果也獲得了較好理論支撐。

參考文獻：

[1]張建樹.人臉對齊與圖像分類關鍵算法研究[D].浙江師范大學，2018.

[2]王文峰，李大湘，王棟，等.人臉識別原理與實戰[M].北京：電子工業出版社，2018：70-84.

[3]黃海波，肖子曾，向忠軍，等.中醫藥治療亞健康的進展[J].中醫藥導報，2015，21（5）：50-52.

[4]孫琦，李新霞，武建，等.TCMI智能中診平臺的設計與開發[J].醫學信息，2018，31（7）：7-9.

[5]王天芳，李燦東，朱文鋒.中醫四診操作規范專家共識[J].中華中醫藥雜志，2018，33（1）：185-192.

[6]梁玉梅.基于面象特征的中醫體質自動辨識系統研究[D].北京工業大學，2016.

[7]張紅凱，李福鳳.中醫面診信息采集與識別方法研究進展[J].世界科學技術-中醫藥現代化，2015，17（2）：400-404.

[8]蔡軼珩，呂慧娟，郭松，等.中醫望診圖像信息標準量化與顯示復現[J].北京工業大學學報，2014，40（3）：466-472.

[9]王祉，張紅凱，李福鳳，等.中醫面診信息計算機識別方法研究及臨床應用概述[J].中華中醫藥學刊，2014（8）：1882-1885.

[10]王曉亞，封筠.人臉識別考勤技術研究[J].河北省科學院學報，2014，31（2）：54-59.