基于廣義對稱變換的多模態人臉面部特征識別方法

周天綺，徐勝超

(1.浙江醫藥高等?？茖W校 醫療器械學院，浙江 寧波 315100；2.廣州華商學院 數據科學學院，廣東 廣州 511300)

0 引 言

現階段，人臉識別技術已經廣泛應用于各個領域中，其主要通過計算機設備對人臉面部進行掃描，從掃描結果中獲取有效信息，從而完成身份識別。隨著人臉識別與其它科學的交叉發展，人臉面部特征分析逐漸受到關注，針對面部特征的研究也有很多。

文獻[1]將改進單層神經網絡與C-Canny算法進行結合，設計一種面部特征點定位方法。實驗結果表明，該方法可以有效降低面部特征識別中的損失函數值，并且能夠有效克服由于光照和角度等問題導致的定位誤差，但是在人臉表情變化時，定位的準確率較低。文獻[2]設計基于面部特征激光光點定位的人臉識別方法。實驗結果表明，該方法對人臉特征識別的準確率較高，但是在光照等客觀因素的影響下，該方法的識別效率不高。

為了解決傳統方法存在的人臉特征識別準確率不高于特征識別時間較長的問題，將廣義對稱變換方法應用至多模態人臉特征識別中，旨在提升識別方法的識別效果。對稱性作為物體的一項基本特征，其能夠對物體形狀進行準確描述，而人的面部結構中，眼、鼻、嘴等均具有對稱性質。廣義對稱變換主要以人臉的生理幾何分布特征為理論依據，該方法具有受客觀因素影響較小的優勢，因此，本文先提取出面部的主要對稱成分信息，然后通過廣義對稱變換法實現面部特征的識別。

1 多模態人臉面部特征提取

通過積分投影[3]獲取人臉的最低點C(xc,yc)、 鼻子和嘴唇的MBR，即人臉含有特征點的最小邊界矩形[4]。通過點C(xc,yc) 將人臉面部輪廓分為左右兩個部分，左臉與右臉存在一定的對稱性，但不完全對稱。自下而上搜尋面部輪廓點，直至搜索部位的水平方向與鼻尖部位相齊時停止搜索，具體操作如下：

(1)首先通過能量函數獲得下巴最低點。作一條以C(xc,yc) 為中心的水平直線段LR，令LC=CR=δ。 假設L的坐標記作 (xl,y)， R坐標記作 (xr,y)， 則定義能量函數可以表示為

Etotal=Eupper+Eedge

(1)

其中，Eedge(x,y)表示像素 (x,y) 的Sobel算子[5]在不同方向上的最大值；Eupper表示像素灰度值。圖1為不同方向上Sobel算子的分布。

圖1 不同方向上的Sobel算子

令y在 (yc-α,yc+α) 范圍內變化，α為一個固定值，則當Etotal最小時，完成校驗，并且將此時的y值賦予給yc。

(2)提取面部輪廓。根據面部輪廓[6,7]，定義3種先驗模板，圖2為面部左輪廓。

圖2 面部左輪廓

先驗模板中所含有的數字主要用來描述像素優先級的高低，根據不同面部區域的實際情況，應該選擇不同類型的先驗模板，圖2中粗線條部分即為需要提取的左臉特征，左臉先驗模板與相應區域的描述如下：

步驟1 若xL_mMBR

上述yT_mMBR，yB_nMBR，xL_mMBR，y_mMBR分別代表嘴部上界、嘴部下界、嘴部左邊界、鼻子下邊界，以上參數通過積分投影獲得。

面向臉部的不同區域，首先設定標志量ImagineDot=FALSE。 在面部的二值邊界圖[8]中，以點C為起點，在區域1中通過模板1對邊界點進行依次選取。假設Ci-1(xi-1,yi-1) 為目標點，如果優先級是1，2，3的點內含有至少一個邊界點，那么下一點Ci(xi,yi) 的順序即為模板LPT-1。 令ImaginDot=FALSE， 如果模板中出現斷點，證明優先級是1，2，3的面部輪廓點為非邊界點，則選用如下補償機制進行處理：如果ImaginDot=FALSE， 將優先級為1的點定義為Ci， 此時LPT-1有：xi=xi-1-1，yi=yi-1， 同時使ImaginDot=FALSE。

如果ImaginDot=FALSE， 則將優先級是1，2，3的點定義為Ci， 所采用的判據如下

E=-w1Eedge(x,y)-w2g(xin,yin)+w3g(xout,yout)

(2)

式中：g(xin,yin) 表示像素 (x,y) 在面部輪廓的法線正方向上指向唇部部分的相鄰像素；g(xout,yout) 表示像素 (x,y) 法線正方向上背離唇部部分的相鄰像素。這里以區域1的先驗模板舉例，xin=xout=x，yin=y-1，yout=y+1。 計算出優先級是1，2，3點的E值，并且將E值最小的點視為Ci， 同時令ImaginDot=FALSE。 在區域2、區域3中分別使用先驗模板LPT-2、 LPT-3， 發現斷點時使用與LPT-1相似的補償機制[9]。不同之處在于，區域2中，xin=x+1，xout=x-1，yin=y-1，yout=y+1； 區域3中，xin=x+1，xout=x-1，yin=yout=y。

同理，右臉的面部特征提取方法和左側基本相似，只有以下參數的取值略有不同，對于區域2，xin=x-1，xout=x+1，yin=y-1，yout=y+1。 對于區域3，xin=x-1，xout=x+1，yin=yout=y。

2 基于廣義對稱變換的面部特征識別

廣義對稱變換方法主要描述圖像中各個點的對稱性，面向的具體對象是圖像中的局部算子[10]，因此以上文特征提取獲得的人臉左右部分特征結果為基礎，運用廣義對稱變換方法對面部特征進行識別。

vk=(ηk,θk)

(3)

設置aij為pi和pj兩點之間連線與水平線形成的逆時針夾角，由于兩點之間存在無序性，因此，將aij的值域設定為 [0,π]。 定義以點p為中心的點對集合為Γ(p)， 距離權重函數為Dσ(i,j)， 那么相位權重函數p(i,j) 可以表示為

p(i,j)=(1-s(θi+θj-2aij))×(1-cos(θi-θj))

(4)

式中：θi表示與各點梯度值成反比的權函數；θj表示與各點梯度值成正比的權函數；s表示特征向量。定義點pi與點pj的對稱性貢獻如下

一輛2014款上汽通用別克君威，搭載排量為2.4L的LE5發動機，行駛里程為145 800km，據車主反映：該車發動機能正常啟動，但怠速運行一段時間后，發動機會發出“嘩啦、嘩啦”異響，同時發動機抖動嚴重，踩下加速踏板，發動機轉速不上升，發動機故障燈點亮。該車進4S店檢修，被維修人員告知應更換正時鏈條，因為正時鏈條可能出現拉長的問題，考慮到更換正時鏈條需要8 000多元，所以車主將車送到我店維修。

C(i,j)=Dσ(i,j)P(i,j)rirj

(5)

式中：Dσ(i,j) 表示左右臉對稱系數；ri和rj均表示對稱面。則點p的對稱系數可以表示為

(6)

式中：n表示對稱點個數。對人臉的對稱主成分進行分析，利用人臉鏡像對稱性結合廣義對稱變換對人臉特征進行識別。將所得特征樣本帶入到人臉特征識別中，對人臉圖像進行分解，不僅考慮不同面部特征在人臉圖像中所占比例各異的問題，同時，充分考慮視角、光照等因素對特征選擇的影響，對特征項進行奇偶正交重構，并借助鏡像樣本提升樣本容量，增強識別性能。對稱主成分原理如下：

對任意函數進行分解如式(7)所示

f(x)=fe(x)+fo(x)

(7)

式中：fo(x)、fe(x) 分別表示奇偶對稱函數。對fo(x)、fe(x) 進行進一步分解，并將其表示成一組偶對稱函數和一組奇對稱函數，這就表明任意函數均可由偶對稱函數和奇對稱函數組成。將以上理論應用于面部圖像特征識別中，定義各特征量是以圖像中心垂直線為對稱軸的鏡像對稱。則可將面部圖像分解為

Γ=Γo+Γe

(8)

(9)

(10)

其中，Γe和Γo分別表示鏡像的偶對稱和奇對稱；Γm表示鏡像圖像。

設Γe、Γo及Γm的樣本集合分別表示為ΓE、ΓO及ΓM，其樣本均值分別表示為me，mo，mm， 樣本的總體協方差矩陣為E、O及M，E、O矩陣中的非零本征值為λei(i=1,2,…re)、λoj(j=1,2,…,ro)， 其本征向量分別可以表示為uei、uoj。re與ro分別表示E、O的秩，即re=rank(E)、ro=rank(O)。 令

Φe=[Uel,…,Uen]∧e=diag(λel,…,λen)

(11)

Φo=[Uol,…,Uon]∧e=diag(λol,…,λon)

(12)

其中， Φe， Φo分別表示面部鏡像奇偶對稱的KL特征分量。

隨后通過對稱性分析和廣義對稱變換完成人臉識別，具體步驟如下：

步驟2 以Φ*=[Φe,Φo] 為特征變換矩陣，提取圖像的鏡像奇偶對稱特征分量。

步驟3 按照方差將提取所得特征分量降序排序，并且將方差相對較大的分量作為特征[11]。在對人臉特征識別的過程中，根據各特征向量間的對稱關系，對廣義對稱向量進行加權處理，隨后對人臉圖像進行重構，重構后的奇、偶面部圖像與待識別的人臉圖像作歐氏距離[12]處理，將所得的兩個距離相加獲得最后距離，識別過程中根據實際情況對該距離設置一個閾值T，當距離大于該閾值時，則采用奇矯正方法進行識別，反之則使用偶矯正方法完成識別。

3 仿真實驗

為了驗證所提基于廣義對稱變換的多模態人臉面部特征識別方法的有效性，將特征識別準確率與識別時間作為實驗指標，進行仿真實驗驗證。

3.1 實驗樣本選取

在實驗過程中，通過手工標定的方法對人臉圖像的眼睛位置進行對齊，在特征提取的過程中，人臉圖像大小為64×80，人臉的兩眼間距為28 mm?？紤]到圖像的對稱性質，將變換的頻譜寬度設置為64。

實驗所用圖像均來自于FRGC v2.0數據庫，該數據庫具有較大規模的人臉數據，用于測評面部特征識別的性能。因此本文在該數據庫中對不同方法進行人臉特征識別效果的驗證。具體選取40人作為實驗對象，分別對40人每人采集10幅圖像，其中包括不同的表情和尺度變化圖像。為測試各特征的泛化能力，在實驗過程中將每人的第1、第3、第5幅圖像作為訓練樣本，剩下圖像為測試樣本。

3.2 實驗結果分析

采用上述實驗數據，分別利用本文方法與文獻[1]、文獻[2]方法同時進行識別測試，對比不同方法的識別準確率，結果見表1。

表1 不同方法識別準確率對比結果

根據表1中的數據可以看出，傳統方法的識別準確率明顯較低，而本文方法針對不同的訓練樣本均能保持較高的識別準確率，識別準確率明顯高于傳統方法，這表明本文方法提取的特征更具有鑒別性，能夠更好地克服表情變化、角度變化、光照等不同因素影響。這是由于通過廣義對稱變換處理面部特征后，在一定程度上消除了面部各特征點的變化誤差，使本文方法能夠在不依賴訓練樣本數據的情況下，可以獲得較高的識別準確率。

以特征識別時間為指標，對比不同方法的識別效果，結果如圖3所示。

圖3 不同方法識別時間對比

分析圖3可知，隨著迭代次數的增加，不同方法的人臉面部特征識別時間均呈現出持續增加的趨勢，但是相比較之下，本文方法的識別時間明顯低于文獻[1]方法和文獻[2]方法，其識別時間最長僅為0.6 s，而文獻[1]方法和文獻[2]方法的識別時間最大值達到了3.0 s以上，通過對比可知，本文方法的識別時間更短，即該方法的識別效率更高。

為了進一步驗證本文方法的有效性，以識別結果的全面性為實驗指標，對不同方法進行對比分析，識別結果的全面性用數值進行表示，具體區間為0.1～1.0，數值越大，說明識別結果越全面，反之，識別結果不夠全面。對比結果如圖4所示。

圖4 不同方法識別全面性對比

分析圖4可知，隨著迭代次數的增加，不同方法的識別結果全面性均呈現出不斷增加的趨勢，但是相比較之下，本文方法的全面性系數更高，其最高值達到了9.2，說明本文方法的多模態人臉面部特征識別結果更加全面。

4 結束語

為降低外界各相關因素對識別準確率的影響，本文提出一種基于廣義對稱變換的多模態人臉面部特征識別方法。實驗結果表明本文方法能夠在不依賴訓練樣本數據的前提下，依然保持較高的準確率，且在不同訓練樣本數量下的識別準確率均優于傳統方法，且識別結果的全面性更好，這是由于廣義對稱變換識別法主要以人臉的生理幾何分布的對稱性為理論基礎，使識別結果受表情變化、角度和光照情況等因素的影響較低。雖然本文研究在一定程度上對傳統方法的人臉特征識別效果進行了改進，但是本文研究的場景不夠廣泛，接下來將針對不同場景下的人臉特征識別問題進行深入研究，以提升方法的應用范圍。