基于異向高斯核與RILPQ的模糊人臉表情識別方法*

陳 英， 張鵬鵬， 汪文源

(南昌航空大學 軟件學院，江西 南昌 330063)

0 引 言

人臉表情識別特征提取算法從維度空間上可以分為基于三維形狀信息提取法和基于二維形狀信息提取法。三維人臉模型的表情識別通過擬合一個三維形狀模型人臉圖像實時人臉跟蹤，最后提取三維形狀后再進行表情分析。基于二維的人臉表情特征提取算法主要分為動態特征提取法[1,2]和靜態特征提取法[3,4]兩類。然而，在人臉圖像采集過程中，對于使用攝像機和照相機進行拍攝時，可能出現人臉運動模糊的問題。針對此類問題， Ojansivu V等人[5]于2008年提出了旋轉不變局部相位量化(rotation invariant local phase quantization，RILPQ)理論應用于空間模糊不敏感圖像紋理特征提取,在LPQ算法[6]理論基礎上，通過旋轉變換定位系數矩陣，改進圖像旋轉不變性，增強圖像在模糊、光照、方向下的魯棒性。2012年，Li J等人[7]提出RILPQ算法與稀疏算法(SPC)結合算法，并應用在人臉表情識別領域。但上述文獻在針對水平方向運動模糊表情圖像邊緣輪廓不清時存在識別困難。

本文在RILPQ理論基礎上引入異向高斯核導數濾波器，通過選擇各向異性因子形成橢圓形的導數濾波器，以得到一種識別率較高并有效抵御環境因素影響的表情識別方法。

1 運動模糊退化模型及水平方向長度估算

圖1為運動模糊圖像退化模型，其中，f(x,y),h(x,y)和g(x,y)分別為清晰圖像、退化系統點擴展函數和運動模糊圖像，n(x,y)為加性噪聲。

圖1 運動模糊圖像退化模型

圖像退化過程被模型化為作用在輸入圖像f(x,y)上的模糊圖像的點擴散函數h(x,y)。如果曝光過程中，人臉場景與鏡頭之間存在相對運動，表情圖像會產生運動模糊[8]。實際拍攝過程由于曝光時間較短，處理運動模糊人臉方向移動，可以近似認為勻速直線運動。運動模糊的點擴展函數h(x)可以表示為

(1)

式中θ為運動模糊角度，L為運動模糊長度。由于表情圖像傅立葉變換具有旋轉性和平移性，所以，任意方向角度運動模糊圖像都可旋轉至水平方向。

在曝光的時間內，由于相對運動，人臉表情圖像在水平方向上移動的像素設為L，點擴散函數為

(2)

運動模糊長度的估算方法包括時頻估算法和倒頻估算法。對于水平方向運動模糊圖像，模糊長度推導出點擴散函數，取模糊方向為水平軸，即可計算出運動模糊圖像。通過求解圖像一階微分，在自相關計算尋找圖像傅立葉變換上一對共軛負相關峰，負相關峰的距離的1/2即為運動模糊圖像的長度[9]。

2 異向高斯核方向導數

定義圖像像素坐標為x=[x,y]T，對于已知直線運動模糊長度L表情圖像坐標x=[x+L,y]T，本文采用各向異性高斯核窗函數設置為

(3)

式中ρ2為各向異性因子，各向異性高斯函數在θ方向上的各向異性高斯導數濾波器將該濾波函數加入傅立葉變換中，濾波尺度由尺度因子σ決定，濾波方向可自行決定，濾波范圍由高斯圓窗變成水平方向拉伸一定比例的ρ2的高斯橢圓窗，即估算出的運動模糊長度。

3 異向高斯核方向導數與RILPQ融合表情特征提取

特征提取的過程為：1)計算運動模糊表情圖像的運動模糊長度；2)設置各向異性高斯方向導數的各向異性因子為運算模糊長度，在高斯橢圓窗中設計兩方向高斯導數濾波器，并提取特征向量及特征方向矢量；3)將特征直方圖作為后續表情分類及表情識別依據。

任意取JAFFE表情數據集中一張表情圖像，在實驗參數σ2=4,ρ2=30,尺度半徑為7的情況下，得到的結果如圖2所示。對比圖2(b)和圖2(c)圖發現，RILPQ算法的特征圖受運動模糊影響，人臉五官輪廓出現很大程度模糊失真，面部紋理受運動模糊干擾而不易識別。本文方法生成特征矢量圖中水平方向特征矢量較多、五官方向較為清晰，特征圖人臉輪廓周圍也有明顯水平運動橫紋，人臉五官表情特征較明顯。

圖2 特征提取效果對比

為了衡量RILPQ特征，使用特征直方圖特征統計，得到特征向量分布范圍，將連接各個區域直方圖序列作為圖像特征表示。每幅特征圖對應一個直方圖，是一個256維度直方圖特征向量，可應用于后續表情識別。由圖3可知，RILPQ算法直方圖縱坐標分布范圍為[0～0.035]，而本文算法縱坐標范圍為[0～0.025]，使特征分布更為均衡，同時減小運動模糊所造成的噪聲干擾。

圖3 特征直方圖比較

4 實驗與結果分析

本文將JAFFE數據集[10]中的213幅圖像進行水平方向運動模糊，運動模糊長度設置為5像素后的圖像作為運動模糊人臉數據集，其中，7種表情分別為生氣、厭惡、恐懼、高興、中性、悲傷和驚訝。通過模糊人臉特征提取，將提取的特征圖進行分級量化后構造直方圖，應用支持向量機(support vector machine,SVM)模式識別與回歸分類訓練完成表情識別。在JAFFE數據集中隨機選取10名女性7種基本表情中各2張圖片作為訓練樣本，剩余圖像作為測試樣本，當個別測試樣本表情不足用中性表情測試樣本代替。識別流程如圖4所示。

圖4 表情識別流程

實驗一使用RILPQ算法直接將運動模糊5像素的JAFFE表情數據集，進行表情特征提取，進行SVM表情模式識別與回歸，不同尺度半徑下7種表情識別率如圖5所示，可以發現，尺度半徑表情識別率情況為(R=5)>(R=3)>(R=9)>(R=7)>(R=11)>(R=13)。當尺度半徑R=5，識別率最高為64.70 %，除了高興表情和悲傷表情識別率高于70 %，其余5種表情識別率均低于65 %，而厭惡表情識別率最低，只有55.25 %。分析得出，運動模糊表情圖像會很大程度降低識別率，運動模糊長度越大，模糊效果越明顯，表情識別率越低。

圖5 不同尺度半徑下運動模糊表情RILPQ識別率

實驗二采用融合算法對運動模糊后的JAFFE表情數據集進行表情分類。其中在實驗參數σ2=4,ρ2=30,不同尺度半徑下7種表情識別率如圖6所示。

圖6 本文算法識別率

觀察圖6發現，各尺度半徑下表情識別率情況為(R=9)>(R=11)>(R=7)>(R=5)>(R=13)> (R=3)。在尺度半徑R=9時，識別率最高，為66.10 %，驚訝表情和悲傷表情的識別率較高，達到70 %以上的識別率。其余5種表情除了中性表情識別率較低外，其余表情識別率都在65 %以上。在尺度半徑為R=11時，高興表情和厭惡表情的識別率高于尺度半徑R=9時識別率，但亦出現恐懼和悲傷表情誤識別現象，平均識別率為64.65 %，低于尺度半徑R=9識別率。

為了進一步說明本文算法的有效性，針對不同表情的最高識別率進行對比，對比結果表明，本文算法的識別率整體優于RILPQ的識別率。

5 結 論

通過與RILPQ算法對比同一幅表情圖像提取特征圖、特征方向圖和特征直方圖，表明本文算法可以更好提取人臉表情圖像特征細節信息，清晰反映面部紋理。通過對比融合方法與RILPQ算法識別率，表明本文提出的異向高斯核方向導數與RILPQ融合法在人臉表情識別方面優于傳統RILPQ算法，但整體的識別率有待于提高，為今后研究方向。