一種加權矩形提取表情特征的方法

摘 要:表情特征提取是面部表情識別的一個關鍵步驟。針對目前特征提取效率低的情況，通過分析Gabor特征提取的性質和積分圖像計算效率高的特點，提出一種利用積分圖像技術和矩形模板計算面部特征點特征的方法，模板模擬Gabor的多尺度性，每個模板定義相應的權值，表情圖像按照Gabor的各個方向旋轉，使用旋轉圖像積分圖和加權模板而不是在積分圖上旋轉模板提取特征點的特征值，最后將此特征值用于表情分類。實驗結果表明，該方法在識別結果相當的情況下極大地提高了特征提取的效率。

關鍵詞:加權矩形; 積分圖像; 矩形模板; 特征提取; 表情識別

中圖分類號:TP391.41文獻標志碼:A

文章編號:1001-3695(2010)06-2364-03

doi:10.3969/j.issn.10013695.2010.06.105

Weighted rectangle method for expression feature extraction

LIN Qing1，2， ZHAO Xiang1， HU Ruirui1， ZHAN Yongzhao1， WANG Shitong2，3

(1.College of Computer Science Communication Engineering， Jiangsu University， Zhenjiang Jiangsu 212013，China; 2. Dept. of Computer， Nanjing University of Science Technology， Nanjing 210094， China; 3. School of InformationTechnology， Jiangnan University， Wuxi Jiangsu 214122， China)

Abstract:The expression feature extraction is a key step in facial expression recognition. In view of the existing low efficiency in feature extraction， by analyzing the Gabor qualities and the high computational efficiency of integral image， this paper presented a method that combined integral image with rectangle template to obtain the value of facial feature points. These templates with homologous weight simulated the multiscale of Gabor and expression image rotated via every direction of Gabor. Obtained the values of feature points not by rotating templates on rotation integral image but the joint of weighted templates and rotation integral image. Finally used these feature values for expression classification. The experimental results show that this method improves efficiency while extracting facial feature and does not affect the result heavily.

Key words:weighted rectangle; integral image; rectangle templates; feature extraction; expression recognition

0 引言

隨著人機交互領域的發展，面部表情識別越來越成為模式識別領域的研究熱點。人臉表情含有豐富的信息，它是除了語言之外重要的信息交流方式，實際上，表情也是最直接、最顯著的信息交流方式。

表情特征提取是表情識別的一個關鍵步驟，特征提取的好壞對識別結果產生巨大的影響。目前，特征抽取方法主要分為基于表觀的特征提取和基于幾何關系的特征提取，無論采用哪種提取方法，快速有效地提取表情特征是特征提取的關鍵。

積分圖像技術[1，2]是一種快速計算矩形窗口內灰度值的方法。它與矩形窗口的大小無關，只需要搜索矩形窗口四個頂點的值就可以求出窗口內像素的灰度值總和，計算全部是加減運算，速度快。因此，在需要多次求取矩形窗像素的灰度值總和時，利用積分圖像技術可以快速計算，提高計算效率。

本文利用積分圖像的性質，將要計算的窗口看做帶有權值的不同大小的矩形覆蓋在圖像上，模擬Gabor濾波器[3，4]的多尺度多方向性提取表情特征，從而提高特征提取的效率。

1 積分圖像的概念

首先，假設原圖像中任意一點(i，j)的灰度值為 p(i，j)，則積分圖像[1，2]中任意點(x，y)的積分值ii(x，y)表示該點左上角區域灰度值之和，如圖1(a)所示，定義為

ii(x，y)=∑x′≤x，y′≤yp(x′，y′)(1)

從左到右、從上到下計算積分圖像，隨著像素矩陣的增大，計算量呈線性增長。也可根據下面遞推式

ii(x，y)=p(x，y)+ii(x-1，y)+ii(x，y-1)-ii(x-1，y-1)(2)

從左到右、從上到下計算。

利用積分值可以計算積分圖像上任意大小矩形區域的像素和，無論矩形大小，只需取出矩形四個頂點的積分值即可。設矩形窗內灰度值總和為W，矩形四個頂點分別為(i1，j1)， (i2，j2)， (i3，j3)，(i4，j4)，如圖1(b)所示，則有

W=ii(i4，j4)+ii(i1-1，j1-1)-ii(i2，j2-1)-ii(i3-1，j3)(3)

因此，無論需要計算多大矩形區域內的像素和，均可以利用矩形四個點求出，只需要常數時間，大大提高了計算效率。

2 表情特征提取

表情變化主要集中在五官上，根據表情變化的特征，主要在最能表征表情變化的位置標定特征點，各個特征點代表的意義所起的作用不同。人臉表情特征點的選取應該基本代表人臉表情變化的信息，可以在臉部增加一些點來提高識別率，但是由于這些點不容易標定，標定錯誤不但降低效率，而且影響識別率[5]。本文只在眉毛等處標定26個特征點，利用主動形狀模型(active shape model， ASM)確定特征點的位置[6]。

Gabor濾波器有效應用在特征提取和模式識別領域。Gabor濾波器利用不同尺度、不同方向的小波函數與圖像卷積來提取特征，在時間域和空間域有很好的局部性，而且能夠提取表情圖像的細節信息，但是計算量大，這在實時性和準確率之間產生了瓶頸，在保證準確率的情況下，如何提高特征提取效率顯得尤為重要。本文模擬Gabor小波多尺度、多方向的性質，在多方向積分圖像基礎上，利用多尺度的加權矩形模板提取表情特征。

矩形模板的尺度性主要體現在高h和寬w，它們分別由Gabor核函數的kv、λ確定。其中:kv= 2-(ν+2)/2π，λ=π/(2kv) (v=0，1，2)。經過實驗，h=kv/2，w =λ/2，隨著v值的不同，得到三個不同大小的矩形模板，將kv與λ的比值作為矩形模板的權值ω。kv、λ和ω的關系如表1所示。

表1 kv、λ和權值ω的關系

kv = 2-(v+2)/2ππ/2π/23/2π/4

λ=π/(2kv)1 21/22

ω= kv/λπ/2 π/4 π/8

計算矩形模板內像素的灰度值和時，模板模擬Gabor核函數的多方向性，每個模板依次旋轉六個方向(由π/6到π，步長為π/6)，如圖2所示。

對于旋轉角度為的矩形模板，利用式(2)對原始圖像計算積分圖;然后將旋轉的模板中心在積分圖上移動，對準每個特征點，通過每個模板的寬、高計算模板的四個頂點位置坐標，判斷所圍區域內像素的灰度值總和。當=π/2、π時，矩形模板與圖像的x、y軸平行(或垂直)，此時模板覆蓋的像素點容易求得，矩形區域的灰度值總和由式(3)求得，計算簡單快速;但是當φ=π/6、π/3、2π/3、5π/6時，矩形模板與圖像分別成角，四個頂點的位置確定以后，矩形的邊落在部分像素方格上，這些方格的取舍根據插值方法確定，通過判斷重新確定有缺口的矩形或是鋸齒形矩形，這在一定程度上增加了運算時間，降低了運算效率。此外，為了便于利用式(2)，對覆蓋區域盡可能最大化地劃分為與x、y軸平行(或垂直)的矩形塊，計算每個矩形塊的灰度值之和，某些像素點可能不屬于任意矩形塊，這在判斷模板覆蓋區域內灰度值總和時容易遺漏，顯然對結果引起一定的誤差，甚至產生錯誤的結果。

從上面分析可知，當旋轉模板時，為了確定某個旋轉模板覆蓋的像素，首先要判斷矩形邊緣的像素方格，然后計算模板覆蓋范圍內最大矩形塊的灰度值和不屬于任意矩形塊的像素點，這不僅增加了運算量，還將引起較大的誤差。

為了減小誤差，這里提出變換旋轉對象的思想，將需要旋轉六個方向的模板始終保持垂直狀態，將圖像旋轉，然后計算旋轉角度的圖像積分圖，由于旋轉后圖像范圍變大，原圖像范圍之外的像素灰度值設為0，這樣不影響旋轉后圖像積分圖的值，原圖像范圍之外的像素灰度值為0，由圖像范圍增大而增加的計算量可以忽略;將方向不變的垂直模板在旋轉后的積分圖上移動，依次對準要提取的特征點位置，此時，只需要判定矩形四個頂點所在的行和列，邊緣與頂點所在的行列相同，這與旋轉模板的方法相比節省了邊緣像素點的判定時間;最后利用式(3)計算矩形區域內灰度值總和，不需要將模板覆蓋的區域分塊，相比旋轉模板節省了分塊時間。

利用積分圖像技術，結合矩形模板提取圖像表情特征值時，矩形模板保持垂直不變，將要提取特征的圖像根據需要旋轉，然后在新的圖像范圍內計算積分圖。旋轉后范圍增大的部分用0填充，這樣不僅不影響積分圖的生成，而且盡可能降低了增加范圍的計算時間。最后將垂直模板的中心匹配新的積分圖的特征點，此時計算特征點在新坐標位置處的像素灰度值和。模板與原圖像的旋轉對照圖如圖3所示。圓點表示特征點，矩形框表示矩形模板，左圖表示旋轉矩形模板，右圖表示矩形模板不變，旋轉原圖。

設表情特征點為(xc，yc)，將每一個矩形模板的中心對準各個特征點，利用積分圖像計算矩形區域內的灰度值之和RSum(xc，yc)，將權值與灰度值總和作乘法提取特征[7]，定義如下:

Y(xc，yc)=ω×RSum(xc，yc)(4)

其中:ω是矩形模板的權值，共有三個大小的矩形模板，ω共有三個值;RSum(xc，yc)表示矩形區域灰度值總和，通過積分圖像計算得到，由式(4)得到各個特征點的特征值。

3 實驗分析

本文采用日本女性表情庫(JAFFE)進行實驗，表情庫共有10個日本女性提供的213幅圖像，分為生氣、厭惡、恐懼、高興、中性、悲傷和驚訝七種表情，每人每種表情包含2~4幅圖像，均為256×256的灰度圖像。由于本文只研究人臉表情，為了消除頭發等的影響，提高實驗效率，剪切僅包含全部特征點的人臉圖像，經過圖像預處理后得到各組圖像的純人臉圖像。

實驗在MATLAB環境下，使用同一類圖像的相同特征點，對比Gabor、模板旋轉和圖像旋轉三個特征提取各自在每個方向上所用的平均時間。下面僅列出Gabor和圖像旋轉在每個方向上的平均時間，如表2所示。

表2 Gabor與圖像旋轉在各個方向上的平均時間

方法/ms

π/6 π/3π/2π×2/3 π×5/6π

Gabor03030293029

圖像旋轉3030030290

表2是兩種方法在某一類圖像上特征提取所需要的平均時間，分別在不同方向上測試它們所需要的時間。從表中可以看出:a)Gabor所用的總時間大于圖像旋轉所用的總時間;b)角度不同，但每個方向所用時間基本相同，說明角度對提取特征花費的時間影響不大，兩者相同;c)在π/2和π兩個方向上，圖像旋轉與其他幾個方向相比，所用時間極少，實驗基本測量不到在這兩個方向上所用的時間;d) 理論上Gabor每個方向所用時間基本相等，但是在Gabor的π/6方向上，與圖像旋轉在π/2和π方向相同，測量不到時間數據，在π上時間不太穩定，原因在進一步研究中。

總體上，旋轉圖像時，旋轉后圖像范圍變大，需要計算每個像素點旋轉后的坐標，耗時較長，但與Gabor提取相比，本文的圖像旋轉方法所用的總時間明顯比它少。因此，對數據庫圖像的所有特征點抽取特征值，本文的方法節省了大量的時間，提高了整個系統的識別效率。

為了驗證本文提出的加權矩形旋轉圖像方法提取的表情特征是否有效，本文將七種表情訓練為七個模板，使用最近鄰方法[8]對待測圖像進行分類，將待測圖像提取的特征分別與七個模板比較，待測圖像與哪個模板的距離最近，就把待測圖像劃分到此類中。實驗表明它們的識別性能相當，它們的識別率如表3所示。

表3 兩種識別方法的識別率

識別方法識別率/%

Gabor+近鄰85.57

旋轉圖像+近鄰83.86

從表3中可以看出，旋轉圖像方法的識別率略低于Gabor 方法，相差1.71個百分點，相差不大。盡管表2中每幅圖像旋轉圖像所用的平均時間略少于Gabor特征提取所用的時間，但對于整個數據庫而言，提高了表情識別系統的效率，對于識別率要求不太高的情況下，此方法有較好的應用。

4 結束語

本文模擬Gabor特征提取的尺度和方向性，提出旋轉圖像的加權矩形特征提取方法，理論上論證了圖像旋轉比模板旋轉所用的時間少，而且通過在同一環境下，就一類圖像的特征提取所需的平均時間進行對比，實驗表明，本文方法所需的時間比Gabor提取和模板旋轉所用的時間少，旋轉圖像提取的特征與Gabor和旋轉模板提取的特征，它們用于表情識別的識別準確率相當，從總體上提高了系統的效率，緩解了實時性與準確性之間的瓶頸問題，驗證了此種方法的有效性。

參考文獻:

[1]VEKSLER O. Fast variable window for stereo correspondence using integral images [C]//Proc of IEEE Computer Society Conference on Computer Vision and Pattern Recognition.2003:1556-1561.

[2]邵平，楊路明. 基于模板分解和積分圖像快速Kirsch邊緣檢測[J].自動化學報，2007，33(8):795-800.

[3]陸慧聰.面部表情識別系統中表情特征提取與識別算法的研究[D].南京:東南大學，2006.

[4]張一鳴.人臉表情識別[D].大連:大連理工大學，2006.

[5]ZHANG Zhengyou. Featurebased facial expression recognition:experiments with a multilayer perception[R]. [S.l.]:Institut National De Recherche en Informatique ET EN Automatique，1998.

[6]陳培俊.基于靜態圖像的人臉表情識別研究[D].成都:西南交通大學，2007.

[7]CHOI W P， TSE S H，WONG K W ，et al. Simplified Gabor wavelets for human face recognition [J]. Pattern Recognition，2008，41(3):1186-1199.

[8]DUDA R O， HART P E， STORK D G. 模式分類[M]. 李宏東，姚天翔，等譯.2版.北京:機械工業出版社，2003.