復合不變矩和GLCM特征加權融合的人臉識別研究

， ，

(山東科技大學 電子通信與物理學院，山東 青島 266590)

在圖像識別和計算機視覺領域里，人臉識別作為一種生物特征識別技術，具有非接觸性、直接性和唯一性等優(yōu)點，廣泛應用于信息安全、刑事偵破、出入口控制、檔案管理、可視通信等領域[1-2]。

在過去的幾十年里，學者們提出了許多經典的人臉識別方法，主要包括神經網絡方法、隱馬爾科夫模型、支持向量機(support vector machine，SVM)、主成分析法(principal component analysis，PCA)等[3]。其中PCA方法得到廣泛應用并不斷被改進，如基于雙向的PCA方法[4]、加權變形的2DPCA方法[5]等，這些改進的方法進一步提高了人臉識別系統(tǒng)的性能。劉君等[6]將核主成分分析(KPCA)方法和鑒別投影算法進行融合，使得人臉識別系統(tǒng)的性能得到了極大改善。王仕民等[7]把人臉圖像的多尺度張量投影到低維度子空間,用最近鄰算法將提取到的特征進行分類識別，提高了在光照條件下的人臉識別率。人臉的原始特征可以分為幾何形狀特征和紋理特征兩大類[8]。人臉樣本的紋理特征和幾何特征有很多，如 Gabor 特征[9-10]、LBP 特征[11-14]、尺度不變特征轉換(SIFT)[15]等。但是，在實際應用中人臉幾何特征的提取對光照、視角和表情等變化非常敏感，很難做到精確提取。因此，無論是哪種特征提取方法，對系統(tǒng)性能的改進都是有限的，為此本文將紋理特征和幾何特征進行融合，提出一種新的CHu-GLCM方法。

CHu-GLCM方法的實現(xiàn)過程如下：首先采用圖像分割的方法把人臉圖像分割成許多大小相等的子塊，作為后續(xù)特征提取的前期處理；接著提取所有子塊的不變矩特征，并按照一定的權重系數組合起來，形成列向量作為一幅人臉圖像的復合不變矩特征；然后再提取人臉圖像的灰度共生矩陣，在決策層采用系數加權融合的方法把兩種不同的特征進行加權融合，并分別在ORL和YALE人臉庫中進行實驗仿真。

1 人臉特征提取方法

1.1 不變矩特征

不變矩最初是由Hu[16-17]于1962年提出，因其可以有效地描述灰度圖像的幾何特征，并且對圖像的平移、旋轉、縮放等變換均具有不變性，被廣泛應用到目標識別領域。后來又有許多研究者[17-18]對不變矩進行改進，從而使它的特征描述能力得到提高。

(1)

其中，f(x,y)為圖像的灰度(密度),(x，y)表示圖像的坐標,M和N分別表示圖像的寬度和高度。

(p+q)階中心矩對圖像的平移具有不變性，其公式如下：

(2)

(3)

1.2 灰度共生矩陣

灰度共生矩陣(GLCM)反映了圖像中各個像素之間的距離間隔和角度關系。設f(x，y)為一幅數字圖像的函數表達式，圖像的大小為M×N，其灰度級別為N，則反映該圖像像素之間空間關系的灰度共生矩陣可以用下式表示:

P(i,j)=g{(x1,y1),(x2,y2)∈M×N|f(x1,y1)=i,f(x2,y2)=j}。

(4)

P為N×N的矩陣，集合中的元素個數可以用g(x)來表示。在計算得到灰度共生矩陣的特征向量之后，往往不是直接用它描述圖像的紋理特征，而是用它的一些重要的統(tǒng)計特征參數來表示圖像的紋理信息。灰度共生矩陣的統(tǒng)計特征參數有很多種，其中在文獻[18]里介紹了14種不同的特征參數，下面僅列舉4種實驗效果比較好的統(tǒng)計特征：

1) 角二階矩

(5)

ASM是灰度共生矩陣元素值的平方和，反映了圖像灰度分布均勻程度和紋理粗細度。

2) 熵

(6)

熵是圖像所具有的信息量的度量，是一個隨機性的度量，當共生矩陣中所有元素有最大的隨機性、空間共生矩陣中所有值幾乎相等時，熵較大。熵表示了圖像中紋理的非均勻程度或復雜程度。

3) 相關

(7)

“相關”度量的是空間灰度共生矩陣元素在行或列方向上的相似程度，相關值大小反映了圖像中局部灰度相關性。

4) 對比度

(8)

對比度直接反映了某個像素值及其領域像素值的亮度的對比情況。

1.3 主成分分析(PCA)法

主成分分析(PCA)[19]是90年代初由Pearcon提出的理論，其核心思想在于對樣本數據降低維度，從而使它能夠投影到低維空間以清理掉數據信息中相交重疊的部分，同時還要使變換后的數據能夠最大限度的保持原始數據的特征，以防止投影后的數據出現(xiàn)過度失真的情況。

本文采用PCA特征降維方法，把特征向量元素的數目降到較低的水平，因此可以直接把水平、垂直以及正負45度四個方向的灰度共生矩陣組合起來，方便后續(xù)的分類識別。

2 特征融合的人臉識別

2.1 復合不變矩特征

本文提出了一種融合不變矩特征和灰度共生矩陣的人臉特征提取方法，圖像的不變矩特征總共只有7個，如果直接利用由Hu矩組成的特征量對圖片進行識別，優(yōu)點是速度比較快，缺點是識別率往往比較低，這是由于圖像的不變矩特征數目較少，不能很好地描述圖像細節(jié)特征，故對于紋理比較豐富的圖像，其識別性能就會下降很多。若直接利用人臉圖像的不變矩特征進行分類識別的話，難以取得理想的效果，鑒于此，本文采取圖像分區(qū)的思想來提取人臉圖像的復合不變矩特征。

假設人臉樣本訓練集中總共包含V幅人臉圖像，每張圖片的大小為M×N,將訓練集中每幅人臉圖像分割成大小相等的子塊，總共有K=mn個子塊，每個子塊的大小為MN/K,所以一張人臉圖片可以表示為：

在實際的氣象預警工作中，對于氣象預警的時效性和準確性要求很高，否則，將會使有關的檢測部門對氣象災害的檢測錯過最佳時機，從而延誤了抵御氣象災害的最佳時機，給農業(yè)生產造成極大的危害。在實際的工作當中，政府部門中的氣象、水利、農業(yè)等部門要加強聯(lián)系和溝通，建立農業(yè)災害預警平臺，針對農業(yè)生產布局和不同農作物的生產周期，及時發(fā)布各類的生產信息，做好防災減災處理工作。

(9)

(10)

因此第i幅人臉圖像的復合不變矩特征值可以表示為：

Hi=[hi1,hi2,hi3,…,hiK](i=1,2,3，……，V)。

(11)

2.2 人臉子塊不變矩特征權值計算方法

一幅圖像的信息量可以用信息熵來表述，圖像的紋理信息越多，結構越復雜，其對應的信息熵越大，反之越少。假設一幅灰度圖像I的大小為M×N，灰度級為s，第i個灰度級出現(xiàn)的概率為pi，那么這幅圖像的信息熵可以表示為：

(12)

如果直接用人臉子塊圖像的信息熵來作為分塊權重的話會忽略近鄰像素間的細節(jié)差異，為了避免這種情況，本文用LBP算子處理人臉圖像得到人臉紋理圖，通過計算紋理圖像的信息熵來決定權重的分配。

LBP算子可以用來描述圖像的紋理特征，基本思想是以某一像素點與其鄰域的像素點相比較而得到的相對灰度作為響應，基本的LBP算子是以3×3大小的正方形作為一個計算單元,同時也可以被進一步的推廣為使用不同大小和形狀的鄰域。LBP算子的編碼方法表示為：

(13)

2.3 本文CHu-GLCM方法描述

通過對人臉圖像處理得到其水平、垂直以及正負45度四個方向的灰度共生矩陣，但是灰度共生矩陣向量特征維數比較多，而僅用灰度共生矩陣的幾個統(tǒng)計特征參數作為分類依據的話特征維數又太少，很難滿足實時性要求。為此本文通過PCA技術對灰度共生矩陣向量進行降維處理。

本文CHu-GLCM方法的具體實現(xiàn)步驟如下：

1) 將每幅人臉圖像I(大小為M×N)分割為mn個大小為MN/K的子塊；

2) 分別提取每個子塊的不變矩特征，各子塊的不變矩特征首尾聯(lián)接起來可得到一幅人臉圖像的復合不變矩特征Hi=[hi1,hi2,hi3,…,hiK]；

3) 對每幅人臉圖像通過LBP算子進行處理得到其紋理圖像ILBP；

2.4 分塊大小的確定

在提取圖像的復合不變矩特征時，圖像分塊數目的多少是影響該方法性能的重要參數之一，如果分塊數量太少，則無法有效提取圖像的局部特征(極端情況是只有一塊，分塊的大小就是原始圖像的大小)，如果分塊數量太多，提取的特征會對噪聲比較敏感。為了尋找最優(yōu)的分塊數目，本文首先在ORL人臉庫上進行實驗。實驗過程中，在每類人臉樣本中選擇5幅圖像作為訓練集，剩下的作為測試集，對每個樣本提取其復合不變矩特征，然后利用PCA技術對其進行降維處理，把降維后得到的主成分作為每個樣本的最終特征向量，最后用SVM做分類器。圖1給出了 2 × 2、4 × 4、6 × 6和8 × 8分塊情況下的復合不變矩特征的識別率隨主成分數目的多少而變化的關系。

從圖1可以看出分塊數目與識別性能的關系，隨著分塊數目的增多，分類器的識別能力先增強后減弱。當主成分個數大于15之后， 在 4 × 4 分塊的情況下，識別性能最好，此時的復合不變矩特征能夠提供更有利于分類識別的信息；在8 × 8 分塊的情況下，識別性能最差，這是因為分塊數目過大，會使得圖像配準變得更加敏感，同時分塊數目過多，也會使特征向量的維數增多，計算量變大，從而導致識別時間延長。因此，綜合考慮識別性能和計算復雜度，本文選取4 × 4的分塊提取人臉樣本的復合不變矩特征。

圖1 不同分塊方式下主成分個數與識別率的關系(ORL庫)

圖2 ORL人臉數據庫部分人臉圖例

圖3 YALE人臉數據庫部分人臉圖例

3 實驗仿真和分析

3.1 人臉數據集

為了檢驗CHu-GLCM算法的功效，分別在 ORL、YALE 兩個人臉庫上實驗。 ORL 庫的人臉圖像有400幅，包括40個人，每人分別有不同表情和姿態(tài)的10幅人臉圖像。其部分人臉圖像如圖2所示。YALE 人臉庫擁有165 幅人臉圖像，總共15人，每人有 11 幅不同的圖像，其大小均為 100 ×100 的灰度圖。其部分人臉圖像如圖3所示。

3.2 實驗環(huán)境

實驗是在 Intel(R) Core(TM) i7-6700 CPU 3.40 GHz，內存為8 GB，Windows 7(64位)的機器上采用Matlab2014a編程實現(xiàn)。

3.3 實驗結果與分析

在確定好分塊數目后，實驗過程如下：在ORL庫和YALE庫上分別選取每個人的1, 2, 3, 4, 5, 6幅圖像作為訓練樣本，剩下的圖像作為測試樣本。復合不變矩特征和灰度共生矩陣融合之前，先將其與幾種典型的人臉特征提取方法，如Eigenface方法、LBP方法、Gabor方法以及稀疏表示SRC方法進行對比。其中Eigenface方法是把一幅人臉圖像的所有像素值作為特征向量進行后續(xù)的分類識別。因為對于每種方法提取的人臉特征向量都要進行降維處理，所以在訓練樣本數保持一致的情況下，要綜合考慮不同主成分個數下的人臉識別率。

本文人臉識別率的計算方法如下：首先計算出不同主成分數目下的多個人臉識別率，然后將其中差別不大且效果較佳的幾個人臉識別率取平均，得到最終的人臉識別率。

在 ORL人臉庫上，人臉特征提取方法的識別率隨訓練樣本個數的多少而變化的關系如表1所示。

表1 ORL人臉庫不同算法的人臉識別率

在YALE人臉數據庫上，人臉特征提取方法的識別率隨訓練樣本個數的多少而變化的關系如表2所示。

表2 YALE人臉庫不同算法的人臉識別率

為在YALE人臉庫上探究不同表情的人臉樣本對識別率的影響，分別選取每類圖像中表情差別不大的4幅圖像作為訓練集，剩下的圖像中選擇1幅進行測試，每次測試選取1個不同表情的人臉樣本，分為5種情形：a情形，與訓練樣本表情一致；b情形，嘴巴微笑；c情形，眼睛閉上；d情形，眼睛和嘴巴的形狀同時發(fā)生改變；e情形，嘴巴張開。各種特征在不同表情下的人臉識別率變化關系如表3。

表3 YALE人臉庫不同表情的人臉識別率

從表1和表2的人臉識別率變化關系中可以看出，與傳統(tǒng)的Eigenface方法和其他幾種特征提取方法相比，基于圖像分區(qū)和系數加權的復合不變矩特征能夠有效地提高人臉識別率。隨著訓練樣本個數的增加，幾種方法的人臉識別率都在不斷提高，在訓練樣本個數為5時，復合不變矩特征的人臉識別率在ORL庫上為91.5%，在YALE庫上為92.5%，而Eigenface方法在ORL人臉庫的識別率為86.5%,在YALE人臉庫的最高識別率為87.0%。把人臉圖像的Gabor特征用于后續(xù)的分類識別時，其識別性能和Eigenface方法相差不大，識別率不是很高。SRC算法是把待測試的人臉樣本用不同類的人臉樣本線性表示，其所得到的識別率比Eigenface方法稍高一點。而LBP方法的人臉識別率比SRC方法以及Gabor方法都要高一些，在ORL人臉庫上為87.8%，在YALE人臉庫上為88.6%。可以看出，復合不變矩特征的識別性能比其他幾種特征提取方法都要好一些。

從表3可以看出復合不變矩對表情變化具有魯棒性，當面部表情發(fā)生變化時，每種特征的識別率都開始出現(xiàn)波動，都有下降的趨勢，但是復合不變矩特征的識別率波動最小，在1%～2%之間，而其他特征提取方法識別率波動范圍都超過10%。

圖4 CHu-GLCM算法在不同權重下的人臉識別率

在將復合不變矩特征和灰度共生矩陣進行融合時，選取ORL庫和YALE庫上的5幅人臉圖像作為訓練集，剩下的作為測試集，本文的CHu-GLCM方法在ORL人臉庫和YALE人臉庫上的人臉識別率隨權重α的變化情況如圖4所示。當α=0時，識別率相當于復合不變矩特征，當α=1時，識別率相當于灰度共生矩陣特征。隨著權重α的增加，識別性能不斷提高，但是增加到一定程度之后，識別性能又開始下降。可見復合不變矩特征所占的權重越大，其識別性能提高的就越大。尤其α=0.3時，兩種特征融合后的識別性能最佳，此時在ORL人臉庫上的人臉識別率為95.5%，在YALE人臉庫上為97.5%，因此CHu-GLCM算法可以使人臉識別率進一步提高。

4 結論

提出了一種基于復合不變矩特征和灰度共生矩陣的特征提取方法，該方法首先采用圖像分區(qū)的思想對不變矩進行改進，用改進后的算法提取每個人臉樣本的復合不變矩特征，然后再提取人臉樣本的灰度共生矩陣，最后利用支持向量機在決策層采用系數加權融合的方法把兩種不同的特征進行加權融合。與其他典型的特征提取方法相比，在訓練樣本數為5時，CHu-GLCM方法可使人臉識別率至少提高4個百分點。

[1]CHAKRABORTI T,CHATTERJEE A.A novel binary adaptive weight GSA based feature selection for face recognition using local gradient patterns,modified census transform,and local binary patterns[J].Engineering Applications of Artificial Intelligence,2014,33:80-90．

[2]HUANG Z H,LI W J,WANG J,et al.Face recognition based on pixel-level and feature-level fusion of the top-level’s wavelet subbands[J].Information Fusion,2015,22:95-104．

[3]李云彤,黃山,徐海明.基于改進 PCA 的人臉識別算法[J].微型機與應用,2015,34(17):43-45.

LI Yuntong,HUANG Shan,XU Haiming.Face recognition algorithm based on improved PCA[J].Microcomputer and Application,2015,34(17):43-45.

[4]ZUO W,ZHANG D.Bidirectional PCA with assembled matrix distance metric for image recognition[J].IEEE Transaction on Machine Intelligence,2006,36(4):863-872.

[5]曾岳,馮大政.一種基于加權變形的 2DPCA 的人臉特征提取方法[J].電子與信息學報,2011,33(4):769-774.

ZENG Yue,FENG Dazheng.A face feature extraction method based on weighted deformation of 2DPCA[J].Journal of Electronics and Information Technology,2011,33(4):769-774．

[6]劉君,黃燕琪,熊邦書.融合核主成分分析和最小距離鑒別投影的人臉識別算法[J].計算機工程,2016,42(4):221-225.

LIU Jun,HUANG Yanqi，XIONG Bangshu.Face recognition algorithm fused kernel principal component analysis and minimum distance discriminant projection[J].Computer Engineering,2016,42(4):221-225.

[7]王仕民,葉繼華,程柏良等.基于多尺度張量類標子空間的人臉識別算法[J].山東科技大學學報(自然科學版),2015,34(4):55-61.

WANG Shimin,YE Jihua,CHENG Bailiang et al.Face recognition algorithm based on multi-scale tensor class-label subspace[J].Journal of Shandong University of Science & Technology (Natural Science),2015,34(4):55-61.

[8]方天紅,陳慶虎,廖海斌.融合紋理與形狀的人臉加權新特征[J].武漢大學學報(信息科學版),2015,40(3):321-326.

FANG Tianhong,CHEN Qinghu,LIAO Haibin.Face feature weighed/by fusing texture and shape[J].Geomatics and Information Science of Wuhan University,2015,40(3):321-326.

[9]PEREZ C A,CAMENT L A,CASTILLO L E.Methodological improvement on local Gabor face recognition based on feature selection and enhanced Borda Count[J].Pattern Recognition,2011,44(4):951-963．

[10]MONTAZER G A,SAREMI H Q,KHATIBI V.A neurofuzzy inference engine for Farsi numeral character recognition[J].Expert Systems with Applications,2010,37(9):6327-6337．

[11]AHONEN T,HADID A,PIETIKAINEN M.Face recognition with local binary patterns[M].Berlin:Springer,2004:469-481.

[12]高志升,袁紅照,楊軍．融合 CDI 和 LBP 的人臉特征提取與識別算法[J].光電子 · 激光,2010,21(1):112-115.

GAO Zhisheng,YUAN Hongzhao,YANG Jun.Face recognition using fusion of cartesian differential invariant and LBP[J].Journal of Optoelectronics · Laser,2010,21(1):112-115．

[13]YANG B,CHEN S.A comparative study on local binary pattern (LBP) based face recognition:LBP histogram versus LBP image[J].Neurocomputing,2013,120(23):365-379．

[14]OJALA T,PIETIKAINEN M,MAENPAA T.Multiresolution grayscale and rotation invariant texture classification with local binary patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(7):971-987．

[15]KRIZAJ J,STRUC V,PAVESIC N.Adaptation of SIFT features for robust face recognition[C]//Proceedings of the 7th International Conference on Image Analysis and Recognition,Berlin:Springer,2010:394-404．

[16]HU M K.Visual pattern recognition by moment invariant[J].IRE Transactions on Information Theory,1962,8(2):179-187.

[17]LI Y J.Reforming the theory of invariant moments for pattern recognition[J].Pattern Recognition,1992,25(7):723-730.

[18]HARALICK R M,SHANMUGAM K,DINATEIN I.Textures features for image classification[J].IEEE Transactions on System Man Cybernet,1973,3(6):610-621.

[19]ZHU G,KWONG S.Gbest-guided artificial bee colony algorithm for numerical function optimization[J].Applied Mathematics and Computation,2010,217(7):3166 -3173.