彩色人臉圖像鑒別特征抽取綜述

羅夏峰，明曙軍，劉永俊

（常熟理工學院 計算機科學與工程學院，江蘇 常熟 215500）

人臉識別是近年來圖像處理，機器視覺，模式識別，神經網絡，人工智能等認知科學領域研究的熱點課題之一.人臉識別是指給定一個場景的靜態圖像，從若干已知身份的人臉數據庫中驗證和識別場景中單個或多個人的身份.彩色人臉識別是從人臉識別發展而來的基于彩色人臉圖像的識別技術.人臉識別主要可分為：基于靜態圖像的人臉識別和基于動態視頻信息的識別.彩色人臉識別是從人臉識別發展到一定階段的產物，自然也可以劃分為這兩類，本文著重于靜態彩色人臉的識別方法.

人臉識別技術的長期發展為彩色人臉識別的研究奠定了理論基礎，顏色信息的重要性也經歷了從否定到肯定的過程.之前人們研究人臉識別的時候并沒有考慮到顏色信息對人臉識別的影響，并且人臉的顏色信息往往被學者們忽略.過去甚至有學者提出除了亮度信息外顏色并沒有給人臉識別提供太多的有利因素[1].隨著研究的不斷深入人們逐漸意識到顏色信息已在人臉識別中扮演著舉足輕重的角色，已有研究成果發現顏色能夠為人臉識別提供有用的信息.文獻[2]的實驗結果表明使用顏色信息的主分量分析(PCA)方法比只適用亮度信息的PCA的識別率要高.文獻[3]的結果也進一步說明顏色確實在人臉識別中扮演重要的角色，尤其是在形狀信息被淡化的時候更加明顯.文獻[4]實驗結果也說明在處理低分辨率的圖像的時候，顏色信息的參與基于亮度特征相比，明顯提高了識別的性能.其它的研究成果也證明了顏色信息對人臉識別的有效性[5-12].

與其它識別技術相比，人臉識別并沒有諸如指紋識別，虹膜識別，語音識別那樣的剛性.因為人臉識別總是受到眾多因素的影響，諸如表情，光照，姿態的不同，使得同一個人的圖像也不同.對于彩色人臉識別，也沒有因為顏色信息的加入而克服這些客觀干擾的因素.因此本文著重對融入色彩信息的人臉圖像的表示方法和鑒別特征抽取方法的研究.

1 彩色人臉的表示與鑒別特征抽取方法

由于彩色人臉識別技術還處于起步階段，有關彩色人臉識別的方法也不是很多，學者們在將顏色信息融入到人臉識別技術中時，要么致力于尋找一種新的圖像表示方法，通過獲取一組聯合系數將R，G，B三個分量聯合成一個分量，以消除三個顏色分量之間的相關性，再做鑒別分析；要么分別對R，G，B三個分量做鑒別分析，得到三組鑒別特征后，再用來做鑒別分析；或者尋找一個能最好表示彩色人臉圖像的新的顏色空間來作鑒別分析.下面就這三種方法作進一步介紹.

1.1 基于圖像級聯的鑒別特征抽取

（1）Abbott在文獻[13]中提出了將所有樣本的三個偽灰度圖都轉化為列向量的形式，然后用所有訓練樣本的三個列向量構造出一個協方差矩陣，對這個協方差矩陣用KL變換進行特征分解，選擇特征值最大的特征向量作為三個分量的聯合系數向量.

在得到聯合系數向量后，就可以將所有的彩色圖像的三個顏色分量聯合成一個分量，從而完成由彩色圖像到灰度圖的轉換.轉化為灰度圖后，再使用KL變換對所有的樣本抽取鑒別特征.融合后的圖像消除了三個分量之間相關性和冗余信息，從而更有利于分類識別.算法分析與效果：顯然，由于該算法是基于主分量分析的鑒別特征抽取，沒有考慮到樣本類別的信息，因此所得到的聯合系數不一定是最佳的，但該算法的價值，就是提出了將三個分量融合為一個分量，并且體現權重信息，為后繼的研究提供了思路.

（2）對于如何獲取彩色人臉圖像的最佳表示方法，Yang等[11]提出了一種基于迭代的彩色圖像鑒別模式(CID)，并且結合了Fisher線性鑒別分析的思想，將人臉圖像的類別信息考慮在內，以獲取彩色人臉圖像轉換的最佳聯合系數向量.第一步：先給定一個任意初始聯合系數x0，x0是3×1的列向量，用來將彩色圖像轉化為灰度圖.對轉換后的訓練樣本使用Fisher鑒別分析，找到投影矩陣P.第二步：根據上一步求得的P，按給定的算法求出一組新的聯合系數x1.第三步：將上述的x0，x1，P代入給定的方程，看方程的結果是否滿足給定的閾值，如果不滿足繼續迭代.否則x1即為所求的聯合系數向量，停止迭代.算法分析與效果：由于該算法是基于迭代的，很明顯，龐大的計算量是該算法的一個缺陷，但是經過分析不難得出，迭代的次數不超過10次，在硬件條件允許的情況下，該算法不失為一個很好的選擇，能得到三個分量的最佳聯合系數向量，從而提高人臉識別的性能，而且可以根據需要，設定不同的閾值，以達到不同的識別效果.

（3）LUO Ren-ze等人在文獻[14]中提出了一種基于四元數模型的彩色圖像表示方法，將一幅N×M的彩色圖像視為一個N×M的四元數矩陣.對這個模型提出一種基于奇異值特征向量和RBF神經網絡的彩色人臉識別方法.首先提取彩色人臉圖像的奇異值向量，然后對奇異值向量做降維處理以減輕神經網絡的計算量，并對奇異值向量做標準化處理，再將處理后的奇異值向量送到RBF神經網絡進行訓練.最后將測試人臉圖像送入訓練好的RBF神經網絡進行分類識別.算法分析與效果：彩色圖像的奇異值特征向量是一種有效的圖像特征，當用最近鄰算法分類時，識別率為83%左右，而當采用RBF神經網絡時，可以獲取96%左右的識別率，不失為一種很好的彩色人臉識別方法.

1.2 基于決策級聯的鑒別特征抽取

（1）Torres[15]將傳統的主成分分析方法用到彩色人臉識別中.先將每幅彩色人臉的三個偽灰度圖分別表示成向量的形式，然后將所有相同類型的向量組和在一起，得到三個不同的數據矩陣，分別對這三個數據矩陣用PCA的方法進行鑒別特征抽取，得到鑒別特征.

在得到三組鑒別特征后，分別將每個訓練樣本的三個分量投影到對應的特征空間，再進行分類識別，將得到三組識別結果，綜合考慮三組識別結果，得到最終的識別結果.算法分析與效果：很明顯，該算法中使用的主分量分析方法，由于沒有考慮樣本的類別信息，進而對三個分量數據矩陣抽取到的鑒別特征，不能更有利于訓練樣本的分類識別.但是該算法提出了分別對三個分量進行鑒別特征抽取，為彩色人臉圖像識別提供了新思路，這也正是它的價值所在.

（2）Rajapasker等人[16]提出了一種基于非負矩陣分解(NMF)的方法.分別對由訓練樣本的R，G，B三個分量構成的數據矩陣進行非負矩陣分解，得到基圖像和分解系數.但他們的算法建立在圖像重構意義下進行的彩色人臉圖像的降維和分類識別，并未充分利用人臉圖像的類別信息，于是BAI Xiao-ming等人[17]在此基礎上提出了一種非負矩陣分解與線性判別分析(NMF+LDA)相結合的彩色人臉識別算法，融入了人臉圖像的類別信息，從而提高整體識別效果.算法描述：對訓練數據集中的每一幅彩色人臉圖像分解出對應的R，G，B分量，將對應相同分量的所有訓練圖像組合在一起，構成三個不同的數據矩陣VR，VG，VB，分別對這三個數據矩陣用非負矩陣分解算法計算相應的基圖像和分解系數.

然后，將每一幅人臉圖像對應的三個r×1的分解系數向量，按R，G，B顏色分量的順序串聯成一個3r×1的列向量，稱之為基礎數據.在基礎數據上考慮類別信息，求出類內散度矩陣和類間散度矩陣，用線性判別分析算法Fisher準則來尋找最優鑒別子空間，計算最優投影矩陣，即系數最優鑒別投影矩陣.

最后，將所有的彩色樣本的三個分量先向基圖像投影，再向系數最優鑒別投影矩陣投影，得到對應于變換空間的坐標系數，以用作分類識別，但是他們將不同通道的顏色信息分開處理，破壞了信息的完整性，因此WANG Chen-zhang等人[18]在此基礎上又作了進一步的改進，提出了基于Fisher塊對角LNMF的彩色人臉識別，將之前得到的VR，VG，VB三個矩陣塊，放在矩陣V的對角線上，然后對整個對角矩陣V采用非負矩陣分解，來作為鑒別特征的抽取方式.很明顯，這樣做就保證了信息的完整性。算法分析與效果：非負矩陣分解與線性判別分析相結合的算法，從實驗的結果來看，在CVL人臉庫上，NMF算法能取得87.8%的識別率，NMF+LDA算法能取得91.1%的識別率.在CMU PIE人臉庫上，NMF算法能取得91.1%的識別率，NMF+LDA算法能取得92.7%的識別率.因此，非負矩陣分解算法結合線性判別分析算法所能取得的識別效果，優于非負矩陣分解算法.并且，基于Fisher塊對角LNMF的彩色人臉識別算法在不破壞信息完整性的基礎上，也取得了較好的識別效果.

（3）針對分別從三個偽灰度圖中抽取到的三組鑒別特征，Liu Yong-qin等人[19]也提出了相應的處理方法.先使用Fisher線性鑒別分析，分別求出對應于三個分量的特征空間，然后把每個樣本的三個分量分別投影到對應的特征空間中，就得到三組特征系數，對應于樣本在特征空間中的位置.

針對每個樣本都有的這三個特征系數，有兩種處理方式：要么用一組加權系數，將這三個特征系數線性組合為一個列向量；要么將這三個特征系數串聯起來，作為一個列向量.處理完之后，每個樣本就可以用一個列向量Y表示.（Y表示在三個分量的特征空間中的特征值）.由于這里融合了三個通道的特征，將所有樣本圖像對應的Y組和為數據矩陣，再做一次鑒別特征抽取，得到特征空間，將所有的樣本對應的Y投影到特征空間，最后進行分類識別.

（4）針對從三個分量中抽取到的三組鑒別特征的處理，文獻[20]介紹了一種信息融合的技術來解決這個問題.首先利用小波來提取RGB三個偽灰度圖的三組最佳鑒別特征，然后借鑒了信息融合的思想，用廣義典型相關分析，將提取到的三個小波特征融合為一個特征.由于小波提取的特征具有高維特性，直接送入分類器進行識別，計算量較大.通過借鑒核監督近鄰保留投影和核監督局部保留投影的思想,將監督學習引入近鄰保留嵌套,提出監督近鄰保留嵌套,并用于對特征的降維.算法分析與效果：彩色圖像經過多信道融合的方法,然后再采用主成分分析，線性判別分析，監督近鄰保留嵌套.3種特征降維方法,其識別率分別提高了2.161%，4.171%，2%；尤其采用監督近鄰保留嵌套算法,其識別率可以達到98%，比采用灰度變換的方法,識別率提高了2%左右，由此說明當人臉識別系統性能達到一定的水平后，采用多通道信息融合技術的方法有助于識別率的進一步提高.

1.3 基于決策級聯的鑒別特征的正交化

上面介紹的方法要么是試圖消除R，G，B三個分量之間的相關性，將三個分量融合為一個分量；要么是對R，G，B三個分量分別提取鑒別特征，提取到三組鑒別特征之后，再試圖將這三組鑒別特征融合為一個特征.而文獻[23]中所介紹的算法，打破了這一常規思維，在求到對應于R分量的鑒別特征Wr后，令Wr和Wg垂直，即Wr·Wg=0作為求解Wg的限定條件，用拉格朗日數乘法，結合Fisher鑒別分析的思想，求出Wg.同理，將Wr和Wg作為求解Wb的限定條件，求出Wb，很顯然，這三組鑒別特征滿足正交性，消除了對應于三個分量的鑒別特征之間的相關性，再對Wr、Wg、Wb標準化.在求到了這三組鑒別特征后，接下來就涉及到如何對這三組鑒別特征進行處理.處理方法與上面介紹的方法類似，這里不作介紹.該算法的意義是突破了傳統的思維模式，從消除三組鑒別特征的相關性出發，得到更有利于分類識別的鑒別特征.算法分析與效果：由于該算法保證了提取到的特征之間的正交性，更好的消除了提取到的特征之間的相關性，從而更有利于分類識別.從文獻中給出的實驗結果來看，該算法能很好的提高人臉識別性能，在AR人臉庫和FRGC-2人臉庫上，平均識別率分別提高了3.53%，3.35%.

1.4 基于像素單元的圖像表示方法與鑒別特征抽取

在本節介紹的算法中，彩色人臉圖像的表示仍是基于RGB空間的三通道的彩色圖像，并沒有作特殊的變換，也沒有將三個顏色分量聯合成一個分量.該算法沒有分別對三個分量進行鑒別分析，這樣做就保證了信息的完整性，同時又把R，G，B三個分量的像素值都考慮在內.下面我們來介紹由BAI Xiao-ming等人[21]提出的基于二維線性判別分析的彩色人臉識別，該算法將每個像素點視為一個像素單元，包含三個值.從像素單元的角度出發，每幅分辨率為n1×n2的人臉圖像就可以用一個3×n的矩陣來表示，

最后，用最近鄰分類器來分類識別.該算法比較好的維護了信息的完整性，同時又將顏色信息融入到人臉識別中去，為彩色圖像的人臉識別的研究開拓了思路.

1.5 基于新的顏色空間的圖像表示方法與鑒別特征抽取

本節主要介紹彩色人臉圖像的表示方法.既然用RGB顏色空間來表示彩色人臉圖像不盡如人意，許多學者就提出用其它的顏色空間來表示彩色人臉圖像，以提高人臉識別性能，或者基于現有的顏色空間，通過一系列的轉換得到其它的顏色空間.

（1）YangJian等人[11]提出的泛化的彩色圖像鑒別模式(GCID)，結合Fisher線性鑒別分析的思想，并融入類別信息，通過設定閾值來進行迭代，得到除了CID模式中的第二個分量.然后利用顏色空間中的三個分量的正交性，把第三個分量看成其它兩個分量的正交補，進而求出第三個分量.新的顏色空間很好的表現了人臉的特征，并且更加有利于分類識別.

（2）另外，Liu提出了[22]不相關的顏色空間(UCS)、獨立的顏色空間(ICS)和有鑒別能力的顏色空間(DCS)的方法用作人臉識別.UCS使用主分量分析的方法來消除三個分量之間的相關性.ICS假設每個彩色圖像都由三個獨立的源圖像定義，可以從對任意源的分割中得到，比如獨立分量分析(ICA).DCS使用鑒別分析的方法來定義有利于人臉識別的三個新的分量圖像.彩色人臉圖像在新的顏色空間中有更好的類聚性，并且這里所提及到的三個顏色空間都具有不同的特征，也都有各自的優缺點.

也有學者認為，RGB顏色空間是最基本的顏色空間，可以從RGB顏色空間派生出更好的顏色空間，從而更有利于人臉識別.對于實際應用而言，到底哪一個顏色空間才是更好的呢？哪一種選擇才更有利于具體問題的解決呢？有學者提出了對顏色空間的標準化，從而解決了這個問題.

2 顏色空間標準化

Yang等人[24]指出，不同的顏色空間通常呈現出不同的類聚性，一些顏色空間諸如RGB，XYZ相對較弱.然而其它的顏色空間，諸如I1I2I3，YUV,YIQ,LSLM則相對較強.通過分析I1I2I3，YUV,YIQ,LSLM的變換矩陣后發現，這些矩陣都有一個共同的特點，變換矩陣第二行，第三行的元素之和都為0.RGB,XYZ顏色空間卻不具備這一特性.從弱勢顏色空間和強勢顏色空間的差異性得到啟發，提出了對顏色空間進行標準化的概念和方法.此方法能夠對任何由RGB線性變換得到的顏色空間進行標準化，因此標準化的顏色空間與強勢的顏色空間具有相同的特性：第二三兩行的元素和都為0.

2.1 顏色分量內部的標準化CSN-I

2.2 顏色分量間的標準化CSN-II

算法分析與效果：在AR人臉庫上的實驗表明，通過對RGB,XYZ,XGB,YRB,ZRG標準化前后的識別率對照，標準化后的顏色空間較之標準化前的顏色空間明顯提高了人臉識別的性能.使用第一種標準化方法，識別率較之前分別提高了3.5%，2.9%，4.6%，3.6%，4.1%；使用第二種標準化方法，識別率較之前分別提高了4.3%，4.3%，4.8%，3.6%，3.5%，可以看出對顏色空間的標準化是有效的，這為彩色人臉識別技術提供了很好的支持.

3 研究的發展與展望

隨著對人臉識別技術研究的深入，人們逐漸意識到顏色的重要性.彩色人臉鑒別特征抽取也從探究圖像表示方法到標準化顏色空間逐步發展，顏色也扮演著越來越重要的角色.基于彩色圖像人臉識別的技術也將隨著當今科學信息技術的發展而進步.關于如何更好地將顏色信息融入到人臉識別中并有效的提高人臉識別的正確率，還有很長的路要走.

[1]Kemp R,Pike G,et al.Perception and recognition of normal and negative faces:the role of shape from shading and pigmentation cues[J].Perception,1996,25:37-52.

[2]Torres L,Reutter J Y,Lorente L.The importance of the color information in face recognition[J].International Conference on Image Processing,1999,3:627-631.

[3]Yip A,Sinha P.Roleof color in face recognition[C].MIT tech report(ai.mit.com)AIM-2001-035CBCL-212,2001.

[4]ChoiY,Ro YM,Plataniotis K N.Color face recognition for degraded face images[J].IEEE Transactions on System Man and Cybernetics PartsB,2009,39(5):1217-1230.

[5]RajapakseM,Tan J,Rajapakse J.Color channelencodingwith NMF for face recognition[C].InternationalConference on Image Processing 3,2004:2007-2010.

[6]Xie C,KKumar BV.Quaternion correlation filters for color face recognition[C].Proceedings of the SPIE 5681,2005:486-494.

[7]Shih P,Liu C.Improving the face recognition grand challenge baseline performance using color configurations across color spaces [C].IEEE InternationalConferenceon Image Processing,2006.

[8]Shih P,Liu C.Comparative assessment of content-based face image retrieval in different color spaces[J].International Journal of Pattern Recognition and Artificial Intelligence,2005,19(7):873-893.

[9]Shih P.Facialanaylsis in video:detection and recognition[C].Ph DDissertation,New Jersey Instituteof Technology,2006.

[10]Jones IIIC,Abbott A L.Color face recognition by hypercomplex gabor analysis[C].Seventh International Conference on Automatic Face and Gesture Recognition,2006.

[11]Yang J,Liu C.Color image discriminantmodels and algorithms for face recognition[J].IEEE Transactions on Neural Networks, 2008,19(12):2088-2098.

[12]Yang J,Liu C.A Discriminant color spacemethod for face recognition and verification on a large-scale database[C].International Conferenceon Pattern Recognition 2008,Tampa,Florida,USA,2008.

[13]Creed F,Jones A.Lynn Abbott“Optimization of Color Conversion for Face Recognition”[J].EURASIP Journal on Applied Signal Processing,2004,4:522-529.

[14]羅仁澤，冉瑞生，王汝言.奇異值和RBF神經網絡的彩色人臉識別[J].計算機工程與應用，2009，45(4).

[15]Torres L,Reutter JY,Lorente L.“The importance of the color information in face recognition”[C].Proc Int’l Conference on Systems,Man and Cybernatics,1999.

[16]Rajapakse M,Tan J.Color channel encoding with NMF for face recognition[C].International Conference on Image Processing, 2004:2007-2010.

[17]白曉明，王成章.NMF與LDA相結合的彩色人臉識別[J].計算機工程與應用，2009，45（31）.

[18]王成章，白曉明.基于Fisher塊對角LNMF的彩色人臉識別[J].計算機工程與應用，2010（8）.

[19]劉永芹，劉永俊，常晉義.彩色人臉鑒別特征抽取及識別[J].常熟理工學院學報，2010（8）.