人臉識別中光照補償參數及必要性的判定方法

摘要：針對實際人臉識別應用中大量人臉無須作光照補償的情況，分別用2DPCA和Fisher兩種人臉識別方法對FRVT標準人臉庫進行識別，得出準確的影響人臉識別的光照方向參數，并提出了一種簡單快速的判斷是否需補償的方法。實驗證明，經過光照補償判定后進行的人臉識別實驗，需補償人臉數目大量減少，運算量大大降低，人臉識別速度可以提高近四倍。

關鍵詞：2DPCA方法；Fisher方法；光照影響參數；光照補償；人臉識別

中圖分類號：TP301文獻標志碼：A

文章編號：1001－3695(2007)07－0306－03

0引言

光照變化對人臉識別的影響比較復雜，并且光照對人臉的影響要高于不同人臉之間的差別[1~4]。目前，雖然在受控的觀測條件下，人臉圖像識別可以取得比較高的識別率，但是，當光照條件或待識別人臉的姿態變化時，識別率則急劇下降。因此，許多人臉檢測識別系統首先要對光照進行預處理。目前，解決不同光照條件下人臉識別問題的方法主要有以下幾種：①提取光照變化不敏感特征方法，如變換后提取統計特征等方法[5~9]； ②建立模擬光源模型方法，即構成一個人臉在不同光照條件下線性光照空間的方法，如熵圖像等[10]；③建立不同光照下人臉模型方法，即建立人臉的3D模型方法，此方法步驟繁瑣，運算處理信息量較大[11]。

這些方法的主要思想都是通過對待識別圖像進行處理，使處理后的圖像與標準光照條件下的模板圖像盡可能保持一致。但當待識別圖像的光照條件和標準光照條件差別較大時，要將它完全正確地變換成標準光照條件下的圖像是一件困難的工作，而且完成這種變換的計算量也很大。另一方面，由于人眼對一定范圍內的光照變化具有相當的適應能力，在人臉識別系統中一些光照引起的一定范圍內的噪聲也可以忽略不計，或者簡單處理這種噪聲就可以改進識別效果。當然，如果知道了這個范圍，就可以在大量減少人臉識別中預處理運算量的同時，減少處理步驟、提高識別系統的效率。

為了確定光照變化對人臉的具體影響情況，本文采用2DPCA和Fisher兩種方法，通過實驗分析給出了對識別有影響的光照方向參數；并提出一種快速的光照補償必要性判定方法，對人臉圖像在識別前進行判斷。實驗結果表明，該方法避免了對所有圖像進行光照補償，降低了系統復雜度、減少了運算量，在保持較高識別率的同時大大提高了識別速度。

12DPCA和Fisher方法

1．12DPCA

2DPCA是直接利用原始人臉圖像的主元特征的提取方法[9，12]。它直接從圖像矩陣出發，分別從水平和垂直方向提取圖像特征，識別效果比一般PCA好[13]。

1．2Fisher方法

Fisher 線性判別方法[14]是公認的特征抽取比較好的方法之一。Fisher通過空間變換和線性差分分類使投影后的模式樣本的類間散布矩陣最大而類內散布矩陣最小，即投影后有最佳的可分離性[9]。Fisher方法提取的特征向量集強調的是不同人臉的差異而不是照明條件、人臉表情和方向的變化，其對光照條件、人臉姿態等的變化不太敏感，有助于提高識別效果[7，13]。

2需要光照補償的光照偏轉方向的判定

由于實際的人臉識別應用中，真正需要進行光照補償的人臉只是少數。如果在識別過程中對所有待識別人臉都作光照補償，必然增加很多不必要的計算，甚至可能會因此帶來噪聲，影響無須補償的正常人臉的識別效果。在進行光照補償前，確定需要光照補償的光照偏轉方向參數，并對有光照偏轉現象的待識別人臉進行光照補償與否的判定，則可以減少大量的計算量，減少識別步驟、提高識別速度。

2．1光照補償的光照方向參數的確定 

實驗中選用FVRT[15]提供的標準人臉庫和各種光照條件下的人臉的YaleB[16]和Harverd[17，18]庫。其中，YaleB 庫是10個人共650幅人臉的人臉庫，包括垂直方向偏光、水平方向偏光和混合偏光的，偏光角度從15°~135°變化的圖像，如圖1所示。

分別用2DPCA和Fisher兩種分類識別方法進行訓練和識別。測試集中每張人臉提供10個候選結果，根據每個結果相對于該人臉的相似程度進行打分并排序，給出得分最高的人臉正確識別的識別率和10個結果的平均正確識別率。實驗1選用FRVT訓練集里的1 192幅人臉圖像作為訓練集1；FRVT測試集和YaleB庫中10個人的387張偏光角度在30°以上的人臉，共2 133張組成測試集1，分別用2DPCA 和Fisher進行識別。

實驗2從實驗1中的部分測試集YaleB 庫里選出偏光角度較小的、最高分識別正確且平均識別結果正確率在70%以上的偏光人臉33幅，與FRVT測試集重新組成新的訓練集2，共1 830張人臉；將YaleB 庫中剩下的偏光大于45°的302幅圖像組成測試集2，再次用2DPCA和Fisher方法識別。兩次識別結果如表1所示。

將表1實驗結果按光照偏轉方向重新統計，結果如表2所示。筆者發現：實驗1中的錯識人臉包括FRVT人臉庫中149張圖像和YaleB中部分人臉圖像，其中45°以上的所有人臉都不能正確識別，部分小于45°的人臉可以正確識別；實驗2對YaleB中的偏光角度在45°以上的人臉進行識別，其中60°以上的人臉全部不能識別，45°與60°之間的圖像只有2~3張可以識別。

從兩表中可以看出，為了加強訓練特征對光照的適應，避免因選擇不同的訓練人臉而影響實驗結果、影響光照補償參數的準確性。從實驗1的測試集中抽取的可以識別的、光照變化較小的圖像放到實驗2的訓練集中重新訓練，進行實驗2，結果仍不理想。顯然，實驗2中不能正確識別的人臉用一般的識別方法也很難識別，識別前需要預先進行特殊的光照處理。此外，實驗結果還表明，2DPCA和Fisher不能識別的人臉主要有：①水平方向偏光，角度變化在60°以上的人臉；②垂直方向偏光，角度變化大于40°的人臉;③兩種偏光都存在且其中任一個偏光角度在實驗1、2所列范圍的人臉。

綜合分析實驗結果，可以得出如下結論：

（1）一般的光照條件，對識別影響較小，無須在識別前先進行特殊的光照處理。

（2）偏光嚴重的人臉圖像，一般水平方向偏光對識別的影響比垂直方向偏光更大。在沒有其他任何噪聲情況下（如眼鏡、胡子或其他遮擋物），需要作光照處理的光照方向范圍為：左右偏光大于 60°；左右偏光小于 60°，垂直方向大于40°的上偏光；左右偏光小于 60°，垂直方向大于90°的下偏光。

2．2光照方向偏轉程度的判定

經過大量的實驗發現，根據2.1節中給出的需要進行光照補償的參數，當偏光角度達到需要補償光照偏轉條件時，人臉上的灰度分布呈現一定規律，如圖2所示。基于此，提出一種判定需要進行光照補償的光照方向的算法。

令人臉圖像像素灰度值為pij，整個圖像的灰度平均值為E，正常人臉灰度平均值為E0，人臉上亮暗部分灰度差閾值為T1。

(1)比較待識別人臉圖像的灰度平均值與正常光照下人臉圖像的灰度平均值E0，這是判定需要補償人臉的必要條件。

(2)判斷垂直方向上由于偏轉的光照方向使人臉上灰度值急劇下降的區域是否超過整個人臉的1/3，以此判定水平方向光照偏轉達到補償條件的人臉。

(3)統計人臉圖像上小于該人臉灰度平均值的像素數目，判斷水平方向偏轉角較小，而垂直方向偏轉角度大的需補償的人臉，同時排除光照偏轉角度不滿足光照補償條件的膚色較暗的人臉。

該算法的偽碼如下：

在實際人臉識別系統中進行光照補償的人臉數目一般較少，故對所有人臉作光照補償與否的判定算法必須簡單、快速，所需時間要遠小于光照補償耗時。這里提出的光照偏轉程度判斷算法也正是基于此目的。由于該算法的全部計算在對人臉兩次掃描中完成，涉及的計算步驟只有加法運算和單一的判斷，計算簡單、計算量小，基本不影響識別速度。同時為了保證識別率，算法判斷時最大覆蓋所有可能需要補償的人臉。

3實驗結果

基于第二章中給出的光照補償條件參數和判斷需補償光照方向的方法，重新用2DPCA和Fisher兩種識別方法分別對實驗1測試集中的2 113張人臉進行識別。選用簡單的直方圖均衡作光照補償，雖然該方法對光照補償效果不是很好，但運算簡單、計算量小、速度快。

實驗3對測試集中部分人臉在識別前作光照補償，即對光照變化小于60°的人臉直接進行識別，而對大于60°的人臉則在識別前根據第2章提出的方法，有選擇地先進行直方圖均衡光照補償，共補償人臉302幅，然后再進行識別。

由表3可以看出，盡管實驗中需要補償的人臉只占所有待識別人臉的14.287%，但實驗3和4相比識別率沒有明顯變化，識別速度減慢四倍以上；另一方面，實驗4和5相比識別率有較大改進，識別時間只增加一倍。

顯然，對所有人臉均進行光照補償的實驗3的識別率沒有提高很多，而識別速度下降很多的原因在于：在實際的人臉識別中，大部分需識別的人臉受光照影響較小，不需要光照補償，而不加區別地對所有人臉都作光照補償，必定增加不必要的識別時間、識別運算量和運算步驟，甚至還可能對無需光照補償的人臉造成噪聲污染，影響識別效果。實驗5中所有圖像均未作光照補償，雖然識別所用時間最少，但識別率較實驗4和實驗3相差較多。而根據人臉受光照影響情況，有選擇地進行光照補償的實驗4，由于只對偏光現象嚴重的待識別人臉進行補償，在增加少量的識別時間的同時有效地提高了識別率。

另外，實驗中選用的是簡單的、效果一般的光照補償方法，若用其他更復雜的補償算法，勢必增加更多不必要的識別時間，大大降低識別速度。因此，在對人臉光照偏轉程度判斷的基礎上，在識別前有選擇地進行人臉圖像的光照補償，對于實際的人臉識別系統是有意義的。

4結束語

本文提出的對識別有影響的光照方向參數和判定影響識別的光照方向方法，可以避免對所有人臉統一作光照補償，這樣在減少運算步驟的同時還降低了系統復雜度，避免了不必要的計算。同時有選擇地對達到光照補償條件的人臉進行補償又可以較大提高識別率，改進識別效果。對于確實需要光照處理的人臉的光照補償研究，可建立光源照射模型或人臉3D模型仿真真實光照情景；分析由于光照造成的人臉不同位置在同一光源下灰度變化不同，研究光源的相對移動，并近似用灰度變化特性表示或通過尋求更好地體現光照特性的光照敏感特征等方法進一步研究。

參考文獻：

［1］BRAJE W L， KERSTEN D，TARR M J，et al.Illumination effects in face recognition[J].Psychobiology，1998，26(4):371－380.

[2]楊健，楊靜宇，葉暉.Fisher線性鑒別分析的理論研究及其應用[J].自動化學報， 2003，29(4):482－493.

[3]QI Banzhao，ZHANG Xuegong. Pattern recognition[M].2nd ed.Beijing: Tsinghua University Press， 1999:223－226.

[4]YANG Jian，YANG Jingyu，JIN Zhong. An apporach of optimal discriminatory feature extraction and its application in image recognition[J].Journal of Computer Research and Development，2001，38(11):1331－1336.

[5]TURK M，PENTLAND A.Eigenfaces for recognition[J].The Journal of Cognitive Neuroscience，1991，3(1)71－86.

[6]BAKER S，NAYAR S K.Pattern rejection[C]//Proc ofIEEE Conf Computer Vision and Pattern Recognition.1996:544－549.

[7]LIU Hong，LI Jintao，MIAO Jun．Illumination compensation based on multimethod integration in face detection[J].Journal of System Simulation，2001，13(1)：46－50．

[8]KOUZANI A Z， HE F， SAMMUT K. Towards invariant face recognition[J].Information Sciences，2000，123(12):75－101.

[9]BELHUMEUR P N，HESPANHA J P，KRIEGMAN D J.Eigenfaces vs. Fisherfaces:recognition using class specific linear projection[C]//European Conf Computer Vision，1996:45－58.

[10]蘇宏濤， 趙榮椿.基于不同光照方向的子空間人臉識別[J].計算機工程， 2003，29 (8):124－125.

[11]KAMPMANN M. Automatic 3D face model adaptation for model－based coding of videophone sequences[J].Circuits and Systems for Video Technology，2002，12(3):172－182.

[12]YANG Jian， ZHANG D， YANG Jingyu. Two－dimensional PCA: a new approach to appearance－based face representation and recognition[J].IEEE Transactions Pattern Anal. Machine Intell，2004，26(1): 131－137.

[13]FISHER R.The use of multiple measures in taxonomic problems[J].Annals of Eugenics，1936(7): 179－188.

[14]ZHONG Jin，YANG J Y， HU Z S，et al.Face recognition based on uncorrelated discriminant transformation. [J].Pattern Recognition，2001，33(7):1405－1416.

[15]PHILLIPS P J，WECHSLER H，HUANG J，et al.The FERET database and evaluation procedure for face recognition algorithms[J].Image and Vision Computing，1998，16(5):295－306.

[16]GEORGHIADES A S，BELHUMEUR P N，KRIEGMAN D J.From few to many: generative models for recognition under variable pose and illumination[C]//Proc of IEEE Internat[S.l.]:[s.n.]，Conf on Automatic Face and Gesture Recognition.2000:277－284.

[17]HALLINAN P.A low－dimensional representation of human faces for arbitrary lighting conditions[C]//Proc of IEEE Conf on Computer Vision and Pattern Recognition.1994:995－999.

[18]HALLINAN P.A deformable model for face recognition under arbitrary lighting conditions[D].Cambridge:Harvard University，1995.

注：“本文中所涉及到的圖表、注解、公式等內容請以PDF格式閱讀原文”