Facial—Lighting歸一化方法研究

周楓+薛熒熒+陳晗婧+許小強+徐永紅+李千目

摘要：一直以來，人臉識別都是模式識別和計算機視覺領(lǐng)域的研究熱點。作為一種重要的生物特征識別技術(shù)，在社會公共安全和日常生活中具有廣泛的應(yīng)用前景。目前，在可控環(huán)境下的人臉識別系統(tǒng)已達(dá)到了令人滿意的性能。但是，在真實環(huán)境下影響人臉識別的因素是很難控制的，例如光照變化、姿態(tài)變化和遮擋等。本文主要關(guān)注人臉圖像光照歸一化的方法，重點研究了直方圖均衡、高斯差分濾波、對數(shù)域離散余弦變換、梯度臉和光照預(yù)處理鏈等方法。

關(guān)鍵詞：人臉識別；光照預(yù)處理；圖像處理

中圖分類號：TP391.41

文獻(xiàn)標(biāo)識碼：A

DOI：10.3969/j.issn.1003-6970，2015.06.012

本文著錄格式：周楓，薛熒熒，陳晗婧，等.Facial-Lighting歸一化方法研究[J].軟件，2015，36（6）：58-65

ResearchonFacial-IightingNormalizationMethodsZHOUFengl，XUEYing-yingl，CHENHan-jingl'2，XUXiao-qiangl，2，XUYong-hong3，11Qian-mul

[Abstract]：Facerecognitionhasbeenoneofthemostactiveresearchtopicsincomputervisionandpatternrecogni-tion.Asanimportantbiometricstechnology，facerecognitionhasandwillhavepopularapplicationsintheareaofso-cialpublicsecurityanddailylife.Nowincompletelycontrolledenvironmentfacerecognitionhasachievedsatisfyingperformance.However，inpractice，manyfactorsinfacerecognitionareuncontrolled，e.g.variationsinillumination，poseandocclusion.Thispapermainlyfocusesonthefacial-lightingnormalizationmethods

[Keywords]：Facerecognition；Illuminationpreprocessing；Imageprocessing

0引言

同一張人臉圖像在不同光照條件下的差異可能會大于不同人臉圖像在相同光照下的差異[1]。作為人臉識別、表情識別[9]等多種現(xiàn)實應(yīng)用的重要基礎(chǔ)，研究人員日益關(guān)注光照問題的解決，不斷對現(xiàn)有方法進(jìn)行組合和改進(jìn)，提出了諸多識別率較高、普適性較強的方法[3-7]。這些方法或是利用數(shù)字圖像處理技術(shù)對光照進(jìn)行預(yù)處理，或是利用數(shù)學(xué)理論結(jié)合圖像技術(shù)對圖像進(jìn)行變換，以期獲取光照良好的圖像，又或是對人臉圖像進(jìn)行建模處理，試圖復(fù)原人臉的形狀、姿態(tài)等信息；在此基礎(chǔ)上再對人臉進(jìn)行識別，大都獲得了較好的識別性能。

本文總結(jié)和歸納了目前主流的五種處理方法：直方圖均衡、高斯差分濾波、對數(shù)域的離散余弦變換、梯度臉和光照預(yù)處理鏈，并對每種方法的原理進(jìn)行了分析和比較。

1人臉圖像光照歸一化方法

1.1光照預(yù)處理鏈（TT）方法

基本思想：將伽瑪校正、對比度均衡化等光照預(yù)處理方法綜合起來，得到了一個人臉圖像光照預(yù)處理鏈。該方法過程復(fù)雜，卻能有效去除過度曝光和陰影對人臉圖像的影響，同時還能將人臉的光照變化和細(xì)節(jié)特征等基本要素保留下來。

伽馬矯正是一種非線性灰度變換，用，7（γ>0）或者log（/）（γ=0）代替圖像灰度，，當(dāng)γ∈[o，1]且γ是一個用戶白定義參數(shù)。這種變換能提升圖像在黑暗或陰影區(qū)域的局部動態(tài)變化范圍而壓縮圖像在明亮區(qū)域和亮點的局部動態(tài)變化范圍。潛在的原則是，從物體上反射出來的光照強度是入射光照L（L在絕大多數(shù)區(qū)間是分段平滑的）和局部表面反射率R綜合的結(jié)果。原作者給出了這樣的結(jié)論：對于恒定的局部光照，給定的反射率產(chǎn)生給定的log（I），而不用考慮光照的真實強度。實際上，全局的對數(shù)變換往往過度放大了圖像黑暗區(qū)域的噪聲；但是一個指數(shù)為γ且γ∈[0，o.5]范圍的冪次定律是個很好的折衷。在人臉識別中，一般情況下選擇γ=0.2作為默認(rèn)設(shè)置。

對比度均衡化能重新調(diào)整圖像灰度到一個期望的范圍以內(nèi)，同時又能保證圖像在全局上的整體對比度。這是為了達(dá)到光照魯棒性的一項重要舉措。基于式（1）和式（2）可以對圖像做如下對比度均衡化處理：

其中，a是一個強力壓縮指數(shù)，能減少個別較大灰度值帶來的影響；z-是一個閾值，在均衡化中用來截取較大灰度值；mean（-）是對整個圖像的均值操作算子。在此處取α=0.1和γ-=10作為默認(rèn)值。最后，該方法應(yīng)用一種非線性映射的策略來完成對圖像灰度值極大值的抑制，即，（x，y）←γtanh（r（x，y）/τ，其中是雙曲正切函數(shù)，I的取值范圍被限制在（-τ，τ）。tnah（·）是雙曲正切函數(shù)，I的取值范圍被限制在（-τ，τ）。

圖1展示了光照預(yù)處理鏈的過程，該方法的效果如圖2所示

2.2直方圖均衡化（HE）

直方圖均衡化方法，是一種在全局上進(jìn)行統(tǒng)計分析，調(diào)整直方圖中的灰度分布，再重新生成直方圖的方法[8]。該方法主要是為了有選擇性地抑制某些信息（像素所占比例較少的灰度），而增強另外需要表現(xiàn)的某些信息（像素所占比例較多的灰度），即達(dá)到均衡化的目的。

2.2.1灰度圖像的直方圖

增加灰度圖像的對比度，是圖像增強技術(shù)的一種，主要用來提升灰度圖像在局部或者整體上的反差程度，從而清楚地顯現(xiàn)出圖像的某些細(xì)節(jié)，以達(dá)到改善圖像的視覺效果的目的。直方圖均衡化和伽馬矯正就是在全局上增強對比度的典型方法。

一般以各像素點之間的灰度值差距的程度來表示圖像對比度。而直方圖均衡化就是按照設(shè)定好的一些映射關(guān)系，調(diào)整原圖中各個像素點的灰度值使之均衡化的分布，來增強圖像對比度的方法。我們能夠通過圖像的直方圖清楚地看到圖像像素在整個灰度區(qū)間的分布，以及像素在每個灰度級上出現(xiàn)的頻率。如圖3所示，

2.2.2直方圖均衡化

直方圖均衡化又可以被稱為灰度均衡化，整個過程就是按照一定規(guī)則將像素值重新分配，從而使得圖像的直方圖中灰度能均衡地分配到各個灰度區(qū)間，這也是直方圖均衡化的主要思想。因此，圖像在做過增強處理后，將會取得很大的動態(tài)變化范圍和很高的灰度對比度。

為了能清晰明了并且簡單地介紹直方圖均衡化處理的過程，可以給出這樣的定義：灰度圖像在0-1的區(qū)間里并且連續(xù)，圖像的概率密度函數(shù)為

p（x），O

（3）

從式（2.2.1）可以得出，在0-1區(qū)間對p（x）進(jìn)行積分，值為1，即：

可以假設(shè)灰度圖像在處理前的概率密度函數(shù)為pr（r），經(jīng)過直方圖均衡化后的圖像概率密度函數(shù)為Ps（s），令s=f（r），對s求導(dǎo)數(shù)可得：

為了滿足Ps（s）=1且O

對式（7）兩邊方程式進(jìn)行積分處理，有：

上述的推理過程是灰度值在0-1區(qū)間并且連續(xù)分布的條件下進(jìn)行的，而當(dāng)在[0-255]條件下時，只要將積分乘上最大灰度值即可。具體描述如下：

直方圖均衡化對于對比度比較低的圖像做圖像增強時，可謂是簡單而高效。經(jīng)過該方法處理后的圖像，平均的灰度值將會比較靠近灰度中指，進(jìn)而導(dǎo)致了一些過度增強以及光暈等現(xiàn)象。而在人臉識別中，當(dāng)光照良好時，該方法表現(xiàn)尚好；但是在光照條件惡劣時識別性能并不令人滿意。直方圖均衡化（HE）的效果如圖4所示：

2.3高斯差分濾波器（DOG）

DOG是一種基于高斯差分濾波器的圖像的光照歸一化方法。該方法主要運用帶通濾波器將輸入圖像做歸一化處理。需要注意的是，在進(jìn)行濾波以前，必須先對圖像進(jìn)行伽瑪矯正或者對數(shù)變換來抑制陰影區(qū)域的局部差異帶來的影響，否則難以得到理想的結(jié)果圖像。

在一維情況下DOG定義如下：

在二維的情況下DOG定義如下：

作為一種圖像增強算法，DOG可以被用作增加邊緣和其他細(xì)節(jié)的可見性。這個算法的一個主要缺點就是在調(diào)整圖像對比過程中信息量會減少。該方法的效果如圖5所示：

2.4對數(shù)域離散余弦變換（LDCT）

該方法能有效消除光照變化，同時保持主要的面部特征不受影響。該方法的主要思想是，光照變化可以通過在對數(shù)域截取低頻離散余弦變換（DCT）系數(shù)而顯著降低。以下是對該方法所用到的一些基本理論進(jìn)行簡單介紹。

2.4.1對數(shù)變換

在數(shù)字圖像增強技術(shù)中，對數(shù)變換通常被用來提高暗像素的灰度值。在一個簡單的情況下，圖像的灰度級廠（x，y）可被假設(shè)為正比于反射率r（x，y）的和光照e（x，y）的乘積，即

f（x，y）=r（x，y）.e（x，y）

（11）

眾所周知，Retinue算法與反射恒常性相關(guān)。反射率不變的特性已被廣泛應(yīng)用于目標(biāo)識別。由于反射是面部特征的穩(wěn)定特性，就可以恢復(fù)在不同光照條件下的反射面。對式（11）取對數(shù)變換，我們有

logf（x，y）=logr（x，y）+loge（x，y）

（12）

由式（12）可得，在對數(shù)域，如果入射光照e（x，y）和所需的均勻的光照e被給出了（e為相同的圖像的每一個像素），有

logf'（x，y）=logr（x，y）+loge'

=logr（x，y）+loge（x，y）-s（x，y）

（13）

=logf（x，∥）一s（x，少）

其中占（x，y）=loge（x，y）-loge'

并且f'（x，y）是根據(jù)所希望的均勻光照的像素值。由式（13），我們可以得出這樣的結(jié)論：歸一化的人臉圖像可以通過使用一個附加函數(shù)ε（x，y）從原始圖像獲得，ε（x，y）被稱為補償函數(shù)，是光照歸一化和估計原有光照在對數(shù)域之間的差異所在。

2.4.2離散余弦變換

有四種類型的離散余弦變換（DCT），列舉如下：DCT-I，DCT-II，DCT-III，和DCT-IV。DCT-II更廣泛地被應(yīng)用于信號的編碼，因為它近似等價于Karhunen-Loeve變換（KLT），Markov-1信號相關(guān)系數(shù)更是接近于1。例如，JPEG圖像壓縮是基于DCT-II。DCT-II經(jīng)常被簡稱為“DCT”二維的MxN的DCT定義如下：

在該方法中，DCT變換是對整個人臉圖像進(jìn)行，以獲取人臉圖像的所有頻率成分。

2.4.3光照補償

給定一張人臉圖像，如果已知光照變化和主要的人臉特征關(guān)系，那么光照變化可以通過在對數(shù)域增加或減少項ε（x，y）來進(jìn)行補償，然而，面部特征檢測是一項并不簡單的工作，尤其對于較大光照變化的人臉圖像。與一些在人臉圖像上的投射陰影和鏡面反射相比，光照變化通常改變緩慢。因此，光照變化主要表現(xiàn)在低頻帶。因為試圖使用反射率特性識別人臉，光照變化可以通過去除低頻分量被減少。應(yīng)當(dāng)指出的是，在該方法中只考慮沒有頭發(fā)的人臉圖像，因為人頭發(fā)的強度是一種容易受損的低頻特征，它會使人臉圖像的低頻分量丟失。然而，人的頭發(fā)是一種不穩(wěn)定的特征，它會隨時間而發(fā)生很大變化。因此，在許多人臉識別系統(tǒng)中，人的頭發(fā)不被視為是一種重要的面部特征。

DCT可用于將圖像從空間域變換到頻率域。此外，它可以使用快速算法來實現(xiàn)，這大大降低了計算的復(fù)雜性。人臉圖像的低頻分量可以通過設(shè)置低頻DCT系數(shù)為零而簡單地除去。顯然，所得到的系統(tǒng)的工作方式類似于高通濾波器。由于光照變化主要為低頻成分，可以通過使用低頻DCT系數(shù)來估計在人臉上的入射光照。由式（14）可得，設(shè)置DCT系數(shù)為零相當(dāng)于減去DCT基圖像和原始圖像相應(yīng)的系數(shù)的乘積。如果N個低頻DCT系數(shù)被設(shè)置為零，有

由于光照變化預(yù)計將在低頻分量，函數(shù)可近似看作光照補償函數(shù)。由（13）可知，函數(shù)F（x，y）（16）就是所需的在對數(shù)域的歸一化的人臉圖像。因此，丟失的對數(shù)域低頻DCT系數(shù)相當(dāng)于對光照變化的補償。這就是為什么DCT應(yīng)在對數(shù)域?qū)崿F(xiàn)。第一DCT系數(shù)（即，離散余弦分量）確定人臉圖像的全局光照。因此，可以通過設(shè)定取值相同的離散余弦系數(shù)，來獲得所希望的均勻光照。即：

其中，c（o，o）是對數(shù)域圖像的離散余弦系數(shù)。為了便于理解和可視化，通常選擇一個接近原始圖像的中間值的值。換句話說，正常人臉圖像有一個平均灰度級μ。

該方法期望消除高頻分量，同時保留低頻分量，利用DCT系數(shù)來消除不良光照。在重建原圖像時，盡管維度被降低了，但是仍能較好地恢復(fù)圖像。雖然該方法能消除部分光照的影響，但識別率還有待進(jìn)一步提高。

對數(shù)域離散余弦變換（LDCT）處理前后的人臉圖像如圖6所示：

2.5梯度臉（GRF）

處理過程為：首先求取圖像x和y方向的梯度分量，通過高斯一階導(dǎo)數(shù)與圖像做卷積可以求得；其次，根據(jù)圖像在x和y方向各白的梯度分量來獲得圖像的梯度分量[3]。

2.5.1反射模型

在許多情況下使用到的反射模型可以定義如下：

I（x，y）=R（x，y）./（x，y）（18）

式中I（x，y）為圖像像素值，R（x，y）為反射率，L（x，y）為點（x，y）的光照。其中，L（x，y）的性質(zhì)由光源決定，而R（x，y）由物體表面的特征決定。因此，R（x，y）可以被認(rèn)為是光照不變特征。然而，從實際圖像中區(qū)分反射率R和光照L是一個不適定問題，即解不存在或不唯一，或是解連續(xù)依賴于初邊值條件。為了解決這個問題，可以做成這樣的假設(shè)：當(dāng)R突然改變時，L變化緩慢。就在光照下的圖像中兩個相鄰的點（x，y）和（x+Ax，y）而言，由于/（x，y）由光照決定，L（x，y）和/（x+Ax，y）通常是近似相等的，當(dāng)Ax值很小的時候。因此，L是近似平滑的。應(yīng)當(dāng)被指出的是，這個結(jié)論（L是近似平滑的）在陰影邊界，可能是相悖的。然而，陰影在圖像處理和模式識別領(lǐng)域是一個開放性問題。為了解決陰影邊界問題，一種高斯核函數(shù)被引進(jìn)到梯度臉方法。并且，在人臉識別應(yīng)用中，我們應(yīng)該更加關(guān)注識別率而不是圖像本身。

2.5.2梯度臉

為了從梯度域提取光照不變特征，需要有以下理論來獲取梯度域部件之間的關(guān)系。定理：給定一任意光照條件下的圖像I（x，y），Y方向梯度分量和X方向梯度分量的比做為光照不變特征。證明：考慮兩個相鄰的的像素點（x，y）和（x+Ax，y），根據(jù)光照反射模型，有：/（x，y）=R（x，y）./（x，y）

（19）/（x+Ax，y）=R（x+Ax，y）./（x+Ax，y）

（20）式（20）減去（19），可以獲得/（x+Ax，y）一，（x，y）=R（x+Ax，y）./（x+Ax，y）-R（x，y）L（x，y）

（21）基于反射模型中的假設(shè)，L是近似平滑的；因此，有：/（x+Ax，y）-I（x，y）=R（x+Ax，y）-/（x+Ax，y）-R（x，y）L（x，y）。R（x+Az，y）一R（x，y）L（x，y）

（22）對上面的不等式（22）取極限，可以獲得同理可得：式（24）除以式（23），可得：

根據(jù)光照反射模型中式（19），R可以被認(rèn)為是光照不變特征。因此，Y方向梯度分量，（x，y）（eI（x，y）/ey）和x方向梯度分量，（x，y）eI（x，y）/ex）的比也是光照不變特征。

在實際應(yīng)用中，由于X方向梯度分量可能為零，因此這個比率不能直接用作光照不變特征。這些結(jié)論導(dǎo)致梯度臉的定義如下：

定義：I是可變光照條件下的一張圖像，那么梯度臉（G）的圖像，可以被定義為其中，Ix-gradiment和Iy-gradient是圖像I中各自x和y方向的梯度。

梯度臉方法的處理過程為：首先求取圖像x和y方向的梯度分量，通過高斯一階導(dǎo)數(shù)與圖像做卷積可以求得；其次，根據(jù)圖像在x和y方向各自的梯度分量來獲得圖像的梯度分量。該方法是一種光照魯棒的方法，在光照條件復(fù)雜情況下的人臉識別率較高，取得了良好的識別效果。

該方法的處理效果如圖7所示

3結(jié)論

本文分析和綜述了人臉識別中光照問題的解決方法：直方圖均衡化（HE），該方法利用圖像增強技術(shù)，消除了部分光照影響[9]，卻很難消除人臉圖像中的陰影，并且直方圖均衡化后的人臉圖像中出現(xiàn)了過曝光；高斯差分濾波器（DOG），該方法對圖像做兩次高斯濾波再求差，試圖消除人臉圖像邊緣對識別的影響，但是該方法的主觀效果一般，在光照良好時才有不錯的識別率；對數(shù)域離散余弦變換（LDCT）：該方法將離散余弦變換在對數(shù)域進(jìn)行，截取了低頻分量，較好地保留了圖像信息，因而主觀效果好，在光照惡劣條件下識別率也高；梯度臉（GRF）：該方法根據(jù)圖像在X和Y方向各自的梯度分量來獲得圖像的梯度分量，是一種光照魯棒的方法，在光照條件復(fù)雜情況下的人臉識別率較高，取得了良好的識別效果；光照預(yù)處理鏈（TT）：通過將伽馬變換、高斯差分濾波等技術(shù)結(jié)合組成一個光照預(yù)處理鏈，過程復(fù)雜卻有效，能很好地消除光照變換帶來的不利影響，取得了非常高的識別率。

參考文獻(xiàn)

[1]楊國林，馮喬生，張亞萍.基于膚色的人臉檢測綜述[J].軟件，2013，34（3）：7-9.

[2]馮杰，屈志毅，李志輝.基于分類稀疏表示的人臉表情識別[J].軟件，2013，34（11）：59-61.

[3]T.Zhang，Y.Tang，B.Fang，etal.Facerecognitionundervaryingilluminationusinggradientfaces.IEEETransactionsonImageProcessing，2009，18（11）：2599-2606.

[4]X.Y.TanandB.Triggs，Enhancedlocaltexturefeaturesetsforfacerecognitionunderdifficultlightingconditions.IEEETransactionsonImageProcessing，vol.19，no.6，pp.1635-1650，Jun.2010.

[5]A.Shashua，T.Riklin-Raviv.TheQuotientImage：Class-BasedRetenderingandRecognitionwithVaryingIlluminations.IEEETrans.PatternAnalysisandMachineIntelligence，2001，23（2）：129-139.

[6]R.Ramamoorthi，P.Hanrahan.OntheRelationshipbetweenRadianceandIrradiance：DeterminingtheIlluminationfromImagesofaConvexLambertanObject.JournaloftheOpticalSocietyofAmerica，2001，18（10）：2448-2459.

[7]鐘彩.邊緣檢測算法在圖像預(yù)處理中的應(yīng)用[J].軟件，2013，34（1）：158-159.

[8]孫文榮，周先春，嵇亞婷.基于直方圖均衡化、PCA和SVM算法的人臉識別[J].軟件，2014，35（8）：11-15.

[9]楊燕，劉剛，張龍.基于2DPCA和LDA的人臉圖像預(yù)處理與RBF神經(jīng)網(wǎng)絡(luò)的人臉圖像識別研究[J].軟件，2014.35（2）：115-118.