基于虛擬曝光融合的光照自適應人臉圖像增強方法

靳曉緣，徐望明，伍世虔

(1.武漢科技大學信息科學與工程學院，湖北 武漢，430081；2.武漢科技大學冶金自動化與檢測技術教育部工程研究中心，湖北 武漢，430081；3.武漢科技大學機器人與智能系統研究院，湖北 武漢，430081)

近年來人臉識別技術在可控條件下取得了不錯的應用效果，出現了許多成熟的人臉識別算法和系統。但是在實際使用中也發現，由于受光照、表情、姿態等不可控因素的影響，同一人臉的圖像在不同環境下變化很大，其中光照條件對人臉識別性能的影響最為明顯，大大制約了人臉識別的應用場合。

為了提高復雜光照條件下的人臉識別性能，國內外研究者設計出多種方法，主要分為三類：一是光照預處理，即通過基本的圖像處理技術對人臉圖像進行光照調整或補償，如采用伽瑪校正(Gamma Correction，GC)[1]或直方圖均衡化(Histogram Equalization，HE)[2]的方法；二是對人臉圖像進行光照歸一化處理，有采用Lambert光照模型估計人臉圖像中與光照無關的反射分量的方法，如基于Retinex的算法[3]、自商圖(Self Quotient Image, SQI)算法[4]等，還有運用濾波原理的方法，如基于高斯差分(Difference of Gaussian, DoG)濾波的可增強局部紋理的光照歸一化算法(Tan and Triggs Normalization, TT)[5]、基于高斯濾波的韋伯臉計算方法 (Weber-face，WEB)[6]、基于微分濾波的梯度臉計算方法(Gradientfaces)[7]；三是提取對于光照具有不變性的人臉特征，如基于局部二值模式(LBP)、局部三值模式(LTP)、Gabor特征及其變種算法等構建穩定的人臉特征表示[8-11]。這三類方法是從不同角度來改善光照變化對人臉識別的影響，還有一些研究者通過組合處理方法來達到更好的人臉識別效果[12-13]。

光照歸一化方法或光照不變特征提取方法使得人臉圖像的表示在大部分光照下顯現出穩定性，但在人臉圖像過亮、過暗、不均勻等極端情況下，仍難以獲得較理想的特征表示和識別效果，因而通過特定光照預處理算法改善人臉光照水平，再與光照歸一化方法以及合適的人臉特征提取算法相結合，對提高復雜光照條件下的人臉識別效果具有積極意義。

本文針對人臉識別場合中可能存在的光照過亮、過暗和光照不均勻的情形，提出一種光照自適應的圖像增強方法(Illumination-Adaptive Image Enhancement，IAIE)。對于不同光照條件下獲取的人臉圖像，首先計算其平均亮度，并與通過統計學習得到的正常光照人臉圖像的亮度區間進行比較，判定其光照水平，分為低光照、高光照和正常光照三種情況，然后對低光照和高光照人臉圖像運用相機響應模型(Camera Response Model，CRM)產生相應虛擬的曝光良好的圖像，再進行圖像融合以達到光照增強的目的，此過程循環迭代，最終使得人臉圖像平均亮度達到正常水平。這種光照自適應增強后的人臉圖像可無縫接入現有的人臉識別算法(包括基于深度學習的人臉識別算法)作為輸入圖像，從而改善人臉識別系統的性能。本文最后采用Extended Yale B和CMU_PIE人臉數據庫中的圖像來驗證該方法的有效性。

1 光照自適應的人臉圖像增強方法

1.1 基本流程

如圖1所示，對于輸入的人臉圖像，本文方法先計算其平均亮度，再以事先通過統計學習得到的正常光照亮度區間為參考，判斷該圖像的光照水平。對于低光照和高光照圖像，分別采取低光照和高光照圖像增強方法進行處理；對于正常光照圖像，不需要處理，直接輸出。每一次光照增強處理后，再次計算其平均亮度并衡量光照水平。迭代以上圖像增強處理過程，直到最終輸出正常光照水平的人臉圖像為止。這種光照自適應增強后的人臉圖像可作為現有人臉識別系統中人臉光照歸一化模塊或人臉特征提取模塊的輸入。

圖1 光照自適應的人臉圖像增強方法流程

Fig.1 Flow chart of illumination-adaptive face image enhancement method

1.2 圖像平均亮度的計算及正常光照亮度區間估計

在實際部署的人臉識別系統中，注冊的人臉樣本一般是在正常光照條件下采集的，并作為人臉識別時的比對樣本；而在識別具體的人臉時，光照條件可能比較復雜，存在低光照、高光照或不均勻光照等情況。為了解決這一問題，本文根據輸入人臉圖像的平均亮度評價圖像光照水平，從而進行有針對性的光照增強處理，使得最終輸送給人臉識別系統后續處理環節的圖像處于正常光照水平。

具體而言，對于任意輸入的人臉圖像：若為灰度圖像，則直接計算其平均灰度值作為平均亮度；若為彩色圖像，則先轉換為灰度圖像或直接計算其亮度分量通道圖像，再求平均亮度。

為了評價圖像光照水平，本文采用統計學習方法確定一個處于正常光照水平的圖像的平均亮度分布區間。從已有的人臉圖像數據庫中選擇那些在正常光照條件下采集的人臉樣本，首先計算每個樣本自身的平均亮度，記為mi，i=1,2,…,n，n表示樣本總數，然后求所有樣本的亮度平均值μ和標準差σ。

假設圖像灰度值均歸一化到區間[0,1]，在理想情況下，正常光照圖像的平均亮度值應該在0.5左右，所以期望估計的正常光照區間是一個包含0.5的區間。但由于存在人臉膚色、圖像背景噪聲等因素的影響，樣本均值μ可能不滿足期望。通過實驗研究，本文采取如下調整策略進行區間表示：

[imin,imax]=

(1)

式中：[imin,imax]為正常光照亮度區間；λ為可調系數；ε取為0.05。

設所輸入人臉圖像的平均亮度為m，通過與正常光照亮度區間的上下限進行比較，可將輸入圖像分為3類：

(1)當m

(2)當m>imax時，該圖像屬于高光照圖像，將進行高光照圖像增強；

(3)當m∈[imin,imax]時，該圖像屬于正常光照圖像，不處理，直接作為后續算法的輸入。

可調系數λ決定了正常光照亮度區間的長度，考慮用于統計分析的部分樣本可能含有噪聲，為了確定合適的系數λ，定義樣本率：

(2)

式中：N為訓練集的樣本總數：M為平均亮度位于區間[imin,imax]上的訓練集樣本數。

當|μ-0.5|≤ε時，本文設定η≥85%，求取此條件下的最小λ值，這樣能使最終確定的正常光照亮度區間盡量緊湊且同時能包含至少85%的訓練樣本；當|μ-0.5|>ε時，η閾值減半，即設定η≥42.5%。

1.3 低光照及高光照圖像增強

對于低光照或高光照人臉圖像，本文使用圖像增強技術進行處理，使其平均亮度最終能處于正常光照水平。伽瑪校正 (GC)是一種常用的圖像處理方法，其通過非線性變換，對過暗或過亮圖像進行亮度調節。但由于伽瑪校正是對圖像所有像素進行處理，在改善了過暗或過亮區域的同時，也使得原本曝光良好的區域過度增強或對比度不足，同時，合適的校正系數也難以確定。因此，本文在Ying等[14-15]提出的基于相機響應模型和曝光融合框架的圖像增強算法的基礎上進行改進，有選擇性地處理圖像中的過暗和過亮區域，以達到更好的復雜光照下人臉圖像增強效果。

針對低光照情況，首先利用文獻[14-15]中的相機響應模型對原始低光照圖像P0進行曝光增強，即生成一張虛擬曝光圖像P1,然后設計合適的權重矩陣W，將這兩幅圖像進行融合：

R=W°P0+(1-W)°P1

(3)

式中：運算符“°”表示具有相同行數和列數的矩陣對應位置元素相乘。

所使用的相機響應模型為:

P1=g(P0,k)=βP0γ=eb(1-ka)P0ka

(4)

式中：g為反映相機響應的亮度映射函數；a和b為相機參數；k為曝光率。設置不同的k值，可生成不同曝光率的虛擬圖像。由于相機的信息未知，采用固定的相機參數a=-0.3293和b=1.1258，使這個模型能夠適應大部分相機。

為了找到最佳曝光率k，使虛擬曝光圖像P1在原始圖像P0曝光不足的位置變得曝光良好，先利用式(5)排除P0中曝光良好的像素，獲得曝光不足的像素點集Q：

Q={P0(x)|T(x)<τ}

(5)

式中：τ=0.5；T為原始圖像P0的光照分量，基于Retinex理論估計T的方法可參考文獻[14-15]。

由于不同曝光率下的圖像亮度顯著變化，而顏色基本相同，故只考慮使用Q中所有像素的亮度矩陣B來估計曝光率。曝光不足的像素點的亮度矩陣B的信息熵為：

(6)

式中：pi代表在亮度矩陣B中每個灰度等級i出現的概率。

將曝光不足的像素點轉化為曝光良好的像素點有助于圖像可見度提升、信息量增大，因此使用“圖像熵最大化”的原則來求解最佳曝光率：

(7)

另外，對于式(3)中曝光融合時權重矩陣W的設計也很重要，一般考慮為曝光良好的像素分配較大的權重值。權重矩陣與場景照明正相關，計算公式為：

W=Tξ

(8)

式中：T為前述能反映場景照明程度的光照分量；ξ為控制增強度的參數，這里取ξ=0.5。

與伽瑪校正方法相比，這種基于虛擬曝光融合的圖像增強方法利用相機響應模型、Retinex亮度分量估計和圖像熵最大化方法自適應地求得曝光率k和圖像融合權重矩陣W，使得算法對于不同程度的低光照圖像均能取得較好的增強效果。

圖2所示為輸入人臉圖像與1次曝光增強后的虛擬圖像按照式(3)進行融合后的結果，由圖可見，低光照區域取得了一定的對比度增強效果，但高光照區域的對比度依然較低。這是由于文獻[14-15]中的方法是針對低光照圖像，因此還需要處理實際人臉識別場景中可能出現的高光照情況。

圖2 人臉圖像的虛擬曝光融合

Fig.2 Virtual exposure fusion for face image

對于高光照圖像增強，本文先將所輸入的高光照人臉圖像P0的灰度值進行反轉：

P′0=1-P0

(9)

這樣P′0就成為了低光照圖像，同樣可用上述方法對其進行虛擬曝光圖像融合處理，最后再通過1次灰度值反轉操作，輸出結果中對應于原高光區域的對比度將得以改善。

1.4 迭代式光照自適應圖像增強

一些在極端光照條件下采集的圖像，按上述操作經過1次虛擬曝光融合處理之后，還是無法達到較好的效果，本文方法繼續評價增強后人臉圖像的光照水平，視情況進行迭代式增強處理。通常設置一個最大增強迭代次數itermax，在保證大多數圖像的光照水平在迭代次數內能達到要求的同時，為了提高計算效率，itermax也要盡量小，一般取3～4比較合適。

圖3給出不同光照條件下的原始圖像以及分別采用伽瑪校正和本文方法的處理效果對比，由圖可見，當光照變化較大時，本文方法取得的效果比伽瑪校正要好，起到了增強人臉圖像中低光或高光區域對比度的作用。

圖3 人臉圖像光照處理效果對比

Fig.3 Comparison of illumination processing effect for face images

2 人臉識別實驗與結果分析

本文提出的人臉圖像光照增強方法可以無縫接入現有的人臉識別系統。為了驗證本文方法(IAIE)的有效性，采用Extended Yale B和CMU-PIE兩個人臉圖像數據庫進行識別實驗，在采用相同的人臉特征提取方法和分類器的前提下，與伽瑪校正(GC)方法進行對比研究，同時也將IAIE與光照歸一化方法TT[5]、WEB方法[6]相結合進行對比研究。

Extended Yale B數據庫包含38人、每人64幅在不同光照條件下的正面人臉圖像，共2432幅。其中，每個人的圖像又因光照方向的不同分為5個子集：子集1(0°～12°)、子集2(13°～25°)、子集3(26°～50°)、子集4(51°～77°)和子集5(>77°)，每人在每個子集中的人臉圖像數依次為7、12、12、14 和19。部分樣例如圖4所示。

子集1可以作為正常光照條件下采集的圖像樣本，因此選取子集1為訓練集，其它4個子集分別作為測試集進行人臉識別實驗。按照本文方法可以計算得到，訓練集圖像平均亮度的均值為0.42，標準差為0.086，系數λ為1.4，則正常光照亮度區間為[0.42,0.54]，迭代次數itermax可設為3。

圖4 Extended Yale B數據庫人臉圖像樣例

Fig.4 Face image examples in Extended Yale B database

首先應用不同的光照處理方法進行圖像增強，然后提取人臉Gabor特征并進行PCA降維[16]，再用最近鄰分類器進行人臉識別，并統計人臉識別率。表1列出了以子集1作為訓練樣本時采用不同光照處理方法對子集2～子集5的識別率。

表1 Extended Yale B數據庫中子集1為訓練樣本時對其它各子集的人臉識別率

Table 1 Face recognition accuracy of other subsets with Subset 1 in Extended Yale B database as training samples

分組光照處理方法識別率/%子集2子集3子集4子集51不處理10085.4125.007.73GC10086.3625.6618.42IAIE10091.1533.3319.082TT10094.6280.9288.49IAIE+TT10094.7483.1194.413WEB10096.4176.7589.31IAIE+WEB10096.8984.5695.07

表1分三組顯示實驗結果。第1組比較了不進行光照處理、分別使用GC和IAIE方法進行處理后的人臉識別精度，結果表明，隨著光照變化增大，各子集識別率下降比較明顯，但相對而言IAIE處理能起到提升識別率的作用。第2組、第3組分別比較了將IAIE與TT、WEB方法進行組合處理前后的人臉識別精度，結果表明，組合后的識別率均有所提升，表明IAIE方法改善了人臉光照水平，提高了采用TT和WEB方法進行光照歸一化后的圖像效果。

另外，仍然采用由子集1確定的IAIE參數，從Extended Yale B數據庫中每個人的每一個光照子集中隨機選取約1/3的人臉圖像(即依次隨機選取2、4、4、5、6幅圖像)作為訓練集進行特征比對，因此一共有21×38=798個訓練樣本，再將剩余的1634幅圖像全部作為測試樣本進行人臉識別實驗。同樣提取人臉Gabor特征并進行PCA降維，再用最近鄰分類器進行人臉識別。其它參數設置不變，重復實驗5次，計算平均識別率，結果如表2所示。

表2 Extended Yale B數據庫的整體人臉識別率

Table 2 Face recognition accuracy of all samples in Extended Yale B database

分組光照處理方法識別率/%1不處理82.59GC88.61IAIE90.302TT98.30IAIE+TT99.123WEB98.81IAIE+WEB99.36

這三組實驗結果同樣表明，應用IAIE方法對不同光照條件下的人臉圖像進行增強處理后的識別率較GC方法有所提高，而且IAIE與TT或WEB組合后的人臉識別率也得到提升，進一步驗證了本文方法對于增強人臉圖像光照質量的有效性。

同樣的實驗效果也在CMU_PIE人臉圖像數據庫上得到體現。CMU_PIE數據庫包含68人、每人24幅在不同光照條件下的正面人臉圖像，共1632幅。挑選每人2幅能夠代表正常光照下的人臉圖像，按本文方法估計出正常光照亮度區間為[0.44,0.54]。迭代次數itermax同樣設為3。在進行人臉識別時，每人隨機選取1/3的圖像作為訓練集進行特征比對，因此一共有8×68=544個訓練樣本，再將剩余1088幅圖像全部作為測試樣本。提取人臉Gabor特征并進行PCA降維，再用SVM分類器進行人臉識別，重復實驗5次，計算平均識別率，實驗結果如表3所示。

表3 CMU_PIE數據庫的整體人臉識別率

Table 3 Face recognition accuracy of all samples in CMU_PIE database

分組光照處理方法識別率/%1不處理91.44GC92.49IAIE93.722TT96.08IAIE+TT97.733WEB97.11IAIE+WEB97.88

近年來，隨著卷積神經網絡等深度學習算法的興起，基于深度特征的人臉識別方法的性能相比于傳統方法得到了很大提升，但深度學習方法的局限性在于對訓練樣本的依賴性較強，尤其在光照不可控的條件下，當識別那些與訓練樣本光照差異較大的人臉圖像時可能出現錯誤。本文方法同樣可以無縫接入基于深度特征的人臉識別方法中，通過光照自適應的圖像增強，改善不可控光照條件下的人臉識別性能。

為了說明本文方法對于基于深度特征的人臉識別同樣有效，這里利用Google公司通過百萬數量級人臉圖像數據訓練出的深度卷積神經網絡FaceNet[17]提取的128維特征替代前述PCA降維后的Gabor特征進行實驗。由于光照歸一化方法TT和WEB處理后的人臉圖像不適合用深度學習的人臉識別網絡提取特征，故下面只對表1～表3中第一組實驗利用FaceNet提取的深度特征進行處理，人臉識別結果如表4和表5所示。

表4 使用深度特征時Extended Yale B數據庫各子集的人臉識別率

Table 4 Face recognition accuracy of subsets in Extended Yale B database when using deep features

光照處理方法識別率/%子集2子集3子集4子集5不處理99.7898.0876.0944.24GC99.7898.5687.2884.21IAIE99.7898.8092.1096.05

表5 使用深度特征時Extended Yale B和CMU_PIE數據庫的整體人臉識別率

Table 5 Face recognition accuracy of all samples in Extended Yale B and CMU_PIE databases when using deep features

光照處理方法識別率/%Extended Yale BCMU_PIE不處理85.3299.32GC98.3099.42IAIE99.4799.46

由表4可見：與表1中第一組實驗結果相比，基于深度特征的人臉識別方法確實大幅提高了復雜光照條件下的人臉識別性能，但對于子集4和子集5中包含的光照差異較大的人臉圖像，不進行光照處理時識別率仍然比較低；而使用GC和IAIE方法進行圖像增強處理后的人臉識別率得到了明顯提升。這表明光照增強對基于深度特征的人臉識別方法是有幫助的，尤其是本文IAIE方法與基于深度特征的人臉識別方法相結合取得了更好的效果。

同樣，將表5中的結果與表2和表3中第一組實驗結果對比可知，基于深度特征的人臉識別方法也明顯提升了對兩個數據庫的整體識別率，同時，使用GC和IAIE方法進行圖像增強處理后的人臉識別率得以進一步提升，而且本文方法與基于深度特征的人臉識別方法相結合時表現最優。由于CMU_PIE數據庫中人臉圖像的光照復雜性不如Extended Yale B，故圖像增強對Extended Yale B數據庫整體識別率的提升效果更明顯，這恰好也說明了本文方法有利于復雜光照條件下的人臉圖像識別。

3 結語

光照變化是影響人臉識別性能的關鍵因素，為了提高復雜光照條件下人臉識別的準確率，本文提出一種基于虛擬曝光融合的光照自適應人臉圖像增強方法。該方法通過估計輸入人臉圖像以及增強后的人臉圖像的光照水平并進行分類別、有針對性的迭代式處理，利用相機響應模型和圖像熵最大化方法自適應地求取用于生成虛擬曝光圖像的最優曝光率，使得算法能盡快收斂，且對于不同程度的低光照和高光照圖像均能取得較好的增強效果。針對Extended Yale B和CMU_PIE數據庫的基于傳統特征和基于深度特征的人臉識別實驗都驗證了本文方法的有效性。