改進型Gabor自商圖算法及其在人臉識別中的應用

袁小平，崔棋紋，程 干，張 俠，張 毅，王溯源

中國礦業大學 信息與控制工程學院，江蘇 徐州221116

1 引言

迄今為止，人臉識別技術的研究已有五十多年的歷史，隨著當下人工智能領域的快速發展，人臉識別技術再次得到了各界的廣泛關注，并取得了顯著的進步。人臉識別作為一種生物特征識別技術，因其具有非接觸性、易于采集、真實可靠等優點，已被廣泛應用于公安刑偵、智能安防、門禁考勤、金融支付等領域[1-2]。但是由于外界環境包括光照條件、角度等因素的影響，使得人臉識別的準確性很難得到提高[1-2]。FERET（Face Recognition Technology Test）[1]和FRVT（Face Recognition Vendor Test）[2]測試結果表明：光照條件是導致人臉識別率下降的主要因素，惡劣的光照條件會使得人臉識別率嚴重下降。因此，如何解決復雜光照對人臉識別性能的影響成為實用人臉識別技術一個具有挑戰性的問題[1-2]。

近年來，研究者們從光照歸一化、光照建模、光照不變特征等角度提出很多解決光照變化問題的算法。

光照歸一化方法采用圖像處理技術對人臉圖像進行預處理以歸一化圖像，使得圖像在不同光照變化下顯示出穩定性，如直方圖均衡（Histogram Equalization，HE）[3]、伽馬校正（Gamma Adjust，GA）[4]、對數變換（Logarithm Transforms，LT）[5]等。此類方法能夠從一定程度上減弱光照變化對人臉識別的影響，但是在復雜光照情況下算法識別率很難令人滿意。

光照建模在不同光照條件下某一固定姿勢的所有人臉圖像構成的低維光照子空間內學習人臉圖像的光照變化程度，對人臉圖像的識別通過在子空間中選擇一個逼近人臉圖像的子空間或流形來實現，如基于本征臉和Fisher臉的線性子空間方法[6]、光錐法[7]、球諧函數法[8]等。此類方法在訓練階段需要識別目標可變光照下的大量圖像或3D 模型信息，限制了該方法在實際人臉識別系統中的應用。

光照不變特征是從圖像中尋找對光照變化的不敏感特征，可以在各種光照條件下，減少甚至避免光照等外在條件對圖像辨識和結果判斷所產生的消極影響，這類方法是人臉識別研究中消除光照變化的一種被廣泛采用的處理方法。Land 等[9]提出了關于顏色恒常感知的Retinex理論，該理論模擬人類視覺系統，在圖像增強和消除陰影等方面表現優異。Jobson 等[10]對Retinex 理論進行改進，模擬人類視覺系統的側抑制機理提出多尺度Retinex 算法（Multi-Scale Retinex，MSR），該算法一定程度上減輕單尺度Retinex 算法的“光暈”現象，但是效果不夠理想。Shashua 等[11]提出了商圖像方法（Quotient Image，QI），該方法需要完備的訓練集樣本，然而完備的訓練集在實際應用中很難實現。Wang等[12]在QI 和MSR 理論的基礎上提出自商圖像算法（Self Quotient Image，SQI），該算法僅需要每個對象的一幅圖像就可以完成識別任務，解決了QI 需要完備訓練集的問題。Chen 等[13]將全變差模型對QI 進行改進，提出了TVQI（Total Variation Quotient Image）算法，該算法性能優越，但是由于采用迭代優化的方法識別效率較低。He Xiaoguang 等[14]在QI 和形態學的基礎上，借助形態學操作可以保留邊緣的特性，分別提出了形態學商圖法（Morphological Quotient Image，MQI）和動態形態學商圖法（Dynamic Morphological Quotient Image，DMQI），該算法引入了額外的邊緣特征，不利于識別。Ahonen等[15]將局部二值模式（Local Binary Patterns，LBP）應用于人臉識別來提取光照不敏感特征，取得了一定的成果，Tan 等[16]在LBP 算法的基礎上又提出了局部三值模式（Local Ternary Patterns，LTP）算法，該算法去除光照分量的同時，也伴隨著一定的鑒別性信息丟失，影響識別的準確率。在SQI的基礎上，Srisuk等[17]利用Gabor算子對SQI進行改進，提出了GQI（Gabor Quotient Image）算法，該算法使用2D Gabor濾波器代替加權高濾波器，提高了算法的性能，取得了不錯的識別效果，但是Gabor濾波器參數選擇過多，在圖像低頻區域不能保持良好的邊緣信息，對識別效果存在一定的影響。

本文針對GQI 算法的不足，利用改進的加權Gabor濾波器獲取原始圖像的平滑圖像，并通過對比度增強對GQI算法進行改進，實驗證明本文提出的算法在復雜光照變化的情況下具有很高的識別率。

2 基于Gabor自商圖像的光照校正算法

2.1 Gabor自商圖像模型

Basri 等[18]提到的朗伯光照模型描述了成像物體某個像素點的灰度值與照射到這個像素點的入射光源之間的關系。下面是簡易的朗伯光照模型定義式：

其中，I(x,y)表示目標物體的成像；R(x,y)與物體本身的特性相關，屬于物體的內在屬性，即光照不變特征，被稱為反射分量；L(x,y)作為外在的點光源，屬于變化的外部因素，又稱為光照分量。式（1）的朗伯光照模型為尋找光照不變量提供了依據。

根據式（1），Wang 等[12]提出了基于朗伯光照模型的人臉圖像增強方法：自商圖像。在自商圖像的基礎上，Srisuk 等[17]提出了Gabor 自商圖像（Gabor Quotient Image，GQI），下式給出了GQI模型的定義：

其中，?表示卷積符號；I?G是圖像I 的模糊版本；Geven(x,y)表示Gabor濾波器復值響應的實部，用于獲取圖像I 的Gabor特征。

該算法主要存在三個問題：（1）使用單個方向的Gabor 特征作為圖像的模糊版本，丟失了其他方向的特征；（2）由于采用傳統的Gabor濾波器，引入了較多的參數，參數的選擇問題較為復雜；（3）采用的各向同性濾波器求取圖像I 的模糊版本，當濾波器模板選取過大時，在圖像明暗交接處的邊緣區域容易出現光暈效應，影響識別率。

針對以上問題，提出了改進的加權Gabor濾波器。

2.2 加權m-Gabor商圖模型（WMGQI）

該部分將詳細介紹WMGQI算法。

2.2.1 改進的二維Gabor濾波器（m-Gabor濾波器）

二維Gabor 濾波器由Daugman[19]首次提出，可看作是一個高斯函數調制的復正弦函數。該濾波器是唯一能達到測不準原理下界的函數，即Gabor變換可以同時獲得較高的空域和頻率分辨率。由于二維Gabor 濾波器與哺乳動物視覺皮層簡單細胞感受野剖面非常相似，具有優良的空間局部性和方向選擇性，Gabor 濾波器被廣泛應用于計算機視覺的紋理分割、邊緣檢測、模式識別等領域[19]。

對于給定的圖像，比如人臉圖像，常常包含大量的非線性成分組成。鑒于算法Gabor 自商圖像僅僅使用了單向的傳統二維Gabor 濾波器，失去了其他方向的Gabor 特征，從而無法表征圖像的非線性成分。考慮到人臉特征圖像的重要組成部分（虹膜、眼角、鼻子、嘴巴的邊緣處等），對一般性的Gabor濾波器加以改進，使之具有良好的曲率響應。改進之后的二維Gabor 濾波器（2D Modified Gabor Filter，m-Gabor Filter）各向同性，同時保留了原始Gabor 濾波器所具有的尺度和頻率特性，對圖像的邊緣區域擁有較強的刺激響應；與原始Gabor濾波器相比，少了方向選擇特性，但參數空間復雜度降低，避免了高維參數空間的選擇問題。下式給出了m-Gabor核函數變換形式：

其中，σ 表示高斯包絡函數沿x 軸、y 軸的標準差，決定了m-Gabor濾波的空域范圍，通常是橢圓率為γ 的橢圓區域，γ ∈(0,1)，σ 與γ 共同決定了m-Gabor濾波器空域范圍的大小和形狀；f 為正弦調制信號的頻率（帶通濾波器的中心頻率）。高斯函數用 于 限 制ej?2πf(±x2+y2)的取值范圍，從而獲得局部信號用于直流補償，降低灰度及光照對m-Gabor 變換的影響，保證不同亮度值構成的均勻亮度區域的響應相同，當參數σ 較大時，直流補償可以忽略。

改進后的濾波器和原始Gabor 濾波器一樣都是復值響應，根據實部與虛部的不同選取方法，該響應特征可分為奇特征、偶特征、復值特征等。在實驗中，本文選取m-Gabor特征復值響應的實部作為卷積模板，用于平滑濾波，如式（4）所示：

圖1為改進之后對曲率特征提取的對比圖，圖1（b）對應文獻[17]中最優參數的Gabor 特征圖，圖1（c）對應本文算法最優參數的m-Gabor特征圖。與圖1（b）相比，改進后的m-Gabor特征具有更好的曲率響應。

圖1 改進后的Gabor特征圖對比

2.2.2 加權m-Gabor濾波器

根據2.1 節所述，GQI 采用各向同性濾波器求取圖像I 的模糊版本，在圖像明暗交界的邊緣區域容易出現光暈效應。為解決此問題，提出了加權m-Gabor濾波器。

Wang等[12]設計了一種使用各向異性濾波器對圖像平滑的方法，該方法通過加權濾波器進行各向異性濾波求取圖像I 的模糊版本，來減少光暈效應的影響。它是由一組帶權重系數W 的濾波器F 構成，W 和F 滿足以下關系式：

其中，Ω 表示F 濾波器的窗口大小，N 表示歸一化因子。假設卷積區域為M ，以區域像素均值τ=Mean(IΩ)為參考值，將卷積區域分為兩個子區域M1、M2，大于τ 的像素點歸為區域M1，小于τ 的像素點歸為區域M2，根據不同的子區域來確定權重系數W 的大小，關系如下：

通過對卷積區域的劃分，加權濾波器僅對卷積區域中大于τ 的較亮的M1區域進行濾波，忽略M2區域的局部暗點。

在圖像的邊緣區域，由于該區域存在比較大的灰度變化，具有較大的灰度值方差，此時τ 將卷積內的邊緣區域沿邊緣像素劃分為M1和M2，濾波器僅包含了多數像素的M1做卷積，保留了明暗交界區域的邊緣特征，從而有效地降低了該區域的“光暈”現象。而在平滑區域，由于該區域具有較小的灰度值方差，對區域濾波前后的影響較小，低頻特征得到保留，進而實現了對圖像的各向異性濾波的特性。

上述方法能夠有效地降低“光暈”效應的影響，但是由于完全拋棄了M2區域中的局部暗點，使得圖像局部暗點中暗部細節特征的丟失，這些細節的丟失對最終的識別效果產生了一定的影響。為了消除這些影響，提出了一種更加平滑的過渡加權方法。

將式（6）定義的加權濾波器改寫如下：

其中，H(·)表示階梯函數：

將式（8）代入式（7），可以得到：

令：

其中，參數k 決定了該函數的曲線傾斜率，當k 趨向于無窮時，i,j)等價于條件分段函數W(i,j)。保留了M2區域中的局部暗點，參數k 用于調節兩個子區域的濾波權重大小，起到了平滑過渡的作用。最后，使用的加權m-Gabor濾波器滿足以下關系式：

如圖2所示，其中圖2（b）是通過加權m-Gabor濾波器對圖2（a）原圖濾波后的加權m-Gabor特征圖。

圖2 加權m-Gabor特征圖對比

2.2.3 直方圖標準化

在求取商圖的過程中，商圖操作放大了低信噪比區域的高頻噪聲，造成了少數極暗或極亮的奇異點出現。這些奇異點偏離了圖像像素的主體部分，它們的出現，使得歸一化后的圖像對比度降低，整體變暗或變亮，不利于圖像的識別。

為了解決上述問題，使用直方圖截斷的方法截斷商圖直方圖的兩端，以去除商圖中少數極暗、極亮的奇異點。使用直方圖截斷突出了商圖直方圖的主要部分，進而顯著增強了商圖的對比度。本文分別截斷原始圖像直方圖0.5%的上限和下限，選取余下的部分作為需要歸一化的圖像。

對商圖進行直方圖截斷之后，對得到的圖像進行歸一化，使其像素點分布在0和255之間，如圖3所示。

圖3 直方圖標準化前后的對比圖

2.2.4 算法步驟

加權m-Gabor商圖模型算法步驟概括如下：

步驟1 輸入圖像I 。

步驟4 根據GQI模型，計算商圖。

步驟5 對商圖進行直方圖截斷，消除奇異點。

步驟6 商圖歸一化。

3 分類器的設計

本文使用基于皮爾遜相關系數的最近鄰分類器進行分類。兩幅圖像Im和In之間的相似度使用皮爾遜相關系數Corr(Im,In)來計算。

由于來自數據庫的部分圖片沒有完全對齊，使用了一種基于灰度的圖像配準算法[20]，求取圖像對齊后的相似度。首先，通過不同的方法選取兩幅圖像之間的重疊部分；其次，計算重疊部分的相關系數；最后比較不同方法的相關系數，選出最大值。

假設兩幅圖像Im和In互相重疊，它們之間的長寬相等，分別為w 和h。現將圖像In分別向右移動Δx，向下移動Δy。移動之后，圖像Im在圖像Im和In的重疊部分內的區域可以表示如下：

其中，x ∈{0,1,…,w- ||Δx -1}；y ∈{0,1,…,h- ||Δy -1}。

同理，圖像In在圖像Im和In的重疊部分內的區域為

當Δx、Δy 取值不同時，獲得的重疊區域也不同，最終兩幅圖像之間的相關系數表示如下：

其中，μ ∈?，表示最大位移，當μ=0 時，mCorrμ(Im,In)等價于Corr(Im,In)。

4 實驗

4.1 人臉數據集

本文選用Extended Yale B[7]和CMU PIE[21]這兩個國際通用的光照人臉庫進行實驗，并檢測算法的性能。

Extended Yale B人臉數據庫是Yale B人臉數據庫的擴展，該數據庫包含28 個人物，每個人有9 種不同的姿勢，每個姿勢有64 種不同光照條件。根據光照和相機之間的角度θ 的變化，數據庫中的圖像可分為5個子集：子集1（0°<θ <12°），子集2（13°<θ <25°），子集3（26°<θ <50°），子集4（51°<θ <77°），子集5（78°<θ <90°），共計16 128 張圖像。本文使用的是裁剪版的Extended Yale B 人臉數據庫，裁剪后的圖像大小為192×168，包含38個人，每個人包含64種不同光照下的圖像，光照變化與原始數據庫相同，共計2 432 張圖像。該數據庫光照變化較大，能夠很好地驗證人臉識別方法對光照的魯棒性。

CMU PIE人臉數據庫中，包含68個人，共計41 368幅圖像。其中包括21種不同光照條件下的正面人臉圖像，共計1 428幅圖像。原始圖像大小為640×480，本文使用裁剪過的圖像，圖像大小為64×64。

4.2 實驗環境

本文實驗是在Intel?Core?i5-2400 CPU@3.10 GHz，內存為4 GB，Windows 7（64 位）的電腦上采用MATLAB R2018a編程實現。

4.3 參數選擇

在Extended Yale B 人臉數據庫上進行實驗，以確定本文算法的最優參數。

4.3.1 m-Gabor濾波器的參數

正如2.2.1 節所述，相比傳統的二維Gabor 濾波器，m-Gabor濾波器能夠捕捉圖像的非線性曲率信息，使用m-Gabor 濾波核替換GQI 中的傳統單向Gabor 濾波器。類似于傳統的Gabor 濾波器，當利用m-Gabor 濾波器進行特征提取時，不同的m-Gabor濾波器參數所提取的特征具有不同的特點，合理地選擇m-Gabor濾波器的參數對實驗的結果有著舉足輕重的影響。

m-Gabor濾波器相當于帶通濾波器，濾波效果與中心頻率f 密切相關。隨著尺度ν（ν 為整數）的增加，濾波頻率f 以的尺度逐漸減小，則帶通濾波器的中心頻率可表示為：

根據上節所述，取m-Gabor濾波的空域范圍的外切矩形為濾波器的窗函數，則時域窗口的大小與中心頻率成反比關系，與高斯標準差σ 成正比，即當m-Gabor 濾波器的時域窗口由小到大變化時，m-Gabor濾波器的中心頻率由大到小變化，所提取的圖像特征由局部特征向全局特征變化；其中，m-Gabor濾波器的窗函數的長、寬可分別表示為：

可以通過選取不同的尺度ν 來獲取不同的圖像特征。

采取不同大小的卷積模板對提取的特征和識別效果也有著顯著的影響。當m-Gabor 濾波器的模板由小到大變化時，m-Gabor 濾波器的非零部分由大變小，所提取的圖像特征由全局特征向局部特征變化，同時計算量增加，算法的運行速度降低。

另外，m-Gabor濾波窗口是否對稱對后續的特征提取有一定的影響，當m-Gabor核函數窗的不對稱設計使m-Gabor 核偏移到m-Gabor 濾波器的邊界時，提取的特征不能真實地反映原圖像。所以在設計m-Gabor 濾波器窗時一般要保證窗口的對稱性，即γ 值為1。

圖4 顯示了僅使用一張正常光照下的人臉圖像作為訓練集，其余圖像作為測試集，以不同模板與不同尺度下的m-Gabor 特征作為原圖像模糊版本求得的人臉識別率。

圖4 m-Gabor參數的選取

綜合考慮，采用ν 值為8，γ 值為1，模板大小為7×7的m-Gabor 濾波器。至此就可以構造一個用于提取復雜光照下人臉光照不變特征的m-Gabor濾波器。

圖5 平滑因子k 的選取

4.4 實驗結果與分析

為了評估本文提出的WMGQI算法的性能，實驗結果同其他的傳統算法進行了比較。這些算法包括：GQI，SQI，MSR，HE，WF[22]，TT，DMQI 等，傳統算法的參數使用原始論文中的推薦參數。

4.4.1 Extended Yale B人臉庫的實驗結果

在Extended Yale B 人臉庫的實驗中，為了解決人臉庫的圖像對齊問題，使用基于μ=2 的皮爾遜相關系數(mCorr2(Im,In))的最近鄰分類器分別對上述傳統算法以及本文提出的算法進行分類。圖6 給出了Extended Yale B 人臉庫中，不同子集下同一人的原始圖像以及不同算法的處理效果對比圖，可以看出，與其他算法相比，本文算法能夠有效地消除復雜光照條件下不同光照對人臉特征的影響，并且保留了更清晰的臉部細節特征以及更多的邊緣信息，有利于復雜光照下人臉識別率的提升。圖7 給出了某人在不同光照下的部分人臉圖像以及對應的本文算法的實驗效果圖，可以看出本文算法可以有效地提取復雜光照下的光照不變特征圖。

人臉識別實驗優先選擇子集1 作為訓練集，其他4個子集作為測試集，不同算法的識別率如表1所示。可以發現，當子集1 作為訓練集時，本文算法在所有測試集上的識別率均優于其他算法，且子集2 和子集4 的識別率達到了100%。第二次實驗選擇子集5 作為訓練集，其他4 個子集作為測試集，該條件下不同算法的識別率如表2 所示，可以看出，當子集5 作為訓練集時，本文算法同樣取得了不錯的結果，其中子集2的識別率達到了100%，其他子集的識別率普遍優于其他算法。最后，實驗使用每人第一幅正常光照下的人臉圖像作為訓練集，其余都用作測試集，該條件下的不同算法的識別率如表3 所示，實驗結果再次表明，使用單張圖片作為訓練集時，本文算法的識別率要高于其他算法。其中，本文算法的平均識別率明顯優于其他算法，同時，子集2 和子集4 的識別率均達到100%。綜合以上實驗數據，可以看出本文提出的WMGQI算法性能要優于其他算法。

4.4.2 CMU PIE人臉庫的實驗結果

在CMU PIE人臉庫的實驗中，使用基于μ=0 的皮爾遜相關系數(Corr(Im,In))的最近鄰分類器分別對上述傳統算法以及本文提出的WMGQI 算法進行分類。實驗選取每人第一幅正常光照下的人臉圖像作為訓練樣本，其余都作為測試集，表4 顯示了該實驗條件下不同算法的性能比較。其中，WMGQI算法與GQI相比提升明顯，和其他傳統算法相比，同樣表現優異。因此，本文算法具有很強的魯棒性。

圖6 不同子集不同算法實驗效果對比圖

圖7 Extended Yale B人臉庫WMGQI算法實現效果對比圖

表1 Yale B+人臉庫子集1作訓練集的識別率%

表2 Yale B+人臉庫子集5作訓練集的識別率%

表3 Yale B+人臉庫單一訓練樣本的識別率 %

表4 CMU PIE人臉庫單一訓練樣本的識別率

5 結束語

本文通過對GQI算法的改進，從自適應濾波和對比度增強的角度提出了加權m-Gabor 商圖模型。該模型選用改進后的Gabor濾波器，并利用加權后濾波器的各向異性特點獲取原始圖像的平滑圖像，最后通過直方圖修正等操作對商圖進行增強，進而提取到人臉圖像的光照不變量，很大程度上消除了光照變化對人臉識別的影響。本文算法在有效減少光暈效應的同時，能夠提取出更加魯棒的光照不變特征。同其他方法相比，本文算法在Extended Yale B和CMU PIE人臉庫的實驗中，均取得了更好的識別效果。需要指出的是，本文算法在提取光照不變特征的過程中，保留了有利于人臉識別的邊緣特征的同時，也混入了一些不利于識別的陰影邊緣。因此，如何在妥善處理陰影邊緣問題的同時，保留更為豐富的有利于識別的人臉細節特征，進而獲取最接近于人臉本質的光照不變特征，是今后算法改進的一個重要的方向。