基于K-L交叉熵的嶺回歸人臉識別

陳 利，馮 燕，賈應彪（西北工業大學 電子信息學院，陜西 西安 710129）

人臉識別是模式識別與計算機視覺領域一個有趣又難度頗大的研究課題。過去的幾十年里，研究者們提出了很多人臉識別的算法，最著名的是主成分分析（Principal Component Analysis，PCA）、 線 性 判 別 分 析（Linear Discriminant Analysis, LDA）、獨立成分分析（Independent Component Analysis, ICA）[1]。在此基礎上，Eigenface和Fisherface人臉檢測方法相繼被提出，并取得了很好的檢測效果。近年來，嶺回歸方法[2]被引入到人臉識別中來解決Fisherface方法中各類之間類間距不均衡的問題，表現出更好的識別性能。但是，嶺回歸方法從全局的角度對整個人臉圖像直接處理，對光照、遮擋等局部變化比較敏感。而一些表征局部信息的特征提取算法如局部二進制算子（Local Binary Pattern, LBP）[3]、非負矩陣因子分析法（Non-negtive Matrix Factorization, NMF）[4]對這些變化具有較好的魯棒作用。

歐氏距離因其計算簡單，常作為識別階段的距離測度，但其性能有限，從而一些新的測度被提出來，如馬氏距離、Kullback-Leibler（K-L）交叉熵。相對于歐氏距離，K-L交叉熵可更好的判斷兩個向量的相似性。

文中首先采用Uniform LBP算子提取人臉圖像的統計直方圖特征向量，再利用PCA將此高維向量映射到低維子空間，實現向量的首次降維，而后運用嶺回歸方法對該特征進行二次降維。最終利用K-L交叉熵計算標記向量和投影后特征向量的距離，完成測試樣本和訓練樣本的相似性度量，實現測試圖像所屬類別的正確判斷。

1 LBP統計直方圖特征向量提取

LBP源于圖像的局部鄰域紋理，是一種描述圖像局部空間結構的非參數算子。原始的LBP方法，以窗口中心點的灰度值為閾值，與鄰域相比較得到的二進制碼來表述圖像的局部紋理特征。在一個3*3的區域，LBP算子計算公式為：

其中 （xc，yc）為中心像素c的坐標，n為中心像素的8鄰域像素，in和ic為對應像素點的灰度值，如果in≥ic，則s(x)=1，反之s(x)=0 。在上述3*3區域內，利用中心像素周圍8個像素點的信息進行隨機組合，LBP算子有28種組合。圖1是選取其中的一種組合，求得中心像素點的LBP算子=1+16+64=81。

圖1 基本LBP算子Fig. 1 Basic LBP operator

在原始LBP算子基礎上，Ojala提出了均勻模式（Uniform Pattern）LBP，這種模式的LBP編碼中，至多含有2次0/1或者1/0的跳變。經過統計，滿足這種條件的LBP模式只有58種。本文利用Uniform LBP算子得到人臉的紋理圖像后，把紋理圖像無重疊的分塊，每塊單獨提取直方圖特征向量，然后將所有子塊的特征向量堆疊起來，作為整幅人臉圖像的特征向量。圖2為提取 YALE數據庫一張人臉圖像特征向量的過程。

圖2 圖像Uniform LBP直方圖特征提取過程Fig. 2 Feature extraction of Uniform LBP histogram in image

2 基于K-L交叉熵的相似度判斷

在多維空間里，如果表征兩個事件的向量相似或者相等，那么他們的概率分布也接近或者相等。統計學里，Kullback-Leibler（K-L）交叉熵被用來衡量兩個概率分布的相似性程度。相對于傳統的歐式距離，K-L交叉熵[5]性能更優。

假設測試樣本和訓練樣本的特征向量分別為p和q，p=(p1，p2，p3…pn)T，q=(q1，q2，q3…qn)T，相應的概率向量為分別表示測試樣本和訓練樣本在第i個特征出現的概率。m和s的自信息可表示為：

m關于s的交叉熵定義為：

利用式（2），即可求得兩個概率分布m 和 s的K-L交叉熵，也稱作K-L距離或者K-L互熵，其值越小，表明m和 s兩個向量的相似程度越高。

3 嶺回歸人臉識別

嶺回歸是一種利用正則化的最小二乘法來計算變量和標記之間線性依賴關系的方法。基于嶺回歸的人臉識別方法，利用正則單形的頂點作為標記，將高維特征空間映射到低維特征空間，并使得樣本處于標記的附近，大大提高了識別精度。

本文的嶺回歸人臉識別分為3個步驟：對訓練圖像進行多元標記，利用嶺回歸尋找最佳投影矩陣，基于K-L交叉熵的相似度判斷。

首先，嶺回歸方法選擇正則單形的頂點對訓練圖像中的每類人臉進行多元標記。假設有m類人臉，在 Rm-1空間中構造一個正則m單形，m單形的m個頂點記為標記矩陣T=[T1，T2，T3， …，Tm]， 每 個 頂 點 T=[T1,j，T2,j，T3,j， …，cm-1,j]為m-1維列向量，Ti,j為矩陣T的第i行第 列元素。T的構造方式如下[2]：

可以看出，這m個點分布在m-1維空間里，以原點為圓心的超球面上，任意兩點之間的距離相等。由于這m個向量分布在原點周圍，利用第2節中的K-L交叉熵來衡量兩向量的相似程度時，公式（2）中的 sil o g ( simi) 子項會出現log參數為0、∞或者負數的異常情況，直接導致向量的相似性度量失敗。為解決此問題，現對原始嶺回歸方法的標記矩陣進行坐標變換。考慮到在Rm-1空間里，正則m單形的m個頂點具有平移、旋轉和反射不變形的特性，現將這m個點整體平移p（本文p=100），使其分布在以p為圓心的超球面上，得到新的標記矩陣為Tnew。此平移不僅保持了多元標記矩陣的原有特性，還巧妙地解決了K-L交叉熵相似性測度的使用困難。

類標記完成后，每張人臉圖像的標記向量為其所在類的標記向量，例如圖像Xi屬于第 j個人，那么標記向量 Yi=Tj(i=1,2,…n，j=1,2,…,n)。下面尋找Xi和Yi之間線性依賴關系，即Yi'=WTXi。為使得識別的準確度提高，利用最小二乘法的思想，投影矩陣W的估計值應使得估計誤差|Yi-Yi'|的平方和最小，嶺回歸方法在誤差平方和的基礎上還添加了一項懲罰因子，

得到的目標函數為：

ur