基于偏最小二乘回歸的性別識別

薛佳辰，馮 鈞，雷 震，李子青

（1.河海大學 計算機與信息學院，江蘇 南京210000；2.中國科學院自動化研究所模式識別國家重點實驗室，北京100190）

0 引 言

隨著生物識別技術在監控、人機交互、人口統計等方面的廣泛應用，性別識別［1］作為其重要分支近年來已經成為一個研究熱點，國內外的很多學者都對其進行了研究。

早期的大多數研究主要集中于解決單一受控場景下的人臉圖像的性別識別［2－4］。這些人臉圖像一般沒有光照、表情、姿態等變化，在這種環境下，性別識別取得了較好的效果。但由于自然場景遠比受控場景復雜，這就要求性別識別系統對于光照、表情、姿態等影響具有很好的魯棒性，同時滿足簡單高效的計算要求以及較好的泛化能力。高偉等人［5］使用概率提升樹 （probabilistic boosting tree）進行

性別估計，并研究了種族對于性別估計的影響。Shan C.等［6］先用Adaboost挑選局部二元模式 （LBP）特征，然后使用非線性的SVM進行性別識別。

為了解決自然場景下的性別識別問題，本文提出了一種基于PLS模型［7－9］的性別識別方法。由于PLS是一種線性回歸模型，因此符合計算簡單高效的要求。在特征抽取階段，本文使用MB－LBP［10］算子來提取圖像的特征，并提出一種新的特征算子 MBV－LBP作為 MB－LBP的補充。通過實驗證明了這種基于PLS的新方法既可以取得較好的實驗結果，同時又提高了泛化能力。

1 人臉圖像的特征提取

和其它模式識別問題一樣，性別識別可以分為特征提取和分類識別兩個階段。通常情況下，特征提取是識別任務的前提，對于最終的識別效果影響很大。

局部二元模式 （local binary pattern，LBP［11］）作為一種典型的描述圖像局部紋理特征的算子，在人臉識別領域發揮了重要的作用。雖然LBP算子對單調的灰度變化具有不變性，但由于這種特征的局部化特點，使其易受噪聲的影響而不夠穩定，同時缺乏對整體信息的描述能力。S.Liao等人［10］對LBP進行了改進，提出了一種新的特征描述算子MB－LBP。在原始的LBP算子中，相鄰的單個像素灰度值被用來與中心灰度值進行比較進而獲得編碼。在MB－LBP算子中，進行比較的是子區域的平均值，它有效地提取了人臉的宏觀紋理結構特征，提高了對光照、表情等影響的魯棒性。

實驗證明MB－LBP是一種有效的提取圖像紋理特征的算子。然而，局部區域的平均值操作只反應了圖像的一階特性，忽略了包含豐富信息的高階特性。因此，本文提出了一種新的特征算子 MBV－LBP （multi－scale block variance local binary patterns），提取圖像的高階信息紋理特征。與MB－LBP算子不同，在 MBV－LBP算子中，進行比較并且編碼的是子區域的方差值，由于方差能很好地描述數據的波動關系，因此 MBV－LBP算子能有效表示出子區域之間的變化差異，從原始的人臉圖像中提取出更細微的紋理結構信息。通過把包含一階信息的MB－LBP和包含高階信息的MBV－LBP結合起來，我們可以提取出更加完備的特征。這對于隨后的性別識別任務是非常有利的。圖1簡單展示了MB－LBP和 MBV－LBP算子的編碼過程，對于 MB－LBP算子，是將子區域0－8的平均值進行比較編碼；對于MBVLBP算子，則是將子區域0－8的方差進行比較編碼。

圖1 MB－LBP和MBV－LBP編碼過程

此外考慮到計算的簡單高效性，MB－LBP特征的提取過程借助積分圖進行加速，同樣，MBV－LBP的運算過程也可以通過積分圖進行加速，參考式 （1），和傳統的積分圖操作不同的是，它是先對圖像灰度值進行平方，然后再構造積分圖式中：u——子區域的平均值，n——子區域中的像素點個數。

圖2中顯示了分別通過 MB－LBP和 MBV－LBP算子提取的特征圖像?？梢钥闯?，MB－LBP算子抽取了宏觀的輪廓特征，忽略了一些紋理的細節，而MBV－LBP則著重于提取細節紋理特征，兩者結合可以提供更加完備的特征信息。

圖2 MB－LBP、MBV－LBP特征

2 基于偏最小二乘回歸的性別識別

偏最小二乘法 （PLS）通過探尋自變量X和應變量Y之間的相關關系進行回歸建模。經過幾十年的研究，在理論和應用方面都取得了迅速發展。

PLS方法研究的焦點是通過提取自變量X和因變量Y的隱含成分 （latent component），也時常稱為因子，分別對X和Y進行分解，并通過使因子之間的協方差最大來保證隱含成分之間的相關性。其核心假設是，認為觀測到的數據是由少量隱含成分 （不是直接觀察或者測量到的變量）驅動的系統或進程產生的。其默認假設是：①來自自變量X的隱含成分可以很好的預測因變量Y的值；②X和Y的隱含成分矩陣T和U之間存在一個線性約束關系，也就是U＝TD＋H。因此，PLS方法研究的關鍵點也就是如何得到這些因子。

基于偏最小二乘回歸的性別建模：偏最小二乘法已經成功應用到了工程技術、生物醫學等領域的分析預測、多元回歸分析和建模中，這里，第一次將PLS應用到性別識別領域，用PLS模型來探尋特征集X和性別標簽集Y之間的內在關系。假設矩陣X表示特征集，其中每一列xi對應一個樣本特征，矩陣Y表示性別標簽集，在這里的特定應用下，矩陣Y實際上是一個一維向量，其中每一維yi是xi對應的性別。這樣，X和Y分別是 （n×N）、（n×1）的零均值矩陣。PLS將X和Y分解成如下的形式

其中，T和U是大小為 （n×p）的提取出來的p個隱含成分所構成的矩陣，P和Q分別是大小為 （N×p）和 （1×p）的系數矩陣，E和F分別是大小為 （n×N）和 （n×1）的殘差矩陣。PLS的求解方法可以參考非線性迭代的最小二乘算法 （NIPALS），在這個算法中每一次迭代都求得一個基礎向量w和c，從而把X和Y投影到一個一維空間，得到X和Y的一個相關成分，使得得分向量t和u （分別是T和U的列向量）之間的協方差最大

也就等價于

顯然，可以把求解w的問題轉化成求解如下式子的最大特征值問題

其它的變量參數可以根據NIPALS算法中的相互關系求解得到。PLS采用了貪婪策略求得每一次迭代中的一個基礎向量，然后把X和Y投影到一個低維空間。由于U＝TD＋H，其中，D是一個 （p×p）的對角矩陣，H是殘差矩陣。于是可以得到

其中，CT＝DQT是 （p×1）的回歸系數矩陣，F＊＝HQT＋F是殘差矩陣。把X和Y投影到隱含空間后，就可以找到（N×1）的回歸矩陣B使得

其中，B ＝ XTU（TTXXTU）－1TTY

從式 （9）可以發現，PLS模型只使用到了p個隱含變量，一般情況下p＜＜N。并且，PLS模型同時完成了特征降維和性別識別兩大任務，這在實際應用中是非常高效的。

3 實驗與討論

本文選擇兩個數據庫進行實驗，一個是公開的人臉數據庫LFW［12］，另一個是從互聯網上采集的人臉圖像組成的Web數據庫。這兩個數據庫中的人臉圖像都是在真實環境下采集，包含著復雜的表情、光照、姿勢變化。圖3中隨機的列出了兩個數據庫中的一些人臉樣例。從樣例圖像中可以發現，Web庫中的圖像比LFW庫中的圖像更復雜更難處理，這與最后實驗中的識別率也是一致的。

3.1 對PLS模型的分析

在進行測試之前，先分析訓練得到的PLS模型，圖4中展示了通過PLS模型學習得到的最具有性別辨識力的人臉區域。從圖中可以看出，這些區域集中在眼睛和嘴附近以及臉龐周圍，這與人眼的視覺觀察是一致的，因為這些區域攜帶了較強的性別信息，例如通過是否有胡子就可以很容易辨別出來是男性還是女性。

圖3 LFW庫和Web庫中的示例圖像

圖4 對訓練得到的PLS模型的視

3.2 實驗方法

首先手動的對人臉圖像進行性別的標識，過濾掉有爭議的或者人眼辨識模糊的圖片，最后共得到LFW庫的圖像12836張、Web庫的圖像15749張，所有的圖像均分割且歸一化到142×120像素大小。

在提 取 MB－LBP特征和 MBV－LBP特征 時，由 于S.Liao等［10］已經證實了中小尺度的特征能獲得更好的判別能力，本文在MB－LBP和 MBV－LBP中使用的尺度為3×3，9×9，15×15，21×21，27×27，33×33 （注意，尺度為3×3的MB－LBP特征實際上就是原始的LBP特征）。然后，把人臉圖像分成20×20的42個子塊，提取每塊的直方圖特征并串接起來組成最后的特征。

為了測試算法的有效性和泛化能力，本文設計了兩類實驗。第一類，訓練集和測試集來自同一個數據庫，使用5倍交叉驗證得到平均結果。第二類，訓練集和測試集來自不同的數據庫，來測試方法的泛化能力。

3.3 實驗結果

本文將PLS與一些經典的識別方法進行比較，如Adaboost，AdaSVM （Adaboost＋SVM），PCA＋LDA。對于Adaboost方法，選取700個特征組合成最終的分類器。對于AdaSVM，由Adaboost選出來的700個特征進一步通過基于RBF核的SVM分類器來進行分類學習。對于PCA＋LDA，主成分保留了原始能量的95%。具體的實驗結果可以參看以下表格。

在第一類實驗中，采用5倍交叉驗證的策略。表1和表2分別是在LFW庫和Web庫上的實驗結果。從中可以看出，把MB－LBP和MBV－LBP特征融合起來可以提高性別識別的準確率。對于分類方法之間的比較，PLS模型明顯優于Adaboost、AdaSVM以及PCA＋LDA的方法，通過對MB－LBP和MBV－LBP特征融合，PLS可以在兩個庫上分別得到95.49%和88.34%的最高識別率。在第二類實驗中，訓練集和測試集來自不同數據庫，實驗結果已在表3、表4中列出。從實驗數據來看，PLS模型較之于其它分類方法依然取得了最好的結果，另外，與使用單一的特征算子相比，MB－LBP和 MBV－LBP的融合可以得到更好的效果。

表1 LFW庫上的實驗結果

表2 Web庫上的實驗結果

表3 在Web庫上訓練、LFW庫上測試的實驗結果

表4 在LFW庫上訓練、Web庫上測試的實驗結果

通過上述實驗，可以得出兩個結論：①MB－LBP和MBV－LBP特征算子的融合明顯比單獨的特征算子描述能力強，能取得更好的性別識別效果，證明了 MBV－LBP與MB－LBP之間的互補性。②在分類方法中，PLS僅使用了不高于30維的隱含變量便取得了較好的識別效果，相比Adaboost使用700維特征，明顯地提高了計算效率。圖5顯示了使用不同個數的隱含因子得到的識別率，跨庫實驗也證明了PLS模型的泛化能力也很好。

4 結束語

圖5 不同數量隱含因子下PLS模型的識別率

本文就自然場景中人臉圖像的性別識別提出了一種基于偏最小二乘回歸 （PLS）的識別方法，并提出了一種新的特征算子MBV－LBP。

首先對人臉提取 MB－LBP特征和 MBV－LBP特征，然后通過PLS對特征和性別之間的隱含關系進行建模，最后在LFW庫和Web庫上進行了性別識別的實驗。實驗結果表明基于MB－LBP和 MBV－LBP的特征融合能夠提供更加完備的描述信息，PLS也比目前流行的性別識別算法更有優越性，泛化能力更好。

［1］XU Ziyi.Gender recognition based on face images ［D］.Shanghai：Shanghai Jiaotong University，2009 （in Chinese）.［許孜奕.基于人臉的性別識別 ［D］.上海：上海交通大學，2009.］

［2］Bekios－Calfa J，Buenaposada J M，Baumela L.Revisiting linear discriminant techniques in gender recognition ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011，33 （4）：858－864.

［3］Alexandre L A.Gender recognition：A multiscale decision fusion approach ［J］.Pattern Recognition Letters，2010，31（11）：1422－1427.

［4］Ullah I，Hussain M，Muhammad G，et al.Gender recognition from face images with local WLD descriptor ［C］／／19th International Conference on Systems，Signals and Image Processing.IEEE，2012：417－420.

［5］Gao W，Ai H.Face gender classification on consumer images in a multiethnic environment ［M］.Advances in Biometrics.Springer Berlin Heidelberg，2009：169－178.

［6］Shan C.Learning local binary patterns for gender classification on real－world face images ［J］.Pattern Recognition Letters，2012，33 （4）：431－437.

［7］Kruger U，Xie L.Partial least squares ［J］.Statistical Monitoring of Complex Multivariate Processes：With Applications in Industrial Process Control，2012：375－409.

［8］Cleophas T J，Zwinderman A H.Partial least squares ［M］.Machine Learning in Medicine.Springer Netherlands，2013：197－213.

［9］Abdi H.Partial least squares regression and projection on latent structure regression（PLS Regression）［J］.Wiley Interdisciplinary Reviews：Computational Statistics，2010，2 （1）：97－106.

［10］Liao S，Zhu X，Lei Z，et al.Learning multi－scale block local binary patterns for face recognition ［C］／／Proceedings of the 7th International Conference on Advances in Biometrics，2007：828－837.

［11］Doshi N，Schaefer G.A comparative analysis of local binary pattern texture classification ［C］／／Visual Communications and Image Processing.IEEE，2012：1－6.

［12］Huang G，Ramesh M，Berg T，et al.Labeled faces in the wild：A database for studying face recognition in unconstrained environments ［C］／／Workshop on Faces in ‘Real－Life’Images：Detection，Alignment，and Recognition，2008.