最小化TPE一元回歸分類在人臉識別中的應用

王軍琴

西安文理學院 物理與機械電子工程學院，西安 710065

最小化TPE一元回歸分類在人臉識別中的應用

王軍琴

西安文理學院 物理與機械電子工程學院，西安 710065

目前，已經存在許多人臉識別方法，如主成分分析（Principal Component Analysis，PCA）[1-2]、獨立成分分析（Independent Component Analysis，ICA）[3]及線性判別分析（Linear Discriminant Analysis，LDA）[4-5]都可以成功地完成人臉識別，這些算法都通過估計低維子空間以達到降維的目的，實踐證明，這樣對人臉識別確實有效。此外，無監督特征提取融合監督分類的方法也被引入到分類中，即核PCA加LDA（KPCA+LDA）[6]。稀疏表示分類（Sparse Regression Classification，SRC）[7]也在人臉識別中得到了廣泛的應用，并已成為計算機視覺領域的重要工具之一。

2010年，文獻[8]將線性回歸分類（Linear Regression Classification，LRC）算法引入到了人臉識別中，假設來自特定類的人臉圖像一定位于某個線性子空間內，則類特定的投影矩陣可以在訓練階段用最小二乘法估計，可以用原始向量與投影向量之間最小距離準則來完成識別，實驗結果表明，LRC的表現優于PCA、ICA、LDA等算法。為了進一步提高算法的性能，文獻[9]提出了一種魯棒線性回歸分類（Robust Linear Regression Classification，RLRC）算法，通過借助于M-估計得到相應的回歸參數，解決了光照變化大或具有噪聲干擾的人臉識別問題。此外，為了克服線性回歸中多重共線性的問題，嶺回歸和主成分回歸方法得到了廣泛的應用。文獻[10]提出了改進的主成分回歸分類（Improved Principal Component Regression Classification，IPCRC）算法，在應用主成分分析算法前先移除每幅圖的平均項，丟掉前n個主成分，便于消除人臉識別中光照變化的影響，仿真結果表明，IPCRC算法在解決光照變化人臉識別問題時明顯優于傳統的主成分回歸分類（Principal Component Regression Classification，PCRC）[11]、LRC、嶺回歸分類（Ridge Regression Classification，RRC）[12]和基于判別的人臉識別方法。

然而，現有的基于回歸的方法，如LRC、PCRC、IPCRC、RLRC等都不能將分類中所有類的總類內投影誤差計算在內，而且，為了克服光照變化問題，IPCRC剔除了前幾個主成分，在光照變化的條件下確實可以提高分類性能，但同時也降低了在有表情和姿勢變化條件下的性能，即現有的回歸分類方法不能考慮到用于人臉識別的所有類的總類內投影誤差[13]。

基于上述分析，提出了一種基于最小化總投影誤差（Total Projection Error，TPE）的一元回歸分類方法，通過最小化線性回歸分類中所有類的總類內投影誤差來提高人臉識別的魯棒性，考慮總類內投影誤差的目的是最小化類內重建誤差，通過尋求一種更好的投影矩陣，使得所有類的總類內重建誤差最小。因此，提出的方法可以估計投影矩陣，使線性回歸分類中類間重建誤差最小，實驗結果表明了所提方法的有效性及魯棒性。

1 線性回歸分類

已知來自第i類的 pi張訓練圖像屬于 N個對象，i=1，2，…，N，每張訓練圖像大小為a×b，用 vi，j∈?a×b，i=1，2，…，N，j=1，2，…，pi表示，而vi，j∈?a×b由一個列向量xi，j∈?q×1構成，其中q=ab。為了估計類的具體模型，將列向量xi，j組成一個類的類成員，因此，對于第i類，有：

式中，每個向量xi，j都是Xi的一個列向量，在訓練階段，用矩陣Xi表示類i，稱為每個類的預測器。

對于任意屬于第i類的數據向量x可以表示為第i類的訓練圖像的一個線性組合：

式中，βi∈?pi×1是回歸參數向量，可用最小二乘法估計，估計的回歸參數向量可寫成：

表示的是第i類的投影矩陣，該矩陣是一個對稱矩陣也是等冪的。

LRC是基于每個類的測試向量與預測響應向量之間投影誤差最小而開發的，所以在識別階段，所有類投影矩陣，身份標識i*可以用最小投影誤差來確定：

2 方法提出

給定所有類的訓練圖像集M，忽略它的類，每個訓練圖像大小為a×b，用vm∈?a×b，m=1，2，…，N表示，將每張圖像都轉換成一個列向量 xm∈?q×1，其中，q=a×b。組合所有的訓練數據xm，數據的集合表示為X=[x1，x2，…，xm，…，xM]∈?q×M，為了確定它的類，用l(xm)∈{ } 1，2，…，C表示xm的類標簽，其中，C是類的總個數。

2.1 最小化總投影誤差的一元回歸分類

所提一元回歸分類（Unitary Regression Classification，URC）算法希望能夠找到一個全局一元旋轉矩陣U= [u1，u2，…，un，…，ud]，d≤q，它能將原始 X數據空間 xm旋轉到一個低范圍數據空間Z，以此來替代原始空間，有：

并在此空間內得到所有訓練數據的最小總投影誤差：

這表示l(xm)=l(zm)，提出的方法旨在為線性回歸分類找到一元旋轉矩陣U以實現總類間投影誤差最小，由式（7）得，式（9）的目標函數可表示為：

將Zi=UTXi代入=Zi，可以很容易地得到=UTU，算術化簡后，目標函數變為：

最后，目標函數可表示為：

利用拉格朗日乘數，求解下述特征分解問題可以得到投影矩陣的解：

式中，λd≥…≥λk≥…≥λ1≥0

2.2 所提算法的統計學解釋

為了減少模型的變異，嶺回歸（Ridge Regression，RR）方法提出添加一個懲罰因子到線性回歸（Linear Regression，R）模型中，用以減少參數的變化，如＜，因此，嶺回歸能使回歸模型穩定化，且執行效果優于線性回歸。類似地，PCR和IPCR方法分別通過丟棄最后和開始的幾個主成分方法減少回歸模型的變化，有＜，＜。而提出的URC算法旨在使所有類的總投影誤差最小，URC可以改變估計的總變化，使其最小化，因此，最小變化量的URC算法可以穩定地得到比其他回歸分類算法更好的性能。

2.3 URC算法總結

提出的URC算法可以總結如下：

訓練階段：

步驟1給定一個人臉圖像向量訓練集，利用式（6）在原始向量空間找到類投影矩陣，利用式（12）計算所有訓練數據的類內投影誤差矩陣Ex。

步驟2求出特征分解問題的解Ex，利用式（14）找到一元旋轉矩陣U。

步驟3利用zm=UTxm將每個訓練圖像向量轉換為一個新的向量空間。

步驟4在旋轉空間計算每個類的特定投影矩陣。

識別階段：

步驟1利用z=UTx轉換每個測試人臉圖像向量x至旋轉向量空間。

步驟2利用投影旋轉向量z至第i類空間。

步驟3利用確定身份。

3 實驗

所有實驗均在4 GB內存Intel?CoreTM2.93 GHz Windows XP機器上完成，編程環境為MATLAB 7.0。

為了評估所提算法的性能，在兩大公用人臉數據庫：FEI[14]和FERET[15]上進行了測試，并且將提出的算法與本征臉[1]、Fisher臉[5]、KPCA+LDA[6]、SRC[7]、LRC[8]、RLRC[9]、PCRC[10]、IPCRC[10]等算法進行了比較。

3.1 FEI人臉庫

FEI人臉數據庫來自巴西圣保羅圣伯爾南多德坎普FEI人工智能實驗室，該數據庫包含200個對象（100個男性和100個女性），每個對象14張圖像，共2 800張圖像，如圖1所示為FEI人臉數據庫中某人的14張人臉圖像示例。

圖1 FEI人臉數據庫中某人的14張人臉圖像示例

在FEI人臉數據庫中，最主要的挑戰是數據庫中的圖像帶有各種姿勢變化，包括側面像、面部表情變化（正常和微笑）、光照變化等，所有的圖像都縮放成24×20大小。實驗中，識別率由“留一法”（leaving-one-out）策略決定，表1、表2記錄了各方法的實驗結果，各方法的參數設置均參照各自所在文獻，結果僅記錄了最高識別率。

考慮了FEI數據庫的在三種條件下是識別率，它們包括姿勢變化（測試圖像：1～10）、表情變化（測試圖像：11、12）、光照變化（測試圖像：13、14），從表1、表2可以看出，URC算法對側臉輪廓的識別魯棒性更好（測試圖像：1、 10）；在有嚴重光照變化的條件下（測試圖像：14）IPCRC的性能優于其他算法；在有表情變化的條件下，所提方法與各個比較的算法獲得的結果相當。

表3顯示URC得到的平均識別精度更高。從表3可以看出，所提URC算法在FEI人臉數據庫上的平均識別率高于其他所有比較方法。

表1 各方法在FEI數據庫上的識別率比較（測試圖像為第1至第7張） （%）

表2 各方法在FEI數據庫上的識別率比較（測試圖像為第8至第14張） （%）

表3 各方法在FEI數據庫上的平均識別率（%）

3.2 FERET人臉庫

為了進一步評估提出的URC算法對姿勢變化條件下的有效性，從FERET數據庫中選擇300個人的圖像，每個人4幅圖像，包括fa、fb、ql、qr，所有人臉圖像均轉換為灰度，剪裁并調整到24像素×20像素。如圖2所示為FERET人臉數據庫中某人的4張人臉圖像示例，正面臉部圖像fa和fb包含小姿勢、尺度和表情變化，而ql和qr包含較大的姿勢變化。

實驗采用的是交叉驗證方法，對每個識別實驗，選取每個人的三幅圖像用于訓練，剩下的圖像用于測試，各個比較方法的參數設置分別參照各自所在文獻，進行了大量的實驗，取各方法的最優識別率，實驗結果如表4所示。

圖2 FERET人臉數據庫中某人的樣本示例

表4 不同方法在FERET數據庫的性能比較 （%）

從表4可以看出，URC算法的執行效果優于其他各個算法，雖然SRC、RLRC和IPCRC算法能分別在噪聲和光照變化條件下成功地識別人臉圖像，但它們對姿勢變化卻是高度敏感的，所以，在處理具有較大姿勢變化的人臉識別問題時，相比其他幾種方法，所提方法的魯棒性更加明顯。

3.3 性能比較

為了更好地體現所提方法的優越性，將所提方法的計算復雜度與KPCA+LDA[6]、SRC[7]、LRC[8]、RLRC[9]、PCRC[10]、IPCRC[10]方法進行了對比，包括訓練時間復雜度、測試時間復雜度及空間復雜度，具體比較結果如表5所示，其中，m、n分別表示圖像矩陣的行數和列數，L、M、N分別表示投影向量數、測試樣本數、訓練樣本數。

表5 各方法的復雜度比較

從表5可以看出，與KPCA+LDA方法相比，所提方法在訓練階段的時間復雜度稍微高了一點，其他均相同；與LRC方法相比，所提方法的各個復雜度均相當；與SRC、RLRC方法相比，所提方法在訓練階段的時間復雜度稍微高了一點，但是在測試階段的復雜度卻比SRC、RLRC低了很多，空間復雜度均相同；與PCRC、IPCRC方法相比，所提方法的訓練階段、測試階段時間復雜度及總體空間復雜度均低了很多。綜上可知，在大大地提高識別率的同時，所提URC方法仍然能夠保持與其他各個比較方法相當甚至更優的時間、空間復雜度，由此可見其性能上的優越性。

4 結束語

針對現有回歸分類方法不能很好地考慮用于人臉識別的所有類的總類內投影誤差的問題，提出一種基于最小化總投影誤差的一元回歸分類方法，試圖最小化所有類的總類內重建誤差以找到線性回歸分類的最優投影。實驗結果表明，在處理具有姿勢變化的人臉識別問題時，所提URC算法的識別性能明顯優于本征臉、Fisher臉、KPCA+ LDA、SRC、LRC、PCRC、IPCRC和RLRC方法。

未來會結合其他技術，對回歸分類方法的識別性能進行改進，通過設置不同的初始參數，進行大量的實驗，從而找到最優參數，在提高識別率的同時，進一步改進算法的效率。

[1]徐明，喬寧博，文振焜，等.基于特征識別的三維人臉動畫模型自動構造[J].中國圖象圖形學報，2012，17（12）：1540-1547.

[2]蘇煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識別[J].軟件學報，2010，21（8）：1849-1862.

[3]柴智，劉正光.應用復小波和獨立成分分析的人臉識別[J].計算機應用，2010，30（7）：1863-1866.

[4]鄒建法，王國胤，龔勛.基于增強Gabor特征和直接分步線性判別分析的人臉識別[J].模式識別與人工智能，2010（4）：477-482.

[5]李曉莉，達飛鵬.基于排除算法的快速三維人臉識別方法[J].自動化學報，2010，36（1）：153-158.

[6]Yang J，Frangi A F，Yang J，et al.KPCA plus LDA：a complete kernel Fisher discriminant framework for feature extraction and recognition[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27（2）：230-244.

[7]宋相法，焦李成.基于稀疏表示及光譜信息的高光譜遙感圖像分類[J].電子與信息學報，2012，34（2）：268-272.

[8]Naseem I，Togneri R，Bennamoun M.Linear regression for face recognition[J].IEEE Transactionson Pattern Analysis and Machine Intelligence，2010，32（11）：2106-2112.

[9]Naseem I，Togneri R，Bennamoun M.Robust regression for face recognition[J].Pattern Recognition，2012，45（1）：104-118.

[10]Huang S M，Yang J F.Improved principal component regression for face recognition under illumination variations[J]. IEEE Signal Processing Letters，2012，19（4）：179-182.

[11]李碩，汪善勤，張美琴.基于可見-近紅外光譜比較主成分回歸，偏最小二乘回歸和反向傳播神經網絡對土壤氮的預測研究[J].光學學報，2012，32（8）：289-293.

[12]張曼，劉旭華，何雄奎，等.嶺回歸在近紅外光譜定量分析及最優波長選擇中的應用研究[J].光譜學與光譜分析，2011，30（5）.

[13]何林，潘靜，龐彥偉.基于DCT和線性回歸的人臉識別[J].計算機應用研究，2012，29（3）：1123-1126.

[14]周玲麗，賴劍煌.人臉特征的SIFT保護算法[J].中國圖象圖形學報，2011，16（5）.

[15]於東軍，吳小俊，楊靜宇.廣義SOM及其在人臉性別識別中的應用[J].計算機學報，2011，34（9）：1719-1725.

WANG Junqin

School of Physics and Mechanical&Electronic Engineering,Xi’an University of Arts and Science,Xi’an 710065,China

For the issue that existing regression classification methods in face recognition do not consider total projection error within classes well,a unitary regression classification method based on minimizing Total Projection Error（TPE）is proposed. Characteristics decomposition is used to find unitary rotation matrix after the projection error matrix within class of all the training data is calculated by projection matrix of each class.Then,unitary rotation matrix is used to convert each training image vector to a new vector space,and the specific projection matrix of each class is worked out.Minimum projection error of each class in unitary rotating subspace is used to finish face recognition.The effectiveness and robustness of proposed method has been verified by experiments on the two common face databases FEI and FERET.Experimental results show that proposed method has better recognition accuracy than several other advanced regression classification approaches.

face recognition;minimizing total projection error;linear regression classification;unitary regression classification;unitary rotate subspace

針對人臉識別中現有回歸分類方法不能很好地考慮總類內投影誤差的問題，提出了一種基于最小化總投影誤差（TPE）的一元回歸分類方法。通過各個類投影矩陣計算所有訓練數據的類內投影誤差矩陣，并且借助特征分解找到一元旋轉矩陣；利用一元旋轉矩陣將每個訓練圖像向量轉換為新的向量空間，并計算出每個類的特定投影矩陣；根據一元旋轉子空間中各個類的最小投影誤差來完成人臉的識別。在兩大通用人臉數據庫FEI和FERET上的實驗驗證了所提方法的有效性及魯棒性，實驗結果表明，相比其他幾種先進的回歸分類方法，所提方法取得了更好的識別效果。

人臉識別；最小化總投影誤差；線性回歸分類；一元回歸分類；一元旋轉子空間

A

TP391

10.3778/j.issn.1002-8331.1307-0346

WANG Junqin.Face recognition with unitary regression classification based on minimizing TPE.Computer Engineering and Applications,2013,49（23）：153-156.

王軍琴（1978—），女，講師，主要研究方向為人工智能、計算機控制。

2013-07-26

2013-09-10

1002-8331（2013）23-0153-04