基于相關向量機的含噪聲人臉圖像識別

柳長源，畢曉君，韋 琦

（1.哈爾濱工程大學 信息與通信工程學院，哈爾濱 150001；2.哈爾濱理工大學 電氣與電子工程學院 哈爾濱 150080）

目前人臉的特征提取最廣泛而有效的方法是利用小波變換結合主成分分析的方法，從國際通用的標準ORL人臉庫中提取特征信息，本文也沿用這一方法提取圖像數(shù)據(jù)的分類特征，而對人臉圖像識別過程采用了新的算法。

在人臉識別的幾種方法當中，基于支持向量機（Support vector machine，SVM）算法的圖像模式分類方法是近年來出現(xiàn)的一種行之有效、正確率和泛化性能均優(yōu)于傳統(tǒng)方法的一項技術［1－2］，目前已被廣泛采用。但是，由于拍攝條件和設備的局限性，現(xiàn)場采集的待識別圖像可能存在著一定的圖像噪聲，為了滿足實際應用中的方便快捷要求，可提供機器學習和訓練的人臉數(shù)據(jù)庫中同一個人臉信息也不會太多（通常不超過10個同類圖像），當待識別的樣本圖像存在噪聲或訓練樣本較少時，基于SVM算法的人臉識別方法識別正確率會有顯著下降。本文作者提出了一種基于相關向量機（Relevance vector machine，RVM）算法［3］的人臉識別方法，在小樣本含噪聲人臉圖像識別中的準確性明顯高于原來的方法。RVM算法在保持SVM算法良好泛化性能的情況下，解的稀疏性明顯高于SVM，魯棒性更好，在處理有噪聲模式分類中表現(xiàn)更加良好［3］。RVM算法已在故障檢測［4］、高光譜數(shù)據(jù)分析［5］、農(nóng)作物生長預測［6］、電力負荷預測［7］、語音信號識別［8］等領域得到了初步應用，而在人臉識別技術中的應用尚未見報道。

本文采用RVM算法進行了人臉識別的研究，并對不同類型和強度下的圖像噪聲對識別正確率的影響進行了仿真實驗分析，驗證了新方法的優(yōu)越性和可行性。

1 RVM算法介紹

RVM算法是Tipping在2000年最早提出的一種基于貝葉斯估計理論的機器學習方法［9］，適用于函數(shù)回歸和模式分類問題。本文采用RVM算法對人臉圖像進行分類，來替代原來的SVM算法。

對于二分類問題，設訓練樣本集合為 （xn，tn）（n＝1，2，…，N；x∈Rd；t∈ ｛0，1｝是類別標號），RVM的分類函數(shù)定義為:

式中:K（x，xi）是核函數(shù)；ωi是模型的權值。

將Logistic sigmoid連接函數(shù)σ（y）＝1／（1＋e－y）應用于y（x），則數(shù)據(jù)集的似然估計概率為

式中:t＝ （t1，…，tN）T；w＝ （ω0，…，ωN）T。

在貝葉斯框架下，權值w可通過極大似然法獲得，但為避免過學習現(xiàn)象，RVM為每個權值定義了高斯先驗概率分布來約束參數(shù):

式中:α為N＋1維超參數(shù)。對每個權值引入超參數(shù)是RVM的重要特征，最終導致了算法的稀疏特性。

對于分類問題，無法解析計算出權值的后驗概率，但可應用拉普拉斯理論作如下近似:對當前固定的α值，求最大可能權值wMP。因為p（w｜t，α）∝p（t｜w）p（w｜α），相當于求使式（3）式最大的wMP值。對式（3）采用二階牛頓法求得wMP。

式中:yn＝σ｛y（xn；w）｝；A＝diag（α0，α1，…，αN）。

利用拉普拉斯方法，將對數(shù)后驗概率進行二次逼近。將式（4）兩次求導得出:

式中:Φ是N×（N＋1）的結構矩陣，即Φ＝［φ（x1），φ（x2），…，φ（xN）］Τ，φ（xn）＝ ［1，Κ（xn，x1），Κ（xn，x2），…，Κ（xn，xN）］Τ；Β ＝diag（β1，β2，…，βN）是一個對角陣，其中βn＝σ｛y （xn）｝［1－σ｛y （xn）｝］。對式（5）右邊取負號再求逆，可得協(xié)方差矩陣Σ。

利用Σ和wMP，對超參數(shù)α進行更新，直到達到合適的收斂尺度。

式中:γi≡1－αiΣii，其中Σii是式（7）的第i個對角元素。

經(jīng)過足夠多的更新，許多αi會趨于無窮大，其對應的ωi為零，不為零的ωi所對應的訓練樣本為相關向量（Relevance vector，RV）。相應的基函數(shù)因此可以“修剪”，實現(xiàn)稀疏性。由相關向量確定的分類函數(shù)是一個高維“超平面”，把待測樣本劃分成兩個區(qū)域，從而實現(xiàn)二類別模式識別問題。

2 基于RVM的人臉識別算法

2.1 總體框圖

本文中實驗樣本取自標準ORL人臉庫，實際應用中訓練樣本是根據(jù)具體應用提前建立的數(shù)據(jù)庫，測試樣本是現(xiàn)場提取的。

圖1中小波變換和PCA算法是人臉識別中最典型的圖像特征提取方法。

圖1 RVM的人臉識別模型Fig.1 Face recognition model

2.2 小波變換

用二維小波變換（2Dwavelet transform）對人臉圖像做分解可以得到4個分量:低頻分量，高頻水平分量、垂直分量和對角分量。其中低頻分量集中了原始圖像的大部分信息，而噪聲分量的主要能量一般集中在對角分量中，因此忽略部分高頻分量可以消除噪聲［2］。

本實驗對原始人臉圖像進行2層小波分解，對一層小波分解的低頻分量進行量化編碼來代替原始人臉圖像，將此編碼后的矩陣作為特征提取的對象。

2.3 主成分分析

特征提取是人臉識別的重要組成部分之一。主成分分析（Primary component analysis，PCA）又稱K－L變換，是一種很有效的圖像特征提取方法［10－11］。主成分分析是數(shù)學上對數(shù)據(jù)降維的一種方法，其基本思想是:以最少的信息丟失為前提，將原來眾多的具有一定相關性的指標X1，X2，…，XP（比如P個指標）重新組合成一組較少個數(shù)的互不相關的綜合指標F1，F(xiàn)2，…，F(xiàn)M（M ≤P）。

假設每幅人臉圖像由M×N個像素組成，將其每列相連構成一個D＝M×N維的列向量，D就是人臉圖像向量的維數(shù)。人臉向量構成的樣本集為 ｛x1，x2，…，xn｝，其中n是訓練樣本數(shù)，xj（j＝1，2，…，n）是第j幅人臉圖像形成的人臉向量。任何一幅人臉圖像都可以向特征子空間投影獲得坐標系數(shù)，稱為K－L分解系數(shù)。這組系數(shù)表明了該圖像在子空間中的位置，從而可以作為人臉識別的依據(jù)。

2.4 將RVM用于人臉識別的方法

通過小波變換和PCA算法提出的特征向量用于RVM的分類信息，把提取的訓練樣本的分類信息進行RVM算法的訓練，得到相關向量和超平面方程，把相關參數(shù)保存在程序文件中。再對待識別樣本進行分類判斷，輸出分類結果，完成識別過程。

標準RVM算法每次只能區(qū)分兩類樣本，而人臉識別是一個多模式分類問題，人臉數(shù)據(jù)庫中有多少個人，就要分多少類。在本文中對人臉庫的40類樣本進行識別。因此需要設計一種“一對一”分類器。該方法最早出現(xiàn)在SVM分類方法研究中［12］，在這里把它移植到RVM分類中同樣有效。該方法是對各模式類中每兩類樣本都設計一個二分類RVM模型，所有40類樣本兩兩比較區(qū)分。這樣區(qū)分k個類別共需要設計k（k－1）／2個RVM分類器。當需要對一個新的測試樣本進行分類時，首先要利用訓練樣本對所有k（k－1）個RVM模型進行訓練，每一個RVM模型訓練后立即對測試樣本進行判別，對它所隸屬的類別更接近兩類中的哪一類進行投票。全部比較完畢后累計各類獲得票數(shù)相加。如果待測試樣本屬于第i個類別，那么第i類將獲得最多的票數(shù)，最終將票數(shù)最多的類判斷為此測試樣本的類別。例如，當分類數(shù)k＝5時，需要5×（5－1）／2＝10次比較。如圖2所示。

圖2 “一對一”算法5分類過程Fig.2 Five classifier based on“one against one”algorithm

因為每個類別都參與了k－1次比較，從理論上講，如果每次判別結果都正確沒有誤差，那么待測試樣本所在的模式類應該得到k－1票。其他類別在與正確類比較時得不到票數(shù)，但與其他不相關的類別比較時，得票被分散在各類中，任意兩個不相關類得票概率相同，每類平均得票數(shù)應該在（k－2）／2左右，當k比較大時，即使有一小部分RVM分類器輸出錯誤結果，也能使正確類別得到最多的投票數(shù)。這種方法在類別數(shù)很多時也能很好地保證準確性（識別正確率基本不隨類別數(shù)變化），不僅分類精度高，魯棒性也很好。

3 實驗仿真

3.1 標準ORL人臉庫人臉圖像識別對比實驗

為了驗證本文提出的采用RVM算法替代SVM算法進行人臉識別的效果，做了多組仿真實驗。所有實驗在硬件配置為Intel Centrino Duo，T7250CPU、2G內(nèi)存、2.7GHz主頻的計算機上進行，程序采用 MATLAB 7.6.0（R2008a）編寫。

采用 ORL（Olivetti research laboratory）標準人臉庫中的圖像作為分類識別對象［13］。ORL人臉庫是由英國劍橋Olivetti實驗室從1992年到1994年期間拍攝的一系列人臉圖像組成，共有40個不同年齡、不同性別和不同種族的樣本。每個樣本由10幅圖像組成共計400幅灰度圖像，圖像尺寸是92×112像素，背景為黑色。其中人臉部分表情和細節(jié)均有變化，如笑與不笑、眼睛睜或閉，戴或不戴眼鏡等，人臉姿態(tài)也有變化，其深度旋轉(zhuǎn)和平面旋轉(zhuǎn)可達20°，人臉尺寸也有最多10%的變化。該庫是目前使用最廣泛的標準數(shù)據(jù)庫。圖3為ORL人臉庫圖像示例。

圖3 ORL人臉庫圖像示例Fig.3 Example of images of ORL face database

訓練樣本個數(shù)對人臉識別正確率有很大影響，為了便于比較，本實驗所有數(shù)據(jù)均選用每類人臉圖像的前5幅作為訓練樣本，后5幅作為測試樣本，即200個訓練樣本，200個測試樣本。每次從測試樣本中隨機選取一幅圖片作為測試圖片來進行人臉識別，為保證統(tǒng)計的正確率，取100次識別結果進行一次實驗數(shù)據(jù)統(tǒng)計，記錄10次獨立實驗的正確率，并將實驗結果與基于SVM分類器進行的人臉識別分類效果進行了比較，仿真結果見表1。

表1中的實驗結果表明，本文算法（小波分解＋PCA＋RVM）的平均識別率是90.1%，高于小波分解＋PCA＋SVM算法的平均識別率（86.7%）。

表1 RVM算法與SVM算法識別正確率的比較Table 1 Correct rate of RVM comparison with SVM

雖然兩種算法的最高正確率相差只有一個百分點，但基于RVM算法的10次實驗的正確率最大值與最小值偏差為5%，而基于SVM算法的最大偏差為13%。前者的均方誤差也比后者小很多。這表明基于RVM識別的魯棒性明顯好于SVM識別的魯棒性，RVM算法用于人臉圖像識別的可靠性更強。

3.2 含噪聲人臉圖像識別對比實驗

有時得到的照片不是可以忽略噪聲的標準圖像。在圖像預處理中采用的小波變換＋PCA算法可以濾除大部分常見的圖像噪聲，如高斯白噪聲。但在后面的仿真試驗中可以看到，當隨機噪聲和椒鹽噪聲的強度較大時，傳統(tǒng)的人臉圖像識別方法識別準確性仍會有明顯下降。但本文采用的基于RVM算法的新方法則對這類噪聲不敏感。

3.2.1 隨機噪聲對人臉識別的影響

加20%隨機噪聲前后的圖像對比見圖4。采用兩種不同方法得到的實驗數(shù)據(jù)對比如圖5所示。

3.2.2 椒鹽噪聲對人臉識別的影響

加10%椒鹽噪聲前后的圖像對比見圖6。采用兩種不同方法得到的實驗數(shù)據(jù)對比見圖7。

3.2.3 混合噪聲對人臉識別的影響

圖4 加入0.2強度的隨機噪聲的人臉圖像Fig.4 Face images with 0.2intensity random noise

圖5 加入不同強度的隨機噪聲的人臉識別實驗Fig.5 Face recognition experiment with different intensity random noise

圖6 加入0.1強度的椒鹽噪聲的人臉圖像Fig.6 Face images with 0.1intensity salt and pepper noise

同時加10%隨機噪聲和5%椒鹽噪聲前后的圖像對比如圖8所示。采用兩種不同方法得到的實驗數(shù)據(jù)對比見圖9。

混合噪聲實驗中的強度數(shù)值是兩類噪聲強度相等時的平均百分比。如強度“0.15”是指同時存在強度為15%的隨機噪聲和強度為15%的椒鹽噪聲。

通過上面的三組實驗可以發(fā)現(xiàn)，基于RVM算法的人臉識別系統(tǒng)與基于SVM算法的人臉識別系統(tǒng)相比，前者的對各類噪聲的不敏感程度均高于后者。當噪聲強度增加時，新方法在圖像識別準確性方面的優(yōu)勢表現(xiàn)尤其明顯。

圖7 加入不同強度的椒鹽噪聲的人臉識別實驗Fig.7 Face recognition experiment with different intensity salt and pepper noise

圖8 加入0.1強度的混合噪聲的人臉圖像Fig.8 Face images with 0.1intensity mixed noise

圖9 加入不同強度的混合噪聲的人臉識別實驗Fig.9 Face recognition experiment with different intensity mixed noise

4 結束語

把相關向量機理論應用于人臉識別系統(tǒng)，在被識別對象中加入不同類型和強度的噪聲并與原有的支持向量機方法進行了比較。大量的仿真實驗數(shù)據(jù)表明，相對于原有的基于SVM算法的人臉識別系統(tǒng)，本文提出的基于RVM算法的人臉識別系統(tǒng)在識別準確率、魯棒性及對圖像噪聲的不敏感性等方面均有一定的優(yōu)勢，該方法具有一定的應用價值和可推廣性。

［1］謝賽琴，沈福明，邱雪娜.基于支持向量機的人臉識別方法［J］.計算機工程，2009，35（16）:186－188.Xie Sai－qin，Shen Fu－ming，Qiu Xue－na.Face recognition method based on support vector machine［J］.Computer Engineering，2009，35（16）:186－188.

［2］聶會星，梁坤，徐樅巍.基于小波變換和支持向量機的人臉識別研究［J］.合肥工業(yè)大學學報，2011，34（2）:208－211.Nie Hui－xing，Liang Kun，Xu Zong－wei.Face recognition based on wavelet transform and support vector machine［J］.Journal of Hefei University of Technology（Natural Science Edition），2011，34（2）:208－211.

［3］Psorakis Ioannis，Damoulas Theodoros，Girolami Mark A.Multiclass relevance vector machines:sparsity and accuracy［J］.IEEE Transactions on Neural Networks，2010，21（10）:1588－1598.

［4］陶新民，徐晶，杜寶祥，等.基于相空間RVM的軸承故障檢測方法［J］.振動與沖擊，2007，25（12）:1－7.Tao Xin－min，Xu Jing，Du Bao－xiang，et al.Bearing fault detection based on RVM using phase space［J］.Journal of Vibration and Shock，2007，25（12）:1－7.

［5］殷岳萌，馮燕，劉萌萌.基于相關向量機和獨立分量分析的高光譜數(shù)據(jù)分類［J］.現(xiàn)代電子技術，2010（13）:123－126.Yin Yue－meng，F(xiàn)eng Yan，Liu Meng－meng.Classification for hyperspectral data based on independent component analysis and relevance vector machine［J］.Modern Electronics Technique，2010（13）:123－126.

［6］詹環(huán)，董玉才，趙海清，等.基于相關向量機的大豆生長發(fā)育階段預測［J］.嘉應學院學報:自然科學，2010，28（5）:27－30.Zhan Huan，Dong Yu－cai，Zhao Hai－qing，et al.Prediction of soybean growth and development sta－ges based on relevance vector machine［J］.Journal of Jiaying University（Natural Science），2010，28（5）:27－30.

［7］劉遵雄，張德運，孫欽東，等.基于相關向量機的電力負荷中期預測［J］.西安交通大學學報，2004，38（10）:1005－1008.Liu Zun－xiong，Zhang De－yun，Sun Qin－dong，et al.Mid－term electric load prediction based on the relevance vector machine［J］.Journal of Xi＇an Jiaotong University，2004，38（10）:1005－1008.

［8］楊成福，章毅.相關向量機及在說話人識別應用中的研究［J］.電子科技大學學報，2010，39（2）:311－315.Yang Cheng－fu，Zhang Yi.Study on speaker recognition using RVM［J］.Journal of University of Electronic Science and Technology of China，2010，39（2）:311－315.

［9］Tipping M.Sparse Bayesian learning and the relevance vector machine［J］.Machine Learning Research，2001:211－244.

［10］Zeng Yang－yan，Ye Bo－long.The face of the feature extraction and detection based on PCA［J］.Computer Knowledge and Technology，2008（4）:742－744.

［11］陶曉燕，劉振霞，王元一.基于小波子帶的PCA人臉識別方法研究［J］.空軍工程大學學報:自然科學版，2004，5（3）:65－67.Tao Xiao－yan，Liu Zhen－xia，Wang Yuan－yi.Face recognition using PCA based on wavelet subband［J］.Journal of Air Force Engineering University（Natural Science Edition），2004，5（3）:65－67.

［12］Krebel U.Pairwise classification and support vector machines［C］∥Scholkopf B，Burges C J C，Smola A J eds，Advances in Kernel Methods:Support Vector Learning，The MIT Press，Cambridge，MA，1999:255－268.

［13］ORL人臉數(shù)據(jù)庫.［DB／OL］.［2012－09－30］.http:／／download.csdn.net／detail／kyszp123／1583590.