基于超分辨率的人臉識別身份認證系統

任李

摘 要 為提高人臉識效率別，結合引入圖像超分辨率重建技術及深度圖像信息，開發設計了基于超分辨率的人臉識別身份認證系統。本系統考慮實際應用當中采集圖像分辨率不高影響識別效果的問題，在圖像采集環節利用kinect 2.0攝像頭采集彩色-深度圖像信息，并加入了圖像超分辨率重建，提升了輸入圖像的質量，降低了檢測誤差。

關鍵詞 人臉識別 超分辨率 Kinect

中圖分類號：TP391 文獻標識碼：A

0引言

在現代社會，快速、精確的身份識別是保障社會高效運轉和公共安全的必要前提，日益受到人們的高度重視。傳統的人臉識別受非均勻光照、姿勢變化、表情變化、面部遮擋等影響較大，因此提高人臉識別算法魯棒性的問題亟待解決。基于彩色-深度圖像數據的人臉識別，將面部的深度信息與彩色信息相結合，在進行人臉識別時，能夠更好的識別出物體的視角和姿態等信息，提高了算法的魯棒性和識別率。

1深度圖像與人臉識別對接研究

基于彩色-深度數據的人臉識別，將人臉的面部深度信息與彩色信息相結合，在進行人臉識別時，能夠更好的識別出物體的視角和姿態等信息，提高了算法的魯棒性和識別率。

通過采用微軟公司推出的高性價比體感設備Kinect 2.0深度攝像頭作為人臉識別研究過程中人臉圖像采集設備，將采集得到的彩色人臉圖片以及深度人臉圖片數據相結合來進行人臉識別。在人臉特征提取與多特征融合方面改進基于稀疏表達的人臉識別算法，提高了人臉識別算法的魯棒性。

（1）將人臉圖片彩色數據與深度數據相結合進行人臉識別，采用粒子群優化算法對人臉彩色、深度圖片的特征維數和權重進行自適應選取。通過對人臉識別算法的研究和實驗分析發現，三維數據能夠給出更為準確的人臉空間結構信息，相比于二維人臉圖像對于光照、姿態、遮擋等條件的變化在人臉識別過程中具有更好的表現，多特征的融合相比于單一特征具有更高的識別率，特征的權重和維數的變化也對識別率造成影響。

（2）多模態聯合稀疏表達的人臉識別，將彩色人臉特征以及深度人臉特征作為兩種不同的模態聯合求解稀疏表達系數，再進行人臉識別。在人臉特征提取的過程中，引入核函數，將人臉特征映射到核空間，解決了實際應用中存在的非線性人臉特征問題，并對不同的模態增加了模態分類權重以及采用SCI值作為人臉圖像質量的約束因子，提高了人臉識別率。

2人臉識別系統功能實現

（1）圖像采集：本系統使用的是一款Kinect2.0攝像頭，kinect for windows sdk 2.0。Opencv2.4是一個開放源碼的計算機視覺庫，能夠直接以IplImage的形式返回采集到的視頻圖像，采集到的圖像以隊列的方式進行存取。

（2）基于彩色-深度圖像信息分析：將人臉圖片彩色數據與深度數據相結合進行人臉識別，采用粒子群優化 算法對人臉彩色、深度圖片的特征維數和權重進行自適應選取。

（3）超分辨重建：通過圖像超分辨率處理具有互補信息的低分辨率圖像序列，重建出人臉高分辨率圖像。利用超分辨率技術，可以在硬件設備無需改變的前提下，實現圖像分辨率的有效提升。同時，在處理過程中還可以通過相關的預處理消除圖像模糊和噪聲的影響，改善圖像的質量。

（4）人臉檢測：人臉檢測就是對輸入視頻幀先判斷是否包含有人臉，對包含有人臉的用矩形框標記出來，然后剪切出人臉，為后續人臉識別做準備。目前常用于人臉檢測的方法主要有：基于特征的人臉檢測，例如，顏色特征、紋理特征、輪廓特征等；基于模板匹配的人臉檢測，根據人臉的局部特征預先設定好人臉的標準樣式，然后按照一定的模板匹配策略對待檢測人臉進行比對；基于統計的人臉檢測，首先要搜集大量的人臉和非人臉樣本，然后使用某種統計算法對人臉和非人臉樣本進行訓練獲得一個二分類器，最后把待檢測的人臉輸入分類器進行判別。

人臉檢測識別是系統的核心，本系統采用基于多尺度的多層匹配追蹤的算法（Multiscale -HMP），提高人臉識別率。基于Multiscale -HMP的人臉識別系統，同樣由訓練和識別兩部分組成，訓練階段，首先是讀入所有的訓練庫圖像，然后每一張人臉圖像進行基于Multiscale -HMP的人臉特征提取，獲得訓練圖像集的特征向量矩陣，最后送入SVM分類器進行訓練。測試階段首先是加載訓練好的SVM分類器，然后對測試人臉進行基于Multiscale -HMP的人臉特征提取獲得人臉特征向量，最后送入分類器得出最終識別結果。

圖1基于Multiscale -HMP的特征提取，人臉圖像首先要分別以不同的尺度進行分塊，然后對每一塊在相應尺度的多層字典下進行多層匹配追蹤提取特征，得到兩個尺度上的特征向量后進行特征融合，最后得到整個人臉圖像的總體特征。

（5）圖像預處理及歸一化：在實際使用過程中，我們采集到的人臉圖像常受到許多外界干擾，如一些光照、噪聲、傾斜以及大小不一樣等問題，如果直接使用檢測到的人臉會對后續的人臉識別帶來干擾。為了提高識別率，這就要求我們對圖像做好預處理工作。所以在這一階段要求對圖像進行人臉的傾斜矯正，光照補償，去噪，圖像增強，歸一化等操作。

（6）樣本采集：本系統的訓練人臉樣本庫是通過樣本采集線程實現的，在進入樣本采集線程前首先要填寫樣本名字，然后對采集到的人臉歸一化圖像進行保存，直到滿足設定的預值，本系統設定需要采集樣本的數量為20張，最后對采集到的人臉進行選擇，祛除模糊的或者不完整的人臉，保存10張整潔、完整、并且表情豐富的人臉到樣本庫。

（7）顯示識別結果：本模塊主要是對識別的最終結果進行樣本名字顯示和語音播報。在指定地方顯示現場采集人臉和樣本庫返回的匹配人臉。語音播報使用的是調用微軟的SAPI，將文本信息轉化為語音信息進行播報。

3實驗結果分析

根據系統實時測試的結果，分別從三個監控場景：1代表簡單場景、2代表一般場景、3代表復雜場景分析系統的功能。從圖2柱狀圖中可以看出，在簡單監控場景中，系統的人臉識別率能夠達到95%以上。由于系統采用的人臉檢測方法是基于稀疏表達的檢測方法，此方法對光照變化敏感性較若，因此在一般場景和復雜場景，人臉識別率也能分別達到93%和88%。

4結束語

本文設計實現了一種針對公共安全身份認證的基于超分辨率的人臉識別身份認證系統。本系統考慮實際應用當中采集圖像分辨率不高影響識別效果的問題，在圖像采集環節加入了圖像超分辨率重建，提升了輸入圖像的質量。整個系統由圖像采集，人臉檢測，圖像預處理、結果文本顯示與語音播報等模塊組成一個完整的面向實際應用的人臉識別系統。為了進一步提升識別率，系統在人臉檢測和超分辨率重建環節采用基于稀疏表示的思想方法，在實際測試中，對一定光照，表情范圍的變化，幅度狀態變化具有較強魯棒性。特征多，檢測效率相對較低，將是下一個階段要解決的問題。

參考文獻

[1] Turk， M.A.& A.P. Pentland. Face recognition using eigenfaces. in Computer Vision and Pattern Recognition， 1991. Proceedings CVPR'91.， IEEE Computer Society Conference on. 1991. IEEE.

[2] Belhumeur，P.N.&J.P.Hespanha&D.Kriegman.Eigenfaces vs. fisherfaces： Recognition using class specific linear projection[J]. Pattern Analysis and Machine Intelligence，IEEE Transactions on， 1997，19（07）： 711-720.

[3] 吳煒，楊曉敏，陳默等.基于流形學習的人臉圖像超分辨率技術研究[J].光學技術，2009，35（01）： 84-88.endprint