單訓練樣本視頻監控俯視人臉識別研究

胡 曉，廖啟欣，彭紹湖

（廣州大學機械與電氣工程學院，廣東廣州 510006）

單訓練樣本視頻監控俯視人臉識別研究

胡 曉，廖啟欣，彭紹湖

（廣州大學機械與電氣工程學院，廣東廣州 510006）

近年來視頻監控已普遍應用于各行各業，因此基于監控視頻人臉識別也成為了智能監控系統中重要的研究領域.然而，由于監控視頻人臉通常是非正面人臉，傳統性能優良算法應用于視頻人臉識別時，其性能也明顯降低.同時，單張訓練人臉問題在監控視頻人臉檢測和識別是一個普遍問題.因此為了能有效地提高單訓練多姿態人臉識別的正確識別率，文章提出了一種基于三維建模技術的人臉識別算法.該算法先由一張二維高清正面人臉生成一個三維人臉模型，然后再進一步在該三維人臉空間里產生多種姿態的人臉模型，并由此獲得多張相應姿態下的二維虛擬人臉，最后利用原始正面樣本和所得到的虛擬人臉來構筑訓練人臉庫.該算法用SCface視頻監控人臉庫中加以驗證，與傳統的PCA和LDA算法相比，該算法對監控視頻人臉的識別率提高了13%.由此表明，文章介紹的算法是一種有效的人臉識別算法，能有效地提高對俯視人臉的識別率.

三維建模；單訓練樣本；視頻監控；PCA；LDA

視頻監控作為安全防范系統的重要組成部分，已被廣泛應用于區域防盜、公安偵破、日常監控等領域當中.隨著對安保需求的不斷提高，具備能在對象不知情的情況下進行人臉識別的智能視頻監控將是未來的發展趨勢.然而，視頻監控環境條件復雜，通常帶有圖像分辨率低、光照變化、姿態不可控等條件影響，這使得視頻監控人臉識別變得困難.對于多姿態問題，因為視頻監控攝像頭一般被固定在距離地面2～3 m的位置，當人距離攝像頭垂直距離較遠時，人臉較小，但當距離近時，卻是俯視的角度，攝像頭所捕捉到的人臉圖像也不再是正面人臉.針對這個問題，WANG等［1］提出了一種基于ASM構建的算法實現姿態不變性，HASAN等［2］則利用了不同顏色通道的概率分布函數算法實現多姿態下的人臉識別.

除此之外，由于實際應用中通常每一個人只有一張采集于公安居民戶口系統的高分辨率訓練圖像，因此已經相當完善的多組訓練人臉識別算法并不適用，所以如何解決單一訓練樣本的難題就成了人臉識別的一個關鍵.在此之前，HU等提出了一種不同角度水平旋轉的單一樣本變多樣本的方法［3］.XU等提出了基于對稱人臉的鏡像算法來獲得多個樣本［4］.這些算法對正面測試人臉有良好的性能，然而在視頻監控中，由于監控攝像頭通常安裝在高處，以至于在測試人臉中存在許多俯視人臉，其結果導致上述算法性能降低.

為此，本文利用3D建模技術從單張高清正面人臉構建虛擬的俯視人臉用來訓練分類器，以提高視頻人臉識別系統對俯視人臉的魯棒性.

1 三維技術構建虛擬訓練樣本算法流程

攝像頭采集圖像時，現實的三維空間中任意一個曲面都會最終投影到與之相對應的二維圖像里，對于平行曲面上的無數點都將會重疊映射在二維圖像的同一個位置點，從而構成一組畫面.實際上通過攝像頭將三維空間投影到二維圖像是一種多對一的映射關系［5］.因此，在攝像頭定標后由已知三維點可以求得二維圖像中唯一的對應點.但與此相反，已知二維圖像中的一個點要得到其三維空間中對應點的位置就成了一對多的關系，這時就必須還要知道三維空間點間的一個曲面關系才可以確定其唯一的對應點.

三維技術構建虛擬訓練樣本算法是由一張已知的二維正面人臉圖像通過三維構建的方法，將二維圖像變換到三維空間中，從而形成三維人臉模型，然后在此基礎上產生不同姿態下的人臉模型，從而獲得與之相對應的不同姿態二維人臉圖像.3D建模算法和流程見圖1.本文采用名為FaceGen Modeller的3D建模軟件（http：／／facegen. com／products.htm）實現由2D人臉建模成3D人臉.其關鍵步驟分為3步：①特征點標注、3D人臉模型的選擇和紋理粘貼.當輸入一張2D人臉時，通過手工方式標注11個特征點，它們是兩只眼睛中心、鼻翼兩邊、耳朵的垂直中心與臉頰的交接處各1點、2個嘴角處、脖子（位于脖子和臉頰連接點）和下巴（臉部最下面的邊緣點）；②從3D人臉模型庫中選擇一個與該對象在年齡、性別等屬性上相符的3D人臉網格模型；③將2D紋理特征依據11個特征點的坐標關系粘貼到3D人臉模型上形成3D人臉，最終得到對應的二維虛擬人臉圖像，見圖2.

圖1 三維技術構建虛擬訓練樣本算法Fig.1 Algorithm to create more virtual training sample

圖2 圖像預處理Fig.2 Example image after pre-processing

2 實 驗

本文使用SCface視頻監控人臉數據庫圖像進行實驗［6］.該數據庫中，一共有130個人，人距離視頻監控攝像頭的垂直距離有3種，它們分別是4.2 m、2.6 m和1.0 m，而5個視頻監控攝像頭距離地面的高度均為2.25 m.本次實驗是基于4G內存的32位Win7操作系統配AMD Phenom（tm）II X4 965 3.4GHz處理器的平臺上，用MATLAB 2010b完成的.

2.1 圖像預處理

為了減少攝像時訓練和測試人臉雙眼不一致造成的影響，所有圖像都經過旋轉歸一化處理.首先，將彩色圖像轉換為灰度圖像.然后以雙眼坐標為基準線進行旋轉整個人臉圖像，使得雙眼在同一條水平線上，見圖2（a）.隨后采用雙橢圓模板構建的人臉圖像分割框對照片中的人臉進行分割，見圖2（b）.接下來，將分割出來的人臉經過縮放大小為64×64圖像，控制雙眼距離為32個像素，而且規定左眼坐標為（16，16）和右眼坐標為（16，48）.最后為了減少光照差異性帶來的影響，將圖像經過直方圖均衡化處理，并將像素值歸一化到［0，255］范圍之內.預處理后的圖像見圖2（c）.

2.2 實驗方案

本實驗采用了SCface視頻監控人臉數據庫中的高清正面人臉作為單一訓練樣本，利用每人一張的高清正面人臉圖像，對130個人的人臉進行了三維技術建模，然后由模型獲得3張不同姿態的人臉圖像和原始正面樣本結合作為訓練集，見圖3.圖3（a）表示每個人用來訓練的人臉只有1張高清人臉.圖3（b）表示每個人用來訓練的人臉由1張高清人臉和1張俯視低角度虛擬人臉組成.圖3（c）表示每個人用來訓練的人臉由1張高清人臉和2張俯視低角度虛擬人臉組成.

同時，使用數據庫中3種距離的5個視頻監控頭采集到的人臉圖像作為測試集，見圖4.所有圖像經過預處理后分別使用PCA和LDA方法進行識別.

2.3 實驗結果

圖3 訓練人臉圖像Fig.3 Example of gallery set

實驗結果見圖5，①3種情況下（分別是1張訓練樣本、2張訓練樣本和3張訓練樣本）本文所提出的基于虛擬俯視人臉的PCA算法獲得的結果比文獻［6］中使用PCA得到的結果都要高，提高了13%；②LDA比PCA所得到的識別效果好；③隨著虛擬訓練樣本圖像數目的增加，正確識別率也隨之升高.另一方面，監控人與攝像頭之間距離2.60 m的情況下比其他兩種距離都獲得更好的識別結果，分析其原由存在2個方面：①在該距離監控下的人臉在監控攝像頭的成像俯視角度不大，接近于正面人臉，為此獲得正面信息較多；②該距離相對于4.2 m，成像的空間分辨率較高.

圖4 測試人臉圖像［6］Fig.4 Example of probe set［6］

圖5 實驗結果的正確識別率Fig.5 The experimental results of correct recognition rate

3 結 論

在人臉識別領域，很多傳統的人臉識別算法在多訓練樣本下能夠獲得高性能，然而單張訓練樣本在視頻監控領域是一種常見現象［7］.盡管采用3D建模技術將2D人臉建模成3D人臉，然后獲取不同姿態的人臉以增加訓練樣本的數目，然而這種技術目前僅局限用在高清人臉識別研究中，在視頻監控人臉識別研究中尚未發現有應用，尤其是針對俯視人臉［8－10］.為此，本文介紹了一種利用三維建模技術來構造多虛擬俯視訓練樣本的算法.從實驗結果可以發現：這種算法能夠提高視頻人臉識別中俯視人臉的識別率，本文實驗有13%的提高，是一種解決視頻監控人臉識別中單訓練樣本的有效方法.

參考文獻：

［1］ WANG Y，WU L F，TU L，et al.A face recognition method robust to pose variation［C］∥9th Internation Conference on Signal Proceeding，2008：1600-1603.

［2］ HASAN D，ANBARJAFARI G.Pose invariant face recognition using probability distribution functions in different color channels［J］.Sign Proc Lett IEEE，2008，25：537-540.

［3］ HU X，YU W X，YA0J.Multi-oriented 2DPCA for face recognition with one training face image per person［J］.J Comput Inform Syst，2010，6（5）：1563-1570.

［4］ XU Y，LI X L，YANG J，et al.Integrate the original face image and its mirror image for face recognition［J］.Neurocomputing，2014，131：191-199.

［5］ ZHANG Z.A fexible new technique for camera calibration［J］.IEEE Transact Patt Anal Mach Intell，2000，22（11）：1330-1334.

［6］ MISLAV GRGIC，KRESIMIR D，SONJA G.SCface-surveillance cameras face database［J］.Multimed Tools Appl，2011，51：863-879.

［7］ HU X，PENG S H，YAN J Y，et al.Fast face detection based on skin color segmentation using single chrominance Cr［C］∥The 2014 7th International Congress on Image and Signal Processing，2014：789-794.

［8］ HU X，YU W X，YA0J.Face recognition using binary structure-based feature selection［J］.J Appl Sci，2010，28（3）：271-275.

［9］ MODEL V B，THOMAS V.Face recognition based on fitting a 3D morphable［J］.IEEE Transact Patt Anal Mach Intell，2003，9（25）：1063-1074.

［10］ALI M，HOSSEIN M，KARIM F.Real-time pose-invariant face recognition by triplet pose sparse matrix from only a single image［C］∥International Conference on Pattern Recognition（ICPR），2014：465-470.

Video surveillance face recognition by single training sample

HU Xiao，LIA0Qi-xin，PENG Shao-hu
（School of Mechanical Electrical Engineering，Guangzhou University，Guangzhou 510006，China）

Video surveillance has more and more been applied in recent years for security，video-based face recognition therefore became an important task in intelligence monitoring system.However，among these captured video faces there are many non-frontal faces.As a result the art of state algorithms would become worse. On the other hand，only one training sample could usually be got.In order to effectively improve the correct recognition rate of multi-pose face recognition with single frontal training sample，this paper proposed a face recognition algorithm based on 3D modelling.In the proposed algorithm，firstly a 2D frontal face with high-resolution was taken to build a 3D face model，and then several virtual faces with different poses were produced from the 3D face model.At last，both the original frontal face image and virtual face images were put into gallery set. The algorithm was evaluated on SCface database using traditional PCA and LDA methods.The result showed that the proposed approach could effectively improve recognition rate of looking-down faces.

3D modeling；single training sample；video surveillance；PCA；LDA

TP 391.41

A

【責任編輯：陳 鋼】

1671-4229（2015）05-0067-04

2015－06－17；

2015－09－06

廣東省自然科學基金資助項目（S2013010013511）；廣州市科技計劃資助項目（2014J4100127）

胡 曉（1969－），男，教授，博士.E-mail：huxiao＠gzhu.edu.cn