二代證人臉識別的多姿態虛擬樣本生成方法

衛保國，胡清華

（西北工業大學 電子信息學院，陜西 西安 710129）

二代證人臉識別的多姿態虛擬樣本生成方法

衛保國，胡清華

（西北工業大學 電子信息學院，陜西 西安 710129）

使用第二代身份證照片作為訓練樣本進行人臉識別屬于典型的單樣本問題，由于沒有充分數量的訓練樣本，會造成常規的人臉識別算法識別率低下，甚至無效的問題。為此采用虛擬樣本生成方法，并針對遇到姿態變化較復雜的人臉時，識別率不高的問題，提出了一種新的多姿態的虛擬樣本生成方法，通過模擬人臉側向旋轉、俯仰和立體旋轉等增加有效的訓練樣本，再使用魯棒性較好的HMM進行人臉識別。在自建的身份證人臉庫上進行測試，實驗結果顯示，該方法在一定程度上減弱了人臉姿態的變化對識別率的影響，并取得了較好的識別效果。

人臉識別；第二代身份證；單樣本；虛擬樣本生成；隱馬爾可夫模型

我國第二代身份證的使用，為人臉識別的應用奠定了重要基礎[1]。第二代身份證芯片內存儲了個人實名信息和人臉正面照片，可以通過設備自動獲取身份證所有人照片的特性，使得獲取人臉識別所需的人臉圖像訓練樣本極為便利。由于二代證的實名性及廣泛性，因此使用二代身份證進行人臉識別具有很高的實用價值。

文中選取二代身份證照片作為人臉識別的訓練樣本，進行人臉識別研究。使用二代身份證照片進行人臉識別時，只有一張訓練樣本，如果此時使用常規的算法進行人臉識別，那么識別率會變得極其低，或者算法失效，這就是人臉識別的單樣本問題[2-3]。

單樣本問題正逐漸引起相關研究者的關注，成為人臉識別領域一個新的研究熱點，針對這一問題，研究者們提出了一些解決方法。文獻[4-5]使用積分投影與原圖像合成新圖像，再進行識別，來提高人臉識別率；文獻[4，6]先對原始圖像進行一定的處理，生成一定數量的虛擬樣本，再進行特征提取和人臉識別，取得了不錯的效果。由于現今多樣本人臉識別技術較為成熟，可以取得較好的識別性能，所以通過虛擬樣本生成技術擴充訓練樣本數目，使單樣本人臉識別問題轉化為一般的多樣本人臉識別問題是一種很好的方案。虛擬樣本生成就是模擬現實中人臉取樣的各種情況，但是現有的虛擬樣本生成方法往往只模擬了人臉在圖像平面內變化的圖像，生成的虛擬樣本比較單一。而大量的實驗表明[8]，缺少豐富的人臉樣本，在對具有姿態變化的人臉進行識別時，識別性能會大幅下降。

文中分析了現有虛擬圖像生成方法的優缺點，提出了一種多姿態的虛擬樣本生成方法，該方法不僅能生成人臉在圖像平面內變化的模擬圖像，還能生成人臉在立體空間內變化的模擬圖像。

使用該方法產生的訓練樣本，在自建的身份證人臉庫上的實驗結果表明，相對于單樣本識別率提高了近60%，相對于已有的虛擬樣本生成方法對多姿態的人臉識別率提高了近10%。

1 圖像平面內虛擬樣本生成方法

1）鏡像變換 這種操作可減小頭部旋轉對識別率的影響，對提高有姿態變化的人臉識別準確率有一定的效果。由于身份證照片中人臉是標準的水平居中，而且人臉基本對稱，所以可對身份證照片P進行垂直中心軸的鏡像變換，得到P1。 P1=P×N，P、P1的大小為 m×n，N 為反對角線為 1，其余元素為0，大小為n×n的方陣。

2）尺度變換 增加尺度變化的虛擬樣本，就是模擬現實成像時人臉離攝像設備遠近不同或焦距不同時的情形，因為雖然人臉檢測時會對人臉進行標準化處理，但由于存在誤差，標準化后同一個人的照片仍然會存在尺度上的差異，所以虛擬產生尺度變化的圖像，可以當作有效的訓練樣本。與常規方法中不同的是，本文實驗中，在將身份證原始圖像P進行縮小操作時，由于身份證圖像的背景為純白色，所以必須要對空出的部分進行補白操作。對P進行放大操作時，要對放大圖像的四周進行剪切使其與原圖P大小相同。兩種操作均保持人臉位置相對不變。

3）傾斜變換 增加傾斜操作的圖像，就是模擬現實成像時人頭部側向傾斜不同角度時的情形。將原始圖像P在圖像平面內繞中心旋轉一定的角度 ，就得到新的圖像作為訓練樣本。不過要得到與原始圖像P大小相同的圖像，還需要進行插值和剪切操作，圖像旋轉后會有一部分超出原圖像范圍，需要剪切操作；同時會有部分背景空出，需要進行補白操作。

4）平移變換 增加像素平移的圖像，就是模擬現實成像時人臉在設備成像窗口中位置或焦距不同時的情形。可以將圖像作為一個整體向右、向下、向左、向上平移幾個像素得到平移后的圖像作為新的訓練樣本圖像。在本文的實際應用中，為減少計算的復雜度，采用了組合平移的方式。平移后會使原始圖像P的一部分移出邊框，要去除；同時也會有部分空出的，要進行補白操作。

2 XOZ、YOZ平面內模擬人臉姿態變化方法

圖1為定義的三維人臉及其坐標軸，其中XOY與圖像平面平行。二代身份證照片為標準的正面照，圖像平面內模擬生成的訓練樣本都還是人臉正面圖像，其旋轉也僅限于左右旋轉（XOY內繞Z軸旋轉），缺少模擬現實成像時更加復雜的姿態，也就是缺少對XOZ和YOZ平面內人臉變化的模擬。

本文對XOZ和YOZ平面內的人臉旋轉進行研究，提出了模擬人臉側向旋轉（繞X軸）和模擬俯仰旋轉（繞Y軸），以及組合旋轉姿態的虛擬人臉生成方法。

1）對照片P中人臉進行模擬人臉側向旋轉。人臉側向旋轉的過程，可以看做是人臉上所有點繞頸脖到頭頂軸（繞X軸）旋轉的一個過程。圖2為模擬人臉側向旋轉變化的示意圖。

圖1 人臉Fig.1 Human face

圖2 人臉旋轉示意圖Fig.2 Face rotation diagram

首先把頭部ZOY平面內的人臉輪廓近似為一個圓，O點為人頭部旋轉的中心，O′點為人臉圖像上Y軸方向的起點，A為人臉上任一點，A點在人臉旋轉θ角度后到達A′點，y、y′分別是旋轉前后A點在圖像上的位置。令O′A與X軸夾角為α；A 轉動 θ角度后到達 A′，即角度∠AO′A′=θ；圓半徑為 n/2，n為人臉照片的Y方向的尺寸。

可以列出方程組：

2）模擬俯仰變化，即模擬人臉繞Y軸旋轉的情形。假設人臉在XOZ平面內的輪廓為一個圓，抬頭或低頭旋轉的角度為θ，就可以用1）中的原理求出新圖像中對應的坐標為：

m為圖像在X軸方向的尺寸，θ為頭部轉動的角度，根據θ取正值或負值，就能得到模擬抬頭和低頭的圖像，此原理可在一定程度上模擬現實成像時人抬頭低頭的情形。

3）組合模擬，即模擬人臉既有傾斜，又有旋轉的姿態。這種立體變換可以更加全面的模擬現實取樣時復雜的人臉姿態。方法為：先對人臉進行一定角度的模擬旋轉變化，再進行一定角度的傾斜變化，就可以得到對立體姿態進行模擬的虛擬圖像。

3 HMM人臉識別模型

隱馬爾可夫模型[7]（Hidden Markov Model，HMM）是一個二重馬爾可夫隨機過程。它包括具有狀態轉移概率的馬爾可夫鏈和輸出觀測值的隨機過程。其狀態是不確定或不可觀測的，只有通過貫徹序列的隨機過程才能表現出來，一個標準的 HMM 由一個五元組表示 λ=（N，M，π，A，B）。 其中，N 為模型中Markov鏈的狀態數目，M為每個狀態可能對應的觀察值數目，π為初始狀態矢量，A為狀態轉移概率矩陣，B為觀察值概率矩陣。

具體的過程為，首先對每人的身份證圖像和虛擬生成的圖像進行采樣生成觀察值序列，然后對這些觀察值序列使用Viterbi和Baum-Welch算法[8]，來訓練出人臉的HMM模型參數，就能得到各人的人臉HMM模型，然后再進行識別過程，識別過程的具體步驟如下：

1）首先對待識別的人臉圖像進行采樣，得到觀察向量序列；

2）計算此人臉觀察向量序列與人臉數據庫中各個人臉的HMM模型的最大似然概率，最大似然概率的計算可以通過前向-后向算法或者Viterbi算法得出；

3）最大似然概率反映了待識別人臉觀察向量序列與數據庫中的人臉HMM模型的相似程度。計算出每一個模型產生該序列的最大似然概率，最大值的模型即為待識別人臉所屬的類。

HMM能提取人臉的主要特征，它把面部器官特征和一個狀態轉移模型聯系起來，這種模型既考慮了人臉各器官的不同特征，又考慮了它們的相互關聯，比孤立利用各器官的數值特征有概念上的進步，該模型的參數能較好地表征具體人臉模型。該方法魯棒性較好，對表情、姿態變化不太敏感，對于不同角度的人臉圖像和不同光照條件，都能達到滿意的識別精度。所以本文選用HMM進行人臉識別。

4 實驗及結果分析

實驗所用人臉庫為一個身份證照片庫和一個攝像照片庫。身份證人臉庫：因為沒有公開的身份證人臉庫，所以本文建立了一個含有20人身份證照片的身份證人臉庫。測試人臉庫：測試人臉庫含有對應20人每人10張各種設定姿態（3張不同焦距的正面照，兩張20度左右人臉側向旋轉照，抬頭/低頭照，笑臉照，兩張左右傾斜30度人臉照）的攝像照，總計為200張測試照片。為更加全面的測試不同姿態的人臉對算法識別準確率的影響，測試照片具體分為10個測試集 （表1），每測試集含有各人相同的姿態照片，各測試集對應人臉姿態如下：

1）為驗證增加的虛擬樣本的有效性，首先必須測試出使用單樣本時的人臉識別率。測試時只采用每人的二代身份證照片進行訓練，其余10張攝像采集圖像為測試圖像，分次進行測試，統計平均識別率，結果列在表2的實驗1中。

表1 測試照片集對應的人臉姿態Tab.1 Test set number of corresponding face gestures

2）為驗證虛擬樣本的有效性，訓練樣本中加入對原始身份證圖像P進行下列操作得到的虛擬樣本：鏡像變化得到的P1；尺度縮小0.9倍得到的P2；尺度放大1.1倍得到的P3；向左傾斜5度得到的P4；向右傾斜5度得到的P5；向上右方向各移動5個的像素得到的P6；向下左方向各移動5個像素得到的P7。P1-P7與二代身份證照片P共計8張一起進行訓練，如圖3所示，進行測試驗證增加虛擬圖像對人臉識別率的影響。結果列在表2的實驗2中。

圖3 訓練圖像（P、P1-P7）Fig.3 Training photos （P、P1-P7）

3）為驗證模擬姿態變化的虛擬圖像對識別率的有效性，現在訓練樣本中加入以下的模擬人臉姿態變化的虛擬樣本：向右側向旋轉10度得到的P8；向左側向旋轉10度得到的P9；仰頭 10度得到的 P10；俯頭 10度得到的 P11；向右側向旋轉10度再向左傾斜5度得到的P12；向左側向旋轉10度再向右傾斜5度得到的P13。如圖4所示6張圖像，與P、P1-P7一起，共計14張圖像進行訓練，再進行識別，驗證模擬姿態變化的虛擬樣本對人臉識別正確率的影響。結果列在表2的實驗3中。

圖4 訓練圖像（P8-P13）Fig.4 Training photos（P8-P13）

表2的實驗結果表明加入虛擬樣本，增加訓練樣本數量，對單樣本人臉識別的準確率的提高非常有效。實驗2的結果表明，增加圖像平面變化的虛擬樣本對識別率的提高非常有效，特別是對正面人臉的識別，平均識別率達到了90%，同時實驗結果也表明了，在增加的虛擬樣本都為正面人臉時，對具有姿態變化的人臉進行識別，識別率相對較低。其中實驗3的結果表明，增加模擬側向旋轉和俯仰旋轉姿態變化的虛擬樣本，在對姿態變化較大的人臉進行識別時，識別率提升明顯，同時平均識別率也得到一定程度的提高。證明模擬姿態變化的虛擬樣本對提高非正面人臉識別是有效的。

表2 人臉識別實驗結果Tab.2 The results of face recognition

5 結束語

文中在研究了多種虛擬樣本生成方法的基礎上，針對訓練樣本使用二代證照片的情況，選擇了幾種適合的虛擬樣本生成方法，并提出了模擬人臉側向旋轉、俯仰和立體旋轉的虛擬樣本生成方法，比較全面的模擬了在現實中對人臉進行取樣的各種情況。該方法在一定程度上減弱了人臉姿態的變化對識別率的影響，并取得了較好的識別效果。在以后的工作中將研究如何改善二代身份證照片的質量和算法對具有明顯年齡變化的人臉進行識別的有效性。

[1]任小龍，蘇光大，相燕.使用第2代身份證的人臉識別身份認證系統[J].智能系統學報，2009，4（3）:213-217.

REN Xiao-long，SU Guang-da，XIANG Yan.Face authentication system using the Chinese second generation identity card[J].CAAIT Ransactions on Intelligent Systems，2009，4（3）:213-217.

[2]TAN Xiao-yang，CHEN Song-can，ZHOU Zhi-hua，et al.Face recognition from a single image per person:a survey[J].Pattern Recogniton，2006，39（9）:1725-1745.

[3]SHAN Shi-guang，CAO Bo，GAO Wen，et al.Extend fisherfaces for face recognition from a single example image per person[C]//Proc of The IEEE International Symposium on CircuitsandSystems.Phoenix-Scottsdale，USA，2002，Ⅱ:81-84.

[4]WU Jian-xin，ZHOU Zhi-hua.Face recognition with one training image per person[J].Pattern Recognition Letters，2002（23）:1711-1719.

[5]CHEN Song-can，ZHANG Dao-qiang，ZHOU Zhi-hua.Enhanced（PC）2A for face recognition with one training image per person[J].Pattern Recognition Letters，2004（25）:1173-1181.

[6]張生亮，陳伏兵，楊靜宇.對單訓練樣本的人臉識別問題的研究[J].計算機科學，2006，32（2）:225-229.

ZHANG Sheng-liang，CHEN Fu-bing，YANG Jing-yu.Some researches for face recognition with one training image per person[J].Computer Science，2006，32（2）:225-229.

[7]Samaria F，Young S.HMM based architecture for face identification[J].Image and Computer Vsion，1994，12（8）:537-543.

[8]許江濤.多姿態人臉識別研究[D].南京：東南大學，2006.

－141－

Multi-pose virtual sample generation for face recognition using the second generation ID card

WEI Bao-guo，HU Qing-hua
（School of ElectronicInformation，Northwestern Polytechnical University，Xi’an710129，China）

Using the Chinese second generation identity card’s （2G-ID card） photo as the training sample for human face recognition is a typical single-sample problem.The insufficiency of training samples will cause the serious performance reduction of conventional face recognition algorithms.Virtual sample generation is an approach to transfer single sample to multi-sample thus re-work many face recognition methods.However，Existing virtual sample generation technology cannot efficiently deal with faces with diverse pose.A new multi-pose virtual sample generation technology is proposed.Through the face simulation of lateral rotation， pitching and three-dimensional pose variation of human’s head to increase the training samples， then using HMM to realize face recognition， The experimental results show that the method can overcome the affect of changes in face pose to some extent，and can obtain higher recognition performance.

face recognition； 2G-ID card； single sample； virtual sample generation； hidden Markov model

TP391

A

1674－6236（2012）05-0138-04

2012-01-13稿件編號：201201055

衛保國（1970—），男，陜西乾縣人，副教授，碩士研究生導師。研究方向：圖像處理、模式識別、計算機視覺。