一種基于人臉對稱性的人臉圖像生成方法

孫晨暉

摘要 生成虛擬人臉樣本是提高小樣本人臉識別性能的一個重要方式。但是虛擬人臉樣本可能存在的失真、降低識別精度。為了克服這一缺點(diǎn)，本文提出了一種局部近似對稱人臉圖像生成方法。我們用虛擬的半邊臉以取代原始的半邊臉，合成一張人臉。該方法既利用虛擬人臉，又利用原始人臉生成基于對稱性的合成人臉。因此，合成的面部接近于原來的面部。實(shí)驗結(jié)果表明，該方法提高了人臉識別的準(zhǔn)確率。

[關(guān)鍵詞]虛擬樣本 人臉識別 半邊臉 合成人臉

在小樣本人臉識別領(lǐng)域，困難主要來自人臉樣本不足，并且人臉姿勢不同，面部表情的差異和光照的不均衡，這些都會導(dǎo)致識別率的降低。為了克服這些困難，獲得更多的虛擬人臉樣本是提高人臉識別率的重要途徑。近年來，研究者發(fā)現(xiàn)，例如，對稱的人臉圖像有利于克服光照問題和人臉姿勢不同導(dǎo)致的影響。還發(fā)現(xiàn)，一些生成虛擬人臉樣本的簡單方法也可以提高人臉識別精度。例如，兩個原始人臉圖像的平均值可以用作虛擬面部樣本。由于人臉近似對稱，所以用半邊臉來生成整個虛擬人臉也是可行的。

人臉是近似對稱的結(jié)構(gòu)。這啟發(fā)我們提出一種構(gòu)造近似對稱人臉的新方法。采用人臉對稱結(jié)構(gòu)，己被證明是在人臉檢測的一種有效方法。面部的對稱性也適用于其他問題，如陰影分析。對于人臉識別，如果人臉圖像完全是軸對稱圖像，則只需要人臉的一半進(jìn)行人臉分類。但人臉圖像是不完全對稱的，所以我們的方法也借鑒了論文中的方法來提高人臉的對稱性。

由于最近鄰分類器對模式分類有很好的精度，本文將其用于人臉識別。我們知道，最近鄰分類器的性能較好，可以使我們獲得令人滿意的性能，并且它是非常簡單和容易實(shí)現(xiàn)。在本文中，我們試圖產(chǎn)生和利用合理的虛擬訓(xùn)練樣本，以更準(zhǔn)確地識別人臉。合理的虛擬樣本不僅能正確地模擬人臉的姿態(tài)、表情等變化，而且有助于提高識別精度。

1 局部近似對稱人臉圖像生成方法

為了方便描述，我們用b1，1，b1，2，b2，1和b2，2分別表示原始圖像的左上角、左下角、右上角和右下角部分。所有這些都被重新排列為列向量。獲得四個向量的步驟如下。

讓T代表一個原始的人臉圖像。圖像1有j列。讓Tu，j（j=1，2，…，J）和Td，j（j=1，2，…，J）分別表示圖像T的上部和下部。假設(shè)J是一個偶數(shù)，我們有如下公式：

為了便于理解該方法，圖1給出了實(shí)現(xiàn)上述過程的一個簡單示例。我們將人臉圖像分成四個塊，每個塊用一列向量表示。

利用梯度下降算法，使左右臉進(jìn)行迭代，使b1，1，b2，1近似相等，b1，2，b2，2近似相等。迭代函數(shù)g（m）如下定義：mn+1=mn-pVg（mn） （2）

這里p是學(xué)習(xí)率，mn+l，mn分別是m在n+l次迭代和n次迭代中的值。梯度下降算法可以快速獲得函數(shù)g（m）的最小值和相應(yīng)的最優(yōu)m值。

首先，基于b1，1、b2，1，我們定義了一個目標(biāo)函數(shù)如下：

B是一個正的常數(shù)，n是迭代次數(shù)。p隨著n的增大減小。這個解容易收斂。

獲取b1，1和b2，1向量后，合成臉的半邊臉是通過b1，1和b2，1拼接起來的。同樣的，我們獲得b1，2，b2，2。方法的步驟如下：

第一步：將原始人臉圖像分割成左上、左下、右上、右下臉圖像，并反轉(zhuǎn)右上臉和右下臉，如圖2所示，我們得到b1，1，b1，2，b2，1，b2，2。的初始值。

第二步：我們通過方程式（4）提出的梯度下降算法，迭代更新b1，1和b2，1。迭代終止需要滿足兩個條件之一：（i）迭代次數(shù)大于預(yù)定義值;表示b1，1經(jīng)過n次迭代的值。￡是一個小的正常數(shù)。b1，l和b2，1迭代的流程如圖3。

第三步：我們用類似的方式獲得b1，2，b2，2。然后我們能得到用b1，1和b1，2合成的左半邊臉圖像。用b2，1和b2，2得到合成的右半邊臉圖像。

第四步：利用合成的左臉和右臉原來獲得的虛擬人臉圖像還是原來的左臉和右臉合成得到的虛擬人臉圖像。

第五步：我們使用一個算法來證明我們的方法的優(yōu)點(diǎn)。

本文利用最近鄰分類器，證明該方法在人臉識別中的優(yōu)越性。

2 分析提出的方法

這一節(jié)，我們描述方法優(yōu)點(diǎn)。首先，它很容易從原始人臉圖像中生成對稱的虛擬人臉圖像。這不僅可以減少人臉不同姿態(tài)和光照對人臉識別的影響，且可以使人臉圖像的幾何形狀與真實(shí)人臉更一致。其次，該方法簡單。它以較低的計算成本產(chǎn)生近似對稱的人臉圖像。第三，最重要的步驟是使用虛擬人臉和原始人臉，合成的人臉更接近原始人臉。圖4中的兩組面孔給我們一個清晰的對比。左邊的列是原始圖像，右邊的列是合成圖像。

我們用的原始人臉圖像是從YaleB人臉數(shù)據(jù)庫中選取。從圖中，我們看到，我們的方法可以很好的緩解光照失衡產(chǎn)生的負(fù)面效應(yīng)，獲得良好光線的虛擬人臉圖像。

3 實(shí)驗

為了驗證我們的方法，我們在AR和NIR人臉數(shù)據(jù)庫進(jìn)行實(shí)驗。 （i） AR人臉數(shù)據(jù)庫包含126人，超過4000張彩色圖像。在文中，我們選擇AR人臉數(shù)據(jù)庫中的120人，并從每人中選出26幅圖像，共3120幅圖像。人臉圖像有不同的姿勢、光照和表情。（ii） NIR人臉數(shù)據(jù)庫有400幅100個人的圖像，每個人在不同的照明條件和各種面部表情下提供4幅不同的圖像。（iii）從YaleB人臉數(shù)據(jù)庫中選取15人，每人32張人臉圖像，共480張人臉圖像。由于我們的方法使用了虛擬人臉和原始人臉，合成的人臉非常接近原始人臉。實(shí)驗如下。

3.1 實(shí)驗1

在AR和NIR人臉數(shù)據(jù)庫進(jìn)行實(shí)驗。實(shí)驗中，合成的人臉由原始人臉的右臉和虛擬人臉的的左臉組成。在AR數(shù)據(jù)庫中，分別選取每個人的1，2，3，4，5個原始人臉圖像作為分別作為原始訓(xùn)練樣本，其他是測試樣本。在NIR數(shù)據(jù)庫中，分別選取每人2個和3個原始人臉圖像，作為原始訓(xùn)練樣本，其余為測試樣本。表1和2分別顯示了在AR數(shù)據(jù)庫和NIR數(shù)據(jù)庫的實(shí)驗結(jié)果。

通過觀察，我們的方法比論文[14]中的方法有更高的識別率。將兩種方法做對比，在AR數(shù)據(jù)庫中，當(dāng)訓(xùn)練樣本數(shù)為4時，最低精度分別為54.02%和50.95%。在NIR數(shù)據(jù)庫中，訓(xùn)練樣本數(shù)為3時，我們方法的最高準(zhǔn)確率是91%，而原論文是87%。實(shí)驗表明，我們的方法更優(yōu)。因為我們的方法由虛擬半邊人臉和原始半邊人臉合成人臉，這樣使拼接的人臉更接近于原始人臉，且用到了虛擬人臉消除光照等影響的優(yōu)勢。

3.2 實(shí)驗2

與上述實(shí)驗相類似，我們利用原始人臉的左臉和虛擬人臉的右臉合成人臉圖像。實(shí)驗是在AR數(shù)據(jù)庫和YaleB人臉數(shù)據(jù)庫進(jìn)行。實(shí)驗結(jié)果如表3和表4所示。

4 結(jié)語

本文提出的方法既利用虛擬生成的人臉圖像，又利用原始的人臉圖像，來生成基于對稱性的人臉。因此，合成的面部接近于原來的面部。同時，該方法可以減少光照對人臉識別的負(fù)面影響。實(shí)驗表明，該方法能提高人臉識別的準(zhǔn)確率。