基于核擴展混合塊字典的單樣本人臉識別研究

馬杲東，呂 非，童 瑩，曹雪虹

(1.南京郵電大學 通信與信息工程學院，江蘇 南京 210003；2.南瑞集團有限公司，江蘇 南京 211106；3.南京工程學院 信息與通信工程學院，江蘇 南京 211167)

0 引 言

人臉識別技術由于其在圖像處理、計算機視覺領域的廣泛應用而獲得了廣泛的關注。在過去的十幾年中，人臉識別技術取得了巨大的成就。但是由于待測試人臉中包含大量光照、陰影、姿勢、表情以及遮擋等面部變化，人臉識別仍然是一項極具挑戰性的任務。

隨著人臉識別的應用場景越來越廣泛，在執法、身份證識別以及機場監控等實際應用場景中，鑒于有限的存儲空間和個人隱私的考慮，每個人可能只有一張樣本。當沒有足夠多的訓練樣本來預測待測試樣本中的差異信息時，人臉識別問題就變得十分困難，這就產生了所謂的單樣本人臉識別問題(single sample per person，SSPP)。

如何在這種單樣本情況下得到較高的魯棒性是人臉識別中最重要也是最具挑戰性的一個問題。傳統的判別子空間方法以及流形學習算法無法直接用來應用在單樣本問題中。Wright等提出的稀疏表示分類(sparse representation-based classification，SRC)以及Zhang等提出的協作表示分類(collaborative representation-based classification，CRC)需要使用足夠過的樣本來描述測試樣本，因此無法在單樣本人臉識別中取得很好的性能。

近年來，研究者們為了解決單樣本的人臉識別問題提出了許多方法。這些方法大致可以分為兩類：全局方法和局部方法。全局方法使用整張人臉圖像作為輸入來識別測試樣本。對于全局方法，有兩個主要方向：一是生成虛擬樣本將單樣本問題轉化為傳統多樣本問題，二是通用學習方法。生成虛擬樣本指的是通過奇異值分解、幾何變換等方法將原圖像生成多張虛擬樣本。例如，彭帆等提出了基于WSSRC的樣本擴充方法，采用一種三層級聯的虛擬樣本產生方法獲取冗余樣本,將生成的多種表情和多種姿態的新樣本當成訓練樣本。Zhang等通過幾何變換來創建更多的虛擬訓練樣本。這些方法的主要缺點是虛擬樣本和原始樣本總是高度相關，導致虛擬樣本所產生的新信息比較有限。

與虛擬樣本方法相比，通用學習方法通常借助一個通用訓練集來補充原始的SSPP驗證集。例如，Wang等提出一種通用的學習框架來學習通用訓練集中每類人的類內差異信息，而通用訓練集中的類內差異信息可以被所有人共享。Deng等對SRC進行了改進，提出了一種擴展稀疏表示分類器(extended sparse representation-based classification，ESRC)，該方法通過通用訓練集構建一種輔助的類內差異字典來表示訓練樣本和測試樣本之間的差異，Yang等通過學習稀疏差異字典來描述人臉中的各種光照、遮擋等變化。Ji等提出協作概率標簽方法(collaborative probabilistic labels，CPL)通過標簽傳播來實現人臉識別。盡管這些方法在一定程度上可以提升SSPP的性能，但是這些方法的性能在很大程度上取決于通用訓練集的選擇。

局部方法利用面部的局部特征來識別待測試樣本。一些方法將圖像分成幾個重疊或者不重疊的圖像塊，用于生成局部特征，其中每個分塊的樣本被認為是該人的獨立樣本。基于這種假設，研究人員對傳統的子空間學習方法以及基于表示的分類器進行了擴展，例如模塊化PCA、模塊化LDA、基于補丁的SRC。這些方法通過整合每個分塊的輸出結果來實現SSPP人臉識別。但是由于這些方法沒有考慮到每個分塊之間的相關性，因此存在一定的局限性。PCA和LDA等方法不能很好地處理復雜的非線性特征，它們的核化版本KPCA和KDA通過非線性核映射將樣本映射到一個高維空間中，然后在高維空間中進行PCA和LDA，能夠有效地提取人臉的非線性特征。

Huang等學習了一種核擴展字典(kernel extended dictionary，KED)，通過KDA對樣本進行判別分析，另外構建了一個遮擋模型來處理遮擋問題。一些方法嘗試結合LBP特征以及Gabor特征等傳統的人臉特征提出更具判別性的特征以用于SSPP人臉識別。例如，馬振等將分層LBP特征與金字塔模式HOG特征相融合從而得到更具判別性的特征。Wang等提出一種三重局部特征的魯棒聯合表示，提取多個方向的局部特征來構建更具判別性的特征。文獻[23]中采用旋轉主方向梯度直方圖特征算子提取非約束人臉圖像的多尺度多方向梯度特征。文獻[24]同時考慮樣本的局部結構信息和全局分布信息，提出了有效的降維算法。

受上述研究工作的啟發，該文提出了一種基于核擴展混合塊字典(kernel extended hybrid block dictionary，KEHBD)的單樣本人臉識別方法，用于解決SSPP人臉識別問題。首先，對樣本進行分塊處理，分別對分塊圖像進行核判別分析(kernel discriminant analysis，KDA)投影降維，提取圖像的局部特征信息構成更具判別性的基本塊字典；然后，為經過KDA投影之后的分塊樣本分別構建遮擋字典和類內差異字典來描述樣本中的大面積連續遮擋以及光照、表情等類內差異信息，將遮擋字典和類內差異字典共同組合成混合塊字典，使混合塊字典能夠更好地描述測試樣本中不同類型的差異信息；最后，將測試樣本表示為基本塊字典和混合塊字典的稀疏線性組合，根據重構殘差進行分類識別。

1 相關方法

1.1 稀疏表示分類和擴展稀疏表示分類

假設=[

x

,

x

,…,

x

]∈

R

×是驗證集中的

n

個樣本，其中

d

是樣本的特征維數，

x

的類別標簽是

c

。給定一張待測試樣本∈

R

×1。稀疏表示的基本原理就是將測試樣本表示為訓練樣本的稀疏線性組合并通過式(1)來求解稀疏系數∈

R

×1：

(1)

令向量

δ

()∈

R

×1表示除了與

c

類樣本相關的系數之外其余的系數全為0，通過最小化殘差來對

y

進行分類。

(2)

在很多實際的人臉識別場景中，由于測試樣本中會包含遮擋和污染，SRC通過式(3)來計算稀疏表示，其中∈

R

×是單位矩陣。

(3)

擴展稀疏表示分類(extended sparse representation-based classification，ESRC)使用類內差異字典來代替SRC中的單位矩陣作為擴展字典。假設=[

x

,1,

x

,2,…,

x

,]∈

R

×表示第

i

類樣本，

μ

表示第

i

類樣本的標準樣本或者該類樣本的均值。則第

i

類樣本的類內差異表示為:

E

=[

x

,1-

μ

,

x

,2-

μ

,…,

x

,-

μ

]

(4)

將所有類樣本的類內差異組合成類內差異字典。然后ESRC用來取代SRC中的單位矩陣,并通過式(5)計算測試樣本的稀疏表示：

(5)

1.2 核判別分析

核判別分析(kernel discriminant analysis，KDA)的基本思想是先通過一個非線性映射

φ

：

R

→

F

，將樣本映射到一個高維特征空間

F

，在此高維特征空間根據Fisher準則學習到一個最優投影矩陣，然后用該投影矩陣將樣本投影到一個低維空間。在高維空間中學習時，其計算只需在原始圖像中完成，無需了解非線性映射的具體含義，只需定義一個與之相對應的核函數。定義高維特征空間

F

中的內積為：〈

φ

(

x

),

φ

(

x

)〉=

k

(

x

,

x

)

(6)

(7)

〈(),

φ

(

x

)〉=(:,

x

)

(8)

2 核擴展混合塊字典

本節介紹核擴展混合塊字典的構建。首先對圖像進行分塊得到多個子塊。在SSPP的情況下，驗證集中每個人只有一張樣本，因此需要構建判別性強的字典才能用一張樣本去表示同類別的待測試樣本。由于KDA通過非線性映射能夠提取復雜的非線性特征，同時引入類別標簽可以使樣本的區分度更高。因此對每個子塊樣本分別進行KDA投影，構建每個子塊的基本字典。由于待測試樣本中包含大量光照、表情、姿勢以及遮擋等類內變化，通過KDA投影并不能消除這些類內變化，因此為每個子塊分別構建混合字典，分別提取通用訓練集中的遮擋信息和非遮擋類內變化信息來構建遮擋字典和類內差異字典，兩者共同組成的混合字典可以很好地描述每個子塊中的類內變化。

2.1 圖像分塊方式

本小節討論圖像的分塊方式。相比于整張圖像的情況，對圖像進行分塊處理一方面可以充分提取圖像的局部特征，另一方面可以有效減少大面積遮擋的干擾。分塊處理方法可以分為無重疊的分塊和有重疊的分塊。由于分塊的大小，形狀等因素都會對效果產生不同的影響，該文首先采用多種無重疊分塊方式。如圖1所示，分塊1、2、3分別將圖像均勻分成1*2塊，2*1塊，2*2塊，分塊4、5、6、7分別將圖像分成4*1和1*4塊，3*3塊，4*4塊。通過實驗在上述分塊方式中選出效果最好的分塊方式，然后對該分塊方式進行有重疊的分塊，更進一步提取人臉中最為豐富的局部特征，有重疊的分塊將在實驗部分闡述。

圖1 圖像分塊方式

2.2 構建基本塊字典

=〈(),

φ

()〉

(9)

KDA的關鍵在于構建一個合適的核函數。由于使用LBP特征時

χ

距離的效果更好，故構建以下基于LBP特征的徑向基核函數：

(10)

2.3 構建混合塊字典

ESRC中統一構建類內差異字典，沒有區分遮擋與光照，表情等類內差異信息的區別從而導致字典缺乏判別性。為了區分連續的遮擋以及光照表情等類內信息的干擾，為分塊后的樣本分別構建遮擋字典和類內差異字典，由這兩者共同組成混合字典。

(11)

(13)

3 基于核擴展混合塊字典的單樣本人臉識別算法

本小節給出文中所提出方法的具體步驟。由于對圖像進行分塊，使用SRC分類器進行分類時，只能計算每一塊各自對應的殘差，最后將殘差進行累和，這樣每一個子塊之間就失去了關聯性，從而損失很多結構信息。文獻[25]中提出一種協作表示分類器(relaxed collaborative representation，RCR)，可用于分塊圖像的分類。RCR可以利用不同塊樣本之間的相似性和判別性來進行編碼和分類。因此文中采用RCR分類器進行分類，RCR分類器的參數設置與文獻[25]中相同。

算法：基于核擴展混合字典的單樣本人臉識別(KEHBD)。

輸出：測試樣本類別標簽。

步驟4：重復步驟1～3，得到每一塊的基本字典[,,…,]和混合字典[,,…,]。

步驟5：使用RCR分類器進行分類。

4 實驗結果與分析

本節在CAS-PEAL、AR、LFW和PubFig這四個不同的人臉數據庫上進行仿真實驗來驗證文中方法的有效性。所有的人臉圖像裁剪成120×100大小。實驗環境為：Win10 64位操作系統，內存8 GB，MATLAB R2017a。

4.1 CAS-PEAL數據庫

CAS-PEAL人臉數據庫包含1 040類人(595位男性，445位女性)共99 594張人臉圖像。使用其中包含了1 040類人的9 031張圖像的子集進行實驗。圖2展示了CAS-PEAL人臉數據庫中的部分樣本。

圖2 CAS-PEAL庫中的部分圖像

在CAS-PEAL數據庫上目標對象的標準數據集，非目標對象的通用數據集，遮擋數據集以及類內變化數據集的設計如下：

(1)非目標對象的通用數據集包含光照變化的180類人和光照變化的80類人，每類人有4張圖像，共1 040張變化樣本。同時，數據集中還包含每類人1張正臉無干擾圖像，共260張標準樣本，他們共同組成非目標對象的通用數據集，用于訓練KDA投影矩陣。

(2)非目標對象的遮擋數據集包含配飾遮擋的20類人，每類人有4張圖像，共80張圖像，用于構建遮擋字典。

(3)非目標對象的類內變化數據集包含光照變化20類人和表情變化20類人，每類人4張圖像，共160張圖像，用于構建類內差異字典。

(4)目標對象的驗證樣本集由CAS-PEAL數據庫中767類人(與上述目標對象不同類的人)，每類取1張正臉無干擾圖像構成，共767張樣本，用于構建基本字典。

(5)目標對象的測試樣本集由767類人包含了配飾遮擋、光照、表情、距離、時間以及背景變化的所有樣本組成。

4.1.1 非分塊實驗

為了驗證提出的混合字典的有效性，并說明混合字典的有效性是不依賴于圖像分塊的，首先不對樣本進行分塊并使用SRC分類器進行分類，將該方法記為KEHD。KEHD與KEHBD的區別在于：KEHD省略了圖像分塊的步驟；KEHD采用SCR分類器進行分類。

將KEHD與SRC、ESRC、LDA、KDA以及KED進行比較，上述所有的方法都是基于相同的LBP特征。對于SRC和ESRC，鑒于LBP特征的高維性，使用PCA將特征維數降至600。表1是不同方法在CAS-PEAL庫上的識別率。

表1 CAS-PEAL數據庫中的識別率 %

從表中可以看出，KEHD識別率為92.17%，在所有方法中最高。可見即使在沒有分塊的情況下，文中提出的核擴展混合字典由于融合了遮擋信息以及類內差異信息，對不同的干擾信息都具有較高的魯棒性。

4.1.2 分塊實驗

本節實驗是為了對不同的分塊方式進行對比。將KEBHD按照圖1的7種分塊方式進行分塊，分別記為KEHBD-1～KEHBD-7。實驗結果如表2所示。

表2 CAS-PEAL數據庫中KEBHD的識別率 %

由表2可知，無論是哪種分塊方式都比不分塊時的識別率高，這是由于進行分塊之后可以提取圖像的局部特征，通過RCR分類器可以將每一塊的特征進行融合從而提升識別率。在KEHBD-1～KEHBD-7中，第三種分塊方式(將圖像分成4*4塊)的識別率最高，達到了96.15%。選擇分塊3的分塊方式對圖像進行重疊分塊，分別設置重疊率為0.5(相鄰兩塊的重疊面積為50%)和0.7。重疊率為0.5時會將圖像分成9塊。重疊率為0.7時分成16塊。表3是不同重疊率下KEHBD的識別率。

表3 CAS-PEAL數據庫中KEBHD不同 重疊率下的識別率 %

可以看出，設置了重疊率之后識別率進一步提高。這是由于設置了重疊率之后，能夠在整張人臉范圍內提取出最具有判別性的特征從而提高了識別率。但是如果重疊率太高會增加計算的負擔，因此綜合考慮選擇分塊3的分塊方式，以及0.5的重疊率為最佳的分塊方式，如圖3所示。

圖3 最佳分塊方式

4.2 AR數據庫

AR人臉數據庫中包含126類人的4 000多張正面對齊人臉。每類有26張圖像，分為兩個階段，每個階段13張圖像，其中標準圖像1張，光照變化圖像3張，表情變化3張，眼鏡遮擋3張，圍脖遮擋3張。實驗選取了100類樣本。圖4為AR人臉庫中某類人的樣本圖像。

圖4 AR庫中某一類人的人臉圖像

在AR數據庫上目標對象的標準數據集，非目標對象的通用數據集，遮擋數據集以及類內變化數據集的設計如下：

(1)非目標對象的通用數據集包含70類人的每類前7張無遮擋樣本，共490張樣本，用于訓練KDA。

(2)非目標對象的遮擋數據集包含70類人的每類第二階段6張遮擋樣本，共420張樣本，用于構建遮擋字典。

(3)非目標對象的類內變化數據集包含70類人的每類第二階段6張無遮擋樣本，共420張樣本，用于構建類內差異字典。

(4)目標對象的驗證樣本集包含30類人的每類第一張標準樣本(與上述目標對象不同類的人)，共30張樣本，用于構建基本字典。

(5)目標對象的測試樣本包含30類人的每類剩余25張樣本，共750張樣本。

表4是所有方法在AR人臉庫中的識別率，KEHBD是按圖3最佳分塊方式的情況。由表4可以看出，KEBHD取得了最高的識別率，證明了KEHBD的有效性。

表4 AR數據庫中單樣本情況的識別率 %

續表4

4.3 LFW和PubFig數據庫

LFW人臉數據庫和PubFig人臉數據庫中的人臉面部都是在不受環境約束和不準確對齊的情況下獲得的，這對于人臉識別具有很大的挑戰性。這兩個數據庫中的部分圖像如圖5和圖6所示。

圖5 LFW庫中某一類人的人臉圖像

圖6 PubFig庫中某一類人的人臉圖像

由于LFW和PubFig數據集中的人臉不對齊，選擇遮擋樣本以及相應的標準樣本較困難，因此只構建類內差異字典來描述樣本中的差異信息。在LFW數據庫上目標對象的標準數據集，非目標對象的通用數據集，類內變化數據集的設計如下：

(1)非目標對象的通用數據集包含100類人的每類5張樣本，共500張樣本，用于訓練KDA。

(2)非目標對象的類內變化數據集包含100類人的每類5張樣本(與通用數據集不重疊)，共500張樣本，用于構建類內差異字典。

(3)目標對象的驗證樣本集包含58類人的每類第一張標準樣本(與上述目標對象不同類的人)，共58張樣本，用于構建基本字典。

(4)目標對象的測試樣本由58類人的每類剩余全部樣本組成。

在PubFig數據庫上的設計如下：

(1)非目標對象的通用數據集包含70類人的每類10張樣本，共700張樣本，用于訓練KDA。

(2)非目標對象的類內變化數據集包含70類人的每類剩余10張樣本，共700張樣本，用于構建類內差異字典。

(3)目標對象的驗證樣本集包含30類人的每類第一張標準樣本(與上述目標對象不同類的人)，共30張樣本，用于構建基本字典。

(4)目標對象的測試樣本由30類人的每類剩余19張樣本組成，共570張樣本。

表5展示了不同方法在LFW和PubFig中的識別率，由于數據庫的難度較高，因此選擇分塊3中0.7重疊率的分塊方式，一張圖像會被分成16塊(參考圖3)。從表中可以看出，在LFW和PubFig中KEHBD在性能上均優于其他算法，LFW中KEHBD的識別率達到了65.94%，PubFig數據庫中KEHBD的識別率達到了34.56%，與其他方法相比有很大程度的提升，可見KEHBD在非控環境下仍然有較強的魯棒性。由于人臉圖像不對齊，傳統的方法在這種SSPP識別場景中缺乏魯棒性。文中方法通過構建核擴展混合塊字典，通過分塊提取圖像中的局部特征，并為每個分塊圖像構建混合字典去描述可能的誤差，從而明顯提高了識別的準確率。

表5 LFW和PubFig數據庫中的識別率 %

5 結束語

針對單樣本情況下人臉識別中存在的問題，提出一種基于核擴展混合塊字典(KEHBD)的單樣本人臉識別方法。首先，對樣本進行分塊處理，分別對分塊圖像進行核判別分析投影降維，提取圖像的局部特征信息構成更具判別性的基本塊字典；然后，為經過KDA投影之后的分塊樣本分別構建遮擋字典和類內差異字典來描述樣本中的大面積連續遮擋以及光照、表情等類內差異信息，將遮擋字典和類內差異字典共同組合成混合塊字典，使混合塊字典能夠更好地描述測試樣本中不同類型的差異信息。從而實現真實情況下的單樣本人臉識別。