基于二進制標簽松弛模型的遮擋人臉識別

2022-02-22 14:20:12韓肖，馬祥

計算機技術與發展 2022年1期

韓肖，馬祥

(長安大學信息工程學院，陜西西安 710064)

0 引言

人臉識別作為計算機視覺和生物統計學領域的熱點研究方向，在生活中的應用越來越多，如人臉門禁考勤、社區出入管理、車站人臉閘機等。雖然人臉識別技術已經相當成熟，但是人臉識別性能常因各種干擾而受到不同程度的影響。自2019年底爆發新冠疫情以來，出門戴口罩成為人們日常生活中的一部分，戴口罩引起的遮擋讓人臉識別變得困難。因此，研究如何提高遮擋情況下人臉識別方法的性能具有重要意義。

傳統的人臉識別方法在實驗室環境下可以獲得很高的識別率，如基于核范數的矩陣回歸(norm based matrix regression，NMR)和基于低秩表示的方法，但當人臉圖像存在遮擋時，其識別性能嚴重下降。近年來，針對人臉遮擋識別的研究越來越廣泛，文獻[10-11]針對有遮擋人臉識別方法進行了改進，雖然相比傳統的特征提取方法提高了識別率，但在更復雜的場景下識別率仍然有待進一步提高。文獻[12]提出了一種基于RPCA與低秩投影的有遮擋人臉識別方法，通過利用圖像在低秩投影下產生的稀疏誤差圖像以及計算圖像平滑度和邊緣等鑒別信息，設計了基于誤差圖像平滑度和邊緣信息加權和的鑒別準則。該方法對人為連續遮擋的識別效果較好，但是對真實遮擋的識別效果較差，同時該方法的計算效率低。文獻[13]基于普通的兩階段人臉識別方法，提出了一種基于稀疏表示的快速人臉識別方法。該方法能夠提高第一階段的識別效率，但是在處理聚合度較高的數據集時，識別率較差。文獻[14]提出了一種擴展稀疏人臉識別方法，該方法能夠將樣本集非線性地映射到新的特征空間中，再根據每個樣本對識別的貢獻，給每個樣本賦予一定的權重，同時利用類內變量矩陣共同表示測試樣本。該方法在小樣本情況下的識別率較好，但是在樣本數較大的情況下，識別率還需要進一步提高。

在文獻[15-16]研究的基礎上，該文利用低秩技術和二進制標簽松弛模型，提出了一種新的基于二進制松弛標簽的回歸模型。通過引入標簽松弛模型獲得一個有利于提取更多有用特征的變換矩陣，從而保證每類原子重構一類訓練樣本。

1 算法描述

1.1 算法改進方案

最小二乘回歸(least squares regression，LSR)是圖像分類領域中一種非常流行的方法。LSR的主要思想是學習一個將原始訓練樣本映射到二進制標簽空間的投影矩陣。LSR的目標函數可以表示為：

(1)

其中，=[,,…,]∈

×表示

個訓練樣本，

是樣本的維度；∈

×表示屬于第

類的樣本子集；=[,,…,]∈

×，其中

≥2，表示的二進制標簽矩陣，

是的第

列；表示投影矩陣。由于LSR方法在投影學習過程中沒有考慮數據相關性和潛在的數據結構，這可能會使一些有用的結構信息丟失，從而導致過擬合。而且回歸矩陣追求嚴格的0-1標簽，不能反映每個樣本的特征，特別是在多類情況下，很難實現準確分類。與LSR不同，DLSR(discriminative LSR)嘗試學習松弛回歸標簽代替二進制標簽，利用

-draggings技術來擴大真類和假類之間的距離。其回歸模型可以表述為：

s.t.≥0

(2)

其中，⊙表示Hadamard-product算子；∈

×是非負

-draggings標簽松弛矩陣；∈

×是一個常數矩陣，定義為：

(3)

該方法將回歸標簽矩陣擴展為

⊙

，盡管使用了松弛標簽，但會引起過度擬合問題。為了解決這個問題，在DLSR模型的基礎上，文獻[15]提出了一個低秩判別最小二乘回歸模型(low-rank DLSR，LRDLSR)，用公式表示為：

s.t.≥0

(4)

基于上述研究，發現將標簽矩陣變得松弛更有利于分類，因此對上述方法進行如下改進：

s.t.≥0

(5)

接下來，將詳細闡述如何將嚴格的二進制標簽矩陣松弛為松弛標簽矩陣。從∈

×中可以看出，包含

個樣本的標簽，中的每一列代表一個樣本的標簽。中的每個標簽都屬于

×1。目的是發現不同類別樣本之間的標簽矩陣。為了便于理解，假設的第一列、第二列和第三列分別表示tr1、tr2、tr3的標簽，tr1、tr2、tr3分別屬于第一類、第二類和第三類的訓練樣本。因此，二進制標簽矩陣可以定義為：

(6)

(7)

此時tr1和tr3之間的距離為：

(8)

此時，tr1和tr2之間的距離為：

={[(1+)-(-1-)]+[(-1-)-(1+)]+…+[(-1-1)-(-1-2)]}12=[(2++)+(2++)+…+(-1+2)]12

(9)

tr1和tr3之間的距離為：

=[(2++)+(-+)+(-2--)+…+(-1+3)]12=[(2++)+(-+)+(2++)+…+(-1+3)]12

(10)

很明顯，在大多數情況下

≠

且比式(7)中的差距更大，更有利于分類。

1.2 算法的優化過程

該文利用交替方向乘子法(ADMM)對算法進行優化。引入一個輔助變量，使公式(5)變為：

s.t.=,≥0

(11)

進一步寫出公式(11)的增廣拉格朗日函數：

(,,,,)=

(12)

其中，是拉格朗日乘數，

>0是懲罰因子，接下來逐個更新變量。(1)更新:通過固定變量、、和可以得到如下最小化問題：

解得：

=(1+

)×[+

(((⊙)-)+((⊙)-)⊙)+

(14)

(2)更新:給定變量、、和可以得到如下最小化問題：

(15)

解得：

(16)

其中，(Θ)是奇異值收縮算子。(3)更新:給定變量、、和可以得到如下最小化問題：

(17)

解得：

=(+

)

(18)

(4)更新:更新、、后，可以通過以下方法更新非負松弛矩陣：

(19)

解得：

=max(⊙,0)

(20)

1.3 分類

一旦解出(5)，就可以得到最優投影矩陣。利用可以獲得訓練樣本的投影特征，即。假設∈

為測試樣本，則其投影特征為。該文采用KNN分類器實現分類。

2 實驗與分析

在以下三個數據集上進行實驗，這三個數據集中所有圖像都預先調整到32×32。

(1)The Extended Yale B Dataset：擴展的Yale B數據集由2 414張人臉圖像組成，這2 414張圖像來自38個個體，其中每個個體有大約59～64張圖像。隨機選取每個個體的10、15、20和25張圖像作為訓練樣本，剩余圖像作為測試樣本。

(2)The CMU PIE Dataset：本實驗選擇該數據集的一個子集，其中每個個體有170張圖像。隨機選取每個個體的10、15、20和25張圖像作為訓練樣本，剩余圖像作為測試樣本。

(3)LFW Dataset：LFW是自然場景下的數據集，本實驗選擇該數據集的一個子集，包含62個個體的3 023張圖像，每個個體至少有20張圖像。從每個個體中隨機選擇7、8、9和10張圖像作為訓練樣本，其余圖像作為測試樣本。上述實驗數據集的部分圖像如圖1所示。

圖1 實驗數據集的部分圖像

為了驗證文中方法的識別性能，與一些現有方法進行對比。對比方法有LRDLSR、TSL_LRSR、RSLDA、LRPP_GRR、EALPL和SALPL。

2.1 無遮擋時的實驗結果

無遮擋時的平均識別率如表1和表2所示，所有實驗結果都是進行十次實驗取平均值之后的結果。

由表1可知，與現有方法相比，文中方法能夠取得較好的識別性能，這是因為文中方法能夠提取更多的深層特征用于識別，從而提高識別率。由表2可知，文中方法在大多數情況下優于對比方法。特別的，與EALPL相比，文中方法的識別率提高了近30%。并且隨著訓練樣本數量的增加，表中所有方法的識別率都會增加。綜上所述，無遮擋時文中方法具有較好的識別性能。

表1 無遮擋時Yale B數據集的平均識別率 %

表2 無遮擋時CMU PIE數據集的平均識別率 %

2.2 有遮擋時的實驗結果

本小節在訓練樣本數為25時，給Yale B和CMU PIE數據集的測試集分別添加10%、20%、30%和40%的隨機遮擋塊。實驗結果如表3和表4所示，所有實驗結果都是進行十次實驗取平均值之后的結果。并且本小節在Yale B和CMU PIE數據集上計算了不同方法的運行時間，評估了該方法的計算效率。所有方法都是使用MatlabR2019b在具有i7-6700八核3.40 GHz CPU的PC上實現的。

表3 有遮擋時Yale B數據集的平均識別率(%)和平均運行時間(s)

由表3可知，與現有方法相比，文中方法能夠在最短的時間內取得最高的識別率。由表4可知，文中方法的識別性能在隨機遮擋塊大小為10%和20%時，略低于SALPL的方法，其他情況下均優于所采用的對比方法，但是文中方法所消耗的時間遠遠低于SALPL的方法。特別地，在添加隨機遮擋塊的情況下，文中方法的識別性能遠遠高于TSL_LRSR的方法。綜上所述，文中方法在添加隨機遮擋塊的情況下，仍然具有較好的識別性能。