基于特征加權(quán)融合的輕量級人臉識別方法

摘 要：針對復(fù)雜自然場景中人臉識別的難題，提出一種基于特征加權(quán)融合的輕量級人臉識別方法，通過對MobileFaceNet進(jìn)行改進(jìn)，實現(xiàn)自然場景下的實時人臉識別。SEMobileFaceNet對原MobileFaceNet的BottleBlock模塊及邊緣損失ArcFace進(jìn)行了優(yōu)化，在BottleBlock模塊中加入了SE，利用通道注意力機(jī)制對不同通道的特征進(jìn)行加權(quán)融合，提高對關(guān)鍵特征的利用。對邊緣損失ArcFace的改進(jìn)在于將角度裕量改為動態(tài)調(diào)整，根據(jù)梯度值的大小忽略或裁剪部分梯度。改進(jìn)后的SEMobileFaceNet在自然場景人臉識別中準(zhǔn)確率和召回率更高，泛化能力更好，能夠有效完成復(fù)雜環(huán)境中的人臉識別。

關(guān)鍵詞：特征加權(quán)融合；輕量級人臉識別；數(shù)據(jù)預(yù)處理； SEMobileFaceNet；BottleBlock模塊；邊緣損失ArcFace

中圖分類號：TP391.4 文獻(xiàn)標(biāo)識碼：A 文章編號：2095-1302（2024）10-000-03

0 引 言

近年來，隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展和計算能力的提升，人臉識別技術(shù)被廣泛應(yīng)用于日常生活以及安全領(lǐng)域，為人們提供了一種高效、準(zhǔn)確和便捷的身份識別和驗證方式。然而，由于硬件、信號傳輸、姿態(tài)表情、光照強度、透視失真、遮擋等干擾因素影響，使自然場景下人臉識別的難度劇增。隨著深度神經(jīng)網(wǎng)絡(luò)的快速發(fā)展，有學(xué)者將深度神經(jīng)網(wǎng)絡(luò)作為特征提取器應(yīng)用到自然場景中的人臉識別領(lǐng)域，并且取得了較好的效果。然而，人臉識別模型往往是對人臉數(shù)據(jù)圖片的全圖進(jìn)行特征提取，而圖片中的背景會對識別精度造成一定影響；同時深度學(xué)習(xí)需要大量的標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，而收集的大規(guī)模人臉數(shù)據(jù)集的數(shù)據(jù)質(zhì)量往往難以保證，其中的錯誤數(shù)據(jù)不僅會導(dǎo)致人臉識別模型在訓(xùn)練過程中出現(xiàn)振蕩，也會對人臉識別模型的識別精度造成影響；當(dāng)人臉數(shù)據(jù)集中包含大量錯誤數(shù)據(jù)時，甚至有可能導(dǎo)致人臉識別訓(xùn)練失敗。

針對現(xiàn)有的MobileFaceNet特點[1-4]，考慮到錯誤數(shù)據(jù)對人臉識別模型的訓(xùn)練存在較大影響，加上自然場景中由于環(huán)境復(fù)雜導(dǎo)致人臉識別困難等問題，提出了一種基于特征加權(quán)融合的輕量級人臉識別方法。該方法對MobileFaceNet進(jìn)行了改進(jìn)，改進(jìn)后的SEMobileFaceNet在自然場景下的人臉識別準(zhǔn)確率和召回率更高，泛化能力更好，能夠有效解決復(fù)雜環(huán)境中的人臉識別問題。通過訓(xùn)練可以不斷優(yōu)化網(wǎng)絡(luò)，使訓(xùn)練過程更為高效穩(wěn)定，從而提高網(wǎng)絡(luò)的識別性能[5]。

1 系統(tǒng)構(gòu)成

輕量級人臉識別系統(tǒng)的模塊構(gòu)成如圖1所示。

數(shù)據(jù)預(yù)處理模塊用于收集人臉數(shù)據(jù)，并對人臉數(shù)據(jù)進(jìn)行預(yù)處理，包括對人臉圖像數(shù)據(jù)進(jìn)行隨機(jī)水平翻轉(zhuǎn)、圖像正則化以及隨機(jī)飽和度色調(diào)變化，將增強后的圖像通過裁剪和縮放的方式進(jìn)行調(diào)整。通過該數(shù)據(jù)增強方式，能夠有效提高SEMobileFaceNet的性能，且對自然場景下的人臉識別也具有更好的魯棒性和有效性[6]。

人臉識別模塊基于SEMobileFaceNet實現(xiàn)自然場景下的實時人臉識別。首先將需要識別的人臉圖像輸入到訓(xùn)練好的SEMobileFaceNet中，得到人臉特征，將人臉特征和用戶信息存入人臉數(shù)據(jù)庫中。在使用時，將設(shè)備抓拍到的人臉圖像輸入到SEMobileFaceNet中，得到實時人臉特征，將實時人臉特征與人臉數(shù)據(jù)庫中的人臉特征進(jìn)行余弦相似度比對，依據(jù)比對結(jié)果，判斷抓拍圖像是否為人臉數(shù)據(jù)庫中的用戶[7]。

2 SEMobileFaceNet

改進(jìn)MobileFaceNet（SEMobileFaceNet）的流程如圖2所示。其中，C方塊為卷積操作，Cdw為深度可分離卷積操作，Cd方塊為下采樣卷積操作。

SEMobileFaceNet包含stream模塊、backbone模塊和head模塊。將預(yù)處理后的人臉圖像數(shù)據(jù)輸入到SEMobileFaceNet中，先讀取輸入的圖像信息，經(jīng)過stream模塊快速下采樣得到前期特征CC2dw，稱為SEMobileFaceNet第2層的輸出特征。經(jīng)過stream模塊得到的前期特征CC2dw會輸入到backbone模塊，backbone模塊由多個包含SE的BottleBlock模塊堆疊構(gòu)成。backbone模塊總共有3個堆疊塊，每個堆疊塊的最后一層都進(jìn)行2倍下采樣，將特征圖尺寸縮小為原來的1/2。前期特征CC2dw通過3個backbone模塊后得到原始特征CC5。

3 BottleBlock模塊改進(jìn)流程

添加了SE的BottleBlock模塊工作流程如圖3所示。其中，Conv_g_block為分組卷積操作，Conv_dw_block為通道卷積操作，Conv_p_block為通道融合卷積操作，AvgPool方塊為平均池化操作，MLP為先壓縮后擴(kuò)張通道數(shù)的雙層卷積操作，為像素對應(yīng)相乘操作，為像素對應(yīng)相加操作。

在帶SE的BottleBlock模塊中，將上一層輸出的特征Ci-1輸入到深度可分離卷積塊，得到輸出特征Ci，深度可分離卷積塊由3個卷積模塊FC、Fdw、FP構(gòu)成，計算過程如式（1）所示：

前期特征CC2dw經(jīng)過backbone模塊，得到原始特征信息CC5，將CC5輸入head模塊，得到人臉嵌入特征，經(jīng)過BatchNormal函數(shù)，最后得到輸出的人臉特征C0。

加入SE可以加強對關(guān)鍵特征的利用，提高SEMobileFaceNet的精度以及魯棒性。使用改進(jìn)后的ArcFace輔助SEMobileFaceNet進(jìn)行訓(xùn)練，將輸出的人臉特征C0與人臉數(shù)據(jù)中的標(biāo)簽輸入到改進(jìn)后的ArcFace，可以得到SEMobileFaceNet的損失。使用梯度下降算法優(yōu)化SEMobileFaceNet，使SEMobileFaceNet輸出相同人臉I(yè)D的人臉特征距離不斷拉近[8]。

4 ArcFace改進(jìn)

通過改進(jìn)ArcFace，可以提高模型訓(xùn)練過程中的穩(wěn)定性，同時通過丟棄異常數(shù)據(jù)，一定程度上可以提高模型的精度。在經(jīng)過預(yù)設(shè)次數(shù)的初始訓(xùn)練后，在后續(xù)訓(xùn)練過程中，會對訓(xùn)練過程中產(chǎn)生的大梯度值進(jìn)行裁減或丟棄。

5 實現(xiàn)過程

將人臉圖像數(shù)據(jù)輸入到SEMobileFaceNet中，對SEMobileFaceNet進(jìn)行訓(xùn)練，得到訓(xùn)練好的SEMobileFaceNet。人臉圖像數(shù)據(jù)在經(jīng)過SE前，會先經(jīng)過SEMobileFaceNet中的其他前置模塊轉(zhuǎn)變?yōu)橹虚g特征，中間特征進(jìn)入SE后，會依次進(jìn)入自適應(yīng)平均池化及卷積模塊，得到通道權(quán)重，將通道權(quán)重乘以輸入的中間特征，并與輸入的中間特征相加，得到加權(quán)融合后的人臉特征[9]。將人臉特征信息與人臉數(shù)據(jù)中的標(biāo)簽經(jīng)過改進(jìn)后的ArcFace，得到SEMobileFaceNet的損失。依據(jù)SEMobileFaceNet的損失計算出SEMobileFaceNet的梯度，使用梯度下降算法對SEMobileFaceNet權(quán)重進(jìn)行更新。改進(jìn)的ArcFace的角度裕量從動態(tài)正態(tài)分布中進(jìn)行隨機(jī)采樣，其均值會隨著訓(xùn)練次數(shù)的增加，直到達(dá)到最后的目標(biāo)值。經(jīng)過一定次數(shù)的初始訓(xùn)練后，對訓(xùn)練過程中產(chǎn)生的較大梯度值進(jìn)行裁減或丟棄。

將需要識別的人臉圖像輸入到訓(xùn)練好的SEMobileFaceNet中，得到用戶的人臉特征。將人臉特征和用戶信息存入人臉數(shù)據(jù)庫中，完成人臉注冊。人臉注冊時，每個用戶的人臉特征及人臉信息中的ID信息唯一且相互對應(yīng)。在進(jìn)行人臉比對時，會設(shè)定一個相似度閾值，當(dāng)抓拍到的人臉圖像的實時特征與人臉數(shù)據(jù)庫中所有人臉特征相似度都低于閾值時，認(rèn)定該抓拍的人臉圖像為陌生人。當(dāng)抓拍到的人臉圖像的實時特征與人臉數(shù)據(jù)庫中的人臉特征存在一個或多個相似度大于閾值時，取相似度最高的人臉特征作為本次抓拍人臉的識別結(jié)果[10]。

6 結(jié) 語

針對自然場景人臉識別中的難點，本文提出基于特征加權(quán)融合的輕量級人臉識別方法，在MobileFaceNet的基礎(chǔ)上進(jìn)行改進(jìn)，改進(jìn)后的MobileFaceNet在自然場景下的人臉識別準(zhǔn)確率和召回率更高，泛化能力也更好。本方法能夠有效利用圖像中的關(guān)鍵特征減少漏檢、誤檢的情況，有效提高復(fù)雜環(huán)境下人臉識別的準(zhǔn)確度。

注：本文通訊作者為龔汝洪。

參考文獻(xiàn)

[1]盧嫚，鄧浩敏.一種基于MTCNN和MobileFaceNet人臉檢測及識別方法[J].自動化與儀表，2023，38（2）：76-80.

[2]李燕蘋，李一凡.基于MobileFaceNet改進(jìn)的人臉識別課堂簽到系統(tǒng)[J].工業(yè)控制計算機(jī)，2022，35（11）：107-108.

[3]胡佳榮，孟文，趙晶晶.基于改進(jìn)MobileFaceNet的人臉識別方法[J].半導(dǎo)體光電，2022，43（1）： 164-168.

[4]張子昊，王蓉.基于MobileFaceNet網(wǎng)絡(luò)改進(jìn)的人臉識別方法[J].北京航空航天大學(xué)學(xué)報，2020，46（9）：1756-1762.

[5]薛繼偉，孫宇銳，辛紀(jì)元.基于ArcFace算法的人臉識別應(yīng)用研究[J]. 電子設(shè)計工程，2022，30（11）：168-172.

[6]洪宇軒.基于ArcFace框架的課堂環(huán)境下人臉識別算法設(shè)計[J].計算機(jī)技術(shù)與發(fā)展，2021，31（8）：57-62.

[7]胡月文，李丹.基于ArcFace損失函數(shù)的監(jiān)護(hù)安全人臉識別[J].現(xiàn)代信息科技，2020，4（17）：132-135.

[8]賈偉，楊勝和，田萌萌，等.基于ArcFace的自然場景人臉識別系統(tǒng)設(shè)計及改進(jìn)[J].物聯(lián)網(wǎng)技術(shù)，2020，10（5）：9-11.

[9]孫勁光，吳明巖.基于多尺度加權(quán)特征融合的行人重識別方法研究[J].信號處理，2022，38（10）：2201-2210.

[10]孫勁光，孟凡宇.基于深度神經(jīng)網(wǎng)絡(luò)的特征加權(quán)融合人臉識別方法[J].計算機(jī)應(yīng)用，2016，36（2）：437-443.