基于孿生網(wǎng)絡的小樣本人臉識別研究

中圖分類號：TP391.41 文獻標志碼：A 文章編號:1003-5168(2025)14-0023-05

DOI:10.19968/j.cnki.hnkj.1003-5168.2025.14.004

Research on Few-Shot Face Recognition Based on Siamese Networks

XU Qinan XIA ChunguanLIN Yuqing (ZhouKou Normal University， Zhoukou 466oo0， China)

Abstract: [Purpose] This study aims to explore few-shot face recognition technology based on Siamese networks to address the performance degradation of face recognition systems caused by data scarcity. [Methods]An enhanced Siamese network model is constructed and integrated with the MTCNN face detection algorithm to achieve precise facial region extraction.A mutual information metric is introduced to measure feature similarity，where the mutual information value between the joint distribution and marginal distribution of dual-branch feature vectors serves as the similarity criterion.By combining a contrastive loss function，the feature embedding space is optimized to maximize mutual information forintra-class samples while minimizing it for inter-class samples，thereby enhancing feature discriminabilityunder few-shot conditions.Additionaly，mutual information is normalized to the [O，1]interval to improve the robustness of similarity quantification，strengthening model stability and generalization.[Findings] Experimental results on the ATT dataset demonstrate that the proposed method achieves a recognition accuracy of 98.64% under few shot conditions，outperforming traditional approaches such as PCA + SVM (63.87%)， DeepFace (96. 11% )，and FaceNet ( 97.41% )，whichvalidates its effectiveness and innovation.[Conclusions] The enhanced Siamese network facilitates high-precision face recognition with limited data，providing novel insights and methodologies to the field of few-shot learning.

Keywords: siamese network; face recognition; few-shot learning; mutual information metric

0 引言

近年來，隨著人工智能技術的迅速發(fā)展，人臉識別已成為計算機視覺領域中一個備受關注的研究方向，在安防監(jiān)控、金融支付、社交媒體和智能家居等多種應用中展現(xiàn)出巨大的潛力。傳統(tǒng)的人臉識別技術往往依賴于大量標注數(shù)據(jù)進行訓練，但在某些特殊情況下，如面對新興個體或罕見身份樣本時，獲取足夠的訓練樣本會變得困難。這種數(shù)據(jù)稀缺性對人臉識別系統(tǒng)的性能造成了顯著影響，從而推進了小樣本學習(Few-ShotLearning，F(xiàn)SL)技術的發(fā)展。小樣本學習旨在通過少量樣本進行有效的模型訓練，是近年來研究人員的重點關注領域。孿生網(wǎng)絡（SiameseNetwork）作為一種有效的深度學習架構(gòu)，能夠通過學習相似度來處理小樣本學習任務。其主要通過一對輸入圖像的比較，來判斷兩個樣本的相似性，極大提高了在小樣本情況下的特征學習能力。

目前，人臉識別技術在國內(nèi)外已經(jīng)取得了顯著的發(fā)展，主流的方法可分為兩種。 ① 基于傳統(tǒng)的機器學習方法。該類方法需要提取人臉面部特征，通過機器學習進行模式匹配，或者通過相似度比較方法進行分類比較，常用的機器學習方法包括組成成分分析（PCA）線性判別分析(LDA)和支持向量機(SVM)等機器學習方法。蘇煜等提出一種特征選取方法，通過機器學習算法進行人臉識別，該方法能夠顯著提升檢測的速度和精度。李康順等[2]采用PCA算法提取圖像的主要特征，并結(jié)合一種新的權(quán)值調(diào)整方法改進BP算法進行圖像分類識別，進而提升人臉識別的速度和識別率。徐竟?jié)傻萚3]提出了一種基于PCA、LDA和SVM算法融合的人臉識別方法，該方法能夠消除圖像特征間的噪聲影響，將三種算法的優(yōu)點結(jié)合起來，大幅提升了人臉識別的精度。綜上所述，基于傳統(tǒng)的機器學習方法雖然能夠在一定程度上提升人臉識別的效率，但是需要嚴苛的環(huán)境支持，在不同光照、角度、表情變化等復雜環(huán)境下的表現(xiàn)仍然不盡如人意。 ② 基于深度學習的人臉識別方法。深度學習的引入革新了人臉識別技術，卷積神經(jīng)網(wǎng)絡(CNN)通過自動化特征提取，大幅提升了人臉識別的準確率。Taigman等4提出的DeepFace模型，首次將卷積神經(jīng)網(wǎng)絡運用于人臉識別中，識別精度超過人眼，通過實驗可以發(fā)現(xiàn)經(jīng)過處理對齊之后的人臉識別精度在LFW(LabelledFacesintheWild)數(shù)據(jù)集上可以達到

97.35% 。Sun等5提出了基于卷積神經(jīng)網(wǎng)絡的DeepID人臉識別方法，通過多尺度、多區(qū)域、多通道剪切人臉圖像來擴增數(shù)據(jù)集，在LFW數(shù)據(jù)集上的準確度達到了 97.45% 。Schroff等提出一種FaceNet模型，該模型的主要特點是使用了新的三元組損失函數(shù)，將CNN運用到人臉識別場景上來，在公共數(shù)據(jù)集LFW上達到了前所未有的性能。Zhang等7提出的一種基于卷積神經(jīng)網(wǎng)絡(CNN)的人臉檢測算法MTCNN，該算法通過級聯(lián)三個不同的CNN網(wǎng)絡 (P-Net.R-Net.0-Net) ，實現(xiàn)了從粗到細的人臉檢測與關鍵點定位。MTCNN不僅在檢測速度上表現(xiàn)出色，同時在檢測準確率上也達到了較高的水平。

在國內(nèi)，清華大學、北京大學、復旦大學等高校在深度學習識別人臉技術領域都開展了大量基礎研究。同時，商湯科技、曠視科技、依圖科技等企業(yè)積極推動技術的商業(yè)化應用。國際上，麻省理工學院、斯坦福大學、卡內(nèi)基梅隆大學等高校在理論和算法研究中處于領先地位。大公司如Facebook、Google、Microsoft等也致力于推動人臉識別技術的前沿研究。但是目前還是存在不少的挑戰(zhàn)，主要集中在幾個方面。

① 深度學習模型通常需要大量的標注數(shù)據(jù)進行訓練，而在某些應用場景中，獲取大量標注的人臉圖像可能非常困難，導致模型過擬合或泛化能力差。 ② 計算資源消耗大，訓練深度學習模型通常需要高性能的計算資源，限制了技術的普及。 ③ 在小樣本情況下，傳統(tǒng)的深度學習模型可能無法有效學習，從而影響識別性能，實現(xiàn)小樣本學習的能力仍是個挑戰(zhàn)。

針對以上存在的問題，本研究提出了一種基于孿生網(wǎng)絡的小樣本人臉識別方法。孿生網(wǎng)絡通過學習相似性和特征嵌入，使其在僅有少量樣本的情況下，仍能有效識別出人臉樣本。并且，孿生網(wǎng)絡通過優(yōu)化為共享權(quán)重的方式，能夠減少計算資源的消耗。該方法更加注重相似性學習，可以在不同光照、角度、表情變化等情境下，保持較高的識別精度，緩解深度學習模型對環(huán)境變化的敏感性問題

1相關技術

1.1人臉識別模型MTCNN

MTCNN （Multi-task Cascaded ConvolutionalNetworks)是一種深度學習模型，用于高效的人臉檢測和關鍵點定位。其架構(gòu)分為3個階段：P-Net、R-

Net和O-Net。P-Net快速生成候選框并篩選非人臉區(qū)域；R-Net進一步精煉這些候選框，提升檢測精度并應用非極大值抑制(NMS)以減少誤檢；O-Net結(jié)合前兩個網(wǎng)絡的結(jié)果，提供最終的人臉框、置信度及5個關鍵點的位置。MTCNN的設計使其在精度和效率上表現(xiàn)優(yōu)異，成為人臉識別領域的重要基礎模型。

1.2孿生神經(jīng)網(wǎng)絡結(jié)構(gòu)

孿生網(wǎng)絡(SiameseNetwork）[8是一種獨特的神經(jīng)網(wǎng)絡架構(gòu)，專注于學習輸入之間的相似性和差異，其設計旨在解決圖像匹配、檢索及人臉識別等問題。孿生網(wǎng)絡的顯著特點在于其雙分支結(jié)構(gòu)，這兩個分支是相同的神經(jīng)網(wǎng)絡，具備共享參數(shù)的能力，可分別處理不同的輸入數(shù)據(jù)。該網(wǎng)絡由一對具有相同結(jié)構(gòu)和共享權(quán)重的卷積網(wǎng)絡組成，輸入時提供兩個樣本，通過共享權(quán)重的模型將輸人圖像轉(zhuǎn)換為特征向量，然后通過相似性比較方法計算兩個輸入之間的相似性，孿生神經(jīng)網(wǎng)絡結(jié)構(gòu)如圖1所示。

2改進的孿生神經(jīng)網(wǎng)絡模型

本研究提出的改進的孿生神經(jīng)網(wǎng)絡人臉模型識別算法流程如圖2所示。首先，使用MTCNN來檢測人臉圖像中的人臉區(qū)域，并對其進行截取，以減少計算量和排除無關的圖像信息；其次，所有提取出的人臉圖像需經(jīng)過標準化處理，以降低光照、噪聲等外部因素的干擾；再次，經(jīng)預處理后的圖像通過孿生網(wǎng)絡進行計算；最后，通過比較輸出特征向量在特征向量空間的歐氏距離，來評估兩張人臉圖像的相似性。

2.1主干卷積神經(jīng)網(wǎng)絡設計

為加快模型訓練，并在有限資源下實現(xiàn)快速收斂，選擇孿生網(wǎng)絡的主干網(wǎng)絡時應避免過深的結(jié)構(gòu)。雖然輸入圖像尺寸越大，包含的人臉信息越豐富，但也增加了計算負擔。計算量主要受圖像尺寸影響，而對人臉識別來說，使用RGB彩色圖像與灰度圖像在效果上差異不大。因此，本研究將輸入圖像調(diào)整為尺寸 128×128×1 。由于全連接層占據(jù)VGG16網(wǎng)絡模型的 90% 參數(shù)量，所以減少網(wǎng)絡參數(shù)和計算量的關鍵在于優(yōu)化全連接層設計。本研究中的主干網(wǎng)絡僅包含2個全連接層，整個網(wǎng)絡由6個卷積層組成，采用 3×3 的卷積核。主干網(wǎng)絡模型參數(shù)見表1。

2.2距離函數(shù)設計

距離函數(shù)是孿生網(wǎng)絡的重要內(nèi)容，本研究采用互信息相似度比較的方法度量兩個網(wǎng)絡之間的特征距離。在信息論中，信息熵是度量樣本集合純度最常用的一種指標，可用 H(X) 表示，具體見式(1)。

式中： p(x) 表示樣本 x 的概率。

互信息（MutualInformation）是信息論里一種重要的信息度量方式，可以看成一個隨機變量中包含的有關于另一個隨機變量的信息量。假設輸入的兩個人臉圖像樣本為 X，Y ，則兩者之間的互信息可以表示為 I(X;Y) ，具體見式(2）。

I(X;Y)=H(X)-H(X|Y)

在式(2)中， X 和 Y 的聯(lián)合信息熵的表示見式(3)。

綜合式 (1)～ 式(3），可以推導得出確切值，見式（4)。

在知道其中一個隨機變量后，表示另一個隨機變量不確定性削弱的程度，因而互信息最小值為0。這意味著在給定一個隨機變量后，對確定另一個隨機變量沒有任何關系。最大取值表示為一個隨機變量的熵，意味著在給定一個隨機變量后，則能夠完全消除另一個隨機變量的完全不確定性。也就是說，互信息值越大，兩個項之間的關系越近，相似度越大?；バ畔ψ兞亢偷姆植紱]有任何特殊要求，可以用來描述變量之間的線性相關關系或非線性相關關系。為使互信息的值在[0，1之間，將其進行歸一化處理，見式(5)。

通過式(5)即可得到兩個孿生網(wǎng)絡特征之間0~1

的相似度。

3實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)

本研究采用ATT數(shù)據(jù)集進行實驗，其中ATT數(shù)據(jù)集一共400張圖片，40個類別。每個類別下有10張樣本圖片，且照片是一個人在不同角度下拍攝所得。在確定數(shù)據(jù)集抽取樣本后，對數(shù)據(jù)集圖像進行預處理，預處理方法包括歸一化和灰度化，把所有圖片按照3：1劃分訓練集和測試集。數(shù)據(jù)集部分圖像樣式如圖3所示。

3.2實驗結(jié)果分析

在模型訓練階段，本研究采用孿生網(wǎng)絡常用的對比損失函數(shù)，并將學習率設置為0.01。通過優(yōu)化過程，模型在訓練集與驗證集上的損失函數(shù)變化趨勢如圖5所示。該圖直觀反映了模型收斂的穩(wěn)定性與有效性。

由圖4可知，訓練損失(train_loss)和驗證損失（val_loss）都表現(xiàn)出了明顯的下降趨勢，說明模型在訓練過程中逐漸學習到了數(shù)據(jù)中的模式。訓練到第140輪時，模型趨于穩(wěn)定，模型在訓練過程中

展現(xiàn)了良好的學習能力和穩(wěn)定性。

為驗證本研究所提方法的有效性，將其與以下代表性模型進行對比實驗。 ① DPCA+BP 算法[2]，該方法通過主成分分析(PCA)提取圖像特征，并結(jié)合改進的反向傳播(BP)神經(jīng)網(wǎng)絡進行分類，在傳統(tǒng)機器學習方法中具有較高的效率。 ② DeepFace模型4，作為首個將深度卷積神經(jīng)網(wǎng)絡應用于人臉識別的里程碑工作，采用3D對齊與多層級特征融合策略。 ③ FaceNet模型基于三元組損失函數(shù)優(yōu)化人臉嵌入空間，顯著提升人臉聚類的判別性。 ④ Arc-Face模型，通過加性角度邊際損失增強類間可分性，代表了當前人臉識別領域的前沿技術。不同方法人臉識別準確率見表2。

由表2可知，本研究提出的方法在識別準確率上優(yōu)于其他幾種對比模型，識別準確率達到98.64% 。其中， PCA+BP 是最低的，說明傳統(tǒng)的機器學習方法對于特征提取的不夠深入，導致識別準確率低。而DeepFace、FaceNet及ArcFace使用了深度學習的方法，但還是沒有本研究所提方法的識別率高，充分說明了本研究所提方法具有一定的優(yōu)勢。

4結(jié)論

本研究使用改進的孿生神經(jīng)網(wǎng)絡實現(xiàn)小樣本人臉識別。首先，采用MTCNN算法進行人臉檢測與區(qū)域截取，有效提升后續(xù)識別精度；其次，引入互信息作為特征距離的相似性度量方法，通過量化特征間的非線性關系增強判別能力。同時，主干網(wǎng)絡基于VGG架構(gòu)精簡設計，選取其前6個卷積層提取人臉特征，顯著降低模型復雜度。通過上述方法，本研究在有限樣本條件下實現(xiàn)了高精度的人臉識別，驗證了方法的創(chuàng)新性與實際適用性。

參考文獻：

[1]蘇煜，山世光，陳熙霖，等.基于全局和局部特征集成的人臉識別[J].軟件學報，2010，21(8)：1849-1862.

[2]李康順，李凱，張文生.一種基于改進BP神經(jīng)網(wǎng)絡的PCA人臉識別算法[J].計算機應用與軟件，2014，31(1):158-161.

[3]徐競澤，吳作宏，徐巖，等.融合PCA、LDA和SVM算法的人臉識別[J].計算機工程與應用，2019，55（18）：34-37.

[4]TAIGMANY，YANGM，RANZATO MA，etal. Deepface:closing the gap to human-level performance in face verification[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.IEEEComputer Society， 2014:1701-1708.

[5]SUNY，WANG X，TANG X.Deep learning face rep resentation from predicting 10，Ooo classes[C]//Proceedings of the IEEE conference on computer vision and pattern recognition.IEEE，2014:1891-1898.

[6]SCHROFFF，KALENICHENKO D，PHILBIN J. Facenet:aunifiedembeddingforfacerecognitionandclustering[C]//Proceedingsof the IEEE conference on computervisionandpatternrecognition.IEEE，2015:815-823.

[7]ZHANGKP，ZHANGZP，WANGH，etal.Detectingfacesusinginsidecascadedcontextual CNN[C]//Proceedingsof the IEEE international conference on computer vision. IEEE，2017:3171-3179.

[8]LIY，CHENCLP，ZHANGT.A survey on siamesenetwork:methodologies，applications，andopportunities[J].IEEETransactionsonArtificial Intelligence，2022，3 (6):994-1014.

[9]丁晶，王文圣，趙永龍.以互信息為基礎的廣義相關系數(shù)[J].四川大學學報（工程科學版），2002(3）：1-5.

[10]DENGJ，GUO J，XUEN，etal.Arcface:Additive angular margin loss fordeep face recognition[C]//Proceedings of the IEEE/CVF conference on computer vision and patternrecognition.2019:4690-4699.