基于多模態融合的人臉反欺騙算法研究

顏增顯，孔 超，歐衛華*

(1.廣西現代職業技術學院，廣西 河池 547000；2.貴州師范大學，貴州 貴陽 550025)

0 引 言

隨著網絡和圖像編輯技術的進步，人們很容易通過社交網絡等平臺獲取別人的人臉圖像，并將其用于人臉識別系統的攻擊[1]，如照片、回放視頻或3D面具攻擊等。準確識別所捕獲的人臉圖像是真實人臉而不是虛假人臉是人臉識別系統廣泛應用的重要前提。人臉反欺騙就是研究判別捕獲的人臉圖像是真實人臉還是虛假人臉的一種技術，是人臉識別系統的重要安全保障[2]。

傳統的人臉反欺騙算法主要使用人工設計的特征，如LBP[3]、HoG[4]、SURF和DoG[5]，來刻畫真實人臉和虛假人臉的不同特征分布，然后使用分類器(如支持向量機分類器)對真實人臉和虛假人臉進行分類。如Boulkenafet等人[6]從HSV或YCbCr顏色空間中提取局部二值模式特征描述真實人臉和虛假人臉之間的細微差別，然后利用支持向量機進行分類。基于Lambertian模型，Tan等人[7]提出了一種基于高斯差分(DoG)濾波器的方法來提取真實人臉或照片的不同表面特征的基本信息，并利用稀疏邏輯回歸模型進行分類。Patel等人[8]將多尺度LBP和基于圖像質量的顏色矩特征[9]結合起來作為單一特征向量輸入到支持向量機進行分類。傳統的人臉反欺騙方法可以在受限環境(如特定光照、靜態等條件)中取得良好的效果，但在無約束條件下性能會大幅度下降[10]。

由于卷積神經網絡(CNN)在計算機視覺中的成功應用，人們開始研究基于卷積神經網絡的人臉反欺騙方法。研究人員把人臉反欺騙視為一個二分類問題，將卷積神經網絡當作特征提取器，提取判別性特征實現真實人臉和虛假人臉的分類。例如，Yang等人[11]利用深度卷積神經網絡(CNN)學習高分辨力的特征來對真實人臉和虛假人臉進行分類。Atoum等人[12]通過從人臉圖像中提取局部特征和整體的深度圖，提出了一種基于雙輸入CNN的人臉反欺騙方法。Liu等人[13]提出了一種CNN-RNN模型，利用像素級監督來估計人臉深度，用序列監督來估計心率(rPPG)信號，最后將估計的深度圖和rPPG信號進行融合以區分真實人臉和虛假人臉。上述方法證明了卷積神經網絡可以非常有效地用于人臉反欺騙。

因不同模態圖像提供不同信息，如紅外、深度圖像和RGB圖像，如何有效融合不同模態信息實現人臉反欺騙成為近年來的研究熱點。例如Aleksandr等人[14]提出了一種多模態反欺騙網絡，分別對每一模態進行處理，并在不同網絡層上聚合特征，旨在增強神經網絡的RGB、紅外和深度分支之間的信息融合。Yu等人[15]將單模態網絡中心差分卷積網絡擴展到多模態情形，用于提取模態之間豐富的判別特征。Tao等人[16]提出了一種多輸入CNN結構FaceBagNet，并在訓練過程中隨機去除一個模態特征，以防止過度擬合和更好地學習融合特征。然而，已有多模態人臉反欺騙方法缺乏不同模式態間的信息交互，很難有效地利用模態間的互補信息。

針對上述問題，該文提出了一種基于多模態融合的人臉反欺騙方法。先通過多模態共享分支網絡實現特征提取過程中不同模態間的信息交互，然后利用多模態通道注意力網絡融合不同模態的特征。與已有工作相比較，該方法具有以下創新：

(1)提出了一種多模態共享分支網絡，實現了不同模態間的信息交互。

(2)提出了一種多模態通道注意力網絡，實現了不同模態特征的有效融合。

(3)在基準數據集CASIA-SURF上獲得了最好結果。

1 多模態融合人臉反欺騙模型

1.1 整體結構

該文提出了一種基于多模態融合的人臉反欺騙模型。如圖1所示，模型主要由兩部分組成：

(1)對RGB、深度、紅外人臉圖像塊進行多模態特征提取；

圖1 基于多模態融合的人臉反欺騙模型的網絡結構

(2)對不同模態特征進行融合。

1.2 多模態特征提取

1.2.1 網絡框架

從不同模態輸入圖像隨機提取圖像塊作為模型輸入，選擇ResNet-34網絡[17]作為主干，其中包括六個由卷積層和殘差層組成的卷積塊(即res1，res2，res3，res4，res5，res6)，一個全局平局池化層和兩個完全連接層。

1.2.2 多模態輸入數據

不同于已有方法，對不同模態數據，該文隨機選擇人臉圖像中的圖像塊作為輸入，進行模型訓練，其原因如下：

(1)防止過擬合。例如，CASIA-SURF數據集包含1 000名測試者，每個人有7個視頻片段。盡管從每個視頻中提取數百張圖像，但由于跨幀的高度相似性，模型容易出現過擬合現象。

(2)提高特征判別性。真假人臉的判別信息分布與整個面部不同區域，使用圖像塊則可以有效學習判別信息[16]。

(3)減少模型參數，提高訓練速度。相對于使用全臉圖像，使用圖像塊作為輸入可以減少模型的參數，極大縮短模型的訓練時間。

1.2.3 多模態共享分支網絡

不同模態間信息具有互補性，如RGB圖像具有豐富的細節，深度圖像距離信息，紅外圖像則包含熱輻射能量分布信息。為了充分利用不同模態間的互補信息，如圖1所示，分別在res1，res2，res3，res4后設計多模態共享分支網絡實現不同模態間的信息交互。多模態共享分支網絡結構如圖2所示，包括兩部分：

圖2 多模態共享分支網絡的網絡結構

(1)先將不同模態的特征進行拼接，并利用通道注意力網絡(SEN)計算拼接特征中不同通道的權重，然后對輸入特征重新加權。與直接采用不同模態的拼接特征相比，通道注意力網絡可以進行模態間的對比來選擇信息量更大的模態特征和相應的通道特征，同時抑制來自信息量較小的模態特征。

(2)將不同模態的拼接特征拆分，并與前一層多模態共享分支網絡提取的特征對應元素相加，輸入到相應的網絡塊中提取特征，最后將提取的特征添加到主網絡的各個模態，從而實現不同模態間的信息交互。

1.2.4 通道注意力網絡

該文選擇通道注意力網絡[18]來構成多模態共享分支網絡。首先輸入一個通道數為c，寬高為w、h的特征，然后通過下面三個操作來重標定輸入的特征：

(1)壓縮(Squeeze)操作。通過全局(最大或平均)池化操作分別將不同的通道特征壓縮為單一的數值，該數值在一定程度上包含了特征的全局感受野。其中輸出和輸入特征的通道數相同為c。

(2)激勵(Excitation)操作。將壓縮操作的輸出結果輸入到兩個全連接操作(FC)中以描述不同通道間的相關性，最后輸出通道數為c的權重。

(3)重新加權(Reweight)操作。由于激勵操作所得到的權重可以在一定程度上代表每個通道特征對于所給任務的重要程度，為每個通道特征乘以其所對應的權重值，可以實現輸入特征在通道維度上的重新標定。

1.3 多模態特征融合

該文基于通道注意力融合網絡實現不同模態特征的融合。

1.3.1 單模態通道注意力融合網絡

與直接將不同通道特征拼接起來不同，通道注意力融合模塊根據通道特征進行重新加權，以選擇信息量更大的通道特征，同時抑制無用的通道特征。

通道注意力融合模塊可以增加對區分真實人臉和虛假人臉更有效的通道特征的權重，使卷積神經網絡可以學習到更多虛假人臉特有的鑒別性信息。通道注意力融合模塊對單一模態的特征進行了有效通道特征的選擇。但RGB、深度和紅外三種模態的圖像對于人臉反欺騙具有互補性，為了對不同模態的特征間進行對比進而選擇更有效的模態特征，同時抑制判別性差的模態的無用通道特征，該文設計了一種多模態通道注意力融合網絡，以實現不同模態間信息融合。

1.3.2 多模態通道注意力融合網絡

具體如圖3所示，先采用通道注意力網絡在不同模態的拼接特征中進行重新加權，以選擇更有效的模態特征，然后將拼接特征重新拆分成三種不同模態的特征，接著采用通道注意力網絡在每個模態內選擇信息量更大的通道特征，最后將三種模態的特征再次拼接起來生成多模態特征。

圖3 多模態通道注意力融合網絡的網絡結構

2 實驗和結果分析

2.1 數據集

采用的CASIA-SURF數據集[19]是目前最大的人臉反欺騙數據集。該數據集由三種不同模態的數據組成：RGB、深度和紅外圖像，共分為訓練、驗證和測試三個子集，分別有6,300(每個模態2,100個視頻)、2,100(每個模態700個視頻)、12,600(每個模態4,200個視頻)個視頻。由于數據量大，研究人員在每10幀中選取1幀，在預處理后分別形成約148K、48K、295K的采樣集，分別用于訓練、驗證和測試。

2.2 評價度量及對比方法

2.2.1 評價度量

為了保證評估的公平性與客觀性，采用了人臉反欺騙中常用的5個指標：攻擊呈現分類錯誤率(APCER)、真實呈現分類錯誤率(BPCER)、平均分類錯誤率(ACER)、假正率(FPR)和真正率(TPR)。各自計算公式如下：

APCER：把虛假人臉預測為真實人臉的比例，其計算式為：

BPCER：把真實人臉預測為虛假人臉的比例，其計算式為：

ACER：APCER和BPCER的均值，其計算式為：

TPR：將真實人臉預測對的比例，其計算式為：

FPR：將虛假人臉預測為真實人臉的比例，其計算式為：

True Positive(TP)為將真實人臉預測正確的數量；True Negative(TN)為將虛假人臉預測正確的數量；False Positive(FP)為將虛假人臉預測為真實人臉的數量；False Negative(FN)為將真實人臉預測為虛假人臉的數量。

2.2.2 對比方法

為了評估所提出方法的有效性，選擇了以下多模態人臉反欺騙方法進行比較：

·單尺度多模態融合(NHF)[19]。該方法采用ResNet-18作為主干分別處理三種模態的數據，然后將特征連接起來，最后由全局平均池化操作(GAP)和兩個完全連接層構成。

·基于通道注意力融合模塊的單尺度多模態融合(Single-scale fusion)[19]。在單尺度多模態融合方法的基礎上，對每個分支最后一層的特征通過通道注意力網絡進行重標定。

·基于ResNet-18的多尺度多模態融合(Multi-scale fusion)[20]。在單尺度多模態融合的基礎上，通過在不同網絡層采用全局平均池化操作拓展到多尺度情形。

·基于ResNet-34的多尺度多模態融合(Stronger backbone)[20]。在多尺度多模態融合的基礎上，將主干網由ResNet-18替換為結構更復雜的ResNet-34。

·基于圖像塊的特征學習方法(FaceBagNet)[16]。它是一種多輸入CNN網絡，采用圖像塊作為輸入，并通過模態特征隨機擦除(MFE)操作來防止過度擬合。

·基于局部和深度圖像的人臉反欺騙方法(Patch and Depth)[12]。采用圖像塊和深度圖作為輸入，通過CNN來提取兩者特征并結合。

·靜態和動態圖像融合的多模態的人臉反欺騙(PSMM-Net)[21]。將SD-Net網絡拓展到多模態版本，并提出了一種部分共享的融合方法來學習不同模態間的互補信息。

2.3 實現細節

該文將原始的全臉圖像大小調整112×112，并使用隨機旋轉、翻轉、裁剪和顏色失真進行數據增強。同時從原始圖像中隨機選取不同大小圖像塊，即16×16、32×32、48×48、64×64和全部圖像。如表2所示，經過多次實驗證明，當圖像塊尺寸為48×48時，實驗效果最好，因此最終選擇48×48的圖像塊進行實驗。實驗采用隨機梯度下降(SGD)算法對模型進行25個周期的訓練，初始學習率為0.1，經過15個和20個周期后，學習率下降10倍，批處理大小為64。

損失函數：損失函數采用的是softmax loss，其表達式為：

其中，Wj為網絡最后一個全連接層的權重W的第j列；b為偏置項；C為類的數目；xi為第i個樣本的特征；yi為xi對應的類標簽。

2.4 實驗結果

2.4.1 不同多模態融合方法比較

不同多模態融合方法的比較結果如表1所示。

表1 不同多模態融合方法比較

可以看出，文中方法相對于現有的多模態人臉反欺騙方法性能更佳。相對于方法[16]，文中方法在平均分類錯誤率(ACER)上降低了0.8%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了10%。相對于方法[20]，文中方法在平均分類錯誤率(ACER)上仍然降低了0.4%，在假正率(FPR)為10-4的情況下真正率(TPR)也提升了0.4%。與網絡結構更復雜方法[21]相比，文中方法在平均分類錯誤率(ACER)上也取得了相同結果，在攻擊呈現分類錯誤率(APCER)上降低了0.2%，且提出的多模態融合模型網絡結構更簡單。

2.4.2 消融實驗

為了研究多模態共享分支模塊(Multi-modal Shared branch Network)和多模態通道注意力融合模塊(Multi-modal Squeeze and Excitation Fusion)的有效性，采用48×48大小的圖像塊進行了一系列的消融實驗。其中“MMSN& MSEF”表示同時去掉多模態共享分支模塊和多模態通道注意力融合塊，“MSEF”表示去掉多模態通道注意力融合塊，“MMSN”表示去掉多模態共享分支模塊。

如表2所示，僅采用多模態共享分支模塊相對于兩模塊均去掉的原始模型在平均分類錯誤率(ACER)上降低了0.4%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了17%。僅采用多模態通道注意力融合模塊相對于原始模型在平均分類錯誤率(ACER)上降低了0.5%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了18%。兩個模塊結合實現了最好結果，在平均分類錯誤率(ACER)上降低了0.9%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了21%。實驗結果充分證明了多模態通道注意力融合模塊和多模態共享分支模塊的有效性。

表2 消融實驗結果

2.4.3 不同融合方法實驗結果比較

為了研究提出的多模態通道注意力融合方法對模型的影響，將模型中的融合方法進行替換，進行對比實驗。結果如表3所示，提出的多模態通道注意力融合方法取得了最好的實驗結果，相對于通道注意力融合方法，在平均分類錯誤率(ACER)上降低了0.4%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了3.1%。

表3 不同融合方法實驗結果

2.4.4 不同特征提取方法實驗結果比較

為了研究提出的多模態共享分支模塊對模型的影響，將模型中的特征提取網絡進行替換，進行對比實驗。結果如表4所示，采用文中提出的多模態共享分支模塊得到了最好結果，相對于多尺度特征提取方法，在平均分類錯誤率(ACER)上降低了0.3%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了2.4%。同時，多模態共享分支模塊中的通道注意力網絡(SEN)也起到了至關重要的作用，相比于去除了通道注意力網絡的多模態共享分支模塊，在平均分類錯誤率(ACER)上降低了0.1%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了13%。

表4 不同特征提取方法實驗結果

續表4

2.4.5 不同圖像塊大小實驗結果比較

為了研究不同圖像塊大小對模型的影響，采用了不同大小的圖像塊進行實驗，即16×16、32×32、48×48、64×64和全部圖像。如表5所示，當圖像塊大小為48×48時實驗效果最佳，相對于采用整體圖像而言在平均分類錯誤率(ACER)上降低了2.4%，在假正率(FPR)為10-4的情況下真正率(TPR)提升了37%。

表5 不同圖像塊大小實驗結果

2.4.6 不同模態組合實驗結果比較

不同模態組合實驗結果如表6所示。可以看到，僅有RGB和紅外(IR)模態組合時平均分類錯誤率(ACER)為1.8%，在假正率(FPR)為10-4的情況下真正率(TPR)為66.1%。而Depth深度和RGB模態組合時在平均分類錯誤率(ACER)上達到了1.4%，在假正率(FPR)為10-4的情況下真正率(TPR)達到了68.1%。但深度和紅外模態組合結果最好，平均分類錯誤率(ACER)為1.8%。融合三種模態時實現了最佳結果，平均分類錯誤率(ACER)降低到了0.4%，在假正率(FPR)為10-4的情況下的真正率(TPR)提升到了95.6%。這有效說明了多模態融合的必要性。

表6 不同模態組合實驗結果

3 結束語

該文提出了一種多模態融合的人臉反欺騙模型。先通過多模態共享分支網絡實現不同模態間信息的交互，然后利用多模態通道注意力融合網絡融合不同模態的特征。實驗結果表明，與現有方法相比，該方法實現了更好的性能，尤其是平均分類錯誤率(ACER)指標達到了0.4%。另外，提出的多模態共享分支網絡和多模態通道注意力融合網絡結構簡單，可以應用到其他基于卷積神經網絡的多模態人臉反欺騙模型，具有較好的通用性。