HRDA-Net：面向真實場景的圖像多篡改檢測與定位算法

朱葉，余宜林，郭迎春

（1.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300401；2.深圳市媒體信息內(nèi)容安全重點實驗室，廣東 深圳 518060）

0 引言

圖像編輯軟件的日益普及，使圖像編輯越來越容易，甚至單張圖像存在多類篡改操作。因此，多篡改圖像的檢測與定位任務(wù)的研究至關(guān)重要。

主流圖像篡改盲取證方法可分為基于圖像級的篡改檢測和基于像素級的篡改定位[1]。基于雙通道 R-FCN（region-based fully convolutional network）模型在篡改檢測任務(wù)中表現(xiàn)了較高性能[2]。基于空間光照一致性[3]的圖像篡改檢測算法，對噪聲后處理穩(wěn)健性較高。隨著卷積網(wǎng)絡(luò)的發(fā)展，基于預(yù)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN,convolutional neural network）[4]和基于分塊CNN[5]的卷積網(wǎng)絡(luò)訓(xùn)練方式被提出以檢測篡改圖像。針對像素級圖像單一篡改，Liu 等[6]提出基于全卷積網(wǎng)絡(luò)和條件隨機場的拼接篡改像素級定位框架，但是受數(shù)據(jù)集限制容易陷入過擬合。繼而，文獻[7]提出環(huán)形殘差U-net 網(wǎng)絡(luò)，加強CNN 的學(xué)習(xí)能力。文獻[8]使用U 型檢測網(wǎng)絡(luò)和全連接條件隨機場進行篡改檢測。

針對像素級的篡改定位，文獻[9]提出基于串行模型的篡改分支和相似度分支融合的復(fù)制-粘貼定位算法，即將篡改區(qū)域和源區(qū)域定位后再進行分類；文獻[10]提出基于自適應(yīng)注意力機制和殘差細(xì)化模塊的卷積網(wǎng)絡(luò)框架，進一步提升篡改區(qū)域定位精度。針對圖像移除篡改取證，Li 等[11]利用不同方向高通濾波器提出增強篡改痕跡特征，進行圖像移除篡改定位。另外，針對包含多類篡改的數(shù)據(jù)集，文獻[12]采用多尺度卷積得到篡改概率圖，并與分割結(jié)果進行融合，實現(xiàn)篡改區(qū)域的像素級定位。Bappy 等[13]采用長短期記憶網(wǎng)絡(luò)和CNN 的混合網(wǎng)絡(luò)學(xué)習(xí)邊緣矛盾特征，實現(xiàn)了端到端的篡改定位網(wǎng)絡(luò)。基于RGB流+噪聲流的雙流網(wǎng)絡(luò)[14]、ManTra-net[15]、空間金字塔注意力網(wǎng)絡(luò)（SPAN,spatial pyramid attention network）[16]陸續(xù)被提出，實現(xiàn)了對拼接、復(fù)制-粘貼和圖像移除篡改的像素級定位。

綜上所述，主流篡改檢測和定位方法都是針對單一類別篡改取證問題，其應(yīng)用場景非常局限。主流圖像篡改數(shù)據(jù)集僅包含單一篡改操作，且訓(xùn)練數(shù)據(jù)集僅包含篡改數(shù)據(jù)，對真實圖像定位存在“偽影”現(xiàn)象，即篡改數(shù)據(jù)集訓(xùn)練的篡改定位網(wǎng)絡(luò)在真實圖像上仍能定位到篡改區(qū)域。并且，目前主流篡改數(shù)據(jù)集單幅圖像僅包含單一種類篡改操作。為此，本文構(gòu)建面向真實場景的多篡改數(shù)據(jù)集（MM Dataset,multiple manipulation dataset），每幅篡改圖像同時包含拼接和移除2 種篡改操作。以此為基礎(chǔ)，本文提出面向真實場景的多篡改檢測與定位算法，即高分辨率擴張卷積注意力網(wǎng)絡(luò)（HRDA-Net,high-resolution representation dilation attention network），以高分辨率網(wǎng)絡(luò)（HRNet,high-resolution representation network）[17]為基線，同時完成篡改檢測和定位任務(wù)。本文的主要貢獻如下。

1)構(gòu)建面向真實場景的MM Dataset，為真實場景下多篡改操作檢測與定位提供支持。

2)提出HRDA-Net 模型，同時進行多篡改檢測與定位任務(wù)，即檢測圖像是否篡改，同時定位拼接和移除篡改區(qū)域。

3)創(chuàng)新性地引入了余弦相似度損失作為輔助的損失函數(shù)，有效加快網(wǎng)絡(luò)更好收斂。

1 相關(guān)工作

1.1 圖像篡改數(shù)據(jù)集

基于深度學(xué)習(xí)的圖像篡改取證方法離不開大規(guī)模數(shù)據(jù)集的支持，目前公開的篡改數(shù)據(jù)集有CASIA[18]、NIST[19]、COVERAGE[20]、DEFACTO[21]等。其中，CASIA 包含拼接篡改和復(fù)制-粘貼篡改；NIST 包含拼接、復(fù)制-粘貼和移除篡改；COVERAGE 包含100 幅復(fù)制-粘貼篡改圖像；DEFACTO 從COCO[22]數(shù)據(jù)集中挑選了149 000 幅圖像，并且自動對圖像進行拼接、復(fù)制-粘貼和移除操作。但是，以上公開數(shù)據(jù)集篡改圖像僅包含單一種類篡改操作，目前沒有同時包含多類篡改操作的公開數(shù)據(jù)集。本文提出面向真實場景的MM Dataset，包含1 000 組篡改圖像和真實圖像，每一幅圖像都包含拼接和移除2 種篡改操作。

1.2 注意力模塊

計算機視覺領(lǐng)域最早應(yīng)用的注意力模塊是由Hu 等[23]提出的SE（squeeze-and-excitation）模塊，同時提取特征圖的空間與通道信息，在視覺領(lǐng)域的各種任務(wù)中得到廣泛應(yīng)用。Woo 等[24]提出CBAM（convolutional block attention module）模塊，在SE 模塊的基礎(chǔ)上，利用串聯(lián)結(jié)構(gòu)提取通道與空間信息。Zhang 等[25]則使用shuffle 單元整合空間與通道信息，提出SA-net，參照人類視覺系統(tǒng)自上而下的特點，將每個尺度的輸出特征圖進行融合。

但是，相比于其他視覺識別任務(wù)，篡改取證特征較難識別[26]。因此，本文提出改進的自頂向下擴張卷積注意力（TDDCA,top-down dilation convolutional attention）模塊，利用擴張卷積顯著增強特征提取能力。

1.3 損失函數(shù)

損失函數(shù)是深度學(xué)習(xí)模型訓(xùn)練中非常重要的部分，可在訓(xùn)練中集中于正確的特征集合。計算機視覺任務(wù)大多選擇不同的損失函數(shù)。圖像分類任務(wù)中常用的損失函數(shù)有交叉熵?fù)p失（CEL,cross entropy loss）函數(shù)[27]。目標(biāo)檢測任務(wù)中常用的損失函數(shù)有為解決類別不平衡問題的focal loss[28]。圖像識別領(lǐng)域（包括行人再識別、人臉識別等）中常用的損失函數(shù)有CosFace[29]等。篡改檢測領(lǐng)域大多采用交叉熵?fù)p失，但優(yōu)化過程中沒有關(guān)注向量的方向。為解決這個問題，本文設(shè)計余弦相似度損失作為輔助損失函數(shù)，更好地優(yōu)化網(wǎng)絡(luò)輸出向量的方向，從而讓網(wǎng)絡(luò)可以更快更好地收斂到最優(yōu)位置。

2 網(wǎng)絡(luò)結(jié)構(gòu)

本文提出一個端到端的多篡改檢測與定位模型，輸入一幅篡改圖像，輸出該圖像篡改的置信度，并定位拼接和移除篡改區(qū)域。如圖1 所示，以HRNet和密集網(wǎng)絡(luò)（DenseNet）為基線，提取圖像RGB域和SRM（steganalysis rich model）域雙流特征信息，利用自頂向下擴張卷積注意力TDDCA 模塊融合雙流多尺度特征，最后利用擴張卷積（MDC,mixed dilated convolution）模塊[30]訓(xùn)練完成篡改檢測和定位任務(wù)。

2.1 雙分支主干網(wǎng)絡(luò)

主干網(wǎng)絡(luò)由高分辨率HRNet 分支和SRM 密集分支（SRM DB,SRM dense branch）組成，如圖1所示，其中HRNet 分支通過并行連接高分辨率到低分辨率卷積提取篡改圖像RGB 流特征。為最大限度地利用SRM 流的信息，本文借鑒DenseNet[31]設(shè)計思路，提出SRM DB，利用密集連接SRM 流信息，不僅增強篡改特征提取能力，而且避免網(wǎng)絡(luò)傳播過程中特征丟失，降低梯度消失的風(fēng)險。SRM DB中第l層的特征圖Xl為

其中，[X0,X1,…,Xl-1]表示從第0 層到第l-1 層特征圖的通道連接，Hl(·)表示第l層卷積模塊。

本文選取SRM DB 中4、8、16 和32 倍下采樣的特征圖與HRNet 對應(yīng)特征圖進行通道連接，如圖1 通道連接模塊所示。

圖1 高分辨率擴張卷積注意力網(wǎng)絡(luò)結(jié)構(gòu)

2.2 自頂向下擴張卷積注意力模塊

文獻[26]提出的自頂向下的注意力網(wǎng)絡(luò)，模仿人類視覺注意力特點。但是，受其感受野限制，在篡改檢測與定位任務(wù)中存在缺陷。基于此，本文提出自頂向下擴張卷積注意力模塊，如圖2 所示。在傳統(tǒng)的注意力模塊中加入擴張卷積模塊，使其感受野更加豐富，并利用殘差連接，在增強信息傳遞的同時還能避免梯度消失。本文對圖像流和SRM 流中4 個尺度的特征圖進行注意力，專注于篡改特征的提取，在多篡改檢測任務(wù)上發(fā)揮更好的效果。

圖2 自頂向下擴張卷積注意力TDDCA 模塊

2.3 訓(xùn)練方法

多篡改檢測和定位任務(wù)要求同時檢測出多個篡改類型。實驗表明，不同篡改類型具有不同的篡改特征，為了能夠讓網(wǎng)絡(luò)學(xué)習(xí)到不同類型所獨有的特征，引入擴張卷積模塊進行不同篡改任務(wù)的特征提取。

HRDA-Net 在檢測模塊訓(xùn)練時包含真實圖像，但是在定位模塊訓(xùn)練時，真實圖像的加入會造成網(wǎng)絡(luò)難以收斂的問題。為解決該問題，本文采用分步訓(xùn)練方式。篡改檢測和定位任務(wù)的特征圖基本一致，即可先訓(xùn)練定位模塊后凍結(jié)參數(shù)，再單獨訓(xùn)練篡改檢測模塊，可在不影響定位模塊的基礎(chǔ)上，讓檢測模塊學(xué)會提取檢測任務(wù)所需特征。因此，本文的訓(xùn)練步驟主要分為兩步：第一步，使用自制拼接數(shù)據(jù)集對網(wǎng)絡(luò)進行預(yù)訓(xùn)練后，采用MM Dataset訓(xùn)練拼接和移除篡改定位模塊；第二步，將主干網(wǎng)絡(luò)參數(shù)凍結(jié)，單獨訓(xùn)練篡改檢測模塊。訓(xùn)練步驟如圖3 所示。

圖3 訓(xùn)練步驟

2.4 損失函數(shù)

主流篡改檢測模型使用的損失函數(shù)通常不關(guān)注輸出向量方向的優(yōu)化。為解決該問題，本文提出余弦相似度函數(shù)作為輔助損失函數(shù)，在向量方向上進行優(yōu)化，其目標(biāo)是預(yù)測值ypred和標(biāo)簽值ylabel一致，即ypred和ylabel之間的夾角余弦值為1。因此，本文設(shè)計余弦相似度損失函數(shù)Lcos如式(2)所示，取值范圍為[0,1]。

HRDA-Net 的訓(xùn)練主要分為2 個步驟，每個步驟都有各自的損失函數(shù)，如圖3 所示。第一步為拼接和移除區(qū)域定位訓(xùn)練，包含2 個并行的MDC 模塊，所以定位的損失函數(shù)Lloc包含拼接損失Lsplice和移除損失Lremove，如式(3)所示。

其中，權(quán)重α=0.5 和β=0.5 以保證拼接和移除定位任務(wù)平等。Lsplice和Lremove如式(4)和式(5)所示。

其中，γ1=γ2=1.0，δ1=δ2=0.4（經(jīng)多組實驗選取的經(jīng)驗值，可加快收斂速度）。LBCE表示交叉熵?fù)p失函數(shù)，如式(6)所示。

其中，ylable和ypred分別為真實和預(yù)測標(biāo)簽。第二步單獨訓(xùn)練篡改檢測時，使用交叉熵LBCE作為其損失函數(shù)。

3 實驗結(jié)果

為驗證HRDA-Net 多篡改檢測與定位性能，本文在MM Dataset 進行消融和穩(wěn)健性實驗。在對比實驗中，本文首先與主流語義分割模型進行對比，將多篡改定位作為3 類語義分割任務(wù)，即將篡改圖像分類為背景、拼接和移除區(qū)域。為驗證HRDA-Net在單篡改定位任務(wù)上的性能，本文在CASIA 與NIST 數(shù)據(jù)集上進行微調(diào)，與主流單篡改定位模型進行對比。

3.1 MM Dataset 與實驗數(shù)據(jù)集

本文構(gòu)建MM Dataset，真實圖像從COCO[22]數(shù)據(jù)集中選取，包含1 000 組真實圖像和篡改圖像，分辨率為640 像素×480 像素，使用Photoshop 工具對每一幅圖像進行拼接和移除篡改。拼接操作下，篡改源與目標(biāo)圖像的光照、對比度、尺度等信息不同，因此，本文針對目標(biāo)圖像的像素分布特點，對拼接源區(qū)域進行了相應(yīng)的后處理操作，包括亮度、對比度、尺度變換、目標(biāo)翻轉(zhuǎn)等。在移除篡改操作中，利用Photoshop 仿制圖章、修復(fù)畫筆、修補工具等，根據(jù)待移除區(qū)域的像素分布特點選取相對應(yīng)的移除區(qū)域，如圖4 所示，其中，篡改區(qū)域中黑色為背景區(qū)域，灰色為拼接區(qū)域，白色為移除區(qū)域。

圖4 多篡改數(shù)據(jù)集圖像示例

深度學(xué)習(xí)模型訓(xùn)練需要有大量數(shù)據(jù)作為支撐，但CASIA、NIST 和MM Dataset 的數(shù)據(jù)量都不足以支撐模型訓(xùn)練。本文首先使用程序自動生成15 000 幅拼接篡改圖像對模型進行預(yù)訓(xùn)練。自制數(shù)據(jù)集從COCO數(shù)據(jù)集中隨機選擇兩幅圖像，對其中一幅圖像使用COCO 數(shù)據(jù)集提供的標(biāo)注信息隨機選取一個目標(biāo)，并粘貼到另一幅圖像。數(shù)據(jù)集使用情況如表1 所示。

表1 數(shù)據(jù)集使用情況

3.2 度量評價和實驗參數(shù)設(shè)置

為了全面量化模型的性能，本文選用4 個指標(biāo)進行評估，分別是準(zhǔn)確率precise、召回率recall、F1 分?jǐn)?shù)和誤檢率fp。其中，F(xiàn)1 度量多篡改區(qū)域定位的精度，誤檢率fp 度量真實像素被檢測為篡改像素的比例，即“偽影”問題。計算式如式(7)～式(10)所示。

其中，TP 表示預(yù)測正確的篡改像素點數(shù)目，F(xiàn)P 表示預(yù)測錯誤的篡改像素點數(shù)目，F(xiàn)N 表示預(yù)測錯誤的真實像素點數(shù)目，TN 表示預(yù)測正確的真實像素點數(shù)目。本文采用正確率Accuracy 指標(biāo)對篡改檢測分類結(jié)果進行評估，如式(11)所示。

其中，correct_num 表示預(yù)測正確的圖像數(shù)量，image_num 表示測試的圖像總數(shù)。另外，本文與主流篡改定位方法對比，引入AUC（area under curve）指標(biāo)，即接收者操作特征（ROC,receive operating characteristic）曲線下方與坐標(biāo)軸圍成的面積。

本文實驗環(huán)境是Pytorch 1.8，Torchvision 的版本為0.4，CPU為Intel I5-10400f，內(nèi)存大小為16 GB，顯卡為RTX2060 6G。在整個實驗過程中，學(xué)習(xí)率始終設(shè)置為1×10-4。使用SGD 作為損失函數(shù)，weight_decay 取值為5×10-4，moment 取值為0.9。在進行模型預(yù)訓(xùn)練的時候，本文使用HRNet 官方提供的語義分割預(yù)訓(xùn)練模型。

3.3 消融實驗

1)模型有效性實驗

為驗證HRNet、SRM DB、TDDCA、MDC 和Lcos損失有效性，本節(jié)在MM Dataset 上進行消融實驗，如表2 所示，其中，加粗字體表示性能最優(yōu)值，√表示實驗?zāi)Ｐ桶瑢?yīng)模塊，×表示實驗?zāi)Ｐ筒话瑢?yīng)模塊。本文使用不同結(jié)構(gòu)分支分別提取RGB流與SRM 流特征，產(chǎn)生特征空間位置偏移，如表2第二行所示，直接進行雙流特征融合后，實驗結(jié)果較單流HRNet 提取RGB 特征相比，拼接-F1 降低0.31，移除-F1 降低0.33，誤檢率fp 升高0.06，Accuracy 降低0.07。因此，為消除特征流空間位置偏移，本文提出TDDCA+MDC 進行特征融合，實驗結(jié)果如表2 第三行和第四行所示。實驗結(jié)果表明，采用TDDCA+MDC 的特征融合，F(xiàn)1 性能最優(yōu)，且fp 最低。通過損失函數(shù)消融實驗分析，在多篡改區(qū)域定位任務(wù)中，添加Lcos性能提升，但在多篡改檢測任務(wù)中添加Lcos，誤檢率fp 保持不變，但由于過擬合F1 性能稍微下降。因此，本文在多篡改檢測任務(wù)損失函數(shù)設(shè)計中，僅采用交叉熵?fù)p失，沒有添加余弦相似度損失。

表2 模型有效性消融實驗結(jié)果對比

2)訓(xùn)練方法有效性實驗

為驗證本文提出的分步訓(xùn)練方法有效性，本節(jié)分別對多篡改定位單任務(wù)、多篡改檢測單任務(wù)，分步訓(xùn)練是否凍結(jié)參數(shù)進行消融實驗，實驗結(jié)果如表3 所示，其中，—表示沒有相對應(yīng)的實驗數(shù)據(jù)。

表3 訓(xùn)練方法有效性消融實驗結(jié)果對比

實驗結(jié)果表明，本文提出的多篡改定位和檢測分步訓(xùn)練方法在凍結(jié)參數(shù)后，加入真實圖像進行篡改檢測任務(wù)訓(xùn)練時不影響多篡改定位性能，但較多篡改檢測單任務(wù)Accuracy 降低0.02。若訓(xùn)練篡改檢測任務(wù)時不進行參數(shù)凍結(jié)，受真實圖像影響，拼接-F1和移除-F1 分別下降0.36 和0.35，誤檢率fp 升高0.11，但篡改檢測任務(wù)Accuracy 提升0.06。因此，本文選擇分步訓(xùn)練時，凍結(jié)多篡改定位任務(wù)參數(shù)，保證多篡改定位和檢測2 個任務(wù)性能指標(biāo)較優(yōu)。

3.4 穩(wěn)健性實驗

真實場景下，篡改圖像大多經(jīng)過各類后處理操作，如網(wǎng)絡(luò)傳輸壓縮、噪聲等。因此，抗后處理操作穩(wěn)健性的篡改檢測與定位框架尤其重要。本文設(shè)計6 種后處理操作的穩(wěn)健性實驗，分別是JPEG 壓縮、高斯噪聲、高斯模糊、亮度、對比度和色彩平衡，具體的參數(shù)設(shè)置如表4 所示。

表4 穩(wěn)健性實驗后處理操作及其參數(shù)設(shè)置

本文在MM Dataset 分別對HRDA-Net 的篡改檢測（Accuracy）和篡改定位（拼接-F1、移除-F1、fp）2 個任務(wù)進行實驗，如圖5 所示。實驗結(jié)果表明，在篡改定位和篡改檢測任務(wù)中，HRDA-Net 在各個參數(shù)的后處理操作下，實驗結(jié)果平穩(wěn)，穩(wěn)健性較好。移除篡改定位任務(wù)在高斯噪聲和亮度后處理操作中，隨著參數(shù)增大性能有所降低，但在JPEG 壓縮、高斯模糊、對比度和色彩平衡后處理操作中穩(wěn)健性較優(yōu)。

圖5 穩(wěn)健性實驗結(jié)果

3.5 對比實驗與分析

1)語義分割模型對比實驗

訓(xùn)練語義分割模型時，將多篡改任務(wù)當(dāng)成一個三分類的語義分割任務(wù)，損失函數(shù)全部使用多分類的交叉熵?fù)p失。本次實驗中與HRDA-Net 進行對比的模型包含F(xiàn)CN[32]、Deeplabv3[33]、PSPNet[34]、DANet[35]、RRU-net[7]和HRNet[17]，實驗結(jié)果如表5所示，其中，加粗字體表示最高值。在拼接篡改定位、移除篡改定位和篡改檢測任務(wù)中，HRDA-Net 相較其他模型有明顯優(yōu)勢，除拼接篡改定位任務(wù)的precise指標(biāo)低于FCN[32]，本文HRDA-Net 的precise、recall和F1 均最優(yōu)。由此，HRDA-Net 相對于傳統(tǒng)語義分割模型更加適合于多篡改檢測與定位任務(wù)。另外，相較于拼接篡改定位，移除篡改定位分?jǐn)?shù)較低，一方面是因為在預(yù)訓(xùn)練只使用拼接篡改圖像，另一方面是移除篡改的特征相對于拼接篡改來說更難提取。HRDA-Net 在MM Dataset 的實驗結(jié)果示例如圖6 所示，其中，黑色表示背景區(qū)域，灰色表示拼接篡改區(qū)域，白色表示移除篡改區(qū)域。

表5 HRDA-Net 與主流語義分割模型對比實驗結(jié)果

圖6 HRDA-Net 在MM Dataset 的實驗結(jié)果示例

2)單篡改定位模型對比實驗

本文在CASIA 與NIST 數(shù)據(jù)集上與主流單篡改定位模型進行對比，實驗結(jié)果如表6 所示，其中，加粗部分表示相應(yīng)列中的最高指標(biāo)，—表示在發(fā)表的論文中沒有相對應(yīng)的數(shù)據(jù)。實驗結(jié)果證明，HRDA-Net 在NIST 數(shù)據(jù)集上的F1 和AUC 分?jǐn)?shù)均最優(yōu)，其中F1 和AUC 分?jǐn)?shù)分別比次優(yōu)SEINet 高了近6%和1.3%；在CASIA 數(shù)據(jù)集上的F1 分?jǐn)?shù)達到最優(yōu)，比SEINet 高0.8%，且AUC 分?jǐn)?shù)與GSCNet持平。由此證明，HRDA-Net 泛化性較好，進行單篡改定位任務(wù)時性能仍較優(yōu)秀。HRDA-Net 在CASIA和NIST數(shù)據(jù)集上的可視化結(jié)果如圖7所示，其中，黑色表示背景區(qū)域，灰色表示拼接篡改區(qū)域。

圖7 HRDA-Net 在CASIA 和NIST 數(shù)據(jù)集上的可視化結(jié)果

表6 CASIA 和NIST 數(shù)據(jù)集中單篡改定位對比實驗

4 結(jié)束語

針對真實場景下圖像篡改通常包含多類篡改操作問題，本文提出MM Dataset 及多篡改檢測和定位模型HRDA-Net。對比實驗結(jié)果證明，HRDA-Net模型具有較強的篡改檢測和定位性能，并且在6 種后處理操作中都具有較好的穩(wěn)健性和泛化性。本文是多篡改取證任務(wù)的一次初步嘗試，所提出的MM Dataset 目前只包含拼接和移除2 種篡改手段。在今后的工作中，作者將會繼續(xù)完善，包含更多篡改操作，如復(fù)制-粘貼等，并提出更加具有泛化性以及擁有更強檢測性能的多篡改檢測與定位算法。