基于可形變自相關網絡的圖像篡改檢測方法

梁 鵬，吳玉婷，趙慧民，李春英，何 娃，黎紹發

（1.廣東技術師范大學 計算機科學學院，廣州 510665；2.廣東技術師范大學 電子與信息學院，廣州 510665；3.華南理工大學 計算機科學與工程學院，廣州 510641）

0 概述

圖像復制-粘貼篡改是圖像篡改最常見且最易于操作的方法，通過復制圖像的某塊區域，并將復制區域副本粘貼在同幅圖像的其他位置，可以達到隱藏某些目標或偽造虛假物體的目的。

目前多數圖像復制-粘貼篡改檢測方法主要依據人為設計特征，而這種基于人為設計的特征大多存在局限性，無法根據這些特征同時對多種篡改方式進行判定。近年來，由于深度學習具有強大的特征學習能力，其在各類計算機視覺任務中取得了較大的突破，為圖像復制-粘貼篡改檢測提供了另一種有效的解決方案［1］。基于深度學習的圖像復制-粘貼篡改檢測方法分為特征提取、自相關計算、逐點特征提取、掩碼生成4 個階段，其將整張圖像輸入到模型中，經由特征提取器提取圖像高級特征，并計算特征圖中每對像素之間的相關性。在此基礎上，根據相關性大小選取相似區域，再進一步提取相似區域高級特征進行解碼，輸出圖像篡改區域掩碼。圖像篡改深度特征提取方法是采用固定幾何結構，即卷積單元在固定位置對輸入特征圖進行采樣，池化層以一個固定的比例降低空間分辨率。因此，該方法不能進行大尺度的旋轉仿射變換，深度特征提取過程對篡改圖像進行了降維處理，且無法檢測出小面積的圖像篡改區域。

本文提出一種基于可形變自相關網絡（Deformable Self-correlation Network，DSNet）的圖像篡改檢測方法。通過可形變卷積和可形變池化進行特征提取，根據目標自適應地改變感受野，同時學習目標部件的空間形變，從而提升檢測性能。此外，通過多尺度特征金字塔保留特征空間分布信息，利用鄰域比對策略以剔除虛假匹配。

1 相關工作

根據特征提取方式，圖像復制-粘貼篡改檢測方法主要分為基于手動提取特征的圖像篡改檢測方法和基于深度神經網絡提取特征的圖像篡改檢測方法。基于手動提取特征的圖像篡改檢測方法包括基于關鍵點和基于塊的方法。基于關鍵點的方法通常采用SIFT［2-4］和SURF［5-7］2 種特征描述子。文獻［7］利用SURF 特征檢測關鍵點，并通過最近鄰距離比進行特征匹配，該方法能夠有效檢測出后處理攻擊下的篡改圖像，但其缺點是無法檢測較小或同質的篡改區域。基于塊的方法采用多種特征來描述重疊塊，例如，離散余弦變換系數（Discrete Cosine Transform，DCT）、主成分分析（Principal Component Analysis，PCA）［8-9］、離散小波變換（Discrete Wavelet Transform，DWT）、奇異值分解（Singularly Valuable Decomposition，SVD）［10］、Zernike 矩［11］、傅里葉梅林變換（Fourier-Mellin Transform，FMT）［12］、局部二值模式（Local Binary Patterns，LBP）［13］等。其中，DCT、PCA、SVD 等特征對JPEG 壓縮、加性噪聲和圖像模糊具有較強的魯棒性，而FMT、LBP 等特征是旋轉不變的，這些特征對縮放、壓縮和旋轉操作并不同時具有魯棒性。文獻［14］提出一種將關鍵點特征和塊特征相結合的檢測算法，該算法對幾何變換、JPEG 壓縮和下采樣等后處理攻擊的魯棒性較好。該算法在CMFDA 數據庫上的查準率和查全率分別為96.6%和100%，但當篡改圖像遭受嚴重的后處理攻擊時，該算法的查準率會顯著下降。基于手動提取特征的圖像篡改檢測方法的缺點主要是當篡改區域的面積較小或紋理是同質均勻時，該算法無法確保提取到足夠多的興趣點來識別篡改區域。

近年來，隨著深度學習方法在計算機視覺任務中的進步，一些研究人員提出使用深度神經網絡代替傳統基于手動提取特征的圖像篡改檢測方法以實現圖像復制-粘貼篡改檢測［15-21］。文獻［15］提出一種基于深度學習技術的圖像篡改檢測方法，該方法利用卷積神經網絡（Convolutional Neural Network，CNN）從輸入的RGB 彩色圖像中自動學習層次表示。文獻［16］提出一種特征金字塔網絡（Feature Pyramid Network，FPNet）的體系結構，用于在所有尺度上構建高級語義特征圖。該結構通過從上而下的路徑和橫向連接來降低分辨率，但語義強的特征和高分辨率但語義弱的特征結合起來。文獻［17］和文獻［21］提出一種端到端的深度學習框架以解決圖像復制-粘貼篡改區域定位問題，利用卷積和反卷積模塊從待分析的輸入圖像中直接生成復制-粘貼篡改區域掩碼。在相關數據集中與手動提取特征圖像篡改檢測方法相比，基于深度神經網絡提取特征的圖像篡改檢測方法有更好的效果。然而，這些方法存在一些問題，例如文獻［1］僅利用低分辨率的單尺度特征圖進行篡改檢測，忽略了圖像構成的規律性和特征的空間排列，這對于中小區域的篡改檢測是非常重要的。此外，基于深度學習的特征提取方法采用的卷積核尺寸和池化映射均是固定大小，限定了感受野的范圍，而圖像篡改后處理（如仿射變換）是非剛性變化。

本文引入可形變卷積和多尺度空間金字塔，自適應地學習篡改目標的空間形變，同時通過構造金字塔式特征層次結構，融合全局特征和局部特征以提升圖像篡改檢測性能。

2 基于可形變自相關網絡的圖像篡改檢測

本文提出基于DSNet 的圖像篡改檢測方法，其結構如圖1 所示，主要包括可形變特征提取網絡、自相關金字塔網絡、篡改區域掩碼生成網絡。為簡化討論，假定輸入的圖像大小為512×512×3，卷積核大小為3×3。

圖1 本文方法的網絡結構Fig.1 Network structure of the proposed method

2.1 可形變特征提取網絡

可形變特征提取網絡包括可形變卷積和可形變池化兩部分，可形變卷積的規則網格采用固定大小的卷積核R=｛（-1，-1），（-1，0），…，（0，1），（1，1）｝對輸入特征圖進行卷積，再對每個采樣點進行位置偏移｛Δpn|n=1，2，…，N］｝，N=|R|（偏移Δpn通過額外的卷積層學習得到），得到與輸入特征圖相同空間尺寸的偏移場，偏移場共有2N個通道，其中N對應偏移量（x方向和y方向各一個偏移量）。對于輸入特征x中的每個位置p0，經過可形變卷積后的輸出特征映射y（p0）如式（1）所示：

經過訓練后，同時得到卷積核參數和偏移量Δpn，其中輸出的偏移量Δpn不一定為整數，可能是小數，使用雙線性插值表示x（p），如式（2）所示：

其中：p=p0+pn+Δpn為輸入特征x任意位置（小數）；q為輸入特征x中所有的坐標位置；G（）為雙線性插值函數。G（q，p）如式（3）所示：

其中：g(a,b)=max(0,1-|a-b|)。用可形變池化將任意區域大小的特征映射輸入x轉換為固定大小k×k的特征映射輸出y，如式（4）所示：

其中：偏移{Δpij|0 ≤i,j

2.2 自相關金字塔網絡

與文獻［1］中在低分辨率的高級特征圖上進行特征相似度度量不同，本文認為單尺度的特征圖會丟失特征的空間排列信息，影響深度學習模型在圖像篡改檢測上的性能，而且不利于小目標篡改區域檢測。因此，本文引入多尺度空間構建自相關金字塔，金字塔層次從低階到高階分別對應維度從大到小的特征圖，包含了不同的語義信息。

對于n層的自相關金字塔Pn，假設fk表示可形變特征提取網絡第k（0，1，…，n-1）層生成的特征張量，其尺寸 為wk×hk×dk(wk,hk,dk∈N*)，該特征 張量可以視為wk×hk個塊狀特征，即fk=其中每個fk[ir,ic]具有dk個維度。對于整個可形變特征提取網絡，共產生了n個不同尺度的特征張量，即Fk={f1,f2,…，fn}。

對于第k層特征張量fk，給定兩個塊狀特征fk[i](i=(ir,ic))和fk[j](j=(jr,jc))，通過余弦相似度來量化兩個特征的相關性，如式（5）、式（6）所示：

最終，第k層特征張量fk經過特征計算形成一個大小為wk×hk×mk的相似度矩陣s′k。將相似度矩陣中所有元素分量按照降序排列，越靠前的分量表明像素點之間的相關性越高，被篡改的可能性越大。同時，為了提高模型的準確率，進一步對相似度矩陣進行鄰域卷積操作，其核心思想是在初步匹配的基礎上，對匹配特征鄰域進行比對，以剔除虛假匹配。卷積操作增強了數據的可靠性，但不改變相似度矩陣的大小。

對于整個可形變特征提取網絡，共產生了n個不同尺度的相似度矩陣，在自相關金字塔中，大尺度的特征張量包含了小尺度的特征張量信息。因此，為抑制大尺度特征張量的重復性，對較大尺度的特征張量賦予較小的權值。第k層自相關金字塔的權重設置為，則n層的自相關金字塔Pn如式（9）所示：

2.3 篡改區域掩碼生成網絡

在構建自相關金字塔過程中，特征的分辨率不斷下降。為了生成與原始圖像尺寸一致的篡改區域掩碼，需要對特征進行解碼以恢復到原始分辨率。所用解碼模塊采用卷積和上采樣的方式實現圖像尺寸復原。具體地，假設解碼模塊的輸入特征圖維度為30×30，該特征圖通過3 個卷積分支（卷積核大小分別為1×1、3×3 和5×5）進行卷積操作，卷積結束后采用向量拼接的方式將3 個卷積分支產生的多個特征圖進行合并。最后，將卷積操作合并得到的特征圖進行上采樣，利用雙線性插值方式，最終得到大小為60 像素×60 像素的輸出特征圖，即實現將輸入特征圖擴大一倍的效果。在自相關金字塔計算過程中產生的特征圖交替使用卷積和上采樣的方式，最終生成512×512×1 的篡改區域掩碼。

3 實驗與分析

實驗仿真環境：CPU 處理器為i7 8700；內存為16 GB；顯卡為GTX 1080Ti X2；硬盤為2 TB；實驗平臺為Ubuntu 18.04。實驗選用的開源架構為Tensorflow深度學習框架。

3.1 數據集

USCISI 數據集由105幅圖像組成，其中所有圖像均取自提供了源對象分割掩碼的SUN2012 數據集和Microsoft COCO 數據集，并通過幾何變換方式獲取復制-粘貼篡改圖像。

CASIA CMFD 數據集中CASIA TIDEv2.0 是目前公開數據量最大的圖像篡改檢測基準，該數據集包含7 491 張真實圖像和5 123 張篡改圖像，文獻［1］從中選取1 313 張以復制-粘貼操作得到的篡改圖像構成了CASIA CMFD 數據集。

CoMoFoD 數據集包含5 000 張圖像，共25 個 類別，其中包含200 張基本篡改圖像，以及24 種對基本篡改圖像應用各種后處理攻擊的圖像。

3.2 網絡訓練

按照9∶1 的比例對不同規模訓練樣本劃分為訓練集和測試集，其中訓練集用于網絡訓練，測試集用于評估網絡性能。網絡使用二分類的交叉熵作為損失函數，激活函數使用Relu 函數。網絡中所有卷積運算均使用邊界填充以保持輸入和輸出圖像維度一致，卷積步長均為1。在網絡訓練過程中，使用Adam優化器更新誤差，其中學習率設定為10-4，批處理大小設定為2，迭代次數設定為50。

3.3 評價指標

實驗采用機器學習中的PRF 值，即精確率（P）、召回率（R）以及精確率和召回率的調和平均值（F1）3 個實驗指標對模型的性能進行像素級評估，如式（10）～式（12）所示：

其中：TP為正確檢測出篡改區域的像素數量；FP為被誤認為篡改區域的像素數量；FN為漏檢的篡改區域像素數量。

本文同時對模型性能進行圖像級評估，假設測試圖像中有任意像素被檢測為偽造的，則將該測試圖像標記為篡改圖像。統計圖像級TP、FP、FN數量并計算P、R、F值。因此，采用ROC 曲線下方所覆蓋的區域面積（簡稱AU）作為模型性能的度量，其中ROC曲線是以待測樣本假陽率和真陽率為軸的曲線，AU值越大，表明分類器效果越好。

3.4 實驗結果及分析

3.4.1 自相關金字塔網絡的實驗結果分析

為驗證多尺度空間對DSNet 性能的提升，使用CASIA CMFD 數據集對3 種不同自相關金字塔網絡層數的DSNet 進行訓練，然后在CoMoFoD 數據集上進行測試。在基礎類別/無攻擊圖像（200 張）上，3 種不同自相關金字塔網絡層數P、R、F1值的性能對比如表1 所示。采用文獻［19］中定義的檢測標準，在單樣本像素級F1評分高于0.5 的圖像子集上統計相應P、R、F1值。

表1 在CoMoFoD 數據集不同網絡層數DSNet 的檢測性能對比Table 1 Detection performance comparison of DSNet with different network layers on CoMoFoD data set%

從表1 可以看出，隨著自相關金字塔網絡層數增加，DSNet 的P、R、F1值得到了顯著提高。其中，DSNet 層數從1層到2層P提高了36.13 個百分點，R提高了29.71 個百分點，F1提高了28.09 個百分點，檢測到的單樣本像素級F1評分高于0.5 的圖像數量增加了74 張。通過增加不同尺度的特征相似度度量，DSNet 可以顯著提升特征表示的魯棒性。3.4.2 DSNet 與其他方法的實驗結果對比

本文將DSNet 與Cozzolino2015［20］、Wu2017［21］、BusterNet2019 方法［1］的檢測結果進行對比。所有方法均在USCISI 數據集上對網絡進行訓練，并使用CASIA CMFD 數據集進行評估，對比結果如表2 所示。在CASIA CMFD 數據集 上DSNet、Cozzolino2015、Wu2017、BusterNet2019 方法的AU性能對 比如圖2所示。

表2 在CASIA CMFD 數據集不同方法的檢測性能對比Table 2 Detection performance comparison among different methods on CASIA CMFD data set %

圖2 在CASIA CMFD 數據集上不同方法的AU性能對比Fig.2 AU performance comparison among different methods on CASIA CMFD data set

從表2 可以看出，在CASIA CMFD 數據集上，DSNet 方法在像素級評估和圖像級評估F1分別達到了50.67%和77.61%，性能均優于其他方法。從圖2可以看出，DSNet 方法與性能較優的BusterNet2019方法相比，其AU性能在圖像級評估和像素級評估條件下分別提升了4 和7 個百分點。

為驗證可形變卷積網絡對各種攻擊類型的有效性，本文使用CASIA CMFD 數據集中不同攻擊類型的圖像，每種攻擊類型包含200 張圖像，當檢測到的像素級F1評分高于0.5 時，認為該篡改圖像被準確檢測。本文方法與Wu2017［21］、BusterNet2019［1］方法的實驗結果對比如表3 所示，在不同的攻擊類型下本文方法均能較好地檢測出被篡改的圖像，其性能均優于其他2 種方法。

表3 不同攻擊類型下各方法在CASIA CMFD 數據集上的實驗結果對比Table 3 Experimental results comparison among different methods on CASIA CMFD dataset under various attacks

因此，根據圖像中篡改區域在整幅圖像中的占比，本文將CASIA CMFD 數據集劃分為小區域集（占比0～0.04）、中區域集（占比0.04～0.13）和大區域集（占比0.13～0.8），DSNet 和BusterNet 在3 個子集上的檢測性能對比如表4 所示。在小區域集和中區域集上DSNet 相比BusterNet2019 的P、R、F1值提升較大，尤其在小區域集上檢測性能提升最明顯，在大區域集上其P、R、F1值提升較小。說明DSNet 不僅能夠有效檢測大區域面積的篡改圖像，在處理中小區域面積的圖像篡改檢測問題上表現突出，也從側面驗證了本文提出構建自相關金字塔以獲取更多特征空間排列信息的有效性。

表4 3 個子集上DSNet 與BusterNet 2019 方法的檢測性能對比Table 4 Detection performance comparison of DSNet and BusterNet 2019 methods on three sub-sets

4 結束語

本文提出一種基于可形變自相關網絡的圖像篡改檢測方法，其中包含可形變特征提取網絡、自相關金字塔網絡和篡改區域掩碼生成網絡3 個部分。通過可形變特征提取網絡和自相關金字塔網絡，得到輸入圖像的自相關特征相似度矩陣，并使用鄰域比對策略過濾虛假匹配，實現中小區域面積的圖像篡改檢測。實驗結果表明，相比BusterNet2019 和Wu2017 方法，DSNet 方法的檢測性能更優，同時能夠有效抵抗多種后處理攻擊。后續將研究如何降低DSNet 的計算復雜度，進一步提高檢測效率。