面向特征融合的圖像多竄改檢測與定位算法

收稿日期：2022-04-10；修回日期：2022-06-09" 基金項目：甘肅省自然科學基金資助項目（20JR10RA334，21JR7RA570）；2021年隴原青年創新創業人才項目（2021LQGR20）；甘肅政法大學校級創新項目（GZF2020XZD18，jbzxyb2018-01）

作者簡介：蘭萍（1994-），女，甘肅天水人，碩士研究生，主要研究方向為計算機視覺；李燕（1980-），女（通信作者），甘肅蘭州人，教授，碩導，碩士，主要研究方向為計算機視覺（724719251@qq.com）．

摘 要：現有的圖像竄改檢測方法大多只針對某一種竄改方式，且存在竄改區域邊界檢測精度不高的問題，對此，提出了一種基于U型網絡的雙流編碼器—解碼器架構的圖像竄改檢測方法。首先利用編碼器與解碼器之間跳躍連接的方式來融合竄改圖像中的低級和高級特征，并使用空洞卷積和CBAM注意力機制對編碼器輸出的特征進行融合，使得網絡對不同尺度大小的竄改區域都有較好的定位性能；其次為了提高網絡對竄改區域的邊界檢測精度，使用圖像形態學方法制作了竄改邊界數據集；最后使用多損失函數來同時優化網絡的性能，即采用交叉熵和均方根損失函數來分別度量預測圖的竄改區域損失和竄改邊界損失。在CASIA、Columbia、NIST16、Coverage四個公開數據集上的實驗結果表明，所提方法可以有效地檢測出拼接和復制—粘貼兩種竄改方式所偽造圖像的竄改區域，輸出像素級別的竄改區域定位圖，且與其他主流竄改檢測方法相比，所提方法在CASIA和Columbia數據集上的AUC值達到最高，在Columbia數據集上的F1值達到最高。

關鍵詞：多竄改檢測；邊界定位；注意力機制；空洞卷積；多損失函數

中圖分類號：TP391.41"" 文獻標志碼：A

文章編號：1001-3695（2022）12-043-3791-06

doi：10.19734/j.issn.1001-3695.2022.04.0216

Feature fusion-oriented image multi-tampering

detection and localization algorithm

Lan Ping，Li Yan

（School of Cyberspace Security，Gansu University of Political Science amp; Law，Lanzhou 730070，China）

Abstract：Most of the existing image tampering detection methods are only for a certain tampering method，and there is a pro-blem that the detection accuracy of the tampered area boundary is not high.In this regard，this paper proposed a U-shaped network based on dual-stream encoder-decoder architecture for image tampering.Firstly，the method used the skip connection between the encoder and the decoder to fuse the low-level and high-level features in the tampered image，and used the atrous convolution and CBAM attention mechanism to fuse the features output by the encoder，so that the network had better localization performance for tampered regions of different scales.Secondly，in order to improve the network’s detection accuracy of the boundary of the tampered area，this algorithm used the image morphological method to make a tampered boundary dataset.Finally，it used multiple loss functions to optimize the performance of the network simultaneously，namely it used cross-entropy and root-mean-square loss functions to measure the tampered region loss and tampered boundary loss of the prediction graph respectively.The experimental results on four public datasets，such as CASIA，Columbia，NIST16，

Coverage show that the proposed method can effectively detect the tampering area of the fake image with splicing and copy-paste tampering methods，and output pixel-level tampering region location map.Compared with other mainstream tampering detection methods，the proposed method achieves the highest AUC values on the CASIA and Columbia dataset and the highest F1 value on the Columbia dataset.

Key words：multiple tampering detection；boundary localization；attention mechanism；atrous convolution；multiple loss functions

0 引言

數字圖像作為日常生活中一種重要的傳輸信息的媒介，被廣泛應用于各個領域，同時伴隨著數字圖像處理軟件的普及以及深度合成技術的成熟，各種各樣的竄改圖像逐漸出現在了大眾的視野，例如被竄改的新聞圖片、證件照以及人臉圖像等，這對公共信任秩序、司法公正以及社會和諧造成了負面的影響［1］。因此AI審查圖像數據造假也將逐漸成為未來發展的趨勢。

拼接和復制—粘貼是圖像竄改中出現頻率最高的兩種竄改方式。拼接竄改是指將一幅圖像的某個區域粘貼到另外一幅圖像中的某個位置，并且為了掩蓋竄改痕跡，通常會使用一些后處理操作使得竄改圖像更加逼真自然；復制—粘貼竄改是指將一幅圖像中的一個或多個區域粘貼到該圖像中不重疊的其他區域，以達到掩蓋圖像內容或增加誤導信息的目的［2］。

傳統的圖像竄改檢測算法中，對于拼接竄改的檢測，主要是根據拼接合成后像素之間的低相關性和不連貫性來進行檢測的，例如CFA模式分析（color filter array pattern analysis）［3］、局部噪聲估計（local noise esitination）［4］；對于復制—粘貼竄改的檢測，由于這種竄改操作發生在同一幅圖像之間，所以主要是通過計算特征向量之間的相關性來進行取證判斷，使用的算法主要有尺度不變特征變換（SIFT）［5］、加速魯棒特征（SURF）［6］、離散余弦變換（DCT）［7］等方法。可以看出，傳統的圖像竄改檢測方法是根據在特定竄改方式下圖像發生的變化來設計相應的手工特征，再進行竄改取證的，而在實際情況中，事先是不知道原始圖像經過了哪種竄改手段的，而且某些情況下一張原始圖像可能會經過多種竄改手段，所以傳統的圖像竄改檢測算法魯棒性不強，而且在進行竄改區域的定位時，一般需要對圖像進行分塊或使用超像素分割等操作，算法的時間復雜度較高［8］。

近年來，由于卷積神經網絡（convolutional neural network，CNN）在大型圖像處理場景中出色的表現能力，學者們把CNN應用到了圖像竄改檢測中，但是簡單的移植應用對竄改檢測任務來說效果并不理想。因為CNN主要捕獲的是圖像的內容特征與語義信息，網絡性能的好壞與訓練數據集有很大的關系，泛化能力不高。使用一些現成的語義分割網絡也有類似的情況［9］，在 CASIAv2數據集上［10］訓練的 DeepLabv2［11］在與CASIAv2同源的 CAISAvl 數據集［12］ 上表現良好，但在非同源的COVER 數據集［13］ 上表現不佳，這是因為圖像竄改檢測問題更關注的是如何學習到一個與語義無關且對竄改操作敏感的特征，為了得到圖像中與語義無關的特征，在提取圖像特征之前就必須對圖像內容進行抑制。現有的關于抑制圖像內容的方法大致分為噪聲法和邊緣監督法兩種。噪聲法主要是根據竄改操作引入的新元素與原有圖像中元素的噪聲分布不一樣，利用這個差異來對竄改操作進行取證。Zhou等人［14］ 提出的雙流檢測方案就是在CNN的基礎上，根據噪聲法引入了噪聲流分支來提取竄改圖像中真實區域和竄改區域之間的噪聲不一致性，從而進一步提高竄改檢測的性能，但該方法并沒有實現對竄改區域的精細定位，只是通過Faster R-CNN得到了竄改區域所在的目標框。邊緣監督法則是根據竄改操作在竄改區域及其周圍區域留下的不自然的邊界進行竄改取證。Xu等人［15］提出的雙分支網絡模型是在CNN的基礎上，利用邊緣監督的思想并引入了邊緣分支，通過分別提取竄改圖像的區域特征和邊界特征來對圖像進行竄改定位。與其他直接組合主干網絡特征作為邊緣分支特征的做法不同，該方法對邊緣分支的特征進行了內容抑制和非自然邊界激活，降低了對數據集的依賴性，提高了網絡性能的泛化能力。Chen等人［16］提出的MVSS-Net則是提取了三種特征，分別是區域特征、噪聲特征和邊界特征，通過充分利用這三種特征來對圖像進行竄改定位，但是該方法在提取邊緣特征時是將編碼器網絡特征先通過Sobel算子提取邊界特征，再利用卷積操作進行特征提取，而這一系列的卷積操作卻使得特征圖丟失了一些低級語義信息，反而損害了網絡最終的竄改檢測性能。

還有一些方法為了使預測的竄改區域圖更加精準，通常會將網絡輸出的預測圖再經過全連接條件隨機場（FCRF）［17］或形態學開運算進行一些后處理［18］，從而去除過度分割的像素并補充缺失的像素。雖然這在一定程度上使預測的竄改圖更加準確，但這些操作無形中也增加了網絡的時間復雜度。

本文設計了一種圖像多竄改檢測網絡，可同時實現對拼接和復制—粘貼兩種竄改方式的檢測，并且為了解決單獨使用CNN所帶來的模型泛化能力不高的問題，綜合噪聲法和邊緣監督法將網絡設計成了雙分支結構，通過同時提取區域特征和噪聲特征來對竄改圖像進行竄改定位。為了不使用其他后處理操作，實現對竄改圖像端到端的檢測，本文利用U型網絡中的skip connection操作，在網絡的每一個上采樣階段將圖像的深層特征和淺層特征結合起來，而不是直接在高級語義特征上進行監督和損失的反向傳播，這樣就保證了最后恢復輸出的特征圖融合了更多的低級特征，從而用深層特征進行定位，淺層特征進行精確分割。此外還使用不同采樣率的空洞卷積和CBAM注意力機制去融合不同尺度的特征，從而實現對不同大小和形狀的竄改區域的預測，并且為了進一步提高像素級竄改區域定位圖的精度，制作了圖像的竄改邊界數據集，并加入了竄改邊界損失的監督，從而利用多損失函數來同時優化網絡對竄改區域以及竄改邊界的檢測性能。

1 雙分支圖像竄改檢測與定位模型

本文提出的網絡框架如圖1所示，模型由RGB_encoder、noise_encoder、decoder三個部分組成，輸入的圖像大小為256×256。在RGB_encoder中，為了使模型更快達到最優訓練效果，避免陷入局部最優解，使用了預訓練的VGG16模型權重來提取竄改圖像中的深層特征信息。在noise_encoder中，使用殘差網絡來提取竄改圖像中的噪聲特征不一致性特征，因為相比傳統的卷積網絡，殘差網絡能夠有效地避免梯度消失，提高模型的收斂速度。在decoder中，與常見的關于竄改圖像定位的深度學習方法類似，使用了一系列連續的反卷積操作，不同的是，為了避免低級語義信息的丟失，在decoder中使用了U型網絡中的skip connection結構，這樣就可以將encoder網絡在下采樣過程中丟失的低級語義信息添加到decoder網絡中的高級語義信息中，從而避免了低級語義的丟失。在最后對分類任務進行優化時，為了使預測的竄改圖邊界更加精準，提升模型的性能，同時使用交叉熵和均方根損失函數進行多損失函數的優化。

1.1 RGB_encoder

這個分支主要是用來提取竄改圖像中關于圖像內容特征的信息，輸入為竄改圖像的RGB圖，相比灰度圖，對RGB圖像進行特征的提取會得到一些關于竄改區域與非竄改區域之間強烈的對比差信息，便于對竄改區域進行定位。使用在ImageNet上預訓練好的VGG16網絡進行遷移學習，利用了VGG16網絡中除全連接層外的特征提取層，包括13個卷積層和5個最大池化層，每個卷積層都不會改變前一層特征圖的長和寬，通過卷積來實現通道數的增加，在兩次或者三次卷積后都會添加一個池化層，目的是降低特征圖尺寸并提高網絡的抗干擾能力。

1.2 noise_encoder

與其他分類任務不同，竄改圖像中的分類目標在整個圖像中占比較小，所以僅使用深度學習中的分類網絡對竄改圖像提取特征時，所得到的大部分都是與竄改特征無關的圖像內容特征，只有小部分是與竄改特征相關的，如強烈的對比差、不自然的竄改邊界等［19］。考慮到在對圖像進行竄改時，圖像的噪聲信息會發生改變，所以本文提取了竄改圖像中的噪聲不一致性特征，將其與RGB_encoder分支中輸出的特征向量進行融合后再作為decoder分支中的輸入。本文采用了高通濾波器來提取竄改圖像中的噪聲特征，該高通濾波器由兩個3×3的矩陣（Sx，Sy）構成，具體結構如下所示。

Sx=-101

-202

-101，Sy=-1-2-1

000

121（1）

將Sx、Sy分別與竄改圖像進行卷積，可得到竄改圖像在垂直方向和水平方向的高通濾波圖像，疊加這兩個高通濾波圖像就可得到關于該偽造圖像的噪聲圖像［17］。然后使用殘差網絡的思想來提取噪聲圖像中的特征，包括15個卷積層、5個最大池化層，每三次卷積后進行一個最大池化操作。

圖2（a）是輸入的竄改圖、圖2（b）是噪聲殘差圖、圖2（c）是對應的竄改標簽圖。可以看出，所提取的噪聲殘差圖抑制了大量與竄改特征無關的圖像內容特征，暴露了由于竄改操作而引入的尖銳邊緣，使得網絡便于提取竄改圖像中的噪聲不一致性特征。

1.3 特征融合

在進行解碼操作之前，為了提高網絡的檢測性能，對編碼得到的特征進行了兩次特征融合操作。第一次是將RGB_encoder網絡得到的圖像內容特征以及一些竄改邊界特征和noise_encoder網絡得到的竄改圖像噪聲不一致性特征進行拼接融合，從而得到一個比單個輸入特征更有判別能力的特征，提高了網絡對竄改區域的檢測精度；第二次特征融合操作是將第一次拼接融合后的特征通過采樣率分別為1、2、3的空洞卷積得到的不同大小感受野的特征圖進行拼接融合，因為在卷積神經網絡（CNN）中，卷積運算擅長提取局部特征，但在捕獲全局特征表示方面還是有一定的局限性，而偽造圖像中竄改區域形狀、大小存在較大差異，通過將三種不同尺度的特征進行融合來更好地檢測偽造圖像中不同大小的竄改對象。

對于經過兩次拼接融合后的特征，其每一個通道以及特征圖中的不同區域都代表著所提取的不同特征，為了區分什么樣的特征以及哪里的特征對檢測竄改區域是有意義的，使用了卷積注意力模塊（convolutional block attention module，CBAM）［20］來對語義信息進行建模。CBAM注意力機制作用于特征圖的具體過程如圖3所示。可以看到，輸入的圖像特征F先通過一個通道注意力模塊，得到加權結果Mc（F）之后，再經過一個空間注意力模塊進行加權后輸出最終結果Ms（F）。通過網絡每次得到的損失來不斷調整權重系數Mc和Ms的值，最終給定位竄改區域有作用的特征賦予高權重，作用較小的特征賦予低權重。

通道注意力關注什么樣的特征是有意義的。為了匯總空間特征，采用全局平均池化和最大池化兩種方式來分別利用不同的信息。Mc（F）的計算過程為

Mc（F）=σ（MLP（AvgPool（F）））+MLP（MaxPool（F））=

σ（W1（W0（FCavg））+（W1（W0（FCmax））））（2）

如圖4所示，通道注意力機制的輸入是一個H×W×C的特征F。首先分別進行一個空間的全局平均池化和最大池化的兩個1×1×C的通道描述；接著，再將其分別送入一個兩層的神經網絡，第一層神經元個數為C/r，激活函數為ReLU，第二層神經元個數為C，這個兩層的神經網絡是共享的；然后，再將得到的兩個特征相加后經過一個sigmoid激活函數得到權重系數Mc；最后，將權重系數和原來的特征F相乘即可得到縮放后的新特征。

在通道注意力模塊之后，再引入空間注意力模塊來關注哪里的特征是有意義的。Ms（F）的計算過程為

Ms（F）=σ（f7×7（［AvgPool（F），MaxPool（F）］））=

σ（f7×7（［FSavg；FSmax］））（3）

如圖5所示，與通道注意力相似，給定一個H×W×C的特征F′，首先分別進行一個通道維度的平均池化和最大池化得到兩個H×W×1的通道描述符，并將這兩個描述符按照通道拼接在一起；然后，經過一個7×7的卷積層，激活函數為sigmoid，得到權重系數Ms；最后，將該權重系數和特征F′相乘即可得到縮放后的新特征。

1.4 decoder

decoder部分主要是通過一系列的上采樣操作，將前面得到的融合特征圖還原到原始分辨率大小，以便對圖像中的每個像素點進行分類，得到竄改圖像像素級的竄改區域定位圖，但是前面得到的融合特征分辨率很低，對細節的感知能力較差。為了更好地預測圖像中的細節部分，如模型框架圖所示，加入了skip connection結構，即在網絡RGB_encoder和decoder結構之間利用concat拼接層來融合兩個過程中對應位置上的特征圖，把對應尺度上高分辨率下的高頻信息，如圖像的空間信息、邊緣信息等引入到上采樣過程，以彌補編碼過程中下采樣和池化操作所丟失的大量細節信息，為后期偽造圖像中竄改區域的確定提供多尺度多層次的信息。解碼器中的每個模塊都包括一個特征拼接融合塊、一個3×3的卷積塊、一個2×2的上采樣塊，最后得到一個通道數為2的特征圖。為了使預測圖的邊界更加清晰，分別與竄改圖像的區域標簽圖和邊界標簽圖進行損失計算，然后把兩者的損失共同進行一個反向傳播。

1.5 損失函數

本文使用多損失函數同時對網絡進行優化，即采用交叉熵和均方根損失函數來分別度量預測圖的竄改區域損失和竄改邊界損失。本研究把竄改區域定位問題看成是對每個像素點的分類問題，故在計算竄改區域損失時，是對網絡輸出的特征圖逐像素使用交叉熵損失函數。由于竄改圖像的特殊性，竄改區域在整個圖像中占比較小，竄改類像素點遠少于非竄改類像素點，這就使得在訓練過程中非竄改類像素點的損失占主導，導致網絡更加關注非竄改類像素點的特征，而無法充分擬合竄改類像素點的特征，使網絡在進行分類時存在嚴重的正負樣本分類不平衡的問題。所以，為了更好地實現對竄改類像素點特征的提取，使用帶權重的交叉熵損失函數進行竄改區域損失的計算，具體計算如式（4）所示。通過使用帶權重的交叉熵損失函數，改變竄改類像素點樣本在損失函數中的權重，相當于對竄改類像素點樣本進行軟采樣，從而來解決訓練過程中存在的正負樣本不平衡的問題。 由于不同竄改圖像中竄改區域尺度大小不一，在不斷實驗后，取非竄改類像素點與竄改類像素點的權重比值為w=［1.0，3.0］。

Lregion（x，y）=1n∑-wyi logexp（xi，yi）∑Cc = 0exp（xi，c ）（4）

其中：x表示輸入的竄改圖像，其大小為［H，W］；y是對應的竄改區域標簽圖，大小也為［H，W］；n表示竄改圖像中所含有的像素點數（n=H×W）；wyi表示第i個像素點所屬真實類別標簽所對應的權重值，即若第i個像素點的真實類別標簽為非竄改類，則wyi=1.0，反之，則wyi=3.0；C表示網絡分類的類別數，C∈［0，1］，c=0表示非竄改類，c=1表示竄改類；xi，c表示第i個像素點被預測為第c個類別的概率；xi，yi表示第i個像素點被預測為真實類別的概率。為了使預測圖中的竄改邊界更加精準，使用均方根損失函數來度量網絡最后輸出的特征圖與竄改圖像的竄改邊界標簽圖之間的損失Lboundary，計算方法如下：

Lboundary=1n∑（xi-zi）2（5）

其中：xi表示竄改圖像中的第i個像素點；zi表示竄改邊界標簽圖中的第i個像素點。網絡中總的損失L為

L=Lregion+Lboundary（6）

利用多損失函數來同時優化網絡對竄改區域以及竄改邊界的檢測性能。

2 實驗結果與分析

2.1 實驗數據集的制作

由于現有的關于圖像竄改檢測的公開數據集中所含有的圖像數量較小，其中最大的數據集CASIA v2.0也只含有5 123張竄改圖像，不利于深度學習技術對圖像竄改特征的學習。本文針對拼接和復制—粘貼兩種竄改方式進行檢測，為了提高網絡的竄改檢測性能以及泛化能力，使用USCISI-CMFD復制—粘貼竄改數據集和借助VOC2012數據集制作的拼接竄改數據集作為訓練集。

2.1.1 USCISI-CMFD數據集

USCISI-CMFD數據集是關于復制—粘貼竄改的一個大型數據集，數據集原格式為.lmdb， 為了便于使用深度學習訓練模型，對于這個數據集做的一個具體的處理是：首先把字節數據轉為字節流，再讀取字節流就可得到相應的竄改圖像，與其對應的ground truth圖像可通過文件給出的竄改邊緣輪廓坐標來得到，竄改圖像為.jpeg格式，竄改區域尺寸有大有小。

2.1.2 自制的拼接竄改數據集

由于目前沒有關于拼接竄改的大型數據集，所以本文借助于VOC2012數據集［21］，利用其語義分割的ground truth生成了20 000張拼接竄改圖像。為了使竄改邊緣更加自然，使用了高斯模糊處理，生成的竄改區域有大有小。為了模型訓練過程中的穩定性，去除了其中竄改區域小于100個像素點的圖像，這些圖像中竄改區域只占圖像大小的0.1%，竄改區域太小對圖像語義的改變微乎甚微，所以實驗中直接去除了這些圖像。

實驗隨機選取USCISI-CMFD數據集中的20 000張復制—粘貼竄改圖像和由VOC2012數據集生成的20 000張拼接竄改圖像來訓練模型。

2.1.3 竄改邊界數據集

現有的圖像竄改檢測方法中，對竄改區域的邊界檢測度不高。本文為了提高對竄改邊界的檢測精度，制作了關于竄改圖像的竄改邊界數據集，從而更好地捕獲竄改區域與非竄改區域之間的噪聲不一致性。首先使用圖像形態學操作對竄改區域標簽圖進行腐蝕，再提取圖像的邊界，然后將得到的邊界進行膨脹，就可得到對應的竄改邊界圖。通過以上操作得到的竄改邊界圖，其特征能更好地表征竄改區域與非竄改區域之間的噪聲不一致性。數學上，膨脹與腐蝕定義為集合運算，腐蝕概念定義為

E=BS={x，y|SxyB}（7）

其中：S表示用于腐蝕圖像的結構元素，本文使用大小為3×3的結構元素；B是被腐蝕的二值圖像；E是最后生成的腐蝕圖像。膨脹定義為

D=B⊕S={x，y|Sxy∩B≠}（8）

其中：S表示用于膨脹圖像的結構元素，本文使用大小為3×3的結構元素；B是被膨脹的二值圖像；D是最后生成的膨脹圖像。

圖6（a）是輸入的竄改圖像；圖6（b）是真實的竄改區域標簽；圖6（c）是真實的竄改邊緣標簽；圖6（d）是經過上述圖像形態學操作之后所提取的竄改邊緣標簽，可以看到它是將真實的竄改邊緣向內向外進行了適當擴充，相比真實的竄改邊緣標簽，圖6（d）中的竄改邊緣標簽含有更多的像素點，同時也包含了更多的信息，可使網絡更快更準確地學習到竄改區域的邊緣特征信息。

2.2 實驗環境及實驗參數

本文的實驗環境配置為：CPU型號為12×Intel Xeon Platinum 8260 CPU@2.30 GHz，內存為86 GB，顯卡型號為NVIDIA GeForce RTX 3090，顯存為24 GB。模型基于PyTorch深度學習框架搭建網絡結構，訓練使用自適應矩估計（Adam）優化器，學習率為0.000 3，動量為0.9，batch_size設置為32，實驗算法已調至最優參數。

2.3 評價標準

竄改圖像中正負樣本不均衡，像準確率（acc）這種評價指標值的高低是不能代表模型性能的好壞，因為在偽造圖像中，非竄改類像素始終多于竄改類像素，就算模型沒有預測對一個竄改類像素點，模型的acc值依舊很高，為了更好地評估本文算法的性能，使用F1-score、MCC-score、AUC（area under the curve of ROC）作為模型性能的評價指標。

F1-score是用來衡量二分類模型精確度的一種指標，它同時兼顧了分類模型的精確率和召回率。精確率（precision）評估的是模型的預測能力。計算方法如式（9）所示，其中TP表示的是把正類預測為正類，FP表示的是把負類預測為正類。

P=TPTP+FP（9）

召回率（recall）評估的是模型對正樣本的檢出率。計算方法如式（10）所示。其中TP表示的是把原來的正類預測成正類，FN表示的是把原來的正類預測為負類。

R=TPTP+FN（10）

F1分數可以看做是模型精確率和召回率的一種加權平均，能夠很好地評估模型，F1-score的計算公式為

F1=2×P×RP+R=2×TP2×TP+FP+FN（11）

MCC-score（Matthews correlation coefficient），即馬修斯相關系數，是應用在機器學習中，用于測量二分類的分類性能的指標，它綜合考量了混淆矩陣中的四個基礎評價指標，即真陽性（TP）、真陰性（TN）、假陽性（FP）、假陰性（FN），描述的是實際樣本與預測樣本之間的相關系數。由式（11）可知，F1分數忽略了TN，所以相比較而言，MCC-score可以說是二分類問題的最佳度量指標。MCC-score的計算公式為

MCC=TP×TN-FP×FN（TP+FP）×（TP+FN）×（TN+FP）×（TN+FN）（12）

AUC（area under the curve of ROC）是ROC曲線下方的面積，這個面積的數值為0～1，能夠直觀地評價出分類器的好壞，AUC的值越大，分類器效果越好，是判斷二分類預測模型優劣的標準。

2.4 對比實驗結果與效果展示

為了驗證本文方法在定位竄改區域方面的有效性，以及與其他方法之間性能的對比，使用F1-score、MCC-score、AUC作為模型性能的評價指標，并與其他幾種主流方法進行比較。

2.4.1 與其他模型對比

表1和2為模型在四個公開數據集CASIA、Columbia［22］、NIST16［23］、Coverage上的像素級區域定位結果。表中：表示拼接竄改，表示復制—粘貼竄改，表示移除竄改，加粗字體表示該指標的最高值。本文對比方法如表1、2所示，其中ELA［24］、EOI1［25］、CFA1為傳統方法，其余方法均為基于深度學習的方法。從表1和2可以看出，基于深度學習的方法所得到的定位結果均比傳統方法的定位結果好。由于不同數據集的制作方式以及所包含的圖像竄改類型不同，所以同一方法在不同數據集上的結果也存在較大差別。從表中可以看出，大多數方法在CASIA和Coverage數據集上的結果都較其他兩個數據集的結果低，這也說明了復制—粘貼竄改方式比拼接竄改方式更難檢測，且對竄改圖像經過各種旋轉與縮放后，竄改行為也將更難被檢測到。

綜合來看，本文方法在CASIA和Columbia數據集上的AUC值達到最高，在Columbia數據集上的F1值和MCC值達到最高。

2.4.2 消融實驗

表3為模型在CASIA數據集上的消融實驗結果，base model代表的是以VGG16為基礎網絡的全卷積網絡（fully convolutional network，FCN），其他方法分別是增加了skip connection、noise_encoder、空洞卷積、CBAM自注意力機制以及均方根損失MSE的網絡結構模型。消融實驗證明，本文在base model基礎上所增加的各種結構能夠有效提升竄改區域定位的精度。

圖7、8分別是消融實驗各方法在復制—粘貼竄改和拼接竄改圖像上的檢測結果。從中可以看出，未添加skip connection操作的base model網絡，由于在生成竄改區域圖時未融合圖像的淺層特征，所以預測的竄改區域圖邊緣多呈鋸齒狀。相比之下，在增加了skip connection操作之后，所預測的竄改區域圖邊界更加平滑，區域更加精準，這樣對于網絡輸出的特征圖就無須再進行FCRF等后處理操作了，從而來實現對竄改圖像的端到端檢測。

對比圖7、8的檢測結果可以看出，相對于拼接竄改，復制—粘貼竄改更難檢測。這是因為復制—粘貼竄改中竄改區域來自于被竄改圖像且面積一般較小，尤其在當竄改區域物體沒有明顯的形態特征時就更難檢測。如圖7第四行所示，圖7（b）（c）中的兩種僅使用簡單的CNN的檢測方法沒有檢測到竄改區域，在增加了noise_encoder方法之后，才檢測到了些許竄改區域。

從圖7（e）（f）以及圖8（e）（f）的預測結果可以看出，在增加了均方根損失MSE之后，不管是復制—粘貼竄改還是拼接竄改，網絡預測的竄改區域圖邊界較之前都更加精準，驗證了添加均方根損失MSE的有效性。

3 結束語

現有的圖像竄改檢測方法大多只針對某一種竄改方式，魯棒性不強，因此本文針對使用頻率最高的拼接和復制—粘貼兩種竄改方式，進行竄改區域的定位，利用U型網絡框架分別提取圖像的RGB特征和噪聲特征，并通過CBAM注意力機制和空洞卷積形成了一個比單個輸入特征更有判別能力的特征。為了使預測的竄改邊界更加精準，還制作了偽造圖像的竄改邊界標簽數據集，并利用多損失函數來同時優化網絡對竄改區域以及竄改邊界的檢測性能。通過與其他主流方法在四個數據集上的實驗結果對比表明，本文方法對拼接和復制—粘貼兩種竄改方式的偽造圖像中竄改區域的定位精度較對比算法有較大提升。但模型還存在著對部分竄改區域定位不精準的問題，因此，下一步的研究工作在于改進U型網絡簡單的跳躍連接方案，尋求更有效的特征融合方式來彌補低級特征和高級特征之間的語義和分辨率差距，提高對竄改區域的檢測精度。

參考文獻：

［1］石澤男.基于深度學習的數字圖像內容竄改定位算法研究［D］.長春：吉林大學，2021.（Shi Zenan.Research on digital image content tampering location algorithm based on deep learning［D］.Changchun：Jilin University，2021.）

［2］劉璐.數字圖像復制粘貼檢測算法研究［D］.北京：北京交通大學，2019.（Liu Lu.Research on copy and paste detection algorithm of digital image［D］.Beijing：Beijing Jiaotong University，2019.）

［3］Ferrara P，Bianchi T，De Rosa A，et al.Image forgery localization via fine-grained analysis of CFA artifacts［J］.IEEE Trans on Information Forensics and Security，2012，7（5）：1566-1577.

［4］Pan Xunyu，Zhang Xing，Lyu Siwei.Exposing image splicing with inconsistent local noise variances［C］//Proc of IEEE ICCP.Piscataway，NJ：IEEE Press，2012：1-10.

［5］Lowe D G.Distinctive image features from scale-invariant keypoints［J］.International Journal of Computer Vision，2004，60（2）：91-110.

［6］Bay H，Tuytelaars T，Van Gool L.SURF：speeded up robust features［C］//Proc of ECCV.Berlin：Springer，2006：404-417.

［7］Ye S，Sun Q，Chang E C.Detecting digital image forgeries by measu-ring inconsistencies of blocking artifact［C］//Proc of IEEE ICME.Piscataway，NJ：IEEE Press，2007：12-15.

［8］Wu Yue，Abd-Almageed W，Natarajan P.Image copy-move forgery detection via an end-to-end deep neural network［C］//Proc of IEEE WACV.Piscataway，NJ：IEEE Press，2018：1907-1915.

［9］Zhou Peng，Chen B C，Han Xintong，et al.Generate，segment，and refine：towards generic manipulation segmentation［C］//Proc of AAAI.

Palo Alto，CA：AAAI Press，2020：13058-13065.

［10］Chen L C，Papandreou G，Kokkinos I，et al.DeepLab：semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected CRFs［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

［11］Dong Jing，Wang Wei，Tan Tieniu.Casia image tampering detection evaluation database［C］//Proc of the 1st IEEE China Summit and International Conference on Signal and Information Processing.Pisca-taway，NJ：IEEE Press，2013：422-426.

［12］Dong Jing，Wang Wei.CASIA tampered image detection evaluation （TIDE） database［EB/OL］.（2010）［2022-03-10］.http：//forensics.idealtest.Org.

［13］Wen Bihan，Zhu Ye，Subramanian R，et al.COVERAGE——a novel database for copy-move forgery detection［C］//Proc of IEEE ICIP.Piscataway，NJ：IEEE Press，2016：161-165.

［14］Zhou Peng，Han Xintong，Morariu V I，et al.Learning rich features for image manipulation detection［C］//Proc of IEEE CVPR.Piscataway，NJ：IEEE Press，2018：1053-1061.

［15］Xu Dengyun，Shen Xuanjing，Huang Yongping，et al.RB-Net：integrating region and boundary features for image manipulation localization［J/OL］.Multimedia Systems.（2022）.https：//doi.org/10.1007/s00530-022-00833-z.

［16］Chen Xinru，Dong Chengbo，Ji Jiaqi，et al.Image manipulation detection by multi-view multi-scale supervision［C］//Proc of IEEE/CVF ICCV.Piscataway，NJ：IEEE Press，2021：14185-14193.

［17］Ding Hongwei，Chen Leiyang，Tao Qi，et al.DCU-Net：a dual-channel U-shaped network for image splicing forgery detection［J/OL］.Neural Computing and Applications.（2021）.https：//doi.org/10.1007/s00521-021-06329-4.

［18］畢秀麗，魏楊，肖斌，等.基于級聯卷積神經網絡的圖像篡改檢測算法［J］.電子與信息學報，2019，41（12）：2987-2994.（Bi Xiuli，Wei Yang，Xiao Bin，et al.Image tampering detection based on cascaded convolutional neural networks［J］.Journal of Electronics and Information，2019，41（12）：2987-2994.）

［19］鐘輝，李紅，李振建，等.基于卷積神經網絡的圖像拼接篡改檢測算法［J］.吉林大學學報：工學版，2020，50（4）：1428-1434.（Zhong Hui，Li Hong，Li Zhenjian，et al.Image splicing and tampering detection algorithm based on convolutional neural network［J］.Journal of Jilin University：Engineering Edition，2020，50（4）：1428-1434.）

［20］Woo S，Park J，Lee J Y，et al.CBAM：convolutional block attention module［C］//Proc of ECCV.Berlin：Springer，2018：3-19.

［21］Everingham M，Eslami S M，Van Gool L，et al.The pascal visual object classes challenge：a retrospective［J］.International Journal of Computer Vision，2015，111（1）：98-136.

［22］Hsu Y F，Chang S F.Detecting image splicing using geometry invariants and camera characteristics consistency［C］//Proc of IEEE ICME.Piscataway，NJ：IEEE Press，2006：549-552.

［23］Guan Haiying，Kozak M，Robertson E，et al.MFC datasets：large-scale benchmark datasets for media forensic challenge evaluation［C］//Proc of IEEE WACVW.Piscataway，NJ：IEEE Press，2019：63-72.

［24］Krawetz N，Solutions H F.A picture’s worth［J］.Hacker Factor Solutions，2007，6（2）：2.

［25］Mahdian B，Saic S.Using noise inconsistencies for blind image forensics［J］.Image and Vision Computing，2009，27（10）：1497-1503.

［26］Salloum R，Ren Yuzhuo，Kuo C C J.Image splicing localization using a multi-task fully convolutional network （MFCN）［J］.Journal of Visual Communication and Image Representation，2018，51：201-209.

［27］Wu Yue，AbdAlmageed W，Natarajan P.ManTra-Net：manipulation tracing network for detection and localization of image forgeries with anomalous features［C］//Proc of IEEE/CVF CVPR.Piscataway，NJ：IEEE Press，2019：9543-9552.