基于深度特征提取和DCT變換的圖像復(fù)制粘貼篡改檢測(cè)*

魏偉一,趙毅凡,陳 幗

(西北師范大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，甘肅 蘭州 730070)

1 引言

隨著圖像編輯軟件的發(fā)展，普通用戶(hù)可以輕易地將圖像篡改為難以肉眼識(shí)別的非真實(shí)圖像。在新聞、司法等行業(yè)，需要鑒別圖像真?zhèn)危源_定信息的可靠性。復(fù)制粘貼篡改檢測(cè)CMFD(Copy-Move Forgery Detection)的目的是檢測(cè)同幅圖像中是否存在2處甚至多處相同或相似區(qū)域。CMFD算法通常分為基于關(guān)鍵點(diǎn)的算法、基于圖像塊的算法及關(guān)鍵點(diǎn)和圖像塊相結(jié)合的算法。

基于關(guān)鍵點(diǎn)的算法首先提取局部特征，再進(jìn)行特征點(diǎn)匹配。目前應(yīng)用較廣泛的特征點(diǎn)有SIFT(Scale Invariant Feature Transform)[1]和SURF(Speeded Up Roubst Feature)[2]等，特征匹配算法有g(shù)2NN、構(gòu)建KD樹(shù)和隨機(jī)蕨分類(lèi)器[3]等。Alhammadi等人[2]通過(guò)單圖像超分辨率SISR(Single Image Super Resolution)算法進(jìn)行預(yù)處理，生成高分辨率圖像，提取SURF特征點(diǎn)后進(jìn)行2NN匹配，最后通過(guò)層次聚類(lèi)過(guò)濾錯(cuò)誤匹配。Yang等人[4]首先通過(guò)計(jì)算自適應(yīng)分布閾值提取SURF關(guān)鍵點(diǎn)，并引入BRISK(Binary-Robust-Invariant-Scalable-Keypoints)[5]來(lái)描述局部特征，然后通過(guò)嵌入式隨機(jī)蕨分類(lèi)器進(jìn)行匹配。Li等人[6]證明了通過(guò)降低對(duì)比度閾值和調(diào)整圖像大小，即使在平滑或較小的區(qū)域也可以生成足夠數(shù)量的SIFT關(guān)鍵點(diǎn)，并提出了新的層次匹配策略和迭代定位方案。Lin等人[7]提出將LIOP(Local-Intensity- Order-Pattern)和SIFT形成組合特征，利用傳遞匹配改進(jìn)匹配關(guān)系，同時(shí)提出新的基于圖像分割的濾波方法來(lái)消除誤匹配。

基于圖像塊的算法首先將圖像分割為重疊或非重疊塊，然后提取塊特征進(jìn)行匹配。此類(lèi)算法匹配精度高，其效率與塊特征提取密切相關(guān)，因此恰當(dāng)?shù)膲K特征提取方法有利于提高效率。目前常用的提取塊特征的算法有DCT(Discrete- Cosine-Transform)[8]、DWT(Discrete-Wavelet-Transform)[9]、FMT(Fourier-Mellin-Transform)[10]和Hu矩[11]等。塊匹配過(guò)程中，Muja等人[12]通過(guò)建立KD樹(shù)來(lái)尋找最佳匹配對(duì)；Ryu等人[13]提出了基于局部敏感哈希的高效塊匹配方法；Barnes等人[14]提出了PatchMatch方案，利用圖像中的其他區(qū)域來(lái)恢復(fù)邊緣區(qū)域，搜索塊特征之間的相關(guān)性，以尋找最佳匹配；Chen等人[15]從彩色圖像中提取分?jǐn)?shù)階四元數(shù)FrQZMs特征，然后利用改進(jìn)的PatchMatch算法對(duì)FrQZMs特征進(jìn)行匹配。

在圖像塊與關(guān)鍵點(diǎn)相結(jié)合的算法研究方面，Bi等人[16]將圖像分割成多尺度且不規(guī)則的非重疊塊，然后提取每塊的SIFT特征作為塊特征，隨后通過(guò)自適應(yīng)塊匹配算法尋找可疑偽造區(qū)域；Chen等人[11]提取SIFT特征進(jìn)行g(shù)2NN匹配，再通過(guò)計(jì)算圖像塊的Hu不變矩進(jìn)行塊匹配。

深度學(xué)習(xí)在計(jì)算機(jī)視覺(jué)領(lǐng)域應(yīng)用日益廣泛。Liu等人[17]利用COB(Convolutional-Oriented-Boundaries)網(wǎng)絡(luò)對(duì)圖像進(jìn)行自適應(yīng)分割，隨后通過(guò)SKPD(Segmentation-based-KeyPoint-Distribution)策略檢測(cè)關(guān)鍵點(diǎn)，再利用卷積核網(wǎng)絡(luò)CKN(Convolutional Kernel Network)提取特征。Agarwal等人[18]使用VGG(Visual Geometry Group)網(wǎng)絡(luò)對(duì)分割塊進(jìn)行多尺度特征提取并進(jìn)行深度重構(gòu)，然后采用ABM(Adaptive-Block-Matching)算法進(jìn)行塊匹配。

基于關(guān)鍵點(diǎn)的算法所需的特征點(diǎn)數(shù)目通常難以確定，基于圖像塊的算法則時(shí)間復(fù)雜度高且定位區(qū)域不夠完整。針對(duì)上述問(wèn)題，本文提出一種采用自適應(yīng)閾值提取圖像深度特征的算法，并結(jié)合塊特征和點(diǎn)特征分別進(jìn)行初步匹配和基于卷積運(yùn)算的精細(xì)匹配，完整定位出篡改區(qū)域。

2 基于深度特征提取和DCT變換的CMFD算法

本文利用新的基于全卷積神經(jīng)網(wǎng)絡(luò)FCN(Fully Convolutional Network)的特征提取器，在融合顏色和紋理信息的圖像中計(jì)算自適應(yīng)特征提取閾值，進(jìn)而獲得圖像深度特征;然后通過(guò)基于DCT變換的初始匹配和基于卷積運(yùn)算的精確匹配來(lái)獲得篡改區(qū)域。算法流程如圖1所示。

Figure 1 Flow chart of the proposed algorithm圖1 本文算法流程

2.1 圖像顏色信息和紋理信息融合

在CMFD任務(wù)中，提取傳統(tǒng)特征(如SIFT、SURF等)和深度特征時(shí)，通常是基于圖像顏色信息，忽略了紋理信息，導(dǎo)致所提取的特征不夠均勻，數(shù)目也有所限制。因此，本文提出將圖像顏色信息和紋理信息進(jìn)行融合，并對(duì)圖像進(jìn)行直方圖均衡化處理，以獲取更多的特征點(diǎn)。

LBP(Local Binary Pattern)值由式(1)和式(2)定義:

(1)

(2)

其中，ip表示鄰域像素值，ic表示中心像素值,Np表示鄰域像素?cái)?shù)量。

遍歷所有像素得到由LBP值構(gòu)成的二維矩陣，即LBP通道。將原始RGB圖像與LBP通道融合，記為RGB_L圖像，并進(jìn)行直方圖均衡化處理。

為證明在相同閾值下RGB_L圖像中的特征點(diǎn)分布更加均勻，在GRIP數(shù)據(jù)集[19]上采用特征點(diǎn)均勻度評(píng)價(jià)算法進(jìn)行分布均勻度評(píng)價(jià)，通過(guò)方差衡量特征點(diǎn)數(shù)目的波動(dòng)程度，特征點(diǎn)分布均勻度U越大表示特征點(diǎn)分布越均勻。該算法如算法1所示。

算法1特征點(diǎn)均勻度評(píng)價(jià)算法

輸入：篡改圖像。

輸出：特征點(diǎn)分布均勻度。

步驟1讀入圖像并提取特征點(diǎn)；

步驟2按照batch大小將圖像非重疊分塊，并統(tǒng)計(jì)每個(gè)圖像塊的特征點(diǎn)數(shù)目，記為Ni,i=1,2,…,n；

步驟3按照式(3)計(jì)算N1～Nn的方差，通過(guò)式(4)計(jì)算圖像的特征點(diǎn)分布均勻度：

(3)

(4)

算法1中特征提取閾值t設(shè)為0.001，在GRIP數(shù)據(jù)集中圖像大小為1024×768，為保證圖像分塊大小的一致性和避免分塊數(shù)目過(guò)多，設(shè)圖像塊大小batch為256×256，則n=12。圖2a是提取的RGB圖像特征點(diǎn)，圖2b是提取的RGB_L圖像特征點(diǎn)，表1是圖2和整個(gè)數(shù)據(jù)集上的平均分布均勻度對(duì)比。

Figure 2 Comparison of the effect of feature points extraction before and after pretreatment圖2 預(yù)處理前后特征點(diǎn)提取效果對(duì)比

Table 1 Feature points distribution uniformity of figure 2 and GRIP dataset

2.2 采用自適應(yīng)閾值提取圖像特征

2.2.1 自適應(yīng)特征提取閾值

不同圖像要獲得足夠的特征點(diǎn)數(shù)目，需要單獨(dú)設(shè)置特征提取閾值，這導(dǎo)致算法無(wú)法端到端進(jìn)行。盡管Li等人[6]提出了自適應(yīng)閾值算法，但該算法只是在計(jì)算單個(gè)超像素塊的特征點(diǎn)密度后，再根據(jù)原特征提取閾值進(jìn)行向下調(diào)整，算法的時(shí)間復(fù)雜度較高。本文提出結(jié)合圖像信息熵和LBP值計(jì)算自適應(yīng)特征提取閾值，以獲得合適的特征點(diǎn)數(shù)目。

結(jié)合圖像熵和平均LBP值，自適應(yīng)計(jì)算圖像的特征提取閾值，其定量關(guān)系由式(5)給出：

(5)

Figure 3 Four tampered images 圖3 4幅篡改圖像

Table 2 Relationship between the number of image feature points and image entropy and average LBP value

2.2.2 利用FCN特征檢測(cè)器提取深度特征

針對(duì)計(jì)算機(jī)視覺(jué)中的幾何變換問(wèn)題，DeTone 等人[20]提出采用自監(jiān)督訓(xùn)練全卷積網(wǎng)絡(luò)FCN來(lái)作為特征檢測(cè)器，提取圖像的SuperPoint特征點(diǎn)。相比SIFT、SURF和ORB(Oriented FAST and Rotated BRIEF)等傳統(tǒng)特征，SuperPoint特征點(diǎn)的提取更加快速，特征點(diǎn)提取的描述更加全面和魯棒。

此特征檢測(cè)器由3個(gè)模塊組成：1個(gè)編碼器和2個(gè)共享解碼器，如圖4所示。編碼器模塊由1個(gè)卷積層、3個(gè)連續(xù)池化層和激活函數(shù)組成；特征點(diǎn)解碼器模塊生成特征點(diǎn)位置信息；描述符解碼器模塊生成特征描述向量;W,H和D分別表示圖像的寬、高和通道數(shù)。

將融合的RGB_L圖像作為檢測(cè)器的輸入，計(jì)算自適應(yīng)特征提取閾值檢測(cè)圖像特征點(diǎn)，并得到特征點(diǎn)集合：

(1)特征點(diǎn)位置集合P={p1,p2,p3,…,pn}，其中pm=(xm,ym)代表特征點(diǎn)m的位置坐標(biāo)，n是特征點(diǎn)數(shù)目。

(2)特征點(diǎn)描述符集合F={f1,f2,f3,…,fn}，其中fm代表特征點(diǎn)m的256維特征向量。

Figure 4 Network structure of feature detector圖4 特征檢測(cè)器網(wǎng)絡(luò)結(jié)構(gòu)

2.3 基于DCT變換和卷積操作進(jìn)行特征匹配

2.3.1 粗略匹配

基于圖像塊的CMFD算法通常將圖像重疊分塊后再進(jìn)行迭代匹配，算法時(shí)間復(fù)雜度高且定位區(qū)域不完整。針對(duì)此問(wèn)題，本文提出了二級(jí)匹配策略，即以SuperPoint特征點(diǎn)為中心分別進(jìn)行粗略匹配和精細(xì)匹配，完整定位篡改區(qū)域。

本刊社長(zhǎng)、總編輯、旅游文化創(chuàng)意研究院院長(zhǎng)劉建波向記者介紹了研究院的概況，他說(shuō)，研究院將依托濟(jì)南大學(xué)和歷文學(xué)院的智力資源優(yōu)勢(shì)，抓住當(dāng)下文化和旅游融合的機(jī)遇，圍繞省委省政府的中心工作，緊扣紅色旅游、康養(yǎng)和研學(xué)旅游等版塊的熱點(diǎn)和難點(diǎn)，以多種方式合作開(kāi)展旅游理論研究、實(shí)踐總結(jié)、學(xué)術(shù)交流、智庫(kù)建設(shè)和決策咨詢(xún)等工作，實(shí)現(xiàn)產(chǎn)學(xué)研有機(jī)對(duì)接，為山東省文化旅游融合發(fā)展提供智力支持、數(shù)據(jù)支持、市場(chǎng)支持和產(chǎn)品支持，為塑造山東新形象貢獻(xiàn)自己的力量。

以SuperPoint特征點(diǎn)為中心取8*8的圖像塊進(jìn)行DCT變換，變換公式如式(6)所示：

(6)

其中，x,μ=0,1,2,…,M-1；y,ν=0,1,2,…,N-1;M×N表示圖像矩陣的大小。在DCT域圖像的能量主要集中在左上角，因此通過(guò)“Z形”截?cái)郉CT域系數(shù)后得到16維的塊描述向量，即得到集合 。迭代計(jì)算圖像塊描述向量之間的歐氏距離，如式(7)所示:

(7)

其中,mi,mj分別表示2個(gè)維度相同的特征向量。若D(mi,mj)小于閾值T，則認(rèn)為2個(gè)圖像塊匹配。

經(jīng)過(guò)粗略匹配，篡改區(qū)域被劃分為篡改區(qū)域A和篡改區(qū)域B，即可能相似的2個(gè)區(qū)域，如圖5所示。

2.3.2 過(guò)濾誤匹配

由圖5c可以看出，經(jīng)過(guò)粗略匹配后會(huì)出現(xiàn)部分錯(cuò)誤匹配，因此，本文將進(jìn)一步計(jì)算匹配塊對(duì)應(yīng)的SuperPoint特征向量的相似性，以消除誤匹配。設(shè)一對(duì)匹配塊對(duì)應(yīng)的特征點(diǎn)描述向量分別為f1=[a1,a2,…,a256]和f2=[b1,b2,…,b256]，由于余弦相似度可以衡量2個(gè)向量之間的方向相關(guān)性，因此本文采用式(8)計(jì)算2個(gè)特征向量之間的相似性:

Figure 5 Results of rough matching圖5 粗略匹配結(jié)果

(8)

當(dāng)所得余弦相似度大于閾值Tcos時(shí)保留匹配塊，否則消除錯(cuò)誤匹配，結(jié)果如圖5d所示。

2.3.3 基于卷積運(yùn)算的精細(xì)匹配

經(jīng)過(guò)粗略匹配和過(guò)濾誤匹配后，能夠準(zhǔn)確得知圖像是否經(jīng)過(guò)篡改，但定位區(qū)域不夠完整時(shí)，所得篡改區(qū)域往往小于真實(shí)篡改區(qū)域。因此，本文提出利用卷積運(yùn)算進(jìn)一步細(xì)化篡改區(qū)域，即在初步匹配得到的2類(lèi)篡改區(qū)域中使用共享卷積核進(jìn)行卷積運(yùn)算，通過(guò)比較2個(gè)區(qū)域的卷積值是否相同來(lái)進(jìn)行精細(xì)匹配，算法描述如算法2所示。其中，凸包由粗略定位的篡改區(qū)域中所有坐標(biāo)點(diǎn)計(jì)算最外圍坐標(biāo)得到，最后采用形態(tài)學(xué)操作填充空洞區(qū)域。

算法2精細(xì)匹配算法

輸入：A、B區(qū)域內(nèi)所有匹配塊的角點(diǎn)坐標(biāo)集合。

輸出：塊標(biāo)記為0或1。

步驟1分別讀取區(qū)域A內(nèi)所有匹配塊的角點(diǎn)坐標(biāo)集合，并通過(guò)Hull算法分別得到凸包1和凸包2。

步驟2確定大于凸包邊緣的區(qū)域A′和B′。

步驟3在區(qū)域A′和B′的相同位置，采用共享卷積核分別計(jì)算卷積值A(chǔ)′i和B′i。

步驟4若A′i=B′i，將位置i所在的塊區(qū)域標(biāo)記為1；否則，將位置i所在的塊區(qū)域標(biāo)記為0。

步驟5重復(fù)步驟3和步驟4，直至遍歷完整個(gè)區(qū)域A′和B′。

3 實(shí)驗(yàn)分析和結(jié)果對(duì)比

3.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文選擇2個(gè)公共數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別是GRIP數(shù)據(jù)集和CoMoFoD數(shù)據(jù)集。GRIP[19]數(shù)據(jù)集包含80幅光滑程度不同的篡改圖像及其對(duì)應(yīng)的80幅真值圖，圖像大小均為768×1024像素。CoMoFoD[21]數(shù)據(jù)集包含260組圖像集，每組圖像集包括經(jīng)過(guò)不同處理的篡改圖像、2幅真值圖及原始圖像。篡改圖像包括經(jīng)過(guò)平移、旋轉(zhuǎn)、縮放、JPEG壓縮、模糊和噪聲添加等攻擊的圖像。

實(shí)驗(yàn)采用準(zhǔn)確率P、召回率R、F值和運(yùn)行時(shí)間作為評(píng)價(jià)指標(biāo)，其定義分別如式(9)～式(11)所示:

(9)

(10)

(11)

其中，NTP表示檢測(cè)正確的像素?cái)?shù)目，NFP表示檢測(cè)錯(cuò)誤的像素?cái)?shù)目，NFN表示未檢測(cè)到的像素?cái)?shù)目。通過(guò)這3項(xiàng)指標(biāo)和運(yùn)行時(shí)間比較本文算法和文獻(xiàn)[8,11]算法在2個(gè)公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，以表明本文算法的優(yōu)越性。

3.2 實(shí)驗(yàn)參數(shù)設(shè)置

在實(shí)驗(yàn)中，根據(jù)先驗(yàn)知識(shí)和實(shí)驗(yàn)效果對(duì)實(shí)驗(yàn)參數(shù)進(jìn)行設(shè)置，具體參數(shù)值如表3所示。相比其他參數(shù)值設(shè)置，在表3的參數(shù)設(shè)置下，本次實(shí)驗(yàn)的效果最具優(yōu)勢(shì)。

Table 3 Setting of experimental parameters

Figure 6 Experimental results comparison among the proposed algorithm and those from reference[8,11]圖6 與文獻(xiàn)[8,11]算法實(shí)驗(yàn)結(jié)果對(duì)比

3.3 實(shí)驗(yàn)結(jié)果對(duì)比

與文獻(xiàn)[8,11]相比，本文算法的時(shí)間復(fù)雜度低，且評(píng)價(jià)指標(biāo)均能達(dá)到很好的效果，圖6是GRIP數(shù)據(jù)集中4組篡改圖像的對(duì)比結(jié)果。從像素級(jí)結(jié)果可以看出，文獻(xiàn)[8]算法存在檢測(cè)區(qū)域不完整且存在錯(cuò)誤匹配的問(wèn)題;文獻(xiàn)[11]算法由于采用區(qū)域生長(zhǎng)的算法來(lái)獲得最終結(jié)果，導(dǎo)致檢測(cè)區(qū)域不夠精確;本文算法的定位結(jié)果均優(yōu)于以上算法的。

算法的評(píng)價(jià)指標(biāo)結(jié)果如表4所示，本文算法的準(zhǔn)確率和F值均比文獻(xiàn)[8,11]的高，且運(yùn)行時(shí)間最少。文獻(xiàn)[8]算法通過(guò)直接將圖像劃分為重疊塊并進(jìn)行DCT變換獲得塊特征，隨后采用歐氏距離進(jìn)行塊特征匹配。相比文獻(xiàn)[8]算法，本文算法僅在特征點(diǎn)所在區(qū)域提取塊特征并匹配，大大提高了效率，且基于卷積運(yùn)算的精確匹配使檢測(cè)區(qū)域更加完整。

Table 4 Comparison of evaluation indicators of different algorithms on GRIP dataset

文獻(xiàn)[11]算法首先提取SIFT特征點(diǎn)并進(jìn)行g(shù)2NN匹配，在匹配點(diǎn)對(duì)的基礎(chǔ)上再次提取Hu矩特征，并利用區(qū)域生長(zhǎng)獲得最終偽造區(qū)域。由于g2NN算法在特征點(diǎn)數(shù)目較多的情況下效率并不理想，本文利用歐氏距離來(lái)衡量塊特征的相似性并利用點(diǎn)特征來(lái)消除誤匹配，明顯降低了時(shí)間復(fù)雜度。

為衡量本文算法在不同數(shù)據(jù)集和不同攻擊下的有效性，同時(shí)在包含不同攻擊圖像的CoMoFoD數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)。此數(shù)據(jù)集包含2部分：一是大小為512×512像素的圖像，共10 400幅；二是大小為3000×2000像素的圖像，共3 120幅。為表明算法在小區(qū)域篡改圖像的性能，實(shí)驗(yàn)中僅選取大小為512×512像素的圖像進(jìn)行驗(yàn)證。CoMoFoD數(shù)據(jù)集的每組篡改圖像包含經(jīng)過(guò)不同變換因子進(jìn)行后處理的圖像，每組篡改圖像的變換參數(shù)如表5所示。

Table 5 Transformation factors of each tampered images

算法在CoMoFoD數(shù)據(jù)集上的部分實(shí)驗(yàn)結(jié)果如圖7所示，其中圖7a分別是僅經(jīng)過(guò)單處篡改、壓縮處理、添加噪聲和模糊處理的圖像，圖7b是真值圖，圖7c是本文算法的檢測(cè)結(jié)果。當(dāng)圖像經(jīng)過(guò)壓縮和噪聲處理后，圖像的檢測(cè)效果有所下降，檢測(cè)區(qū)域的完整性有下降但仍然能夠定位出偽造區(qū)域。

Figure 7 Detection results on CoMoFoD dataset圖7 CoMoFoD數(shù)據(jù)集上的檢測(cè)結(jié)果

本文算法與文獻(xiàn)[8,11]算法在不同變換參數(shù)下的檢測(cè)結(jié)果如表6、表7和圖8所示。相比其他數(shù)據(jù)集，本文在CoMoFoD數(shù)據(jù)集上并沒(méi)有達(dá)到最佳效果，但是相比文獻(xiàn)[8,11]算法，本文算法的實(shí)驗(yàn)結(jié)果較為理想。

Table 6 F values of different noise parameters

Table 7 F values of different fuzzy parameters

Figure 8 F values for different compression parameters圖8 不同壓縮參數(shù)的F值

4 結(jié)束語(yǔ)

本文通過(guò)預(yù)處理融合圖像顏色信息和紋理信息得到更均勻的特征點(diǎn)，并通過(guò)計(jì)算自適應(yīng)閾值和基于全卷積網(wǎng)絡(luò)的特征提取器獲得圖像深度特征。在后續(xù)匹配中，為檢測(cè)到更完整的篡改區(qū)域，在進(jìn)行初步塊匹配之后，通過(guò)基于卷積運(yùn)算的精確匹配得到完整實(shí)驗(yàn)結(jié)果。通過(guò)實(shí)驗(yàn)結(jié)果對(duì)比可知，本文算法時(shí)間復(fù)雜度較低，并且能夠更準(zhǔn)確地定位出篡改區(qū)域。但是，本文算法對(duì)于幾何變換的圖像檢測(cè)效果不理想，后期將在此方面繼續(xù)改進(jìn)。