基于CHFM特征的約束圖像拼接檢測和定位

楊 海，藺 聰

（1. 廣東財經大學信息學院，廣州 510320；2. 廣東財經大學統計與數學學院大數據與教育統計應用實驗室，廣州 510320；3. 中山大學廣東省信息安全技術重點實驗室，廣州 510006）

0 引言

隨著計算機技術的不斷發展，新手只需經過簡單的學習就可借助圖像編輯軟件對圖像進行篡改。篡改后的圖像很難用肉眼辨別其真偽，使圖像的真實性和完整性受到威脅［1］。因此，迫切地需要可靠且全面的篡改檢測技術來識別偽造圖像。

圖像偽造中，常用的篡改操作有：復制移動、修復和拼接。圖像拼接偽造是復制一幅圖像的部分區域，然后粘貼到另一幅圖像中并合并成一幅新圖像［2］。在2017 年美國國家標準與技術研究所的Nimble挑戰中［3］，圖像拼接問題被重新表述為：給定一個查詢（探針）圖像Q和一個潛在供體圖像P，其目標除了檢測Q是否包含來自P中的區域，還要定位出Q的拼接區域和P提供給Q的區域。這將圖像拼接檢測和定位的研究約束在一對圖像上，因此Wu 等［4］將其定義為約束圖像的拼接檢測和定位（constrained image splicing detection and location， CISDL）。CISDL問題所用輸入圖像如圖1 所示，圖中第三列Qm中白色表示拼接區域，黑色為真實區域，第四列Pm中白色區域為提供給Q的區域。圖中前兩對圖像的Q中包含了來自P的區域，為篡改圖像，第三對圖像為真實圖像。

圖1 CISDL問題所用圖像

針對CISDL 問題，本文提出一種基于切比雪夫-傅里葉矩（Chebyshev-Fourier Moments，CHFM）特征的檢測方法。本方法首先用CHFM矩［5］進行特征提取；其次用PatchMatch［6］算法進行特征匹配，得到各像素對應匹配像素的坐標索引；最后將上步得到的索引矩陣進行后處理，得到輸入圖像的掩模圖像。

1 相關工作

關于CISDL 問題，Wu 等［4］提出了深度匹配和驗證網絡（deep matching and validation network，DMVN），DMVN 網絡中有特征提取、深度密集匹配、掩模反卷積和視覺一致性驗證器四個模塊。Ye 等［7］繼承了DMVN 中的深度密集匹配，提出了特征金字塔深度匹配和定位網絡（feature pyramid deep matching and localization network，FPLN）。FPLN 在深度密集匹配后添加了融合層，簡化了DMVN 網絡結構，可以檢測和定位到小的拼接區域，但空間信息丟失限制了模型的辨別能力和定位精度。Liu 等［8］提出一種新的對抗性學習框架。該框架包含基于空洞卷積的深度匹配網絡（deep matching network based on atrous convolution，DMAC）、一個檢測網絡和一個判別網絡。Liu 等［9］又提出一種新的注意感知編解碼器的深度匹配網絡，稱為AttentionDM。Xu 等［10］提出一種新的尺度自適應深度匹配網絡（scale-adaptive deep matching network，SADM），SADM的金字塔框架捕獲了多尺度細節，提高了多尺度區域和邊界檢測與定位的精度。

2 提出的方法

本節分為三個部分，來詳細介紹提出方法的各個步驟，其流程如圖2所示。第一部分介紹特征提取的相關知識；第二部分介紹Patch-Match 算法進行特征匹配的過程；第三部分是后處理，生成二值圖像的過程。

圖2 提出方法的流程

2.1 特征提取

首先介紹一下圖像矩。在數學上，圖像矩一般定義為圖像函數f和基函數Vnm的內積，公式為

其中：?表示復共軛；f(x,y)是圖像函數，其取值為(x,y) ∈R2。CHFM 矩是圓形矩，需將圖像矩用極坐標形式進行表示，因此式（1）可表示為

式（2）中FI(n，m)表示圖像矩集，f（ρ,θ）是圖像函數f(x，y)的極坐標表示，其中ρ∈[0,∞ ]，θ∈[0,2π ]。式（2）中基函數Vnm(ρ,θ)形式如下：

其中：Rnm（ρ）為徑向基函數，可以是任意取值，j為虛數單位，取值為。

將式（3）代入式（2）中，式（2）可重新表示為

本方法中，選用的徑向基函數為CHFM，其形式如下：

以上是圖像矩的定義及形式，接下來用這些理論定義描述圖像特征。圖像中各像素的特征f(a)是由其FI(a)(n,m)值組成的集合，因此特征提取轉變為求解各像素的FI(a)(n,m)值。計算FI(a)(n,m)值時，首先確定(n，m)對數量和塊的大小。本方法選取16 對(n，m)，即特征長度為16。塊大小即濾波器大小為16×16。

其次，對式（2）進行近似，求解圖像矩集。其近似形式為

2.2 特征匹配

特征匹配前首先對特征進行歸一化，其公式為

式（7）中X是需歸一化的像素對應的像素值，MinValue是需歸一化的所有像素中像素值的最小值，MaxValue是需歸一化的所有像素中像素值的最大值。

歸一化后使用PatchMatch 算法進行特征匹配。其匹配步驟如下：

2.2.1 初始化

首先介紹一下偏移量。偏移量值是二維的，其值記錄的是特征向量距離最小的兩個塊中心像素坐標之間的橫向和縱向差值。用公式表示為

式中：Ω表示圖像所有像素，a+Φ是除像素a外的像素。f(a)表示以a為中心P像素鄰域的塊對應的特征向量，D表示兩個塊對應特征向量之間的距離。D取最小值時，兩個像素之間的坐標差值，即為a到其最近鄰的偏移量。a對應最近鄰像素（即a對應匹配點）a′的坐標用公式表示為

初始化是為圖像中每個像素隨機賦予一個偏移量，使每個像素都能夠在當前圖像中找到一個像素與之匹配，其匹配點坐標由公式（9）得到。由于特征匹配是尋找與目標點相對較遠的匹配項，所以本階段提前排除小于閾值8的偏移量。

2.2.2 迭代

本步驟是將初始化階段好的偏移量傳播和更新到整幅圖像，需掃描整幅圖像，在掃描時，每掃描一個像素執行傳播和隨機搜索，當掃描完整幅圖像即一次迭代。其迭代過程如下：

（1）傳播

奇數次迭代時Φ取值為ΔP(a) ={δ(a),δ(ar),δ(ac) }，分別為當前像素的偏移量及其左相鄰和上相鄰像素的偏移量，掃描順序如圖3所示，從上至下，從左至右逐個進行掃描。首先掃描圖像左上角第一個像素點，分別計算以該像素為中心的塊與以該像素加上三個偏移量后得到的三個不同的像素為中心的塊的特征向量之間的距離。取三個距離中的最小值，計算對應偏移量，接著執行隨機搜索，更新當前像素的偏移量。然后往右掃描第二個像素，執行相同操作。當掃描完一行像素時，換行仍從左到右逐個像素進行掃描。當掃描到圖像右下角最后一個像素時，掃描結束即完成一次迭代。在奇數次迭代時，好的偏移量能夠傳播到當前像素右面及下面各個像素。

圖3 奇數次迭代掃描順序

偶數次迭代時Φ取值分別為當前像素的偏移量及其右相鄰和下相鄰像素的偏移量。偶數次迭代過程中，掃描是從下至上，從右至左進行掃描。在偶數次迭代時，好的偏移量能夠傳播到當前像素左面及上面各個像素。

（2）隨機搜索

傳播得到的偏移量是在相鄰像素中尋求的最優值，可能會出現在整個區域內不是最優的情況，所以需進行隨機搜索，防止其陷入局部最優。

隨機搜索時像素a偏移量取值公式為

其中：δ(a)是傳播后的偏移量，Ri是邊長為2i-1（i= 1，2，…，L）的方形網格中，服從均勻分布的二維隨機變量，公式（10）中Φ取值為

本步驟首先以當前像素的最近鄰像素為中心，在初始搜索半徑為圖像最長邊的區域中隨機尋找一個像素，計算以當前像素為中心的塊與以該像素最近鄰像素為中心的塊特征向量之間的距離，與以隨機搜索到的像素為中心的塊特征向量之間的距離，比較兩距離值。如果與以最近鄰像素為中心的塊特征向量的距離最小，將搜索區域半徑縮小為原來一半，繼續搜索。相反，更新當前像素偏移量，并以隨機搜索的像素為中心，在搜索半徑為原來一半的區域中繼續進行搜索。當搜索半徑縮小為1時，當前像素的偏移量更新完成。

通過匹配，最終得到兩個分別記錄各像素匹配像素的x索引和y索引的矩陣。

2.3 后處理

理想情況下，匹配后的偏移量大多是混濁的，需后處理來規范和約束偏移量，以減少誤檢的概率。后處理步驟如下：

（1）用半徑為4 的圓形域對偏移量進行中值濾波。首先生成半徑為4的圓形域，隨后用其對匹配后得到的索引矩陣進行順序統計中值濾波，得到兩個新的索引矩陣。

（2）在半徑為6 的圓形域中計算密集線性擬合（dense linear fitting，DLF）誤差。DLF 是用線性仿射模型擬合出以a為中心N像素鄰域的偏移量，使匹配后的偏移量與經過仿射后的偏移量誤差平方和最小化：

（3）去除偏移對間距離小于50 的像素。本操作需計算各像素與對應最近鄰像素歐式距離的平方，與閾值50×50 進行比較，會得到一幅二值圖像，并與上步的二值圖像取交集，最終得到去除偏移對間距離小于閾值的二值圖像。

（4）形態學處理。首先去除二值圖像中面積小于600 像素的區域；其次進行鏡像檢測，尋找二值圖像中值為1 的像素，將其對應像素標記為1，并再次剔除面積小于600 像素的區域；隨后對二值圖像進行膨脹操作。特征生成后，去除了特征圖邊緣，需填充二值圖像邊緣，使其與輸入圖像大小相同。

3 實驗

本實驗選用數據集是CASIA v2.0［12］，圖像大小從320×240 像素到800×600 像素不等，其中包含7200 張真實圖像和5123 張篡改圖像。篡改的5123 張圖像中，有3302 張是復制移動問題的圖像，有1821 張是拼接檢測問題的圖像。本實驗根據Wu 等［4］上傳到gitlab 上的CASIA 配對表格，隨機選取100 對標簽為1 的匹配對，將其對應圖像拼接，并用Photoshop 生成各對圖像的掩模圖像。隨后，對合成的圖像及掩模圖像進行后處理，將大小都設置為384×512像素。

為了綜合評估本方法的性能，使用評價指標F1來度量，F1公式如下：

其中：圖像級F1中的TP（真正例）為檢測到的偽造圖像的數量、FN（假反例）為未檢測到的偽造圖像數量、FP（假正例）為錯誤檢測到的真實圖像的數量。像素級F1中TP為檢測到偽造像素的數量，FN為未檢測到的偽造像素的數量，FP為誤檢測到真實像素的數量。在圖像級上，F1的值表示檢測方法識別圖像真偽的能力。在像素級上，F1的值表示檢測方法檢測和定位圖像偽造區域的精度。

為了檢測本方法的性能，將本文方法與Cozzolino等［13］提出方法進行比較。圖4展示了三組圖像的掩模輸出結果。從（c）和（d）中第一行和第三行可以看出兩種方法檢測到的篡改區域大小差不多，從第二行了解到本文方法檢測到Cozzolino等［13］方法沒有檢測到的篡改區域。。

圖4 兩種方法檢測結果對比

對比實驗結果見表1，表1 中報告了兩種方法圖像級和像素級的F1值。通過表格了解到本方法圖像級，特別是像素級的F1優于Cozzolino等［13］方法。

表1 對比實驗結果/%

4 結語

圖像編輯軟件不斷發展，篡改后的圖像效果逼真，很難辨別，給圖像偽造檢測帶來極大的挑戰。基于此，本文提出一種基于CHFM 特征的方法解決CISDL 問題，該方法首先提取CHFM 特征，其次用PatchMatch算法進行特征匹配，最后進行后處理，輸出二值圖像，以此了解輸入圖像對中的重復區域。

實驗結果表明，本文方法檢測和定位精度與Cozzolino 等［13］方法相比有了提高。但本文方法還有改造的空間，比如特征匹配方法和后處理階段。在未來的工作中，將對這兩個步驟的改進進行研究。