Mask-RCNN模型在圖像篡改中的應(yīng)用

張麒麟，林清平，肖 蕾（通訊作者）

（空軍預(yù)警學(xué)院 湖北 武漢 430000）

1 引言

隨著科技的快速發(fā)展，手機(jī)、平板電腦等電子設(shè)備和各種圖像編輯軟件的普及，存儲(chǔ)和傳輸數(shù)字圖像變得十分便捷。但隨之也帶來不少問題，其中對(duì)圖像進(jìn)行不正當(dāng)?shù)募庸ず吞幚肀闶且淮髥栴}。被惡意篡改的圖像經(jīng)過傳播，會(huì)影響人們對(duì)客觀事物的評(píng)價(jià)，甚至危害社會(huì)和國(guó)家安全。近年來由于圖像造假事件造成的一系列事件發(fā)人深省，針對(duì)數(shù)字圖像可能面臨著被隨意篡改和偽造的風(fēng)險(xiǎn)，如何保證數(shù)字圖像的真實(shí)性，對(duì)偽造圖像進(jìn)行認(rèn)證將是一項(xiàng)非常重要的課題。針對(duì)圖片篡改檢測(cè)的算法，以往主要是針對(duì)JPEG格式圖像的壓縮特性進(jìn)行檢測(cè)，如DCT算法[1]和BLK算法，這些算法雖然對(duì)部分剪貼圖片能有效檢測(cè)，但極易受圖像壓縮、轉(zhuǎn)碼等處理的影響。

為此，我們提出了一個(gè)基于深度學(xué)習(xí)的圖像篡改檢測(cè)系統(tǒng)，由噪聲圖像生成、全圖濾鏡檢測(cè)、篡改區(qū)域檢測(cè)三個(gè)子系統(tǒng)構(gòu)成。噪聲圖像生成是基于信噪比原理，依據(jù)圖片本身存在的噪聲，突出其中差異生成噪聲特征圖像。全圖濾鏡檢測(cè)是依據(jù)圖像像素之間的高維關(guān)聯(lián)，用CNN提取其中特征，檢測(cè)圖片可能存在的濾鏡。篡改區(qū)域檢測(cè)是依據(jù)雙流Mask-RCNN網(wǎng)絡(luò)構(gòu)架，從RGB和噪聲兩個(gè)層面并行檢測(cè)圖片的篡改痕跡，并對(duì)篡改區(qū)域進(jìn)行精確到像素級(jí)的標(biāo)識(shí)。

2 Mask-RCNN檢測(cè)網(wǎng)絡(luò)

Mask-RCNN[2]是何凱明基于以往的Faster-RCNN[3]架構(gòu)提出的新的卷積網(wǎng)絡(luò)。Mask-RCNN與Faster-RCNN同樣采用了Two--Stage的結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)同時(shí)完成了兩項(xiàng)任務(wù)，即準(zhǔn)確識(shí)別目標(biāo)和完成高質(zhì)量的語義分割。Mask-RCNN的設(shè)計(jì)思路就是在原有的Faster-RCNN基礎(chǔ)上進(jìn)行擴(kuò)展，增添一個(gè)預(yù)測(cè)分割MASK的分支對(duì)目標(biāo)的位置信息進(jìn)行并行預(yù)測(cè)。我們將Mask-RCNN這一優(yōu)秀的特性應(yīng)用到篡改區(qū)域檢測(cè)中，并針對(duì)圖像檢測(cè)的需求引入噪聲檢測(cè)機(jī)制和雙流結(jié)構(gòu)，解決了以往算法檢測(cè)效果和區(qū)域劃分難以共同實(shí)現(xiàn)的難題，實(shí)現(xiàn)了像素級(jí)篡改檢測(cè)。

圖1 Mask-RCNN檢測(cè)網(wǎng)絡(luò)模型

如圖1，改進(jìn)后Mask-RCNN 的網(wǎng)絡(luò)結(jié)構(gòu)圖中主要有四個(gè)部分：殘差網(wǎng)絡(luò)卷積層、RPN（區(qū)域建議網(wǎng)絡(luò)推薦）、噪聲核卷積層、ROI Align(區(qū)域特征聚集)。主要流程如下：先將圖片集傳入檢測(cè)網(wǎng)絡(luò)，經(jīng)過殘差網(wǎng)絡(luò)分析和噪聲卷積核處理得到圖像的feature maps（圖像特征），并利用RPN對(duì)生成的feature maps做目標(biāo)區(qū)域推薦生成區(qū)域推薦，最終將其分類生成判斷結(jié)果。

2.1 殘差網(wǎng)絡(luò)卷積層

待檢測(cè)圖像中物體是以不同的scale（圖片的比例）和size（圖片的大小）出現(xiàn)的，故數(shù)據(jù)集無法捕獲所有這些數(shù)據(jù)。因此，本層采用了ResNet50（殘差神經(jīng)網(wǎng)絡(luò)）+FPN。這樣可以較好地提取圖片特征。FPN不是僅僅具有橫向連接，也能實(shí)現(xiàn)縱向連接卷積層，它們使用一個(gè)簡(jiǎn)單的MergeLayer（把若干個(gè)層合并成一個(gè)層）來組合兩者。這樣的設(shè)計(jì)讓圖像的特征能夠被充分發(fā)掘并使不同深度的特征的影響更加均勻。

2.2 RPN層

顧名思義就是區(qū)域推薦的網(wǎng)絡(luò)，用于幫助網(wǎng)絡(luò)推薦感興趣的區(qū)域，也是傳統(tǒng)Mask-RCNN中重要的一部分。通過固定錨點(diǎn)與滑窗確定特征區(qū)域?qū)?yīng)的圖像位置，生成一個(gè)全連接特征。然后在這個(gè)特征后產(chǎn)生兩個(gè)分支的全連接層，用全連接層實(shí)現(xiàn)上一層特征到兩個(gè)分支的特征映射，幫助后續(xù)mask確定像素點(diǎn)位置。

2.3 噪聲核卷積層

主要利用截取SRM濾波中間過程[4]，得到多種濾波核卷積后的圖像，突出顯示圖像噪聲方面的特征。本層接受卷積層的中間輸出，經(jīng)本層處理后的圖像天然與下一級(jí)原始卷積圖像形成類似上采樣的結(jié)果，將輸出結(jié)果與相同層數(shù)的原始卷積圖像在FPN層中用進(jìn)行特征融合，實(shí)現(xiàn)雙流架構(gòu)的引入，使噪聲特征更加突出地作為圖像篡改特征的一部分。

2.4 ROI Align層

ROI Align（區(qū)域特征聚集）層通過取消量化操作，采取雙線性內(nèi)插值的方法獲得坐標(biāo)數(shù)值為浮點(diǎn)數(shù)的像素點(diǎn)上的圖像數(shù)值，從而將整個(gè)特征聚集過程轉(zhuǎn)化為一個(gè)連續(xù)的操作。在Faster RCNN中，有兩次整數(shù)化的過程：region proposal的xywh通常是小數(shù)，為了計(jì)算簡(jiǎn)便一般做整數(shù)化處理。將處理后的圖像邊界平均分割成個(gè)單元，對(duì)生成的單元的邊界整數(shù)化。

通過以上兩次整數(shù)化后的圖像中的候選框位置和初始回歸的位置存在一定的偏差，影響目標(biāo)檢測(cè)或者語義分割的準(zhǔn)確性。ROI Align方法通過取消整數(shù)化操作，保留了小數(shù)來避免出現(xiàn)以上問題。改進(jìn)后的流程如下：

（1）對(duì)圖像中各個(gè)候選區(qū)域進(jìn)行遍歷，候選區(qū)域的邊界不做整數(shù)化處理。

（3）對(duì)每個(gè)單元使用雙線性插值的方法計(jì)算四個(gè)固定坐標(biāo)位置，將獲得的圖像數(shù)值進(jìn)行最大池化操作。

經(jīng)過以上改進(jìn)的ROI Align處理可以提高模型的準(zhǔn)確性。

3 對(duì)比實(shí)驗(yàn)與結(jié)果分析

本文選取精確率、召回率和評(píng)分參數(shù)作為對(duì)比部分的參考評(píng)價(jià)，其中，精確率、召回率、評(píng)分的計(jì)算如下。

測(cè)試數(shù)據(jù)集CASIA v1.0是一個(gè)著名的用于圖像篡改檢測(cè)的數(shù)據(jù)集，包含豐富的真實(shí)圖像和篡改圖像。但為避免受到CASIA v1.0數(shù)據(jù)集的限制，實(shí)驗(yàn)部分采用十折交叉驗(yàn)證法來對(duì)實(shí)驗(yàn)效果進(jìn)行客觀的評(píng)估。

表1 本文所提算法及3種對(duì)比算法的檢測(cè)結(jié)果精確率、召回率和F的平均值

通過表1可以看出，本文所提出的算法在精確率和F度量的平均值上大大優(yōu)于其他三種算法，分別達(dá)到了0.76和0.72；召回率的平均值雖然略低于普通Faster-RCNN算法，但是仍然遠(yuǎn)高于ELA算法和U-Net算法，不過有研究表明：在不犧牲準(zhǔn)確率的前提下，很難達(dá)到很高的召回率。在大規(guī)模數(shù)據(jù)集合中這兩者是相互制約的，無法同時(shí)達(dá)到高的準(zhǔn)確率和召回率，所以本文所提的算法在精確率、召回率和F的平均值方面是明顯優(yōu)于其他三種算法的。通過檢測(cè)的實(shí)際效果也可以看出，普通Faster-RCNN算法、ELA算法和U-Net算法雖然都大致檢測(cè)出了被篡改的區(qū)域，但是精度都比較低，錯(cuò)誤檢測(cè)的區(qū)域較多，反觀本文所提的算法可以很明顯地看出本文所提的算法在檢測(cè)的實(shí)際效果上仍然優(yōu)于其他三種算法。總的來看本文所提的算法在各方面都優(yōu)于其他三種用于實(shí)驗(yàn)對(duì)比的算法。

此外，將圖像檢測(cè)算法應(yīng)用于大量圖片時(shí)，運(yùn)行速度是極為重要的指標(biāo)，為此，我們對(duì)同一批圖片檢測(cè)的速度進(jìn)行了對(duì)比，結(jié)果如表2。

表2 本文所提算法及3種對(duì)比算法的檢測(cè)運(yùn)行時(shí)間

通過本文所提的算法及3種對(duì)比算法的檢測(cè)運(yùn)行時(shí)間的實(shí)測(cè)結(jié)果可以明顯看出，本文所提的算法在運(yùn)行時(shí)間上也有一定的改進(jìn)。在保證了較好的準(zhǔn)確率、召回率和F度量的前提下，本文所提的算法在運(yùn)行時(shí)間上仍有較大的優(yōu)勢(shì)，具有運(yùn)行速度快的特點(diǎn)，適用于大批量圖片檢測(cè)。

綜上所述，我們所提出的算法的豐富特征使其在圖像篡改的檢測(cè)上有著較為優(yōu)秀的效果。通過上面三個(gè)表的詳細(xì)分析可以看出，本算法在執(zhí)行速度、準(zhǔn)確率、召回率等方面都優(yōu)于現(xiàn)有的算法。在當(dāng)前的圖像篡改檢測(cè)領(lǐng)域，本文提出的圖像篡改檢測(cè)系統(tǒng)有著較為明顯的優(yōu)勢(shì)。

4 結(jié)語

本文設(shè)計(jì)實(shí)現(xiàn)了一個(gè)基于深度學(xué)習(xí)的雙流Mask-RCNN框架進(jìn)行篡改圖像的檢測(cè)，詳細(xì)闡述了雙流Mask-RCNN模型的構(gòu)架，通過實(shí)驗(yàn)證明了其合理性和優(yōu)越性。

雙流Mask-RCNN與單一深度學(xué)習(xí)方法相比，具有更好的魯棒性和更先進(jìn)的性能。多通道的輸入使圖片的轉(zhuǎn)碼和壓縮不易影響篡改特征，雙流相互印證能夠更加精確地定位篡改區(qū)域和能夠檢測(cè)多種尺寸的圖片，不再受限于普通RCNN算法的圖片輸入大小限制，能夠輸出精確到像素級(jí)的篡改區(qū)域。

采取雙流Mask-RCNN能從更多角度分析圖片的修改痕跡信息，幫助用戶更好地甄別圖片真?zhèn)涡浴?/p>