采用低層特征的深度偽造圖像檢測方法

馬 喆，周華兵

（武漢工程大學計算機科學與工程學院，湖北 武漢 430205）

0 引言

近年來，深度學習在計算機視覺、自然語言處理等領域取得重大突破，超越了許多傳統方法。然而，深度學習技術也對個人隱私數據、社會穩定和國家安全等造成潛在威脅。

以深度學習技術制作的虛假圖像以及音視頻內容在網絡上傳播，深度偽造技術采用“生成式對抗網絡”（Generative Adversarial Networks，GAN）的機器學習模型將圖片疊加到源圖片上，尤其是Deepfakes 技術生成的偽造視頻通過篡改或替換原始視頻中的人臉信息制作虛假新聞、政治謠言，這類偽造視頻人眼難以辨認，一旦被濫用危害極大，給國家安全甚至世界秩序帶來風險。目前，針對深度偽造內容的檢測和防御成為世界各國政府、企業及研究人員關注的熱點之一［1］。

深度偽造內容檢測方法大多采用多層卷積神經網絡，取得了一定成果，但其仍然存在網絡結構復雜、計算量大等問題。本文提出一種基于低層特征的深度偽造圖像檢測方法，先對圖像進行預處理提取低層特征，再將低層特征通過簡單的全連接網絡訓練實現分類。全連接網絡結構簡單，計算量小于多層神經網絡且分類精度有所提高。

1 相關工作

基于傳統的信號處理方法進行圖像取證，利用圖像的頻域特征和統計特征來檢測拼接、復制—移動、移除等偽造圖像記錄［2］。Chierchia 等［3］基于相機設備指紋光響應不均勻性檢測小的篡改圖像；Huh 等［4］設計了一個孿生網絡，在來自不同相機的圖像塊上提取圖片的噪音指紋從而實現檢測；Zhou 等［5］提出基于雙流的Faster R-CNN 網絡，融合RGB 流與噪聲流的特征學習兩個模態空間信息；Liu等［6］提出一個新的深度融合網絡，通過追蹤邊界來定位篡改區域。這些基于取證的技術已經很成熟，但是深度偽造圖像通常會進行不同的壓縮方式、不同的壓縮率等后處理，而經過后處理的圖像局部異常特征會減弱。傳統取證方法關注的是局部異常特征，因此傳統取證方法不能直接用于深度偽造圖像檢測。

近年深度偽造圖像檢測技術取得進展。深度偽造技術往往忽略人的真實生理特征，Yang 等［7-8］發現假人臉與真人臉在3D 頭部姿態評估和關鍵點位置具有不一致性，因此根據SVM 分類器進行學習。但隨著深度偽造技術在生理信號上的改進，此類方法會失效；早期的深度偽造圖像由于技術缺陷會在人臉區域留下人工痕跡，Li 等［9］發現Deepfakes 視頻留下的人工偽影，通過模擬人工偽影構造負樣本使用Resnet50 網絡訓練分類器；Matern 等［10］利用真假臉的不一致性來區分，通過對特定區域（牙齒、眼睛等）提取的特征向量訓練多層感知機進行分類。但是壓縮、優化修改篡改邊界等后處理和高分辨率偽造圖像的出現，使這類方法的檢測能力大大減弱。最近的深度偽造圖像大部分借助了GAN 技術，文獻［11］和文獻［12］發現GAN 生成技術改變了圖像的像素和色度空間統計特征，通過對特征共生矩陣的學習來區分生成圖像的差異；文獻［13］和文獻［14］嘗試用GAN 指紋來區分偽造。但這類方法只對特定的GAN 有效，無法處理未知的GAN，泛化能力不足。基于圖片級的深度學習方法是當前研究熱點，Nguyen 等［15］設計膠囊網絡來判別造假的圖片或視頻，通過抽取人臉圖像，用VGG-19 提取特征編碼，然后輸入膠囊網絡；Nguyen等［16］設計了Y 型解碼器，在分類的同時融入分割和重建損失，通過分割輔助分類效果；Darius 等［17］根據圖像的介觀特性使用CNN 網絡進行分類。深度學習具有強大的學習能力，大型深度偽造圖像數據集FaceForensics++的出現為這類方法提供了便利［18］，但這類方法學習到的模型對壓縮處理后的圖像檢測能力有所下降。

上述方法都在各自數據集上取得了較好效果，但仍然有許多問題亟需解決。當前的深度偽造圖像檢測方法大多基于深度學習，使用復雜的神經網絡和大型數據集計算量較大，一些方法的檢測能力會由于壓縮、優化篡改邊界等后處理而下降。

針對以上問題，本文提出采用低層特征的深度偽造圖像檢測方法，具體闡述如下：

（1）預處理圖像提取低層特征并使用全連接網絡訓練分類器，簡化了網絡，減少了計算量。

（2）基于人工痕跡的方法依賴真假人臉邊界以及其他特定區域的不一致性，采用圖像噪聲這類低層特征不會隨優化邊界操作而變化的特性，對優化篡改邊界的數據集分類效果好。

（3）基于圖片級的深度學習方法對壓縮處理后的圖像檢測能力有所下降，為此，本文采用誤差水平分析（ELA）提取壓縮的圖像特征，提高了壓縮圖像的檢測準確率。

2 低層特征檢測算法

2.1 網絡結構

深度學習具有準確表示復雜、高維、大規模數據，進而直接提取特征的能力。特征提取分為自動提取和手動提取兩種類型。自動提取指在數據集上直接訓練模型，即讓模型自主學習和提取能夠區分真偽內容的特征；手動提取則需要對數據集進行預處理，人工提取出部分特征，進而基于已提取特征完成分類器訓練。當前的方法多使用卷積神經網絡自動提取圖像的高級特征，使用大規模的數據訓練分類器。本文提出的方法關注的是噪聲、誤差水平分析等低層級特征，手動提取噪聲圖、ELA 圖，進一步轉換為灰度直方圖特征作為分類器的輸入，使用全連接網絡做分類器，簡化了卷積神經網絡提取特征過程。

詳細的網絡結構如圖1 所示。將數據集根據圖像真偽分為兩類：①偽造圖像標簽為0；②真實圖像標簽為1。以一張大小為256 × 256 × 3 的圖像為輸入，對輸入圖像分別進行SRM 濾波以及ELA 處理得到噪聲圖以及ELA 圖并轉換為灰度圖像，并根據兩幅灰度圖的0～255 像素值計算每個像素的個數，轉化為兩個1× 1× 256 維的特征向量，再拼接為1× 1× 512 維的特征向量。將3 個全連接網絡作為分類器，以上述1× 1× 512 維的特征向量和對應的標簽作為輸入，前兩個全連接層每層后加一個RELU 激活函數，最后一個全連接層輸出經過softmax 函數激活，使用二分類的交叉熵損失根據輸入的低層特征以及對應標簽訓練分類器。

2.2 真偽圖像低層特征差異

在采集過程中每幅圖像都有自己的獨特標記，這些標記要么來自硬件（如傳感器、鏡頭），要么來自軟件組件（如壓縮、合成算法）。硬軟件產生的標記一般具有“周期性”或者是均勻的。一旦圖像改變就會打破這種均勻，因此可以利用標記判斷是否為合成圖片。圖2（彩圖掃OSID 碼可見，下同）中，對真偽圖像進行噪聲分析和誤差水平分析，觀察它們之間的差異。真實圖像和偽造圖像的噪聲和ELA圖在臉部區域（圖中紅框）有差異，具體體現在真實圖像的噪聲圖與ELA 圖的臉部區域五官（眼睛、鼻子、嘴唇等）與周圍的臉部邊界等背景近似，而偽造圖像的噪聲圖與ELA圖中五官區域與臉部邊界（篡改邊界）等背景部分有所不同，ELA 圖中尤為顯著。

Fig.1 Network structure圖1 網絡結構

Fig.2 Noise analysis and ELA analysis圖2 噪聲分析和ELA 分析

2.3 SRM 濾波器

數字圖像隱寫技術指在圖像中隱藏秘密信息，會改變某些像素大小。SRM 采用圖像定性隱寫分析框架，檢測圖像是否有隱寫嵌入改動。SRM 采用豐富的線性和非線性空域高通濾波器對圖像進行濾波，將得到的豐富噪聲殘差圖像作為SRM 的子模型［19］。對圖像某個像素的隱寫嵌入改動會導致某些噪聲殘差圖像相應位置的相鄰像素相關性發生變化，SRM 方法豐富的子模型能增加隱寫分析的多樣性，更全面地感知隱寫嵌入引起的圖像相鄰像素相關性變化。深度偽造圖像主要篡改人臉，改變了人臉區域像素大小，可以看作隱寫嵌入改動。因此，本文將隱寫分析中的SRM 濾波器用于圖像深度噪聲特征提取器。

SRM 收集基本的噪聲特征，僅使用3 個內核的SRM 濾波器即可獲得不錯的性能。本文將SRM 濾波器的內核大小定義為5×5×3，輸出通道大小為3，其權重如圖3 所示。

Fig.3 SRM filter weights圖3 SRM 濾波器權重

2.4 誤差水平分析

誤差水平分析（Error Level Analysis，ELA）可以識別圖像中處于不同壓縮級別的區域，獲取圖像壓縮時的失真情況［20］。ELA 以指定的JPEG 質量級別保存圖像。JPEG 圖像使用有損壓縮系統，圖像的每次重新編碼（重新保存）都會增加圖像的質量損失從而引入已知數量的錯誤。JPEG 算法在8×8 像素網格上運行，每個8×8 正方形均獨立壓縮。如果圖像未修改則每個正方形應以大致相同的速率降級，所有8×8 正方形都應具有相似的潛在錯誤。如果對圖像進行了修改，則修改所觸及的每個8×8 正方形應比圖像其余部分潛在錯誤更高。ELA 通過潛在錯誤的不同確定篡改區域。如果圖像進行了多次壓縮處理，則該圖像篡改區域的潛在錯誤在ELA 圖上會更加明顯。壓縮處理在深度偽造圖像中較為常見，使用ELA 方法能在圖像被壓縮的情況下檢測偽造。

2.5 方法實現

本文實驗采用數據集FaceForensics++ 進行訓練。選取750 個原始視頻以及對應的750 個由DeepFakes 生成的偽造視頻（壓縮質量均為c23），然后在每個原始視頻和偽造視頻均提取30 幀，用人臉檢測器抽取出人臉框，截取人臉時以人臉框為基準向外擴展0.3 倍，圖像大小調整為256×256×3。原始視頻中提取的幀為真實圖像，標簽為1；DeepFakes 視頻中提取的幀為偽造圖像，標簽為0。訓練集與測試集大小比例為9∶1。損失函數使用常用的二分類交叉熵損失，如式（1）所示。

參數設置：使用SGD 優化器優化網絡參數。學習率lr設為0.01，動量參數momentum 設為0.5，

每次更新后的學習率衰減值decay 設為0，不使用Nesterov 動量。網絡訓練迭代次數設置為100。

3 實驗結果與分析

為了驗證本文方法在網絡結構、計算量以及分類精度上的優勢，在Deepfakes（壓縮率為c23）數據集中挑選未參與訓練的100 個視頻，每個視頻提取10 幀進行模型測試。

3.1 基于圖像篡改痕跡模型比較實驗

文獻［2］總結了基于圖像篡改痕跡的模型在不同數據集上的AUC 值對比。本文模型在壓縮率c23 的Deepfakes數據集上測試得到AUC 值，并與文獻［9］和文獻［10］的模型進行比較，AUC 值越高代表分類效果越好，具體數值見表1。由于Deepfakes 技術在替換原始人臉時對人臉邊界（篡改邊界）進行了優化，上述兩個基于篡改痕跡的模型在該數據集上分類性能下降。本文模型分類效果較好，說明采用圖像噪聲這類低層特征訓練的分類器對Deepfakes 的數據集分類效果較好。

Table 1 Comparison of AUC values between the proposed model and the tamper trace model表1 本文模型與基于篡改痕跡模型AUC 值比較

3.2 基于圖片級的模型比較實驗

接受者操作特性（Receiver Operating Characteristic，ROC）曲線一般用于二分類模型評價，ROC 曲線覆蓋的面積越大，模型分類效果越好。本文方法與文獻［15］的Capluse、文獻［16］的Milt_task 和文獻［17］的Mesonet 方法在ROC 曲線上的比較如圖4 所示。從圖中可以看出本文模型的ROC 曲線覆蓋面積最大。

Fig.4 ROC curves of the four models圖4 4 種模型的ROC 曲線

另外使用AUC 與EER 指標評價模型性能。AUC（Area Under Curve）表示ROC 曲線下的面積。AUC 值作為一個數量值，可以進行定量比較，AUC 值越高表示分類器性能越好。等錯誤概率（EER）用于預先確定其錯誤接受率以及錯誤拒絕率的閾值。等錯誤率值越低，分類器的準確度越高。本文方法與上述文獻的3 種方法在AUC 值和EER 值上的比較如表2 所示，從表中可以看出，本文模型的AUC 值（99.55%）最大，而等錯誤率（2.5%）最小。

Table 2 Comparison of AUC value and EER value表2 AUC 值與EER 值比較 （%）

上述3 種文獻的方法分類效果在壓縮后的Deepfakes數據集上表現不佳，而本文模型的ROC 曲線覆蓋面積最大，AUC 值最大，等錯誤率最小，分類效果最好，說明使用ELA 處理和SRM 濾波提取的低層特征更有利于對抗圖像壓縮等后處理對分類器性能的影響。

3.3 模型大小與計算量比較實驗

模型的復雜度用模型參數量、計算量和模型大小評價，使用這3 個指標將本文方法與其他方法對比，具體數值根據thop 計算［22］。從表3 可以看出，本文方法相比于其他方法網絡結構簡單、計算量最小，模型參數量和模型大小也非常小，說明本文方法簡單、高效。

Table 3 Comparison of parameter calculation表3 參數量計算量比較

4 結語

近年來，基于深度學習技術的深度偽造發展迅速，在電影特效制作、虛擬角色創建等領域應用廣泛。但惡意的深度偽造生成換臉圖像，偽造內容通過網絡快速傳播，人們難以分辨真偽，對網絡安全帶來了巨大威脅。

研究深度偽造檢測技術，防止惡意偽造內容造成的威脅成為熱點。本文提出一個基于低層特征的方法檢測偽造圖像，該方法在分類器性能和效率上與最近幾種熱門的檢測方法相比有一定優勢，在面對壓縮處理后的圖像以及優化篡改邊界的數據集時分類效果很好。但本文的方法以及現有的其他檢測方法均依賴于特定的數據集和生成算法，泛化能力很弱，無法應對新的篡改方法，而且大多在單一場景下測試，檢測算法不具有魯棒性。后續工作不僅要專注于提高某個數據集的檢測精度，魯棒性和泛化問題也是研究重點。