深度偽造技術對文檢綜合領域帶來的挑戰及應對*

孫澤宇 袁得崳 王志宣 孫煒晨

1. 中國人民公安大學 2. 安全防范與風險評估公安部重點實驗室 3. 公安部第一研究所 4. 多維身份識別與可信認證技術國家工程研究中心

引言

深度偽造技術是使用深度神經網絡合成視頻、圖像、聲音等媒體信息的技術。隨著對抗生成網絡（GAN）的出現，研究人員在其基礎上不斷改進，深度偽造技術不斷發展，與此同時深度偽造檢測技術也隨之發展。深度偽造檢測技術同樣使用深度神經網絡，二者相互博弈，互相促進發展。本文所述的文檢綜合領域，包括文件檢驗、指紋識別、虹膜識別三方面，主要討論當前文件、指紋、虹膜的深度偽造技術以及相應的檢測防御手段。鑒于目前的深度偽造技術的主流是人像視頻圖像合成，其它內容合成的研究相對較少，因而本文選取了較大的范圍進行討論。盡管相關研究較少，但也已經出現了多個將深度偽造技術結合到文件、指紋、虹膜等文檢綜合領域的研究和應用。

在文件偽造方面，英國倫敦大學的研究者提出了一種算法“My Text in Your Handwriting”[1]，該算法以字形為中心，通過學習間距、線條粗細和壓力參數，產生偽造的筆跡圖像。該算法需要帶有標簽注釋的原筆跡樣本來生成新的筆跡圖。生成的圖像即使是打印在紙上，看起來也與手寫十分相似。

在虹膜偽造方面，李典[2]通過漸進式增長生成對抗網絡（ProGAN）、深度卷積生成對抗網絡（DCGAN）兩種不同的對抗生成網絡來生成虹膜對抗樣本，兩個對抗生成網絡所選擇的訓練數據集為Iris Liveness Detection Competition2017提供的LivDet-Iris-2017-Clarkson虹膜數據集中的真實虹膜樣本集，并對數據進行了預處理，結果顯示生成的對抗樣本使得現有的多種虹膜識別算法準確率下降到50%左右，使得算法基本喪失檢測能力。因此現如今的虹膜識別技術很難應對深度偽造虹膜樣本的攻擊。

在指紋偽造方面，Hakil Kim[3]等人設計了一種算法通過主細節集生成和指紋印模生成兩個步驟生成深度偽造指紋。主細節集利用兩階段生成對抗網絡（GAN），由標準正態分布采樣的隨機噪聲產生；指紋印模同樣通過一個GAN網絡生成。這些生成指紋的特征在統計學上與真實數據集上的指紋相比十分相似。

可以看出，深度偽造技術在文檢綜合領域的應用已經出現，且目前缺乏對深度偽造技術的防御措施，給文檢綜合領域提出了新的挑戰。本文將對深度偽造技術以及防御措施進行詳細介紹。

一、深度偽造技術對文檢綜合領域帶來的挑戰

（一）文件偽造技術

1. 文件檢驗技術

文件檢驗主要是指利用技術手段，檢驗和鑒定各種文件、合同、傳真掃描件、手寫文書的真偽性，并在民事、刑事案件的審訊和審判等處應用。傳統的文件檢驗技術主要是形態學檢驗，技術方法相對單一，需要大量的文件樣本進行取樣判斷的同時，還需要技術人員豐富的經驗累積[4]。隨著科學技術的不斷進步，偽造文件更加真實的同時，數字化圖像材料也變得十分常見，使得專業技術人員更難鑒定。尤其是目前深度學習的蓬勃發展，各種數字化的文檢材料更容易偽造，對文件檢驗技術提出了更高的要求。單單用傳統的文件檢驗方法已經無法滿足當今信息時代的數字化檢驗要求。

筆跡檢驗又稱筆跡鑒定，是文件檢驗的重要組成部分[5]。傳統的筆跡檢驗技術主要是線下對文件筆跡使用刑偵方法分析，判斷筆跡是否為他人仿寫。但是在線筆跡圖像存在較難檢驗的問題，即同一人的兩個在線筆跡信息，也會因為前后時間、環境等因素不同而產生差異，這對在線筆跡鑒別精度的進一步提高是巨大的障礙[6]。

2. 文件的深度偽造技術

文件的深度偽造主要是由深度偽造算法生成筆跡圖像或操作手寫機器模仿手寫字跡，因此本文重點關注筆跡偽造。初期的筆跡深度偽造技術使用長短期記憶網絡LSTM。作為循環神經網絡RNN的改進，LSTM單元相比RNN的單元能維持細胞狀態并具有較大的存儲空間[7]。筆跡圖像存在明顯的先后序列關系，前后內容都會影響當前字符的書寫，而LSTM能夠長時間地保存信息，這使得它們能夠很好地進行時間序列數據的處理、預測和分類，因而較適合筆跡偽造場景。

后來隨著對抗生成網絡GAN的出現，大多數研究轉向使用和改進GAN進行生成深偽筆跡。GAN模型同時擁有書寫數據的“生成算法”和“判別算法”，當輸入一個人的真實書寫數據后，生成算法負責仿造假數據，判別算法負責鑒別真數據，如此相互博弈，在訓練過程中生成器和判別器都會不斷進化，最終生成器勝出，產生出能夠以假亂真的偽造圖像。

Ji Gan等人[8]提出了手寫仿寫對抗生成網絡HiGAN+模型，該模型主要有五個特殊設計的模塊，分別是全局判別器、補丁判別器、風格編碼器、書寫者識別器、文本識別器。全局判別器進行二分類，以確定輸入圖像是來自訓練數據的真實圖像還是由生成器生成的假圖像。補丁鑒別器可以判斷一個給定的小區塊是由真實圖像還是假圖像裁剪而成的。這種方法通過計算小區塊的真實度來細化合成圖像的局部紋理細節。風格編碼器能從任意的手寫圖像中分離出書寫者的書寫風格，將任意長度的手寫圖像映射成固定大小的書寫風格特征向量，該向量用于手寫模仿。書寫者識別器可以區分輸入的筆跡圖像屬于哪個書寫者，它的目的是指導生成器合成特定書寫風格的筆跡圖像。文本識別器在真實且有標簽的手寫圖像上進行訓練，用于檢測手寫圖像的文本內容，指導生成器產生任意文本內容為可讀的手寫圖像。這五個模塊相互配合，使得該模型能夠生成非常逼真的手寫偽造圖像。算法作者上傳了包含模型生成偽造圖像的筆跡圖像，面向網絡的參與者發起了判斷是否為偽造圖像的投票，總體準確率為50%，這表明未經專業訓練的人完全無法分辨偽造手寫圖像與真實圖像。

Facebook AI推出了筆跡生成AI TextStyleBrush[9]。該算法只需要一張包含一個單詞的筆跡圖片，就能較為完美地還原書寫者的字跡。而輸入一段文本內容，加上被模仿者的筆跡，就可以生成偽造的字跡圖像；同時，該算法是基于自監督方法訓練的模型，可以對相同文本內容的文字進行風格轉換；此外，它擁有文字識別與圖像分割的方法，能直接對任意場景下圖片中的文字進行替換。TextStyleBrush基于能生成逼真偽造圖像的StyleGAN2模型。但是StyleGAN2無法控制具體每個字符的特征，無法實現生成指定文本的圖像；其次，StyleGAN2無法實現對書寫者風格的模仿。而TextStyleBrush能夠生成包含輸入圖像文字的顏色、間隔、尺寸和風格等信息的偽造圖像。為實現這些功能，TextStyleBrush將文本內容與書寫風格作為兩個可控變量操作模型的輸出，文本內容作為變量解決了模型無法準確生成文字內容的問題，而書寫風格的變量則是應用神經網絡從手寫數據中提取諸如顏色、間隔、尺寸、風格等特征，并把這些特征應用到輸入文本生成器中，從不同的特征層面控制輸出的圖像。并且該模型還考慮到了不同圖片分辨率不同的問題，生成器需要生成并替換原有文字，因此模型加入了能夠控制分辨率的結構，使得生成的文字圖像與輸入圖像分辨率相同，替換前后圖像質量不會有顯著差異，將任意場景下的文字替換成為可能。

對于漢字筆跡的深度偽造也已有學者進行研究。Jie Chang等人[10]在GAN網絡的基礎上提出了分層對抗生成網絡HGAN（Hierarchical GAN）模型。該模型由兩個子網絡組成，首先是一個變換網絡，它可以在保留原圖像字符相應結構信息的情況下對字體進行變換；另一個是分層對抗辨別器，用于將變換網絡生成的圖像與真實圖像區分開。這兩個子網絡都是全連接的卷積神經網絡，所謂“分層”是指通過神經網絡的多層特征來合成同時包含全局特征和局部特征的字體圖像。由于漢字擁有較復雜的各種結構，分層次的設計能使模型提高合成質量。實驗表明與單純使用GAN相比，HGAN合成漢字的均方根誤差RMSE更低，合成效果更好。

除了數字筆跡圖像的偽造，亦有紙質筆跡深度偽造。在2017年度GeekPwn國際極客挑戰賽中，中國金融認證中心（CFCA）的李闖等人開發的DeepWritting模型操作一臺由廉價3D打印機改造的機械臂用筆在紙上書寫。該模型并未披露具體細節，但是使用了GAN網絡，僅需20小時的訓練，就使得專業鑒定師的誤判率達到50%。該成果說明，深度筆跡偽造已經使單純的人工筆跡鑒定不再可靠。

（二）虹膜偽造技術

1. 虹膜識別技術的基本原理

虹膜圖像的識別主要分為以下三步[11]：第一步是虹膜圖像的獲取，需要用近紅外光補充來采集虹膜照片；第二步是虹膜圖像的處理，主要是定位、裁剪和歸一化處理；第三步是虹膜圖像特征的提取和特征匹配，從虹膜特征庫匹配得到結果即識別結束。

2. 虹膜的偽造技術

隨著虹膜識別研究的不斷發展，針對虹膜識別系統的偽造虹膜攻擊手段也隨之增多，給虹膜識別系統的安全性帶來了巨大的挑戰，在從采集虹膜數據到確認識別結果的每個環節上，都存在攻擊生物特征識別系統的手段。典型的手段包括使用偽造的生物特征識別、重放錄像攻擊等，這些攻擊手段能夠攻破大量識別系統。與人臉識別相比，虹膜識別雖然具有更高的辨識區分性，但由于相比人臉采集難度更大，應用場景相對更少，對虹膜的對抗樣本研究起步比較晚。目前虹膜識別領域針對對抗樣本（尤其是由對抗生成網絡生成的虹膜對抗樣本）的研究還很少。

（三）指紋偽造技術

1. 指紋技術的基本原理

現有指紋采集和識別技術主要通過光感、電容和電磁波等方式來獲取手指紋理，對其進行圖形化處理之后得到特征，再將特征進行比對，最終實現識別。指紋的圖形化處理，主要包括提取其三級特征[12]：指紋的紋型，指紋的細節點，指紋紋線上的汗孔、紋線形態、早生紋線、疤痕等。通過機器學習或者深度學習的方法訓練指紋對比模型，進行特征提取以及特征對比，最終實現指紋識別。

2. 指紋的深度偽造技術

現在已有使用神經網絡訓練模型，創建出以假亂真的偽造指紋，其圖像質量與原始指紋數據相當。常用的偽造方式是使用生成對抗網絡（GAN）偽造指紋。GAN網絡可以通過對抗式訓練，制造帶有數據噪音的深度偽造的圖片，可用于數據增強，也可用于攻破特定的識別系統。Philip Bontrager[13]等人提出了DeepMasterPrints方法。該方法利用對抗生成網絡生成指紋圖像。具體來說，是先生成海量假指紋，利用進化優化算法搜索神經網絡的潛在變量空間，采用協方差矩陣自適應進化策略（CMA-ES）搜索訓練后的神經網絡的輸入空間，最終得到匹配指紋數最多的假指紋，被稱為MasterPrints。在指紋識別系統不超過0.1%的錯誤匹配率下，該指紋可以冒充23%的數據集樣本攻破電容式指紋識別設備，而若降到1%的錯誤匹配率，則可冒充77%的數據集樣本。

（四）深度偽造對文檢綜合領域帶來的挑戰

顯然，深度偽造給文檢綜合領域帶來了嚴峻的挑戰。一是在文件檢驗方面，已有多種筆跡偽造生成技術，其中有些技術不僅能騙過普通人，甚至能騙過專業的筆跡鑒定師，這說明傳統的文件檢驗方法可能不再完全可靠；二是在虹膜、指紋識別方面，研究者提出的偽造算法生成的對抗樣本，能夠攻破各類識別設備使之失效，說明這些設備存在較嚴重的安全隱患；三是目前文檢綜合領域的深度偽造檢測防御技術十分不成熟，鮮有研究，并且研究均基于其自身提出的偽造算法生成偽造樣本的基礎上進行檢測，泛化性能無法得到驗證，在實際應用場景下的實用價值還有待確認。

二、文檢綜合偽造技術的應對

（一）技術應對，安全防御

1. 文件偽造的檢測與防御

目前文件偽造技術的檢測主要針對筆跡的仿寫進行檢測，截至目前還幾乎沒有已發表的針對筆跡的深度偽造檢測方法。而當前針對仿寫筆跡圖像進行檢測的算法在面對深度偽造筆跡圖像時，極有可能無法準確檢測出筆跡的真偽。

鑒于目前缺少針對深偽筆跡的檢測方法，筆者根據通用的深偽內容檢測技術進行思路的擴展。由于許多偽造筆跡都由對抗生成網絡GAN生成，而GAN網絡生成的圖像往往存在一些肉眼可見或不可見的偽造痕跡，這些偽造痕跡被稱為GAN模型的指紋。使用邏輯回歸、SVM等機器學習算法或神經網絡設計二分類器，可以將問題轉化為分辨筆跡是否為深度偽造的二分類任務。可以將圖像的RGB通道輸入卷積神經網絡（CNN）提取圖像的特征并進行分類，這其中可以引入注意力機制使檢測模型專注于圖像的偽造區域從而提升檢測效果；也可以從偽造圖像的頻域特征考慮，通過離散傅里葉變換提取圖像的頻域信息，對圖像的高頻特征進行處理，再送入分類器進行分類，最終得到筆跡是否為偽造。此外，還存在筆跡偽造檢測模型訓練缺少數據集的問題。不過通過現有多種字跡深度偽造算法，研究者可以生成訓練所需要的數據集。

現在也有許多研究針對GAN生成模型的一般性偽造痕跡進行檢測，這些檢測方法可以為深偽筆跡檢測提供參考。Dong等人[14]根據現有模型跨數據集泛化能力較差的問題，提出了偽影檢測模塊，可以自動實現偽影區域的定位，更準確地識別偽造圖像。 McCloskey 等人[15]研究發現偽造圖片與真實圖片的色彩與飽和度存在偏差，并以此為特征進行檢測；Liu 等人[16]提出了空間相位淺層學習方法，驗證了偽造圖像和真實圖像在頻域中存在差異，最后通過淺層神經網絡進行區分；Guarnera等人[17]使用期望最大化算法提取出偽造過程中生成模型的局部特征，用于訓練支持向量機SVM等分類器進行二分類。

2. 虹膜偽造的檢測與防御

現在雖然己有一些針對虹膜偽造樣本的檢測算法研究，但這些算法都是針對某一類特定偽造樣本來進行防偽檢測，即需知道攻擊系統的偽造虹膜種類這一先驗知識，這與現實場景下偽造攻擊種類不可知的情況相悖。由于虹膜信息安全研究對于信息安全以及個人信息安全都有著重要意義，虹膜信息安全的防偽算法普適性、算法健壯性研究對于推動虹膜識別的廣泛應用有著重要的意義與作用，具有較大發展前景。

有學者提出了對抗樣本檢測網絡模型ACDNet[2]，由于偽造虹膜樣本的攻擊性來自于紋理特征與真實虹膜高度相似，然而基于對抗生成網路的局限性，偽造樣本的深層特征與真實虹膜仍有較大差異。這種差異很難使用頻譜分析方法或紋理特征方法提取，但ACDNet判別網絡結構中設計了多次卷積池化，可以提取到這些特征。實驗表明，使用ACDNet識別對抗樣本的準確率可以提升至90%以上。

3. 指紋偽造的檢測與防御

應對深度偽造指紋重要的一環是活體檢測，可以通過深度神經網絡實現指紋的活體檢測。Hakil Ki[3]等人根據自己算法生成的深度偽造指紋提出了一種深度卷積神經網絡，用于檢驗指紋圖像活性的呈現攻擊檢測。實驗證明，該檢測網絡可以在LivDet2011、LivDet2013、LivDet2015 數據集上實現1.57%的錯誤識別率。此外，還可以通過加入紅外模塊、血流心率感應模塊來進行檢測，這些生物信號是判斷指紋是否為活體的有力依據，能達到防御深偽指紋攻擊的目的。

（二）規范立法，制定標準

為了防止深度偽造被濫用，亟需制定相應法律規范。 2022年11月3日，國家互聯網信息辦公室會議審議通過了《互聯網信息服務深度合成管理規定》，規定了深度偽造內容的服務提供者和使用者不得制作、傳播危害社會和個人利益的內容，不得使用深度偽造內容制造虛假新聞。同時要求深度偽造服務提供者應當提供顯著標識功能，任何組織和個人不得刪除、修改這些深度合成標識。文件、指紋、虹膜的偽造與人臉等偽造不同，人臉的偽造可能用于藝術創作、電影制作等領域中，但是文件、指紋、虹膜等的偽造很難有積極用途，若將其用于攻擊他人設備、偽造相關電子文書證據，則可能構成犯罪。該規定填補了我國在深度偽造領域法律法規的空白。

三、結語

本文對文件、筆跡、指紋、虹膜的檢驗等文檢綜合技術的基本原理進行總結，并給出了幾種對現有檢測技術進行深度偽造攻擊的手段。深度偽造的文件、筆跡、指紋、虹膜等文檢綜合材料對現有的檢測方法均有較強的欺騙能力，而現有針對深度偽造內容的檢測技術研究較少，且大多數都是對自己通過神經網絡生成的深度偽造數據集進行檢測，因而其模型的泛化能力未得到驗證。現有的技術已經證明，深度偽造文檢材料完全有能力騙過人工文檢專家，因此文檢綜合領域的深度偽造檢測還需要進一步研究。下一步應當結合最新的深度偽造檢測技術，考慮偽造網絡模型生成圖像的特征，識別出圖像的深度偽造痕跡，提升檢測模型的準確率和泛化能力。