深度偽造技術應用的公共安全挑戰與治理

姜文瀚 田青 郭小波 公安部第一研究所

引言

近年來，深度偽造技術及其負面應用受到國內外廣泛關注。源起于人臉照片活化欺詐，到音視頻生動仿冒，再到新聞書畫自動生成等，極大地沖擊了現實社會認知文明模式和網絡空間管理秩序。其挑戰深刻影響著政治、經濟、軍事、文化、教育、社交等各領域。世界各國為此先后掀起了規范治理浪潮。

（一）深度偽造概念淵源

深度偽造系英文“Deeplearning”與“Fake”的截取合成詞，狹義概念專指利用深度學習技術實現一類照片、音視頻信息，如人臉、語音、指紋、虹膜、筆跡、文件等，的非法偽造應用；廣義而言，系指信息表征或行為的編輯再現。某種意義上的數字創生，一切皆有可能。本文重點立足狹義概念，探討相關安全問題。

偽造技術自古有之，但從未造成如此深刻、廣泛的社會應用危機。從前的偽造貨幣、證件、印鑒、指紋、筆跡，以及3D面具、PS、虛擬現實等等，受限于專業門檻高、技術成本高、應用范圍小、易于查證等因素，而為現有社會監管能力、治理體系所覆蓋。

深度偽造是近五年得益于AI技術發展的后起之秀。短時間內產生出身份盜冒、電子欺詐、輿論操控、音像篡改等多種違法犯罪形式，兼具技術門檻低、違法成本低、隱蔽性強、傳播快、影響廣、難于查證的特點，給國家安全、社會治理和經濟發展帶來了新的風險。

（二）深度偽造安全風險

深度偽造的安全風險主要來自于針對人和設備的虛假信息欺詐，總體體現為形象損毀、資產和權益損失、認知誤導、信用危機、意識操控，可以具象為個體和群體兩個層次、物質和精神兩個維度的風險危害，見表1。

?

（1）侵害公民合法權益。通過“移花接木”，造謠惡搞或是“借雞生蛋”等形式行為，嚴重侵害公民名譽權和肖像權；通過虛假情境編撰，嚴重損害個人知情權，扭曲世界觀、人生觀、價值觀。

（2）威脅公共安全。通過仿冒合法身份，盜用公民財產或實施電信詐騙，突破出入境等場景安全管控等。通過企業重要資訊偽造，引發信用危機，造成銀行擠兌、股票價格異常波動。

（3）危害國家安全。利用社交網絡、自媒體平臺炮制、傳播虛假新聞，損害公眾人物形象，或操縱輿論，干擾選舉，助推經濟、政治風波，破壞政府公信力，挑撥國際關系，威脅軍情感知。

（4）顛覆意識形態、動搖文化根基。通過信息繭房、回音壁效應，傳播、灌輸虛假資訊，激化內部矛盾，瓦解民族自信、破壞文化認同。

深度偽造風險成因的直接表象為應用超前、技術普及和自我進化，以及監管能力滯后，根源在于治理缺位。近五年來，人類社會的網絡空間虛擬維度正逐步成形，而服從服務于物理世界的制度、法規、道德、監管、運行、保障體系尚未建立。缺乏安全機制約束的虛擬、現實世界交互應用，跨界治理和安全技術薄弱，本源性辨識以及追溯能力不足，共同促成了深偽問題空間。

一、深度偽造風險挑戰

防范化解深度偽造安全風險所面臨的挑戰是深層次、多方面的。技術上存在不可控環境應用、偽造信息鑒別難、取證難、追溯難的問題；應用上存在濫用、限制難、防范難問題；管理上存在管控難、檢測、監測、打擊、保障難題。

（一）技術挑戰

（1）不可控環境應用。當前多數AI身份驗證應用于不可信軟硬件環境。深度偽造利用學習框架、依賴庫、算法模型，以及其他信息安全漏洞實現注入攻擊。

（2）偽造信息鑒別難。現有偽造信息已經可以做到“以假亂真”（如圖1）、人機皆騙，且技術能力不斷進化，而偽造檢測能力相對滯后，技術方法在多模態、魯棒性、泛化性上有待不斷跟進提高。

（3）偽造信息取證難。面對隱蔽、多樣的偽造技術手法，檢測、鑒定技術多依托深度學習能力。后者目前的可解釋性理論還有待突破。

（4）偽造來源追溯難。關于深度偽造信息的監管體系尚未建立，技術溯源、信息溯源的技術能力和機制還需進一步完善。

（二）應用挑戰

（1）無人值守、無風控約束的失控濫用，為偽造信息實現呈現攻擊、數據投毒和對抗實施提供了條件。

（2）深度偽造應用廣泛，技術來源豐富，難于限制使用。

（3）深度偽造應用超前，而企業進行有效防范的軟硬件資源和技術能力不足。

（三）管理挑戰

（1）管控難。互聯網社交網絡、自媒體信息渠道多、來源廣，偽造信息多、工具多、用途多、傳播速度快。實施有效控制、管理、應急處置，工程巨大。

（2）檢測難。需明確規制法律邊界，相關技術標準有待完善。另外，偽造信息數量巨大，對于規模化自動鑒偽技術能力是一個長期且艱巨的考驗。檢測工具的評價和管理體制也有待建立。

（3）監測預警難。跟蹤偽造技術發展，洞察偽造信息傳播，發展監測預警、阻斷應對能力是重要的管理課題。尤其對于“0 day”虛假信息，需要盡可能地早發現、早處理。

（4）打擊難。造假損失小、影響大、隱蔽性強，另一方面偽跡難于發現、取證、溯源。涉及黑灰產業鏈，甚至國內外惡意勢力。有效打擊成為了遏制深度偽造的關鍵一環。

（5）保障難。深度偽造防范，亟需形成人力、物力、財力投入正向激勵機制，建立全民識假、全民反假的良性治理格局。

二、深偽技術應用和檢測治理發展現狀

（一）深偽技術應用現狀

深度偽造旨在以虛假信息欺騙人類視聽感官或自動身份核驗應用。事實上，相關應用已經發展到跨模態多媒體演繹階段，融合視頻、音頻、圖像、文本等多領域技術，通過編排操縱，高仿真情景再現目標人臉、語音、表情、行為等信息，嚴重沖擊人們傳統“眼見為實”的認知共識，超越了現有一般應用系統真偽鑒別能力。

1. 深度視頻偽造

視頻偽造是典型深度偽造計算機視覺應用。主要風險來自于人臉偽造。基本方法是采用生成對抗網絡或者卷積神經網絡等算法逐幀實現換臉、重演、編輯、合成等類型視頻動態內容編排。通過換臉“嫁接”容貌，通過重演操縱行為（表情、動作），通過編輯遷移屬性（光照、發型、膚色、年齡、性別、配飾、顏值），通過合成創新人物形象。

隨著技術發展，視頻偽造訓練所需資源、時間越來越少，成本變得越來越低。同時，圖像質量越來越高，真偽越來越難以分辨和檢測。Yang等人[1]僅使用單幅靜態圖像，即可實現1440×1440分辨率25幀/秒的面部重演。在元訓練基礎上引入對抗學習，Zakharov等人[2]實現少量樣本生成動圖或偽造視頻。Thies等人[3]解決了偽造視頻與原始視頻光照一致問題。

目前，已經有大量的網站開始提供深度偽造合成服務。已開源項目如Faceswap、Fakeapp、Deepfacelab等，僅需點擊幾下，即可把任意人物照片做成聲情并茂動態視頻。Zao、螞蟻呀嘿變臉視頻制作、Avatarify、Xpression、Wombo AI、Deep Nostalgia等類似應用都曾迅速走紅。2020年國內的“假靳東”事件，以及世界各國領導人視頻的偽造[4]，暴露了視頻偽造技術正成為全球性的安全風險。

2. 深度音頻偽造

音頻偽造是深度偽造“可信”的重要支撐。主要風險來自語音偽造。基本方法是采用雙向長短時記憶網絡、卷積神經網絡、生成對抗網絡等算法學習目標語音特征，并實現合成、轉換、編輯、對抗等實時或延時音頻信息表達。通過合成實現目標特色語音生成；通過轉換實現風格、音色、韻律遷移，支持情緒、語氣的編輯表達[5]；通過編輯實現語音內容、背景信息篡改；通過對抗在人類感知之外，造成辨識系統語音來源真實性、語義內容正確性誤判。

目前，深度偽造語音在擬人度、自然度、語種多樣性、攻擊力等方面有了極大提升，而訓練所需語料、時間則大幅減少。NaturalSpeech系統[6]的合成語音CMOS評分在LJSpeech數據集上達到真人水平；Chen等人[7]提出的FakeBob黑盒對抗攻擊，實現開源和商用聲紋識別系統99%的攻擊成功率；生成語音與視頻口型同步[8]進一步增強了逼真呈現效果。2018年，Deep Voice3[9]只需3.7秒訓練樣本即可實現聲音克隆。

語音偽造的門檻和難度正逐漸降低。已有Real-Time Voice Cloning[10]、 MockingBird[11]、Resemble、SV2TTS、AutoVC、Lyrebird、CereVoice Me、ReplicaStudios、Crank等項目、技術向公眾開放。2020年初，福布斯報道的偽造語音騙取阿聯酋銀行3500萬美元轉賬案件，警示著深度語音偽造犯罪已經走進現實。

3. 深度圖像偽造

圖像偽造主要風險來自生物特征合成、信息內容篡改和對抗樣本生成。通過生物特征合成實現2D人臉替換、面部屬性編輯、3D頭像建模，以及平面生物特征重建；通過信息內容篡改實現信息虛構、內容偽造；通過生成對抗樣本破防圖像辨識系統。

偽造圖像在可編輯性、清晰度、逼真度、攻擊力等方面已經有了越來越多的突破。Sophie等人[12]的實驗表明，人類已經難以區分且更易于輕信StyleGAN2技術偽造的人臉。Gandhi等人[13]通過對抗擾動攻擊實現偽造檢出率從95%到27%的顯著下降。MLSEC 2022中[14]，在權衡置信度和隱匿性情況下，參賽者成功使AI識別系統定向誤識。更有研究[15]可使人臉識別系統視而不見。

圖像偽造對于身份查驗的威脅已經日漸全面。偽造人臉已經先后發展出Face2Face、Deepfake、HeadOn[16]、FSGAN、Style-GAN等眾多技術；偽造虹膜[17]、 萬能指紋[18]、萬能人臉[19]、 偽造證件文檔[20]，具備了攻擊成功可能；TextStyleBrush[21]僅 需一詞訓練實現筆跡模仿；Speech2Face[22]利用6秒短語音即可重建人臉圖像。諸多應用，如Faceapp、Reface、Face AI、AI換臉相機、Mug Life、Deepnude等，先后上線。應用的普及，加劇了個人隱私、身份信息被仿冒濫用的風險。

4. 深度文本生成

文本生成是深度偽造在文化傳媒領域的重要應用。主要風險來自惡意文章自動生成傳播。基本方法是采用Transformers、循環神經網絡、長短時記憶網絡等算法構建自然語言模型，然后根據輸入循環預測輸出。

目前，文本生成技術日漸成熟。在語法、邏輯、條理方面進步顯著，支持語種、文體形式更為多樣。典型的如GPT-3[23]。該產品可以翻譯、問答和完形填空，根據擬定的主題和基調進行文體創作，甚至可以參與討論回答問題。此外，Narrative Science、Automated Insights等類似商用系統已投入體育賽事、公司財報等報道應用。正如所見的技術能力，實用化的文本生成技術如被敵對利用，存在著操控話語權、惡意煽動、宣傳誤導的風險。

（二）深偽檢測能力發展

深度偽造檢測是實施非法應用治理的重要技術支撐。近年來，學術界和產業界在視頻、音頻、對抗樣本等方面做了大量工作。國外谷歌、Meta、微軟等都推出了深度合成認證的方法和產品，國內清華大學、中科大、百度等學校企業成果顯著。

深度偽造檢測的主流思路是利用傳統信號處理方法或深度學習方法分析數據偽造痕跡，可分為圖像偽造檢測、視頻偽造檢測、音頻偽造檢測、文本偽造檢測四種類型。

1. 視頻偽造檢測

視頻偽造檢測，傳統方法立足取證，如發現圖像噪聲、紋理、偽影、幀間流暢度、眨眼、心率、瞳孔反射、凝視跟蹤[24]、 唇音同步[25]、動作關系等異常特征。深度學習方法致力于察覺細微非自然因素。Afchar等人[26]提取圖像中層特征發現篡改痕跡，Amerini等人[27]利用卷積神經網絡分析光流變化識別偽造信息，約翰霍普金斯大學的研究人員利用MultiBN[28]網絡實現多種對抗性視頻檢測。2020年DFDC挑戰賽上的鑒假最高準確度為82.56%，整體平均準確度65.18%。

2. 圖像偽造檢測

圖像偽造檢測，傳統方法從特征取證出發，甄別頻域特征或統計特征異常，如利用局部噪音分析[29]、設備指紋、光照響應檢測[30]等。深度學習方法相比具有較好的魯棒性。Jawadul H. Bappy等人[31]設計的Hybrid LSTM和Encoder-Decoder架構達到71%～95%的偽造檢測準確率。Cozzolino 等人[32]提出以卷積神經網絡學習圖像噪聲殘差，有效提升偽造檢測和定位的性能。Ahmed Abusnaina等人[33]利用圖神經網絡檢測對抗樣本。美國Adobe公司2019年6月推出的反向PS工具，圖像液化篡改檢出率高達99%。

3. 語音偽造檢測

語音偽造檢測，傳統方法利用常量Q倒譜系數[34]、歸一化的余弦相位等。Trisha Mittal等人[35]依據情感特征，分別在DFDC和DeepFake-TIMIT數據集上取得了84.4%和96.6%的檢測準確率。在ASVspoof2019 數據集上，Alejandro等人[36]集成卷積神經網絡和循環神經網絡使得檢測準確率顯著提升。最近，有學者提出Transformer seq2seq 網絡方法[37]，對未知特征無限制來源數據進行偽造檢測，取得了較好的效果。

4. 文本偽造檢測

文本偽造檢測，主要利用信息內容和社交上下文。傳統方法通過提取語言學特征、主題特征等進行鑒別，近年來多使用卷積神經網絡、遞歸神經網絡等方法。為檢測偽造文章，MIT-IBM沃森AI實驗室[38]等推出GLTR模型對文本進行統計分析和可視化，OpenAI等開發了GPT-2 Output Detector，Edward Tian 的GPTZero網站[39]提出文本困惑度指標。2019年，華盛頓大學和艾倫人工智能研究所推出的Grover鑒定模型的偽文本區分度達到92%。

（三）深偽檢測困境和方向

事實上，比較一般固化測試環境，面向實際應用，深度偽造檢測工作將更為復雜困難。一方面，這是一個不受控條件下的開集問題。眾多未知偽造方法、大量未知偽造數據，而偽造檢測所能看到的僅僅是冰山一角，延續著頭痛醫頭、腳痛醫腳的被動跟蹤范式；另一方面，這也是一個對抗博弈過程。對象是有組織的黑灰產業鏈、國內外惡意勢力。技術進步，此消彼長，亟需國家支持，前瞻設計，團結奮進。

綜上因素，可歸集為現有深偽檢測研究面臨的主要問題：舍本逐末，真實數據分析、數據真實性研究不足。亟需回答：已知數據的真實特征是什么？未知數據的真實性體現在哪？偽造樣本出來了，分析如何假；偽造方法出來了，分辨如何造。沒有假，不識假，所以被動。更為危險的是錯把數據可區分特征作為真實依據來使用。加強真實性正向研究是未來鑒偽突破的重要方向。

（四）深偽治理法律法規和標準規范

近年來，深度偽造非法應用風險逐步顯現。世界各國高度重視，相繼出臺了各類法律法規和標準規范，進行規制引導。

1. 法律法規方面

歐盟在《通用數據保護條例（GDPR）》等現有法律框架下規制深度偽造；德國出臺了《社交媒體管理法》；美國相繼出臺《2018年惡意偽造禁令法案》《2019年深度偽造報告法案》和《深度偽造責任法案》等，要求嚴格限制深度偽造技術，評估安全風險；2019年，新加坡議會通過《防止網絡虛假信息和網絡操縱法案》；英國對個人臉部圖像等信息保護的法律主要是《數據保護法》。

我國《民法典》第一千零一十九條規定“任何組織或者個人不得以丑化、污損，或者利用信息技術手段偽造等方式侵害他人的肖像權”；《網絡音視頻信息服務規定》要求網絡音視頻服務提供者和使用者不得利用基于深度學習、虛擬現實等新技術新應用制作、發布、傳播假新聞信息；《互聯網信息服務深度合成管理規定》針對應用深度合成技術提供互聯網信息服務，作了系統性、專門性規定，明確了各類主體的信息安全義務。

2. 標準規范方面

深度偽造安全治理的技術、管理標準體系尚未完善。

關于防偽安全評估，ISO/IEC 19989-3:2020《信息安全 生物識別系統安全評估的標準和方法 第3部分：呈現攻擊檢測》為相關系統開發人員和風險評估人員提供了建議和要求。

關于防偽安全性測試，ISO/IEC 30107-3:2017《信息技術 生物特征呈現攻擊檢測 第3部分：測試和報告》和GB/T 41987-2022《公共安全 人臉識別應用 防假體呈現攻擊測試方法》中，給出了明確的測試方法。

關于防偽功能、性能指標，GB/T 38671-2020《信息安全技術 遠程人臉識別系統技術要求》、GB/T 37036.3-2019《信息技術 移動設備生物特征識別 第3部分：人臉》、JR/T 0164-2018 《移動金融 基于聲紋識別的安全應用技術規范》等提出了明確要求。

關于網絡偽造虛假信息溯源問題，Adobe、Arm、BBC、Intel、Microsoft等公司聯合成立了一個基金會項目“內容來源和真實性聯盟”（C2PA），旨在制定媒體內容來源與歷史或出處認證技術標準。

三、深偽治理措施建議

深度偽造僅僅是當前新技術革命超前發展，而配套社會治理體系尚未完善時期出現的階段性發展問題，必然通過發展的手段來解決。解決的方案不應僅限于技術，還包括規制、管理、宣傳、教育等體系化治理舉措。

（一）技術研究層面

（1）前置應用環境安全感知能力，引導安全終端普及，廣普漏洞查補，強化交互認證，落實信息安全機制，防范化解劫持、注入風險。

（2）加強深度偽造檢測技術及應用研究。挖掘數據真實特征，增強多態信息融合防御，免疫博弈因素干擾，適應未知生成算法和現實應用場景，提高鑒別算法泛化性、魯棒性。

（3）加強深偽取證、鑒定基礎理論研究，跟蹤偽造動態，洞察技術本質，探究真實性判別結論的客觀性、規律性、科學性和系統性。

（4）建立信息內容安全監管機制，保護合法圖像、音視頻產品，落實數據真實性、完整性檢驗，以及可溯源、防篡改、抗抵賴技術措施，形成非法偽造溯源打擊能力。

（二）規制管理層面

（1）落實法律法規、健全技術標準體系。以法律法規明確非法界定，保護合法應用，打擊非法濫用，嚴格懲戒措施；以標準規范分類分級可信應用、明確適用場景、應用條件、合規指標和安全檢測技術要求。

（2）建立敏感信息獲取、使用，以及內容安全、技術風險審查制度，切實加強個人信息保護；構建聯防聯控監管機制，細化媒體、技術企業、信息源頭責任落實，重預防、抓源頭、控渠道、快查處、嚴整治、打黑產，形成層次化垂直管控體系。

（3）建立高性能自動化預警、監測、監控平臺，常態化升級完善，實現異常風險廣播、高效問題發現、及時斷鏈溯源、精準化解處置，有效打擊黑惡勢力，有效應對“0 day”攻擊和海量信息篩查。

（4）建立深度偽造安全能力檢測、評價和市場準入管理機制。從技術能力、人員培養、管理流程、應急響應等方面，全方位考察、認證企業資質，正向激勵落實安全責任，輸出優秀專業人才、技術、服務和產品。

（三）宣傳教育層面

（1）建立風險信息交流、學習服務平臺，促進國際合作，共享科技情報、案例，推廣攻防經驗和科研成果。

（2）建立真實場景應用深偽測試數據集評價基準，定期舉辦攻防演練、比賽和技術研討，促進鑒偽技術、產品迭代進步。

（3）加強社會工程學安全風險宣傳教育，提高新聞工作者鑒假職業素養，逐步提升人民群眾的反欺防詐、守法維權意識，促進適應新技術帶來時代變遷的文明、道德理念換擋升級。

四、未來展望

深度偽造與反偽造工作是一個長期的博弈過程。科技發展勢不可擋，社會治理應做好規劃布局。

（一）深度偽造技術發展

未來深度偽造將繼續向著圖文并茂、聲像逼真方向發展，并伴隨“元宇宙”概念落地。

（1）解決輕量計算、復雜場景、多角色、小樣本訓練、高清、實時等問題。

（2）虛擬人物口音多風格化，自然度、可懂度和流暢度顯著提升。

（3）隱蔽對抗技術繼續發展，啟動規模化、定制化虛擬場景生產。

（二）深偽檢測技術和治理能力進步

深度偽造檢測技術雖然已經取得了顯著進步，但仍然有許多問題需要解決，未來期許形成產業，相關技術產品投放市場。

（1）解決規模偽造檢測問題，魯棒性、泛化性達到實用程度。

（2）形成深偽技術產品及反偽裝備、能力和服務的認證機制。

（3）法律、法規、標準日臻健全完善。政府、企業、個人多方合作，建立共享、共贏的鑒偽、防偽、管控、打假新生態。

五、結語

深度偽造是當前公共安全領域的研究熱點。由于其危害小至身份仿冒，大可至國家安全，因而受到特別關注。

目前，偽造新聞、圖像、影音在技術表現上已經可以造成人、機“困擾”。然而，在檢測、鑒定和防御能力上還有進一步上升空間。

深度偽造風險治理，除了依托科技發展，還需完善頂層設計，實施立法監管，健全標準規范，加強宣傳教育。正向引導深度偽造技術發展，未來世界精彩可期。