基于深度學習的人臉圖像加密算法研究

魯 瑞，張 南，辛君芳

（1.澳大利亞國立大學 計算機與工程學院，堪培拉 2600；2.北京工商大學 計算機學院，北京 100048）

0 引言

隨著大數據與人工智能時代的悄然到來，人們可以輕松地利用社交平臺分享自己的生活。據中國互聯網絡信息中心發布的《中國互聯網絡發展狀況統計報告》顯示，截至2022年6月，我國網民規模為10.51億，互聯網普及率達74.4%。據文獻資料統計，約95%左右的網民會將自己的上網時間分配給社交平臺［1］。圖片作為信息的重要載體，與通過文字表達信息相比更加直觀、形象和生動，人們將圖片上傳到社交平臺的現象非十分普遍。但是，這在給人們的生活增加趣味的同時，也帶來了隱私信息泄露等安全風險。因此，對圖像中關鍵信息，特別是人臉等隱私部位進行選擇性加密非常必要。當前，人們一般通過手動加密或打馬賽克的方式對網絡上發布的圖片區域進行加密，此方法不僅需要花費時間和精力，還很容易被破解。

隨著隱私問題越來越被人們重視，圖像加密問題受到學術界的廣泛關注。通過研究發現，傳統密碼學對圖像數據加密的加密方法在信息量大，像素之間相關性強的圖像中效果不好。而基于混沌系統的加密算法具有初值敏感性、不可預測性等特點，使其可以更好地與密碼學相適應，在此基礎上，其易于實現，因此其被學者們應用于圖像加密領域。混沌系統主要包括Logistic映射、Henon 映射以及Chen混沌系統［2］。其中，Logistic混沌系統源于人口統計動力學系統，是加密系統中的常用系統。當Loginstic函數的初值與參數滿足條件時，Logistic函數工作于無法預測且無序的混沌狀態，可以生成混沌矩陣對原圖矩陣進行處理，達到加密目的。Logistic系統比傳統圖像加密方法更安全，在圖像加密領域具有很好的發展前景［3-5］。因此，本文采用Logistic混沌系統進行圖像的加密。

值得注意的是，圖像加密大多是對整幅圖進行加密，但是在軍事和醫療等方面的應用中，并不強制加密整個圖像。比如，在包含罪犯的圖片中只需要將圖片中的人臉進行加密，因此針對圖像的特定目標部分加密的研究十分重要，有學者指出可以先提取包含主要信息的目標區域，在此基礎上對圖像的目標區域進行加密工作，從而實現針對目標區域的圖像加密［6］。對于圖像解密部分，有文獻表明，解密結果可以與原始圖像有些許差別，因為人類本身對圖像具有感知特性，只要圖像內容不受影響，解密結果在一定的范圍內出現小的失真現象是被允許的，為了實現針對人臉區域的圖像選擇性加密，需要對人臉進行準確地定位［7］。目前采用的人臉定位方法主要包括基于知識、基于特征與基于表象三類傳統人臉定位技術和基于深度學習的人臉定位技術［8-10］。陳小梅［11］等人先對人臉圖像進行識別，然后對其進行預處理去除噪音，最后通過灰度投影獲得主要特征點為人臉進行定位。有文獻指出采用和迭代過程識別圖像中可能存在的人臉輪廓區域，之后利用Snake算法對可能存在的人臉區域進行精煉細化，以獲得最終的目標結果［12］。

深度學習憑借其高準確率、高效率的特性被廣泛應用于計算機視覺等各個領域。其中，級聯卷積神經網絡等網絡結構在人臉檢測問題上被深入研究與應用，并取得了不錯的效果。文獻［13］提出級聯的CNN 網絡結構進行人臉識別，為了更精準地定位人臉區域此方法設計了一種邊界校訂網絡，并可以進行多分辨率解析，因此成為當時識別效果和速度最好的算法。文獻［14］依照實驗級聯CNN 模型，提出了MTCNN 模型，此模型級聯的多任務框架，對人臉檢測和關鍵點對其兩個認為進行級聯。并對三個卷積神經網絡P-Net、R-Net、O-Net進行串行，從而可以精確的預測人臉的位置坐標和面部特征點坐標。目前，有不少學者提出了通過haar級聯和神經網絡混合的方法構造分類器對人臉區域進行識別［15］。也有一些學者提出不使用級聯結構進行人臉檢測的深度學習算法。其中，文獻［16］采用單個基于深度學習的卷積神經網絡模型對多方位的人臉進行檢測，該方法使得輸入圖像的大小不受限制，跟類能力較強，而且不需要對面部姿勢等內容進行注釋。

通過對上述模型方法的研究，本文研究了一種通過深度學習算法自動檢測人臉的關鍵區域，并對其進行定位和選擇性加密的方法。此方法可以有效保護人們的肖像等隱私安全，使得人們可以更放心、安全、自由地享受互聯網帶來的便捷與快樂。

1 深度學習及圖像加密方法介紹

1.1 MTCNN算法

2016年，中國科學院深圳研究院提出了用于人臉檢測的多任務卷積神經網絡（MTCNN，multi-task convolutional neural network）深度學習模型，它是一個多任務人臉檢測算法［14］，可以同時進行人臉檢測、人臉區域定位和人臉特征點標注三個任務。MTCNN 是一個進行多次單目標檢測的多目標檢測網絡模型，它級聯了3層卷積神經網絡PNe、R-Net、O-Net［17-18］，模型通過上述三層卷積神經網絡對人臉圖像逐步精化，以得到最終的人臉框坐標和關鍵的人臉特征點（眼睛、鼻子以及兩個嘴角）的坐標。本文試圖先得到人臉區域的坐標以方便下一步的加密過程實現，而不需要得到人臉的特征點的坐標。因此，本文的具體實現過程，主要針對網絡的人臉檢測和人臉定位兩個任務進行訓練和測試。

1.1.1 MTCNN 算法實現過程

將輸入圖片分割為不同尺寸的圖像，將其構造為形如金字塔的結構，稱為圖像金字塔。將圖像金字塔輸入P-Net以獲取含有人臉的候選框，通過NMS對候選框進行過濾，去除冗余的候選框得到最終的人臉候選框。然后將所有包含人臉的候選框輸入到R-Net中，通過更為嚴格的臉部特征點標準，對候選框進行進一步細化，去掉錯誤判斷，通過Bounding-Box Regression和NMS對結果進行優化，獲得置信度高的人臉候選框。最后，上一步結果輸入O-Net中，定位最終人臉候選框坐標以及確定5個特征點的位置坐標。MTCNN 算法的工作流圖如圖1所示。在本文中，由于沒有運用MTCNN 算法人臉對齊的任務，所以不會做地標標注。

圖1 MTCNN算法的工作流圖［14］

1.1.2 MTCNN 算法的網絡結構

P-Net全稱為Proposal Network，是一個包含3個卷積層的卷積網絡，他的主要作用就是判斷圖像中是否包含人臉，并輸出人臉候選框和關鍵點的位置坐標。如圖2所示，首先，P-Net對輸入圖像進行卷積操作的卷積核是一個大小為3＊3，步長為1的卷積核，在此基礎上，對其進行最大池化，其中進行范圍為2＊2，步長為2，從而可以得到一個大小為5＊5，通道數為10的特征圖。之后，將上一步得到的特征圖繼續與一個大小為3＊3，步長為1的卷積核進行卷積，得到大小為3＊3，通道數為16的特征圖，之后將其再進行上述卷積操作得到一個特征圖。最后，將上一步得到的1＊1＊32的特征圖繼續進行卷積操作生成最終的特征圖并將其用于人臉分類預測、人臉邊界框預測與人臉地標預測。

圖2 P-Net的網絡結構圖［14］

R-Net也就是Refine Network，是一個卷積神經網絡，其在P-Net的基礎上增加了一個全連接層，對上個階段的輸出進行進一步細化。如圖3所示，它與P-Net相比參數不同，而且R-Net增加了全連接操作。全連接層允許更精細的處理，消除大量錯誤的候選區域。R-Net有規定的輸入大小限制，為24＊24，它可以在圖像經過P-Net產生候選框后對其進行篩選、排除，得到更加精確的人臉區域。

圖3 R-Net的網絡結構圖［14］

O-Net全稱Output Network，如圖4 所示，它也是一個卷積神經網絡而且比R-Net更復雜，它又比R-Net多一個卷積層。O-Net的輸入大小為48＊48，它可以對經過RNet人臉區域進一步過濾，得到最終的輸出結果。

圖4 O-Net的網絡結構圖［14］

通過對上述三個卷積網絡的了解可以看到MTCNN 級聯的三個網絡的結構都比較簡單，訓練起來比較容易，通過對這三個網絡逐步精化，了以得到較為準確的檢測結果。因此，MTCNN 在檢測速度和檢測率上表現都比較好。

MTCNN 算法模型包括交并比和非極大值抑制兩種工具，用其判斷候選區域和加塊區域識別速度。交并比實際表示兩個識別框之間交集和并集的比值，它用于表示兩個識別框之間的相似程度。除此之外，在生成訓練數據時，交并比可以判斷樣本屬于正樣本、負樣本還是部分樣本，或者在非極大值抑制過濾候選框時，判斷去除與其余候選框相似度高的候選區域。非極大值抑制用于抑制不是極大值的元素，并搜索此區域內的極大值。非極大值抑制以得到的候選框的置信度（為人臉區域的概率）為標準進行排序。檢測每個網絡時，可以通過非極大值抑制去掉置信度較低且與其他候選框區域交并比較大的候選框區域。通過非極大值抑制對候選框進行篩選，可以將效果較好的人臉候選區域進行篩選，從而減少下一個網絡中輸入的候選框數目，以此來提高 人臉區域的檢測速度。

1.2 Logistic圖像混沌置亂加密算法

混沌是指確定性動力學系統表現出的看似隨機、卻無法預測的運動［19］。混沌系統憑借其初值敏感性、隨機性等良好的混沌特性，可以很好地提高圖像加密的效果。Logistic系統是一種經典的混沌系統，在圖像加密領域得到廣泛應用。Logistic映射的系統方程如式（5）所示：

式中，Xn為迭代結果，X0為初值，Xn∈（0，1）；U為參數，U∈（0，4］。當X0∈（0，1），當U∈（3.569，4］時，Logistic映射工作處于混沌狀態。如圖5所示，當參數滿足設定的條件時，對初值進行迭代獲得的序列是沒有周期性的，即使參數發生微小改變，迭代的結果也會發生巨大變化。

圖5 Logistic映射迭代圖［20］

將參數U設定在指定區間，使Logisic函數工作于混沌狀態，對其進行若干次迭代，便可獲得一組混沌序列。在計算機中圖像通過矩陣形式進行存儲與處理，因此可以將圖像的矩陣表達形式與生成的混沌序列進行運算對圖像進行加密，由于圖像像素值處于0～255之間而生成混沌序列值位于0～1之間，因此對混沌序列按照0～255的范圍進行歸一化處理從而得到新的混沌序列。在此之后，將新序列轉化為二維矩陣，與原圖進行異或操作，得到加密后的圖像，以上便是圖像的Logistic混沌置亂加密流程，設定的參數U和初值X0即為秘鑰。

2 FIIE算法

本文提出了FIIE 算法模型對人臉圖像進行識別和加密，該模型首先對輸入數據進行分類，識別出目標圖片是否包含人臉以及識別出的區域是否是人臉區域，然后對人臉所在區域進行預測，識別出人臉預測框并計算其與真實數據之間的偏移量，以確定人臉邊界框的最終范圍，最后，通過Logistic加密算法對上述結果進行加密，完成目標圖片的最終加密結果。FIIE（face image information encryption）算法實現過程如圖6所示。

圖6 FIIE算法結構圖

FIIE算法融合了MTCNN 網絡模型的重要部分及Logistic加密算法思想，運用人臉／非人臉分類、人臉邊界框回歸、人臉邊界框檢測結果可確定識別人臉標記框，再通過圖像選擇性加密算法實現對標記框中的人臉進行準確、安全加密。

2.1 增強人臉邊界精確表示

MTCNN 網絡模型可以進行人臉／非人臉分類、人臉邊界框回歸和人臉關鍵點定位三個任務的訓練，本文則提出采用增強人臉邊界精確表示算法，只需對人臉進行識別并通過邊界框標記，無需對人臉關鍵點進行標記，因此本文只加強了前兩個任務的訓練。

2.1.1 人臉／非人臉分類任務

該任務的學習目標是一個二分類問題，以此來解決人臉和非人臉區域的問題，此問題用交叉熵損失函數：

式（1）中，pi為網絡模型輸出候選樣本是人臉的概率；表示樣本的真實標簽，其取值為0或1。

2.1.2 人臉邊界框回歸任務

MTCNN 網絡將其視為一個回歸問題，將上面人臉非人臉區域的分類結果進行標出，得到一個人臉候選框，此問題采用均方誤差損失函數：

2.1.3 多任務訓練

綜合上述兩個任務的損失函數為：

式（3）中，N為訓練樣本數目；αj為權重值，表示每個任務的重要性，其中，分類任務的權重αdet為1，邊界框回歸任務的權重αbox為0.5；為上述的損失函數；為樣本類型，其值為0或1。

2.2 Logistic混沌加密算法

現有對圖像加密的研究主要是使用Logistic混沌加密算法對整幅圖進行加密，本文為了達到對區域進行選擇性加密的目的，對此算法進行了改進，在圖像不失真的情況下大大增強圖像加密的安全性。不同于傳統算法中將由混沌序列生成的圖像二維矩陣與需要加密的圖像進行異或操作從而得到加密圖像，本文先利用前一步驟得到的人臉區域坐標生成所需掩碼，通過掩碼過濾掉圖像中與人臉不相關的區域，使其不參與運算，從而減少運算成本，之后將其與混沌序列生成的二維矩陣以及需要加密的圖像進行異或操作，完成對圖像的人臉區域進行加密的任務。具體操作過程如圖7所示。

圖7 Logistic加密過程圖

3 實驗

3.1 數據集準備及數據預處理

本文使用了WIDER FACE 數據集在對MTCNN 模型進行訓練。WIDER FACE數據集包含32 203張圖片，一共包含了393 703個人臉數據，如圖8所示，根據這些圖片場景的不同，改數據集又分為了Parade、Handshaking、Rescue、Ceremony等61個類，并將每個類別以4：1：5的比例劃分為訓練集、驗證集和測試集。在實驗中，本文從訓練集中隨機選取了中的3 069張圖片對模型進行訓練。

圖8 WLDERFACE數據集

官網中的關于圖像標注的文件有MATLAB存儲格式和文本格式兩種，本文主要采用文本格式的標注文件。如圖9所示，在圖像標注文件中，第一行代表每個圖片的名稱，第二行表示此圖片中標注的人臉個數，接下來的每一行依次表示圖片中標注的邊界框的左上角點x、y坐標、邊界框的寬、高、人臉的模糊程度、做出表情的程度等10個詳細信息。本文主要利用與人臉邊界框位置相關的4個信息。

圖9 標注文件格式

為了簡便后續實驗操作，本文對原始的標注文件內容進行了修改，如圖10所示，修改后的標注文件一行代表一張圖片，每張圖片的信息以圖片為首，除此之外的其他數據每四個為一組來表示此圖片中所有標注過人臉的邊界框的左上角點以及右下角的點x、y坐標。修改后的標注文件就可以直接用于MTCNN 模型進行訓練。

圖10 修改后的數據集標注文件格式

3.2 訓練數據準備

在對MTCNN 網絡模型進行訓練時，需要分階段依次對P-Net、R-Net和O-Net網絡進行數據準備。

在準備P-Net的數據時，需要對訓練集的圖片進行截取，將截取的正方形區域與標注文件中的人臉邊界框進行IOU 的計算，根據得到的結果對截取的區域進行分類。當IOU 小于0.3時，則表明此區域沒有人臉的圖像，將其分類到負樣本中；如果IOU 大于等于0.4但小于0.65，則表明此區域含有局部人臉圖像，屬于部分樣本；如果IOU 大于等于0.65，表明此區域含有一張完整人臉，分類為正樣本。在訓練P-Net時，其輸入都是12＊12＊3的圖像，所以要將這些樣本調整大小為12＊12，之后分別保存到如圖11所示的negative、part、positive文件夾下。

圖11 P-Net訓練數據的目錄

通過上述操作可以得到本實驗的訓練樣本，在此之后制作這些樣本的標注文件。如圖12～14所示，用代碼0表示負樣本的標簽樣本類型；用代碼1 表示正樣本的標簽樣本類型，其中正樣本標簽中包含圖片對于真實人臉邊界框的偏移量，偏移量是通過真實框左上角點和右下角點的坐標值與建議框對應的坐標值相減并除以建議框的尺寸所得到的；部分樣本的標簽用類型代碼-1 表示，其也包含它對于真實人臉邊界框的偏移量。將這三個標注文件完成后，將其整合到一個文本文件中，便于后續訓練網絡使用。

圖12 負樣本的標注文件

圖13 部分樣本的標注文件

圖14 正樣本的標注文件

正樣本和負樣本用來訓練人臉分類任務，正樣本和部分樣本用于訓練人臉邊框回歸任務。

R-Net的訓練樣本需要用P-Net訓練好的網絡來生成，并將生成的樣本調整大小為24＊24。生成樣本之后，對樣本的分類方法和標注文件的格式與P-Net都相同。同理，O-Net的訓練樣本需要R-Net訓練好的模型來生成，此部分大小需調整為48＊48。

將網絡訓練好之后，對訓練好的網絡進行測試，測試結果如圖15所示。

通過實驗發現，即使實驗圖片中包含較多的人臉數目時，MTCNN 算法也能有效地檢測并定位人臉位置，并且該算法可以識別擁有較多人臉信息的側臉。不過，對于一些面部大量被遮擋的圖片信息以及與人臉十分相似的圖片信息，MTCNN 網絡模型在檢測過程中也會出現檢測不出或者過度檢測的情況。但是，對于大多數的圖片結果，此算法模型還是可以輸出較好的檢測和定位結果。

通過對Logistic加密算法的創新，得到如圖16所示的加密結果。

由圖16可以看出本文使用的加密方法對加密圖片中部分區域有比較不錯的實現效果，由此可見，通過創新后的Logistic混沌置亂加密可以解決保護圖像中面部區域隱私問題。

4 結束語

本文研究了一種針對圖像的面部區域進行選擇性解密的算法模型，實現對圖片中的人臉隱私部位的有效保護。該方法融合了人臉檢測算法、人臉對齊方法及圖像加密算法，對圖像中的人臉信息進行加密保護。通過對WLDER FACE數據集的標注數據進行修改，并用此數據集以及修改后的標注文件對MTCNN 模型進行訓練。此外MTCNN網絡模型級聯了P-Net、R-Net、O-Net三層卷積神經網絡，并對上述三個網絡分別依次進行訓練。將三個網絡模型訓練好后，通過訓練好的模型對圖片數據集進行人臉檢測和定位，便可得到圖片中人臉區域標記的矩形框的坐標。通過得到的矩形框坐標可以生成掩碼，利用掩碼對Logistic混沌序列和原圖片進行OpenCV 位運算，然后對得到的區域進行加密從而獲得加密后的圖像。后續將在檢測速度或較多遮擋情況下的人臉隱私等方面展開進一步的研究。