基于多尺度卷積神經網絡的人臉潤飾檢測算法①

張 萌,王曉峰,胡姣姣,張德鵬

(西安理工大學 理學院,西安 710054)

隨著Photoshop等圖像潤飾工具的廣泛使用,越來越多的圖像編輯軟件被用于圖像潤飾.如圖1,每對圖像的左邊為原始圖像,右邊為對應的潤飾圖像,從圖1可以看出圖像潤飾可改變圖像的原始內容并且篡改痕跡肉眼難以辨認.部分惡意篡改圖像如被大量地用于科學研究和法庭證據等,無疑將會對政治和社會穩定產生嚴重的影響,因此數字圖像取證技術的研究顯得尤為重要.

1 相關工作

圖像潤飾通常改變了圖像的顏色、紋理、亮度,常見操作包括對圖像進行局部模糊[1]等,目前的潤飾檢測算法主要有傳統算法和深度學習兩類,下文將分別對兩類算法進行介紹.

1.1 傳統人臉潤飾檢測算法

傳統的人臉潤飾檢測算法主要依賴于人工設計判別特征,最后建立特征分類模型實現潤飾圖像分類.2011年,Ananya等人[2]首次將潤飾圖像作為篡改圖像來檢測,提出用期望最大化算法(Expectation-Maximization,EM)實現圖像分類,但該算法只能將篡改圖像種類的范圍縮小,無法徹底區分潤飾圖像與復制粘貼圖像.2011年,李曉飛等人[3]提出了基于雙拉普拉斯變換的潤飾圖像盲檢測技術,該方法使用KD-Tree和分層聚類法來匹配圖像塊,應用7-tap拉普拉斯濾波器消除誤匹配,最終實現潤飾圖像的局部潤飾檢測.該算法對于未壓縮的和高分辨率的壓縮圖像有效,但是對于不同色調和飽和度的圖像有誤檢,對低質量的壓縮圖像誤檢較多.2011年,Farid等人[4]引入一個定量的潤飾圖像度量標準,通過建模估計圖像的幾何和光度變化,用8個統計量將圖像按潤飾程度分為5級,其中幾何修正量化為4個統計量,即待測對象面部和身體的運動幅度的平均值和標準差,光度修正也量化為4個統計量,包括局部平滑/銳化濾波器在空間邊界的均值和標準差,和結構相似性指標度量(Structural Similarity Index Metric,SSIM)的均值和標準差.該度量標準能定量的判斷圖像的潤飾程度,缺點是需要原始圖像作參考.2013年,Shah等人[5]使用人類感知來檢測潤飾圖像,首先采用PCA技術對待測圖像進行人臉識別,然后將待測圖像與其潤飾圖像做對比,最后通過人類的感知確定待測圖像是否潤飾圖像.

1.2 基于深度學習的人臉潤飾檢測算法

2006年,加拿大多倫多大學教授Hinton在頂尖學術刊物《科學》上發表了一篇文章[6],開啟了深度學習在學術界和工業界的浪潮.近幾年隨著深度學習在圖像分類[7-11]、目標檢測[12]、圖像語義分割[13]等領域取得的一系列突破性的研究成果,研究者們開始將深度學習應用于圖像取證領域.2015年,Kang等人[14]提出了一種基于卷積神經網絡的中值濾波檢測方法,通過添加濾波器層來改進傳統的CNN模型,添加的濾波層可以抑制由于圖像邊緣和紋理的存在引起的干擾,使得中值濾波留下的跡線可以成功暴露,這是深度學習應用在取證領域的第一個研究成果,在此之后,卷積神經網絡陸續應用在其他取證領域,例如圖像重拍攝檢測[15],相機源識別[16],圖像隱寫分析[17],圖像拼接及復制粘貼篡改檢測[18]等.隨著深度學習在圖像取證領域的廣泛應用,研究者們也開始將深度學習用于人臉潤飾檢測.在2016年,Bharati等人[19]設計了第一個ND-IIITD人臉潤飾數據庫,首次提出用監督的深度玻爾茲曼機(Supervised Deep Boltzmann Machine,SDBM)來提取特征,支持向量機來對原始圖像和潤飾圖像分類,檢測精度比傳統人臉潤飾檢測算法高38.3%.2017年,Bharati等人[20]又提出了一種新的半監督自動編碼器來提取特征,并用支持向量機分類,但這兩個算法的特征提取和圖像分類都是分步進行的,不是端到端的潤飾圖像檢測算法.

1.3 本文工作

由上文可知,傳統人臉潤飾檢測算法手動設計特征復雜且識別率低,現有深度學習算法無法實現端到端的潤飾圖像檢測,為了解決以上問題,本文提出了多尺度卷積神經網絡模型(Multi Scale-Convolutional Neural Network,MS-CNN),不同于傳統的CNN,本文提出的MSCNN有3個優點:增加基于方向梯度直方圖(Histograms of Oriented Gradient,HOG)特征的人臉提取預處理,從待測圖像中提取人臉部分作為網絡的唯一輸入;在首次池化操作后加入局部歸一化層(Local Response Normali-zation,LRN),加速網絡收斂;由于傳統CNN中使用的單層單卷積核難以捕獲人臉潤飾圖像與原始圖像間微小的類間差別,因此提出了多尺度卷積層,將不同尺寸的1×1,3×3和5 ×5的卷積核進行了級聯,以提高檢測精度.

本文算法在人臉潤飾數據集LFW和ND-IIITD進行了測試,實驗結果表明提出的算法與4種網絡結構和最新人臉潤飾檢測算法相比,檢測精度均有大幅提升.

2 基于HOG特征的人臉提取預處理

2005年Dalal提出了基于HOG特征 的行人檢測算法,近幾年該算法被越來越多的應用于人臉檢測和人臉識別領域.考慮到人臉潤飾檢測的目標區域為圖像中的人臉部分,因此在預處理層利用基于HOG特征的人臉提取算法從待測圖像中提取出人臉部分,算法步驟如下:

Step 1.對圖像I(x,y)進行平方根的伽馬壓縮得到I(x,y)gamma,實驗中壓縮參數gamma取0.5;

Step 2.結合象限信息求像素點(x,y)處的梯度幅值G(x,y)和梯度方向θ (x,y):其中,Gx(x,y)與Gy(x,y)分別為像素點 (x,y)水平和垂直方向的梯度分量,求出梯度方向后將梯度方向θ(x,y)∈[0°,180°]劃分為 9 個區間.

圖2 提出的多尺度卷積神經網絡(MS-CNN)模型

Step 3.將圖像劃分為 8 ×8不重疊的單元格,檢測窗口在圖像上滑動的步長和塊在檢測窗口滑動的步長均為8個像素,檢測窗口大小設置為1 2 8×64,塊大小為16×16.每個單元格中像素點 (x,y)的梯度方向 θ(x,y)按區間段投票,計算區間段i及其相鄰區間段的梯度投票vi(i=0,···,8).

其中 α為權重,為了簡化計算復雜度,實驗中取權重α=0.5[21].這樣每個單元格生成一個9維的特征每個塊由四個單元格組成,因此每個塊生成一個36維的特征向量再對特征向量Vblock歸一化得到V,圖像內所有塊的特征向量V組合得到最終特征向量VHOG,最后將VHOG送入支持向量機來提取圖像中的人臉部分.

3 多尺度卷積神經網絡結構設計

多尺度卷積神經網絡(MS-CNN)模型包括3部分:數據輸入、特征提取和分類,圖2為MS-CNN的結構圖.數據輸入層分批次將圖像送進特征提取部分,每個批次可處理40張圖像;特征提取部分共6個卷積層,每個卷積層都有一個xavier核,使輸入輸出的數據服從式(4)的均勻分布.同時為了防止網絡過擬合,MS-CNN中添加了3個池化層,常見的池化操作包括最大池化、平均池化和重疊池化,本文選用最大池化來對圖像做下采樣;分類部分包括全鏈接層、Dropout層和Softmax層.下文將詳細描述MS-CNN網絡結構的設計.

其中,nj和nj+1分別表示輸入、輸出該卷積層的樣本個數.[21]

3.1 MS-CNN網絡超參數

MS-CNN首先將輸入的彩色圖像的大小統一調整為1 2 8×128,數據輸入層的batch_size取40,即MSCNN每個批次處理40張圖像,直到處理完圖像庫中的所有圖像,特征提取和分類部分的超參數見表1.

表1 MS-CNN的超參數

3.2 特征提取

特征提取部分是MS-CNN的核心,包括LRN層、多尺度卷積層和單尺度卷積單元三部分,下文詳細介紹了每個部分.

3.2.1 局部歸一化(LRN)層

一張1 2 8×128的圖像首先進入數據輸入層,從數據輸入層輸出后進入第一個卷積層,該層設有96個11×11的大尺寸卷積核ki1j,連接輸入的第i(i=1,···,40)個圖像與本層的第j(j=1,···,96)個卷積核,卷積生成96個大小為 5 9×59的特征圖x1j(j=1,···,96),在卷積層后緊跟一個最大池化層,對特征圖x1j做下采樣.第一個卷積與池化操作的公式如下:

其中,b1j表示第一層卷積的偏置,ReLU(·)為激活函數,batch_size表示MS-CNN每個批次處理圖像的個數,本文中取batch_size=40;為池化層輸出的特征圖,和 分別表示池化層的權重和偏置,down(·)為最大池化操作.

LRN仿造生物學上活躍的神經元對相鄰神經元的側抑制現象[8],對局部神經元的活動創建競爭機制,使得其中響應比較大的值變得相對更大,并抑制其他反饋較小的神經元,因此在池化層后添加LRN層有助于網絡的快速收斂.該層對輸入的96個特征圖分別按像素做歸一化處理,輸出歸一化后的特征圖1,···,96):

其中,xqpool表示池化層輸出的第q(q=1,···,N)個特征圖,N=96為特征圖總數,n,k,α和 β 為參數,在本文中分別取n=5,k=2,α=10?4,β=0.75.

3.2.2 多尺度卷積層

計算機視覺領域的圖像分類問題類間差別較大,多為不同類別的分類問題,例如貓狗分類、汽車卡車分類等.而圖像取證的類間差別微小,傳統的卷積神經網絡難以區分,例如文獻[14]中為了放大中值濾波取證的類間差別,增加了中值濾波殘差層作為預處理,同樣文獻[15]在預處理層利用拉普拉斯濾波器來放大重拍攝圖像與原始圖像間的類間差別.而潤飾圖像取證屬于圖像取證中的一類,潤飾圖像與原始圖像間的差異也很小,多為圖像局部的亮度、紋理、飽和度等,因此傳統單尺度的卷積層難以捕獲這種微小的類間差別,因此本文提出多尺度卷積層,該層級聯了3種大小分別為1 ×1,3×3和5×5的xavier卷積核各64個,分別對LRN層輸出的特征圖xLjRN做卷積,多尺度卷積操作表示為:

其中,ki1j×1為1 ×1卷積核,連接LRN層的第j個輸出特征圖xLjRN與多尺度卷積層的第i個輸出特征圖fi1×1,b1i×1為偏置,nLRN為LRN層輸出特征圖的個數,nLRN=96,ReLU(·)為激活函數,fi3×3與fi5×5同理.

為了使特征圖fi1×1、fi3×3與fi5×5大小相同,針對3種不同尺寸的卷積核分別設定填充參數pad:pad1×1=0,pad3×3=1,pad5×5=2.最后由Concat(·)將特征圖fi1×1、fi3×3與fi5×5連接,得到最終由多尺度卷積層輸出的特征圖該操作表示為:

3.2.3 單尺度卷積單元

多個多尺度卷積層堆疊會產生大量的參數,降低網絡訓練效率,因此本文沒有采取對多尺度卷積層進行簡單的堆疊,而是在它之后添加了兩個單尺度卷積單元unit1和unit2.每個單尺度卷積單元都有兩個卷積層,一個最大池化層,每個卷積層后都有一個ReLU(·)激活函數來加速網絡收斂.unit1和unit2的結構類似但卷積核的個數不同,卷積核個數分別為128和256,unit1和unit2的具體結構和詳細參數見3.1節.

3.3 分類

分類層分3部分:2個全連接層、Dropout層和Softmax層.全連接層將特征提取部分得到的所有二維特征圖轉化為全連接的一維特征向量;Dropout層[9]以概率p=0.5隨機的將部分隱藏神經元的輸出清零,避免網絡過擬合;最后由Softmax分類器將多個神經元的輸出映射到 (0 ,1)區間內,實現潤飾圖像與原始圖像的分類.

4 實驗

4.1 實驗環境

本文實驗采用的深度學習平臺為Caffe[22],電腦硬件環境的內存為8 GB,CPU為Intel(R)Core(TM)i7,GPU為GTX 1050 Ti,操作系統為64位Ubuntu 16.04.

4.2 實驗數據

帶標簽的人臉(Labeled Faces in the Wild,LFW)數據集:LFW是一個用于研究無約束的人臉識別的數據庫,包含了13 233張人臉圖像,圖像大小均為 2 50×250.我們從LFW中隨機選取1000人臉圖像,利用Meitu軟件中的潤飾功能,即:人像美容中的智能美容,對1000張人臉進行潤飾,這2000張圖像組成LFW潤飾數據集,該數據集的部分示例圖見圖3,每對示例圖的左邊為原始圖像,右邊為對應的潤飾圖像.

圖3 LFW潤飾數據集的示例

ND-IIITD 人臉潤飾數據集:ND-IIITD 是 Bharati[19]提出的第一個人臉潤飾數據集,圖像大小均為1200×1600,示例見圖4,圖4(a)(b)中的第一行為原始圖像,第二行為對應的潤飾圖像.該數據庫對325個對象進行照片采集,每個對象采集8張照片,因此該數據集共有2600張原始圖像,并利用PortraitPro Studio Max軟件對每個對象中的7張照片進行人臉潤飾操作,該潤飾操作對男性女性分別預設了7種不同的潤飾操作組合,這些潤飾操作都不同程度的改變了面部特征,包括:皮膚的紋理,眼睛、鼻子或嘴唇的形狀,眼睛的顏色等等.

圖4 ND-IIITD人臉潤飾數據集的示例

實驗中人臉潤飾數據集LFW與ND-IIITD的訓練集及測試集數量見表2.

表2 訓練樣本和測試樣本數量

4.3 實驗參數設置

到目前為止,深度學習平臺Caffe總共提供了6種優化算法,本實驗中選取的優化算法為隨機梯度下降算法(Stochastic Gradient Descent,SGD).

在模型訓練中,基礎學習率(base_lr)為0.001,在訓練過程中對基礎學習率進行調整,學習率調整策略(lr-policy)為“inv”,學習率調整策略“inv”的系數 gamma和power分別為0.0001和0.75.上一次梯度更新的權重(momentum)為0.9,基礎網絡權值衰減項(weight_decay)為0.0005,用來防止網絡過擬合.每訓練1000次在屏幕上打印一次訓練詳情,方便觀察檢測精度和損失值隨迭代次數的變化結果,最大迭代次數(maxiter)為100 000次,為了節省訓練時間,運行模式(slover_mode)選GPU.

4.4 性能評估

4.4.1 方法有效性驗證

為了驗證本文提出的MS-CNN網絡結構的有效性,分別在人臉潤飾數據集LFW和ND-IIITD上進行測試,實驗結果見表3和圖5.

表3 MS-CNN在不同迭代次數下的檢測精度和損失值

從表3和圖5可以看出,檢測精度隨著迭代次數的增加先快速增長然后趨于平穩,且LFW數據集的檢測精度略優于ND-IIITD數據集,原因是ND-IIITD數據集的潤飾操作更精細,圖像分辨率更高,因此潤飾圖像與原始圖像的像素間差異較小,使得ND-IIITD數據集比LFW數據集較難檢測,故檢測精度略低.

損失值代表實際值與模型估計值之間的誤差,損失值越小說明模型擬合的越好.圖5(b)為本文構建的模型在不同數據集上的訓練損失值變化情況,隨著迭代次數的增加,兩個數據集上的損失值均逐漸遞減并趨于穩定,說明本文提出的模型擬合的較好.

4.4.2 性能比較

近幾年用于圖像分類的卷積神經網絡層出不窮,其中LeNet[7]與AlexNet[8]是比較經典的卷積神經網絡結構,Mlpconv網絡是Yan等人[10]提出的一種增強的非線性網絡結構,ResNet[11]是一種全新的網絡結構,即深度殘差網絡.為了檢驗文本提出網絡模型的性能,我們在相同的數據集上,對迭代次數為10萬次的網絡模型進行測試,每個模型測試10次取平均值,實驗結果見表4.

圖5 MS-CNN在人臉潤飾數據集LFW和ND-IIITD上的檢測性能

表4 不同網絡結構的檢測精度

從表4可以得出,在LFW人臉潤飾數據集上,本文算法的檢測精度高于LeNet網絡10.1%,高于AlexNet網絡5.3%,高于Mlpconv網絡8.9%,高于 ResNet-50網絡1.9%;在ND-IIITD人臉潤飾數據集上,本文算法的檢測精度高于LeNet網絡9.9%,高于AlexNet網絡39.1%,高于Mlpconv網絡7.1%,高于 ResNet-50網絡2.5%.

模型大小反應了網絡結構在訓練過程中參數量的大小,模型越大神經網絡需要學習的參數越多,層之間傳輸的數據流越大,更消耗計算資源.ResNet-50的網絡層數最深參數量最大,因此模型最大,而本文算法在保證檢測精度較高的情況下參數量較小,節約了計算資源.

綜上,本文提出的算法與以上4種網絡結構相比檢測精度較高、模型較小,因此性能較好.

除此之外,本文還與人臉潤飾檢測領域的最新算法文獻[4]和文獻[19]進行對比,文獻[4]屬于傳統手動設計特征的算法,作者將圖像的幾何、光度變化和感知失真作為判別特征,利用支持向量實現分類;文獻[19]屬于深度學習類的算法,作者利用有監督的深度玻爾茲曼機來提取圖像特征,支持向量實現分類.本文算法、文獻[4]和文獻[19]在ND-IIITD人臉潤飾數據集上的實驗結果見表5.

表5 檢測精度對比

由表5可知本文算法的檢測精度分別比文獻[4]和文獻[19]高44.1%和5.8%,并且文獻[4]和文獻[19]都將特征提取和圖像分類分步進行,而本文提出的MSCNN實現了端到端的人臉潤飾圖像檢測.

5 結論

由于人臉潤飾檢測的類間差別遠小于計算機視覺,傳統CNN的檢測精度不高,針對該問題,本文提出了一種多尺度卷積神經網絡模型MS-CNN用于人臉潤飾檢測,該算法不僅避免了手動設計提取特征的復雜,而且實現了端到端人臉潤飾檢測.在圖像預處理階段,本文算法利用基于HOG特征的人臉提取算法提取待測圖像的人臉部分;通過添加局部歸一化層來加速模型收斂;提出多尺度卷積層使模型能學習到更豐富的紋理特征.實驗結果表明,與現有的算法相比,MSCNN具有較高的檢測精度.

今后的工作主要圍繞增強MS-CNN對人臉潤飾檢測的通用性進行,進一步優化網絡結構并提高檢測精度.