基于視覺跟蹤的實時視頻人臉識別

任梓涵,楊雙遠

(廈門大學軟件學院,福建 廈門 361005)

隨著攝像機在監(jiān)控和移動設備中的廣泛使用,大量的視頻不斷被捕獲,與靜態(tài)圖像相比,視頻往往包含更多信息,例如時間和不同視角信息等．公共場所的監(jiān)控視頻為社會的安全和執(zhí)法提供了有力的保障,因此,視頻監(jiān)控系統(tǒng)的智能化是計算機視覺領域具有重要意義的研究方向之一,尤其是人臉識別技術在監(jiān)控視頻中的使用．

人臉識別的步驟主要包含人臉檢測、人臉分割、人臉特征提取和人臉匹配4個部分[1]．人臉識別算法發(fā)展到現(xiàn)在,目前主要分為以下幾種:基于特征的方法、基于模版匹配的方法、基于外觀的方法和基于深度學習的方法[2]．基于特征的方法主要是使用手工提取特征來進行人臉識別,例如方向梯度直方圖(HOG)、局部二值模式(LBP)、尺度不變特征變換(SIFT)、Gabor等方法[3-4]．基于模版匹配的方法是建立一個標準的面部模型,將人臉定義為函數(shù)[2-5],輸入一張圖像,分別計算出人臉輪廓、眼睛、鼻子、嘴巴標準模式的相關值,根據(jù)這些相關值來判定人臉是否存在．基于外觀的方法主要是用整幅圖像的信息來識別人臉,較為典型的是主成分分析(PCA)算法[6]和線性鑒別分析(LDA)算法[7],它們使用降維統(tǒng)計的方法保留圖像的關鍵信息,避免了整幅圖像的大量計算[3]．以上方法在姿態(tài)轉動、光照變化、遮擋等復雜場景下識別具有很大的局限性．

近年來,基于深度學習的人臉識別方法變得流行．深度學習中,卷積神經(jīng)網(wǎng)絡(CNN)[8]的非線性特征學習能力特別強,所以在人臉識別等計算機視覺任務中具有很高的準確率．戶外標記人臉數(shù)據(jù)集(LFW)[9]是著名的靜態(tài)人臉識別數(shù)據(jù)集,許多基于深度學習的人臉識別方法在LFW上的準確率一次次突破極限,最高已達到99.63%,但是在視頻人臉數(shù)據(jù)集YouTube faces(YTF)[10]上的準確率卻不高,只有92.80%．與靜止拍攝的人臉圖像相比,視頻中的人臉成像更加復雜,而且容易受到設備的影響,識別起來比較困難．2014年,Hu等[11]提出了一種新的判別式深度度量學習(DDML)方法,該方法訓練了一個深度神經(jīng)網(wǎng)絡,將人臉映射到一個特征空間,并使用馬氏距離度量來使類間差異最大化和類內(nèi)差異最小化,該方法在YTF上取得82.3%的最好準確率．Tran等[12]提出了基于CNN的三維可變?nèi)四樐Ｐ?CNN-3DMM)方法,該方法將人臉靜態(tài)圖像輸入到訓練好的一個CNN模型,得到三維的可變?nèi)四樐Ｐ?在YTF數(shù)據(jù)集上的準確率為88.8%．Taigman等[13]提出了深度人臉識別(DeepFace)方法,是一種將人臉圖像對齊到一般的3D形狀模型的級聯(lián)方法,在YTF上的準確率達到了91.4%．2015年,Wu等[14]提出了一個輕量級的CNN(a lightened CNN)方法,該方法用4個卷積層構成一個淺CNN模型,并提出一個新的最大特征映射(MFM)激活函數(shù)來獲取緊湊的人臉特征信息,在YTF數(shù)據(jù)集上達到91.6%的準確率．

近年來,監(jiān)控視頻中的目標跟蹤是一個重要研究方向．在2010年之前,目標跟蹤領域中最常用的方法是經(jīng)典跟蹤方法,如均值漂移(Meanshift)、粒子濾波、卡爾曼濾波和基于特征的光流算法等[15],由于這些方法不能夠適應和處理視頻中復雜的運動變化,在基于相關濾波和深度學習的跟蹤方法出現(xiàn)后,經(jīng)典跟蹤方法已經(jīng)較少使用．2012年,Henriques等[16]提出了循環(huán)結構的核跟蹤(CSK)方法,這是一個基于循環(huán)矩陣和核函數(shù)的跟蹤方法,使用循環(huán)矩陣完成密集采樣,并利用傅里葉變換實現(xiàn)快速檢測,該方法在處理速度上能夠達到每秒320幀,為相關濾波系列方法在實時性應用中打下了基石．Henriques等[17]又后續(xù)提出CSK的改進算法核相關濾波/判別相關濾波(KCF/DCF),在保證高速處理的同時提高了跟蹤的準確性．2013年Wang等[18]提出“深度學習跟蹤”方法,這是第一個將深度網(wǎng)絡運用于單目標跟蹤的跟蹤算法．Hyeonseob等[19]的多域網(wǎng)絡(MDNet)方法,利用多類跟蹤序列預訓練網(wǎng)絡,并在在線跟蹤時微調(diào)模型．基于深度學習的跟蹤算法不斷發(fā)展,目前性能上還是沒有辦法和相關濾波方法相比,但是其端到端輸出的特點使其具有光明的前景．

綜上所述,雖然基于CNN的人臉識別算法在圖像人臉識別任務中取得很好的結果,但是在基于視頻的人臉識別任務中的準確性不高．另外,由于這些算法的網(wǎng)絡層次深,模型結構復雜,時間復雜度和空間復雜度都比較高,無法滿足視頻中實時識別的要求．因此本研究提出了一種基于視覺跟蹤的實時視頻人臉識別(RFRV-VT)方法,為了簡化模型,采用視頻分組的方法,對視頻序列以組為單位進行識別;采用一種新的特征融合方法提高人臉識別準確率;并將視覺跟蹤方法引入到人臉識別框架中來提高識別速度；最后在YTF數(shù)據(jù)集上對RFRV-VT進行驗證．

1 RFRV-VT方法介紹

本研究提出的RFRV-VT方法總體框架圖如圖1所示,首先提出將視頻圖像序列進行分組識別,每一組中包括人臉識別幀(圖1中用R表示)和人臉跟蹤幀(圖1中用T表示)．在人臉識別幀中實現(xiàn)人臉檢測、人臉特征提取和人臉匹配過程,在人臉跟蹤幀中對之前檢測到的人臉進行跟蹤.并將視頻圖像幀序列以N幀分為一組,每個組中第一幀為人臉識別幀,第2～N幀為人臉跟蹤幀,N的設置需進行最優(yōu)選擇．相鄰兩個組之間,本研究提出一種雙重匹配方法實現(xiàn)連接．

圖1 RFRV-VT方法框架圖Fig.1 Framework of RFRV-VT

1.1 人臉識別

在人臉識別幀中,首先使用多任務級聯(lián)CNN(MTCNN)[20]來實現(xiàn)視頻圖像幀中的人臉檢測;其次,對MTCNN檢測到的人臉按照人臉框分割,并使用lightened CNN提取分割出來的人臉圖像的特征;最后,對提取出的特征采用余弦距離進行度量,從而實現(xiàn)人臉匹配．

1.1.1 人臉檢測

人臉檢測在圖像中檢測到人臉并返回人臉框坐標的過程,往往容易受到圖像質量、光照、人臉轉動的等因素的影響．深度學習中,CNN可以在人臉檢測中獲取更高層次的語義信息,與傳統(tǒng)的基于手工特征的檢測方法相比,基于CNN的算法更具有魯棒性．人臉圖像經(jīng)過CNN中的卷積操作,可以產(chǎn)生大量的人臉候選窗口,將人臉候選框輸入到softmax分類器,能夠得到其是否為人臉的分類結果,從而實現(xiàn)人臉檢測．

本文中使用的MTCNN人臉檢測方法由如下4步構成.首先,對視頻幀中的圖像進行不同尺度采樣,作為卷積神經(jīng)網(wǎng)絡結構的輸入;其次,使用包含3個卷積層的全卷積網(wǎng)絡粗略獲取一部分人臉窗口候選集,并使用非最大抑制方法來提高檢測結果的準確性,如圖2(a)所示;然后將其送入一個4層的卷積神經(jīng)網(wǎng)絡,該網(wǎng)絡在第一個網(wǎng)絡的基礎上增加了一個全連接層,用來去掉更多非人臉的區(qū)域,如圖2(b)所示;最后將結果輸入到一個5層的卷積神經(jīng)網(wǎng)絡做精細的處理,并輸出人臉檢測框坐標和人臉5個關鍵點的位置,如圖2(c)所示．MTCNN使用3個CNN級聯(lián)的方式,實現(xiàn)了由粗到細的算法結構,每個CNN網(wǎng)絡是一個分類器,能夠得到最有可能的人臉區(qū)域．該方法通過減少濾波器數(shù)量、設置小卷積核和增加網(wǎng)絡結構的深度,實現(xiàn)了使用較少的運行時間獲得更好的性能,在人臉轉動、光照變化和部分遮擋等情況下能夠得到很好的人臉檢測結果．

圖3 lightened CNN結構Fig.3 Structure of lightened CNN

圖2 MTCNN結構Fig.2 Structure of MTCNN

1.1.2 人臉特征提取及其改進

人臉特征提取目的是為了提取出人臉的深層抽象特征,這個抽象特征能夠具有區(qū)分兩個不同人臉的特性．本研究基于lightened CNN[14]來提取人臉的深層特征．如圖3所示,模型中包含4個卷積層、4個最大采樣層以及2個全連接層,全連接層輸出256維的特征向量．模型中使用MFM激活函數(shù),它在輸入的卷積層中選擇兩層,取相同位置的最大值作為輸出．假設有輸入卷積層C∈Rh×w×2n,MFM激活函數(shù)的數(shù)學表達式為

(1)

其中,輸入卷積層的通道數(shù)為2n,1≤i≤h,1≤j≤w,l∈Rh×w×n．

根據(jù)式(1),激活函數(shù)的梯度可以表示為

(2)

其中,k′為常數(shù),1≤k′≤2n,并且有

(3)

由式(2)可以看出,激活層有50%的梯度為0,MFM激活函數(shù)能夠得到稀疏的梯度．MFM選擇2個卷積特征圖候選節(jié)點之間的最大值,采用聚合統(tǒng)計的方法得到最緊湊的特征表示,而且實現(xiàn)了變量選擇,比常用Relu激活函數(shù)的高維稀疏梯度更具優(yōu)點．Lightened CNN采用輕量的結構,在取得比較好的人臉識別效果的同時,加快了識別速度，減小了存儲空間的占用,對于監(jiān)控視頻的實時人臉識別具有良好的效果．

為了進一步加快人臉識別速度和提高人臉識別準確度,本研究提出了一種特征融合的新方法．

首先,使用人臉識別圖像中人臉區(qū)域圖像和其水平旋轉180°的人臉鏡像圖像,分別輸入到lightened CNN中,得到兩個256維的向量．在一般圖像任務的神經(jīng)網(wǎng)絡模型訓練過程中,將訓練數(shù)據(jù)集中的圖像進行鏡像、旋轉等,能夠產(chǎn)生更多的有效數(shù)據(jù),提高模型的推廣能力．受此啟發(fā),在本研究中,使用人臉原圖像和鏡像圖像提取特征,以期得到更豐富的人臉信息,有提高識別準確率．

接著,使用特征融合函數(shù)將兩個特征向量每一維的最大值融合形成一個新的特征向量,具體的特征融合函數(shù)為

hx=max(ax,bx),x=1,2,…,m,

(4)

其中,x表示第x維,m是特征向量的維數(shù)．

最后,在人臉特征提取中,提取的特征維數(shù)太多會導致特征匹配時過于復雜,消耗系統(tǒng)資源,為了降低運算復雜度,本研究使用PCA算法將融合得到的256維特征向量進行壓縮降維,最后得到128維的特征向量,在后續(xù)特征匹配中能夠大大加快計算速度,對本研究中要求的算法實時性具有重要意義．

1.1.3 人臉匹配

本研究使用余弦距離來度量人臉比對結果．兩個人臉分別提取出128維特征向量,計算兩個特征向量的余弦距離,代表兩個人臉的相似程度,如果余弦距離超過某個閾值則認為是同一個人的人臉．當一個人臉與多個人臉進行比對,如果超過閾值的有多張人臉,則取相似度最高的為最終結果．

1.2 人臉跟蹤

人臉跟蹤過程是已知在某一幀中檢測到人臉,并標記臉部區(qū)域,然后在后續(xù)視頻幀中繼續(xù)跟蹤標記的臉部位置．在人臉跟蹤幀中,本研究使用基于核相關濾波的高速跟蹤方法(KCF)[15]，將跟蹤問題當作一個二分類問題,從而找到目標與背景的邊界．

如圖4所示,KCF實現(xiàn)目標跟蹤的步驟為:假設在視頻圖像序列i幀中有目標對象,其位置坐標為L(i)．首先,在L(i)附近采集負樣本,L(i)作為正樣本,訓練一個目標檢測器,將圖像樣本輸入檢測器,能夠得到該樣本的一個檢測響應值;接著,在視頻圖像序列i+1幀中,在L(i)附近進行采樣,并將樣本輸入目標檢測模型中,得到每個樣本的檢測響應值,即其是人臉區(qū)域的概率值;最后,取響應值最大的樣本位置為i+1幀的目標位置L(i+1).

在采集樣本的步驟中,KCF利用循環(huán)矩陣的性質,將圖像候選區(qū)域像素矩陣乘以一個循環(huán)矩陣,用來表示候選框上下左右移動后新樣本的窗口,這樣可以快速制造大量新的樣本,更多的樣本數(shù)量能夠訓練更好的檢測器．訓練目標檢測器時,KCF使用脊回歸算法進行訓練,計算相鄰兩個視頻幀之間的相關性,算法過程中利用循環(huán)矩陣在傅里葉域可對角化的特點,將時域上的卷積運算轉換為頻域上向量的點乘,這樣能夠大大減少計算量,如果使用方向梯度直方圖(HOG)特征來跟蹤,KCF能夠達到172幀/s的跟蹤速度,并且有很高的準確率．

圖4 跟蹤算法步驟Fig.4 Tracking algorithm steps

1.3 視頻組間匹配

本研究中人臉識別以視頻組為單位獨立進行,為了實現(xiàn)相鄰組間的信息連接,本研究提出一種雙重匹配方法．

通過上述的雙重判別方法,兩個視頻幀序列組gi和gi+1之間實現(xiàn)了連接,同時,身份匹配能夠對前一次的人臉識別結果進行矯正,提高人臉識別的準確率．

2 實驗和結果分析

2.1 實驗設置及數(shù)據(jù)

本研究實驗平臺為6核,Intel(R) Core(TM) i7-5820K @3.30 GHz,內(nèi)存64 GB的CPU 和GeForce GTX TITAN X,顯存12 GB的GPU．

首先在公開視頻YTF[10]上進行測試,然后再使用監(jiān)控攝像頭在真實場景下進行測試．YTF數(shù)據(jù)集共包含從YouTube 網(wǎng)站上收集的3 425個視頻,其中有1 595個不同的人．每個視頻的姿態(tài)、光照和表情有很大的變化,每個視頻剪輯的平均長度為181.3幀．對于監(jiān)控攝像頭真實場景下的測試,本實驗使用海康威視IP攝像頭在實驗室進行監(jiān)控視頻采集,數(shù)據(jù)包含20個不同人的50個視頻,每個人都有不同角度、表情,每個視頻剪輯的平均長度為203幀．

本實驗參數(shù)設置如表1所示．人臉特征提取的結果為128維的特征向量．視頻組間位置匹配時使用歐氏距離度量,如果相鄰兩幀兩個人臉的歐式距離小于20,則認為是同一個人．人臉識別幀中,如果人臉比對的余弦距離大于0.75,則認為是同一個人．

表1 實驗參數(shù)

2.2 實驗數(shù)據(jù)處理

YTF數(shù)據(jù)集:根據(jù)YTF數(shù)據(jù)集標準的評估協(xié)議,實驗中使用5 000個視頻對,分為10個組,每個組包含250個正樣本對和250個負樣本對．從每個視頻中隨機選取100個樣本并計算其平均相似度和處理速度．

攝像頭數(shù)據(jù)集:對50個視頻中的22個人采集不同角度人臉的照片并保存在數(shù)據(jù)庫中,實驗中對監(jiān)控攝像頭拍攝的視頻樣本與數(shù)據(jù)庫中人臉進行比對,每個視頻取100個樣本并計算其平均相似度和處理速度．

2.3 實驗結果

實驗1:在本研究中,監(jiān)控視頻圖像幀序列中每組設為N幀,對于N的設置,則要通過實驗來選擇．如表2所示,使用攝像頭數(shù)據(jù)來進行測試,實驗測試了當N分別取3～8時,算法的準確性和處理速度．當N取3的時候,識別準確率最高,為99.73%,但是其處理速度為19幀/s,達不到實時處理的效果(通過測試,處理速度達到28幀/s以上,視頻才能夠流暢顯示)．由于N的取值越大,越容易產(chǎn)生人臉漏檢的情況,所以人臉識別的準確率會隨N的增大下降.但N的增加使人臉跟蹤幀的幀數(shù)增加,進而使算法的處理速度大大提高．由表1可知，當N取5,其處理速度為38幀/s,滿足視頻實時性的要求;此時人臉識別準確率為99.60%,有較高的準確率．綜合考慮,本研究中圖像幀序列以每組5幀處理,后續(xù)實驗在這個最優(yōu)值下進行．

表2 監(jiān)控視頻不同分組方式下的算法準確率和處理速度

實驗2:為了驗證本研究提出的特征融合方法的有效性,比較了基于CNN的DeepFace、視覺幾何組(VGG)、lightened CNN、lightened CNN+特征融合方法以在兩個數(shù)據(jù)集上的識別準確率．結果如表3所示,可以看出,本研究提出的特征融合方法能夠提高人臉識別的準確率,在YTF數(shù)據(jù)集上可以達到92.50%,有良好的識別效果．同時,在實際監(jiān)控視頻中可以達到99.6%的識別準確率．

表3 人臉識別準確率對比

實驗3:為了驗證本研究中視覺跟蹤算法對提高人臉識別速度的有效性,在使用特征融合方法的基礎上,比較沒有視覺跟蹤算法和加入視覺跟蹤算法之后的平均處理速度,并與YTF數(shù)據(jù)集上準確率較高的VGG方法相比．結果如表4所示,可以看出加入視覺跟蹤技術能夠極大地加快人臉識別處理速度,在實際的監(jiān)控攝像頭中可以達到平均38幀/s的速度,完全滿足監(jiān)控攝像頭中實時處理要求．

表4 視覺跟蹤方法處理速度對比

3 結 論

本研究提出了一個基于視覺跟蹤的視頻人臉識別方法,創(chuàng)新之處有:1) 提出了視頻幀分組的方法,以組為單位進行識別．2) 將視覺跟蹤加入到人臉識別方法中,以提高識別速度．3) 提出了一種特征融合方法,以提高人臉識別的準確度．使用該方法在YTF數(shù)據(jù)集和實際監(jiān)控視頻數(shù)據(jù)集上進行了實驗,結果顯示本研究提出的人臉識別框架具有較好的識別準確率,并且極大地提高了識別速度,滿足了監(jiān)控視頻中實時處理的要求．

本研究提出的算法框架是組件式框架,可以隨著行業(yè)的研究進行算法替換,實驗中對于視頻分組采取的是平均分組,后續(xù)考慮采取其他分組方式,用剪枝的方法,能夠進一步提高識別速度,也將考慮結合數(shù)據(jù)庫中的大規(guī)模人臉檢索方法,在實際場景中達到更快的處理速度．

[1] 李武軍,王崇駿,張煒,等.人臉識別研究綜述[J].模式識別與人工智能,2006,19(1):58-66.

[2] JAFRI R,ARABNIA H R.A survey of face recognition techniques[J].Journal of Information Processing Systems,2009,5(2):41-68.

[3] ZHAO W,CHELLAPPA R,PHILLIPS P J.Face recognition:a literature survey[J].ACM Computing Surveys,2003,35(4):399-458.

[4] 嚴嚴,章毓晉.基于視頻的人臉識別研究進展[J].計算機學報,2009,32(5):878-886.

[5] SOLANKI K,PITTALIA P.Review of face recognition techniques[J].International Journal of Computer Applications,2016,133(12):20-24.

[6] DASHORE G,RAJ V C.An efficient method for face recognition using principal component analysis(PCA)[J].International Journal of Advanced Technology and Engineering Research,2012,19(2):23-29.

[7] CHAN L H,SALLEH S H,TING C M.Face biometrics based on principal component analysis and linear discriminant analysis[J].Journal of Computer Science,2010,6(7):693-699.

[8] LéCUN Y,BOTTOU L,BENGIO Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.

[9] HUANG G B,MATTAR M,BERG T,et al.Labeled faces in the wild:a database for studying face recognition in unconstrained environments[R].Amherst:University of Massachusetts,2007.

[10] WOLF L,HASSNER T,MAOZ I.Face recognition in unconstrained videos with matched background similarity[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Colorado Springs:IEEE,2011:529-534.

[11] HU J L,LU J W,TAN Y P.Discriminative deep metric learning for face verification in the wild[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:1875-1882.

[12] TRAN A T,HASSNER T,MASI I,et al.Regressing robust and discriminative 3D morphable models with a very deep neural network[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Honolulu:IEEE,2017:1493-1502.

[13] TAIGMAN Y,YANG M,RANZATO M,et al.DeepFace:closing the gap to human-level performance in face verification[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Columbus:IEEE,2014:1701-1708.

[14] WU X,HE R,SUN Z N.A lightened CNN for deep face representation[EB/OL].(2015-11-09) [2017-12-01].https:∥arxiv.org/abs/1511.02683v1.

[15] WU Y,LIM J,YANG M H.Online object tracking:a benchmark[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Portland:IEEE,2013:2411-2418.

[16] HENRIQUES J F,RUI C,MARTINS P,et al.Exploiting the circulant structure of tracking-by-detection with kernels[J].European Conference on Computer Vision,2012,7575(1):702-715.

[17] HENRIQUES J F,RUI C,MARTINS P,et al.High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,37(3):583.

[18] WANG N,YEUNG D Y.Learning a deep compact image representation for visual tracking[C]∥International Conference on Neural Information Processing Systems.Lake Tahoe:NIPS,2013:809-817.

[19] NAM H,HAN B.Learning multi-domain convolutional neural networks for visual tracking[C]∥IEEE Conference on Computer Vision and Pattern Recognition.Las Vegas:IEEE,2016:4293-4302.

[20] ZHANG K,ZHANG Z,LI Z,et al.Joint face detection and alignment using multi-task cascaded convolutional networks[J].IEEE Signal Processing Letters,2016,23(10):1499-1503.