基于HOG和特征描述子的人臉檢測與跟蹤

(浙江工業大學 計算機科學與技術學院，浙江 杭州 310023)

人臉檢測是指在給定圖像中確定人臉的位置、大小和姿態，其本質是模式識別的一種應用。常用的人臉檢測方法有基于知識的方法、基于統計模型的方法和基于模板匹配的方法等。人臉跟蹤是在圖像序列中捕獲人臉信息的一種技術，該技術在視頻監控、圖像處理和人機交互等方面應用廣泛，是近年來計算機視覺中的熱點之一。常用的人臉跟蹤方法有基于圖像特征的方法、基于機器學習的方法和基于深度學習的方法等。隨著社會的發展，人們對人臉檢測的精度要求和人臉跟蹤的準確度要求不斷提高，因此該課題的深化研究有重要的實用價值。在人臉檢測中存在真實場景下的光照變化和隨機噪聲問題；在人臉跟蹤中會出現多人臉干擾和人臉姿態變換的問題[1]。針對這兩類難點，國內外學者進行了大量的研究。對于人臉檢測中遇到的難點，吳素雯等[2]提出了一種基于Gabor優化的卷積神經網絡與選擇性搜索策略相結合的算法，提高了在光照變化下的檢測效率，但對部分傾斜和光照不均勻的人臉仍存在漏檢。洪楊等[3]針對人臉圖像中存在的區域噪聲提出了改進的多尺度Retinex算法，能夠提高原圖像的檢測率，然而漏檢問題依然存在。Lienhart等[4]對Haar特征進行擴展，訓練形成了Haar-like分類器，能夠檢測傾斜角度的人臉，但是暴力枚舉的過程增加了內存消耗。胡麗喬等[5]提出了一種自適應加權HOG特征的人臉識別算法，在識別率上優于傳統算法，同時在光照方面具有較強的魯棒性，但是計算復雜度偏高。對于人臉跟蹤遇到的難點，Fukunaga等[6]提出Meanshift算法，基于核直方圖對人臉進行建模，跟蹤準確率較差。歷艷琨等[7]利用人臉特征點跟蹤3D人臉姿態的變化，實現了對單人臉姿態的穩定跟蹤。張江鑫等[8]提出了一種基于Camshift聚類的粒子濾波人臉跟蹤算法，能在人臉無規則曲線運動中準確跟蹤目標人臉。楊超等[9]提出了一種改進的Camshift-KLT算法，能夠減小跟蹤偏移距離，提高跟蹤命中率。以上跟蹤算法都比較偏向對人臉區域或輪廓的跟蹤，無法區分不同的人臉，會出現當多個人臉區域重疊時跟蹤目標轉移至另一張人臉的問題，使得跟蹤準確率下降。

筆者提出了一種基于HOG和特征描述子的人臉檢測與跟蹤算法。實驗前先對視頻幀進行預處理操作，利用直方圖均衡化進行光照補償，利用中值濾波進行圖像降噪；然后基于HOG特征檢測人臉；最后通過ResNet生成特征描述子，利用結合特征描述子的校正策略獲得跟蹤結果。筆者算法能夠減少光照和噪聲的影響，而且可以在多人臉干擾和人臉姿態不斷變化的情況下區分不同的人臉。算法分為基于HOG特征的人臉檢測過程和基于特征描述子的人臉跟蹤過程，下文將按照上述思路分別進行說明。

1 基于HOG特征的人臉檢測

圖1為基于HOG特征的人臉檢測流程圖。首先輸入一張人臉圖像，然后提取HOG特征，再與人臉檢測器進行匹配，最后輸出檢測的結果。

圖1 基于HOG特征的人臉檢測流程圖

針對真實場景中的光照和噪聲問題，HOG特征提取步驟中的歸一化伽馬能夠進一步消除光照變化、隨機噪聲帶來的影響，提高人臉檢測準確度。

1.1 提取HOG特征

特征提取是模式識別研究的基本問題之一。對于圖像識別，高質量的圖像特征可以有效地表示原始圖像的性質，且在圖像分類中起決定作用[10]。在人體關鍵部位圖像中合適的特征描述包括HOG特征和Haar-like特征等[11]。方向梯度直方圖(Histogram of oriented gradient，HOG)特征的核心思想是在一個大小統一、網格密集的細胞單元上進行計算，利用相互重疊的局部對比度歸一化技術來提高描述能力[12]。HOG特征能夠很好地描述圖像局部差分信息且不易受噪聲干擾，在目標檢測和跟蹤領域中是描述邊緣和形狀最好的特征之一。另一種常用的Haar-like特征反映了目標的灰度變化情況，適合描述目標陰影。與Haar-like特征相比，HOG特征保持了幾何和光學轉化不變性，能夠很好地描述目標輪廓，因此筆者采用HOG特征作為人臉檢測中的特征表示。

HOG特征提取步驟[13-16]為

1)歸一化伽馬。使用伽馬變換歸一化圖像，有效地降低圖像局部的陰影和光照變化。

2)滑動窗口設置。分割圖像為若干個滑動窗口(block)，block用于在整幅圖像上滑動提取人臉HOG特征。

3)計算梯度。將block均勻分成4 個單元(cell)，block之間采用重疊兩個細胞單元(cell)的形式進行滑動。計算出圖像的像素點(x,y)的水平方向和垂直方向的梯度，水平方向上的梯度Ix(x,y)為

Ix(x,y)=I(x+1,y)-I(x-1,y)

(1)

垂直方向上的梯度Iy(x,y)為

Iy(x,y)=I(x,y+1)-I(x,y-1)

(2)

得出像素點(x,y)的梯度幅值m(x,y)為

(3)

同樣可得像素點(x,y)的梯度方向θ(x,y)為

(4)

4)累加計算獲得空間細胞的梯度方向。將梯度方向均勻分成m(m通常為9)個方向(bin)，如果梯度方向存在正負，則將360°均勻分成m個區間，否則將180°均勻分成m個區間。將相同cell上所有相同梯度方向的點梯度幅值進行基于權重的累加計算，得出該cell的梯度直方圖(HOG)。

5)在重疊的細胞塊內進行歸一化對比。歸一化每個block內的多個cell梯度直方圖為一個直方圖來表示當前block的HOG特征。

6)收集檢測窗口上所有塊的HOG。通過滑動block窗口完成整幅圖像的HOG特征的提取。

7)輸出HOG特征。

1.2 匹配人臉檢測器

利用HOG特征匹配人臉首先需要訓練人臉檢測器，訓練分為預處理和訓練兩個階段。

預處理階段：1)輸入采集的人臉圖像訓練集、測試集，標記每一張圖片的具體的人臉邊界(bounding box)；2)進行圖片上采樣，目的是為了放大較小的人臉，使檢測準確度提高，上采樣的同時調整相應的bounding box；3)對訓練集中的人臉圖像進行鏡像處理，擴充樣本數量。

訓練階段：1)定義掃描器(scanner)，用于掃描圖片并提取HOG特征；2)設置scanner的窗口尺寸，通過圖像金字塔變換實現在不同尺寸上檢測人臉的目的；3)定義訓練器(trainer)，用于訓練人臉檢測器，其通過scanner初始化；4)進行訓練，生成并完善人臉檢測器，當出現未確認的人臉邊界時對該區域進行忽略，防止出現錯誤的人臉檢測信息；5)進行測試，得到返回的檢測結果。

圖2為一種正面人臉檢測器的HOG特征，該人臉檢測器對正臉的匹配度較好。相較于現有常用的基于Haar-like特征的人臉檢測算法，該算法精度更高，能夠識別更多的人臉。為了在輸入的視頻幀中能更好地提取人臉的有效信息，筆者選用基于HOG特征的人臉檢測算法。

圖2 人臉檢測器的HOG特征

2 基于特征描述子的人臉跟蹤

圖3為基于特征描述子的人臉跟蹤流程圖。首先輸入當前幀通過人臉檢測得到的結果，定位各張人臉的68 個關鍵點，將其分別輸入到ResNet模型中得到內容為128 維向量的特征描述子。若原先未存有特征描述子，則初始化該特征描述子為跟蹤目標的判斷基準，若已存在特征描述子，則計算兩者的歐氏距離。考慮到當前幀中可能有多個人臉，會生成多個距離值，選擇距離值最小的作為當前幀的計算值。如果距離值低于默認閾值，則表明兩個特征描述子都基于同一張人臉生成，更新特征描述子為當前幀生成的描述子并更新跟蹤區域；反之則認為兩個特征描述子不屬于同一張人臉，此時替換存儲的特征描述子，轉移跟蹤目標為新特征描述子表示的人臉。當前幀處理完后，載入下一幀，循環進行人臉跟蹤。

圖3 基于特征描述子的人臉跟蹤流程圖

2.1 利用ResNet獲取特征描述子

卷積神經網絡(Convolutional neural network，CNN)在圖像處理、模式識別和計算機視覺等方面引起了人們廣泛的關注，因為CNN模型能夠有效提取圖像的特征描述子[17]。深度殘差網絡(Residual networks，ResNet)是由He等[18]提出的一種改良的卷積神經網絡，動機是神經網絡的退化問題。傳統CNN與ResNet相比，傳統CNN中卷積層和全連接層在傳遞信息時，存在信息丟失、損耗等問題；而ResNet能通過旁路支線將輸入連接到后面的層，使其可以直接學習殘差，優化基礎網絡性能的同時保護了信息的完整性。因此筆者采用ResNet模型，在提取特征描述子方面能夠比傳統CNN取得更好的效果。

算法采用ResNet模型提取人臉特征描述子，輸入人臉圖像及對應的關鍵點，返回一個128 維的人臉特征描述子。在人臉特征描述子提取完成后，依次添加對應的人臉標識，便于跟蹤結果的更新。

2.2 利用歐氏距離計算相似性度量

特征描述子本質上是特征向量，計算特征向量的相似性可用距離進行評價。常用的距離有曼哈頓距離、歐氏距離和切比雪夫距離，通過實驗對比將3 種距離分別用于計算人臉特征描述子的相似性度量，最后選取區分度較好的歐氏距離作為衡量人臉特征描述子的標準。歐氏距離指兩點在m維空間上的真實距離，2個n維向量A(x11,x12, …,x1n)和B(x21,x22, …,x2n)的歐氏距離為

(5)

2.3 利用人臉標識隊列更新跟蹤目標

因為一張圖片可能有多個人臉，需分別計算得出兩個人臉特征描述子的歐氏距離。選取最小的距離值后，需要用閾值評價兩個描述子的相似程度。當距離值小于閾值即相似度較高，則認定兩個人臉屬于同一個人，跟蹤結果更新；否則相似度較低，認定人臉屬于他人，跟蹤目標轉移。因為視頻幀中人臉的姿態時刻發生變化，每一幀的人臉都不盡相同。如果始終以初始檢測的人臉描述子為基準進行相似度計算，在視頻幀中始終只有同一人的前提下，會出現因人臉姿態變化過大導致距離值偏大，使得跟蹤結果出現偏差。且新檢測的視頻幀中的人臉不可能與存儲的原特征描述子的人臉完全一致，從而使距離值總有一定的誤差。為了盡可能地消除這種誤差，當認定檢測的視頻幀中人臉為存儲的人臉時，將人臉標識對應的原特征描述子進行更新。由于視頻幀的連貫性，人臉的姿態變化在檢測的連續兩幀中變化較小。采用檢測的上一幀中相同人臉的特征描述子作為基準，能從最大程度上抑制人臉姿態變化產生的干擾。當新提取的特征描述子與當前存儲的特征描述子相似度過低時，將新出現的人臉特征描述子替換原特征描述子并同時替換人臉標識。

為了防止某一幀中由于隨機干擾因素過于嚴重導致的相同人臉也檢測錯誤的情況出現，設計了一種基于時間順序的長度為L(L為大于1的奇數)的人臉標識隊列。該隊列中根據時間先后順序，將每一幀中檢測到的人臉標識放入隊列末尾，根據隊列的先入先出原則，當隊列元素總數達到L，則移除開頭的元素。隊列中始終存儲當前幀和前L-1幀的人臉標識，隊列中數目最多的人臉標識則為連續幀中的人臉檢測結果。只有在當前幀的人臉檢測結果與連續幀的人臉檢測結果相同時，原特征描述子才進行更新，能夠較好地降低某一幀的誤差影響。

3 實驗及結果分析

3.1 實驗環境

所有仿真結果基于Inter(R)Core(TM)i5-8250U @ 1.60 GHz處理器，8 GB內存，操作系統為Ubuntu 16.04，編程語言使用Python 3.6，使用PyCharm 2018開發環境編寫算法，每段圖像序列長度為1 000 幀，每幀圖像分辨率為640×480。

3.2 實驗模型

Dlib是一個包含機器學習算法的第三方開源工具包，為提高人臉檢測和跟蹤的準確率，實驗所需模型采用Dlib中經大量數據訓練完成的模型。人臉檢測模型采用的基于HOG的正面人臉檢測器，參考頁面為http://dlib.net/dlib/image_processing/frontal_face_detector.h.html。人臉關鍵點模型采用的68 點關鍵點模型，下載地址為http://dlib.net/files/shape_predictor_68_face_landmarks.dat.bz2。訓練完成的ResNet模型，下載地址為http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2。

3.3 圖像中光照和噪聲的預處理結果

使用直方圖均衡化和中值濾波進行預處理的效果如圖4所示。圖4(a)為原始樣例圖像，分辨率為640×480，圖像中光照不均勻且存在隨機噪聲；圖4(b)為直方圖均衡化處理的人臉圖像，針對圖像的光照問題，從視覺效果看，處理后的圖像亮度提升明顯，對比度增強，細節特征也更加清晰；圖4(c)為進行中值濾波處理后的人臉圖像，針對圖像的噪聲問題，其中大部分突出的噪聲點已被過濾。該樣例圖像的直方圖均衡化和中值濾波處理的時間約為0.002 96 s，對檢測幀數的時間影響可忽略不計。

圖4 樣例圖像的處理結果

3.4 HOG特征提取結果及人臉檢測

以圖4(c)為待檢測樣例圖像，基于HOG特征的人臉檢測進一步消除了光照和噪聲的影響，提取得到的結果如圖4(d)所示，為使結果更加直觀，運算中歸一化了各個像素點的梯度，同時加入了梯度量級的非線性映射梯度，使梯度方向產生了明顯的深淺和長度差異，更容易區分邊緣。圖5(a)為經過人臉檢測器匹配后的標記人臉邊界的圖像，可以看出當存在一張或多張人臉時，基于HOG特征的人臉檢測器都能予以識別。圖6表示隨著視頻序列的長度逐漸增大時，基于Hog特征和基于Haar-like特征的人臉檢測算法在檢測人臉準確度上的情況，可以看出基于Hog特征的檢測準確度在90%以上，而基于Haar-like特征的檢測準確度只有60%左右，說明基于Hog特征的人臉檢測算法比基于Haar-like特征的能檢測到更多的人臉，更適合本實驗的人臉檢測研究，而基于Haar-like特征的算法準確度較低，容易遺漏視頻幀中的部分人臉，影響人臉跟蹤結果。

圖5 人臉檢測算法結果與人臉關鍵點定位結果

圖6 不同人臉檢測算法的對比實驗

3.5 人臉跟蹤結果實驗

將檢測到人臉的視頻幀進行人臉關鍵點定位。圖5(b)為圖5(a)進行人臉關鍵點定位的結果，位于眉毛、眼睛、鼻子、嘴巴和面部輪廓的特征點都已經被標明。通過輸入當前視頻幀和定位的人臉關鍵點到訓練好的ResNet模型，可以得到128 維的特征描述子，作為當前圖像中人臉的向量表示，圖5(b)左一的人臉提取的特征描述子如圖7所示。

圖7 人臉的特征描述子

針對兩個特征描述子的相似度比較問題，需要通過與默認閾值比較得出結果。默認閾值的確定需要計算兩個相同人臉的不同特征描述子的距離值作為標準，且該距離值變化幅度不能過大，最好在某一數值上下保持微小波動。圖8(a)為曼哈頓距離、歐氏距離、切比雪夫距離3 種距離在已知相同人臉的兩個不同特征描述子下進行計算的結果。圖8(b)為曼哈頓距離、歐氏距離、切比雪夫距離3 種距離在已知不同人臉的兩個不同特征描述子下進行計算的結果。由圖8(a)可知，相同人臉的不同特征描述子的曼哈頓距離變化較大，在(1.15，3.70)的區間內波動，結合圖8(b)中不同人臉特征描述子的曼哈頓距離波動區間(3.65，5.63)，兩者存在重疊區間。而歐氏距離和切比雪夫距離在相同人臉的不同特征描述子的條件下距離值變化較為平穩(圖8a)。表1為實驗中歐氏距離與切比雪夫距離的比較，能夠看出：切比雪夫距離的變化范圍雖平穩，區分度仍然偏小，且當距離值為0.09時不能很好地判定一組特征描述子是否為同一張人臉。而歐氏距離的變化范圍較小且區分度較切比雪夫距離更大，故筆者采用歐氏距離作為一組特征描述子是否為相同人臉的判別標準，參考表1的數據，相同人臉的不同特征描述子的歐氏距離小于0.38，而不同人臉的不同特征描述子的歐氏距離大于0.43，計算得出邊界值0.38和0.43的平均值為0.405，結果保留兩位小數為0.40，將其設定為默認閾值。

圖8 相同人臉和不同人臉的一組特征描述子的不同距離

表1 實驗中歐氏距離與切比雪夫距離的比較

Table 1 The comparison of Euclidean distance and Chebyshev distance in experiment

距離度量相同人臉的不同特征描述子不同人臉的不同特征描述子歐氏距離范圍(0.13,0.38)(0.43,0.63)切比雪夫距離范圍(0.03,0.09)(0.09,0.15)

更新原特征描述子所需的人臉標識隊列長度L需要通過多人臉跟蹤實驗確定。表2為人臉標識隊列長度L對人臉跟蹤準確率的關系，從表中可得：當L等于5時，人臉跟蹤準確率達到峰值；且當L大于5時，值越大人臉跟蹤準確率越低，因為當人臉標識隊列長度越大，不同人臉的跟蹤目標切換越不靈活，會出現整個視頻序列都只跟蹤初始人臉的情況。為了即能降低視頻某一幀的誤差影響，又能靈活地應對多個人臉的跟蹤目標切換，取L為5，此時本實驗人臉跟蹤準確率為83.78%。多人臉跟蹤優先度問題的解決策略是：以視頻幀中最先被識別的人臉為初始跟蹤目標，每當跟蹤目標消失時進行目標切換。圖9為多人臉實驗效果圖，第1張圖為第1個人的人臉跟蹤結果，第2，3張圖中當第2個人從視頻中出現時，實驗的跟蹤目標仍為第1個人，當第1個人的人臉從視頻中消失時，跟蹤目標轉換到第2個人，而當第2個人出現時，因為跟蹤目標已經切換，所以跟蹤結果不受影響。

表2 人臉標識隊列長度L對人臉跟蹤準確率的關系

Table 2 The relationship between the length of a face queue and face tracking accuracy

人臉標識隊列長度L人臉跟蹤準確率/%376.08583.78782.38979.781174.07

圖9 多人臉切換實驗

筆者算法和近年來提出的人臉跟蹤算法比較如表3，4所示。單人臉情況下，表中算法都有較高的跟蹤準確率。多人臉情況下，表中算法的跟蹤準確率都有不同程度的下降，文獻[8-9]的算法因為未針對多人臉干擾問題提出有效的解決方案，在切換跟蹤目標上出現明顯誤差，使得平均誤識別幀數增大。在跟蹤準確率方面，筆者算法提出的跟蹤校正策略對多人臉干擾問題的解決效果較好，相比其他兩種算法有明顯優勢。在跟蹤實時性方面，筆者算法雖然比其他兩種算法耗時，但基本上滿足實時的需求。

表3 單人臉情況下不同跟蹤算法的實驗對比

表4 多人臉情況下不同跟蹤算法的實驗對比

4 結 論

通過對人臉特征的研究，提出了一種基于HOG和特征描述子的人臉檢測與跟蹤算法。該算法引入圖像預處理，降低了光照變化與隨機噪聲的干擾。在人臉檢測方面，筆者方法通過HOG特征能夠檢測視頻幀出現的人臉，進一步降低光照、噪聲的影響。在人臉跟蹤方面，筆者方法借助人臉的關鍵點實時生成特征描述子，通過比較歐氏距離來更新跟蹤目標，能夠排除現實場景中多人臉的干擾，同時也更好地適應了人臉的姿態變化。實驗結果表明算法準確率較高且魯棒性較好。但是，實驗中也反映出該算法存在的不足，即當場景中人臉的數目過多導致視頻幀率下降，該問題在以后工作中會采用優化人臉檢測算法進一步改良。