應用Camshift跟蹤算法提高視頻中人臉檢測速度①

孫凱旋

(西南交通大學 電氣工程學院,成都 610031)

人工智能正在影響著人類的生產和生活,對視頻的處理隨處可見.其中,人臉檢測是數(shù)字圖像處理領域的重要研究領域[1],是很多涉及人臉的應用程序的基礎[2],研究和處理人臉在視頻監(jiān)控中的情況是一項非常有前景的方向[3].但在實踐中人臉識別技術還存在一些不足,如人臉檢測速度較慢[4],因此研究提高人臉檢測的快速性和準確性是非常有意義的[5].

OpenCV 是常見的人臉檢測工具,OpenCV 被廣泛應用于人機互動、物體識別、圖像分割、運動跟蹤、機器人、機器視覺、汽車安全駕駛等領域[6].AdaBoost(Adaptive Boosting) 方法是基于學習,借助Haar 特征,把一組弱分類器提升為強分類器,級聯(lián)檢測效率較高[7],相對于其他的檢測方法效果較好,但是還存在著檢測率和檢測效率不足的問題[8].OpenCV 自帶工具中,其用于篩選大量Haar 特征和生成級聯(lián)分類器的訓練階段非常繁瑣且需要大量計算[1].傳統(tǒng)人臉檢測方法速度較慢,很難滿足對實時性要求較高的場合.基于檢測速度的提高,本文提出在人臉檢測中應用跟蹤算法,實用的目標跟蹤算法不僅要求能夠準確實時地跟蹤目標,而且要求在光照變化、目標相似等復雜的背景下也能有較強的抗干擾能力[9].目標跟蹤是計算機視覺領域發(fā)展較快的一個方向.近些年,Meanshift 算法在目標跟蹤方面應用廣泛,但也有不足之處,它無法對目標模型進行更新.為解決該算法無自適應問題,Bradski在 Meanshift 算法的基礎上提出基于顏色概率信息的Camshift 算法[10].

本文將人臉檢測算法檢測出來的人臉區(qū)域作為Camshift 算法的初始窗口[11],實現(xiàn)由每一幀的人臉檢測轉變?yōu)槿四槄^(qū)域跟蹤以提高檢測效率和跟蹤實時性[11].此外,針對光照影響也做出了相應處理,并在VS 2017+OpenCV 3.4.1 實驗環(huán)境下實驗驗證,結果達到預期效果.

1 整體設計

在OpenCV 視覺庫中,圖片是以Mat 數(shù)據(jù)類型存儲的,Mat 類可以被看作是OpenCV 中C++版本的矩陣類,對圖片的操作就是對Mat 對象的操作.視頻是由一幀一幀的圖片組成,所以處理視頻也就是處理視頻中的每一幀圖片.傳統(tǒng)的人臉檢測方法是對每一幀圖像用級聯(lián)檢測器進行人臉檢測,然而對于采用Haar 特征的檢測方法,由于大都是浮點數(shù)運算,雖然相對于LBP 特征檢測的精度較高,但是檢測的速度很慢.由于視頻對實時性的要求很高,傳統(tǒng)的人臉檢測方法并不能滿足實際需求.而目標跟蹤算法可以實現(xiàn)準確的跟蹤目標并且速度很快,可以滿足視頻對實時性的需求.因此將目標跟蹤結合到人臉檢測中以改進傳統(tǒng)算法.

本文提出的算法利用了直方圖均衡化消除光照影響并對檢測到的人臉區(qū)域設為ROI 區(qū)域然后進行跟蹤,同時要設定一個閾值,每隔固定幀數(shù)進行一次人臉檢測,用來更新數(shù)據(jù).

整體流程如圖1所示.

圖1 系統(tǒng)整體流程圖

2 人臉檢測

在OpenCV 中CascadeClassifier 是包含級聯(lián)分類器的一個類,用于人臉檢測,該分類器可以使用Haar 和LBP 兩種特征.Haar 特征和LBP 特征有以下區(qū)別:

(1) Haar 中數(shù)據(jù)是浮點數(shù),但LBP 中數(shù)據(jù)是整數(shù).

(2) LBP 訓練需要的樣本數(shù)量要比Haar 大.

(3)同樣的樣本空間,Haar 訓練出來的數(shù)據(jù)檢測結果要比LBP 準確.

(4) LBP 的速度一般可以比Haar 快幾倍.

2.1 AdaBoost 算法

Haar 特征是一種矩形特征由Papageorgiou 等提出,并被Viola 等應用到人臉識別系統(tǒng)中.它的定義是圖像中相鄰區(qū)域內灰度值差的總和,也就是相鄰區(qū)域內白色像素減去黑色像素之差的和,反應了相鄰區(qū)域內白色區(qū)域到黑色區(qū)域的梯度變化趨勢.Haar 矩形特征經過不斷的擴展其特征數(shù)量不斷的增加,經過Lienhart等的不斷努力,現(xiàn)在Haar 矩形特征集已經擴展到16種[12]如圖2所示.

一種Haar 特征就是一個弱分類器,定義如下:

其中,f(x)為Haar 矩形特征值,λ 是調節(jié)符號,ω定義為:

圖2 Haar 據(jù)性特征集合

N1為正樣本數(shù),N2為負樣本數(shù),M1為正樣本平均特征值,M2為負樣本平均特征值,如M1＞ ω,λ=1,否則λ=-1.當η 為1 時,判定為目標,即檢測到人臉目標,否則,未檢測到目標[7].

弱分類器的檢測能力很弱,將若干個弱分類器以線性方式組合可以形成強分類器.Adaboost 算法就實現(xiàn)了該過程,其算法核心是對同一訓練集來訓練多個弱分類器,最終對這些弱分類器進行結合組成分類能力更強的強分類器.

AdaBoost 算法的流程:(1)增加其中被上輪弱分類器錯誤分類的樣本的權重,對于正確分類的樣本要降低它們的權重.(2)利用加權多數(shù)表決法.具體做法是:提升誤差率較小的弱分類器的權重,讓它增加在表決時的影響,降低誤差較大的弱分類器的權重,減小在表決時的影響.

2.2 CascadeClassifier 級聯(lián)分類器

級聯(lián)分類器是多個強分類器的組合,對目標圖像采用多個強分類器檢測得到檢測結果.CascadeClassifier是OpenCV 下objdetect 模塊中一個類,可以實現(xiàn)對目標的檢測.實現(xiàn)方式是對級聯(lián)分類器與滑動窗口機制進行結合,支持利用OpenCV 中的多種特征進行目標檢測.

CascadeClassifier 實現(xiàn)了幾個重要的方法,其中包括load()和detectMultiScale().load()用來加載已經訓練好的模型,detectMultiScale()則實現(xiàn)了多尺度的檢測過程,利用CascadeClassifier 實現(xiàn)人臉檢測的流程如圖3所示.

圖3 人臉檢測流程圖

3 Camshift 目標跟蹤

Camshift 是Meanshift 跟蹤算法的改進算法,可以做到連續(xù)自適應,能夠實現(xiàn)自動調整窗口大小,可以檢測尺寸發(fā)生變化的目標.該算法核心是對每幀圖像均作Meanshift 運算,然后把上一幀的結果(窗口中心位置與大小)設為下一幀Meanshift 算法的窗口的初始值,按照此方法一直迭代下去.Camshift 算法最重要的一點是當目標發(fā)生形變的時候,能夠做到自適應的改變區(qū)域達到繼續(xù)跟蹤的目的.

3.1 反向投影(BackProiect)

反向投影是一種方式:就是記錄指定圖像中每個像素是怎樣適應直方圖模板中像素布局的.

RGB 顏色空間對光照亮度變化敏感,在目標跟蹤中為了減少光照強度變化對目標跟蹤的影響,將目標圖像由RGB 顏色空間映射到HSV 顏色空間進行處理.HSV 顏色空間中的H 表示物體顏色色調,它直觀地反映了物體的顏色信息,根據(jù)圖像中H 通道的顏色色調目標直方圖,計算得到目標圖像的顏色概率查找表[13].

利用Hue 直方圖實現(xiàn)反向投影步驟如下:

(1)讀取被測試對象中的每個像素點的Hue 數(shù)值,同時在直方圖找到數(shù)值的bin 位置.

(2)查詢Hue 直方圖中對應bin 的數(shù)值.

(3)然后把這個值放在新的圖像中存儲,同時可以把Hue 直方圖中的數(shù)據(jù)進行歸一化處理(0-255),從而實現(xiàn)對BackProiect 單通道圖像直接顯示.

(4)通過對測試圖像每個像素采取以上步驟,可以得到最終的BackProiect 圖像.

3.2 Meanshift 算法

Meanshift 算法的核心是mean(均值)+shift(偏移).假如空間上一點x,在其周圍分布著很多個點xi通過算出點x偏移到各個點的偏移量的總和,并求出平均值,該值就是平均偏移量,該偏移量中包含大小和周圍分布較密集的方向.之后點x就會向著平均偏移量的方向進行移動,然后以該點當做新的起點一直迭代到滿足一定的條件為止.

如圖4所示為均值+偏移的過程,并最終找到中心點.

圖4 均值+偏移示意圖

3.3 Camshift 算法

Camshift 算法就是對視頻里的每一幀圖像全部做Meanshift 運算,并且把計算出來的目標的大小及位置當做下一幀Meanshift 算法中搜索框的大小起始值及它的中心位置.利用迭代運算的形式實現(xiàn)對視頻里的目標進行跟蹤.Camshift 算法流程如圖5所示.

圖5 Camshift 算法流程圖

4 圖片預處理

在人臉檢測之前非常重要的步驟就是對視頻圖片做預處理,去燥[14]是圖片預處理很重要的一步.去燥主要是去掉圖像中會對檢測結果有影響的噪點,在光照不足的情況下會更容易產生這種噪點,同時光照太強也會影響檢測結果.本文將采用高斯平滑進行去燥,利用直方圖均衡化來保持光照不變性,同時為了保證檢測的準確性還要在人臉檢測之前對圖像進行灰度處理.

4.1 高斯平滑

高斯平滑也叫高斯模糊,是圖像預處理的重要手段,以數(shù)學角度看,高斯平滑的過程就是圖像與正態(tài)分布做卷積的過程,對于圖像來說高斯模糊就起到一個低通濾波器的作用.

高斯模糊是利用正態(tài)分布來計算出圖像里每個像素點的變換.空間為N維時的正態(tài)分布方程如下:

在二維空間定義為:

上述表達式中r是模糊的半徑,u、v是圖像的像素坐標,σ為正態(tài)分布的標準偏差.通常σ的數(shù)值越大說明平滑度越好[15].

4.2 直方圖均衡化

直方圖均衡化就是把圖像的直方圖平坦化,其作用是減少由于光照變化引起的影響.均衡化就是利用變換函數(shù)將輸入圖像的灰度圖像經過非線性轉換后,使其直方圖的分布變得更加均勻,從而使圖像中某些局部偏亮或偏暗的部分變得均勻化[16].直方圖均衡化能夠提高圖像對比度,在光照較強和光照較暗的環(huán)境下可以有效的進行補償,該方法主要減弱圖像微小的細節(jié).

(1)首先給出原始圖像灰度級Sk:k=0,1,···,L-1.

(2)統(tǒng)計出圖像中的各灰度級像素個數(shù)nk.

(3)根據(jù)下面公式算出各個灰度級的頻率:

其中,n是像素的總個數(shù),nk是灰度級Sk像素個數(shù).

(4)計算圖像的累計直方圖函數(shù):

(5)對結果進行取整運算:

(6)得出原直方圖灰度級到新直方圖灰度級的映射:

(7)算出Uk中總的像素個數(shù)nk.

(8)運算得出原始直方圖對應的新直方圖:

4.3 灰度處理

RGB 是彩色圖片,將RGB 轉為灰度圖片可以大大降低檢測的難度,灰度變換是通過加權平均法的方式實現(xiàn)RGB 到GRAY 的格式轉換,公式為:Gray=0.587×green+0.114×blue+0.299×red.

5 測試和分析

經過測試,傳統(tǒng)算法進行人臉檢測時,不僅檢測時間長而且視頻會出現(xiàn)卡頓現(xiàn)象.而利用改進之后的算法有效的縮減了人臉檢測的時間,滿足視頻對實時性的需求.

如圖6所示,每達到預設值就會進行一次人臉檢測用來更新數(shù)據(jù)即ROI 區(qū)域.通過對大量的人臉檢測運行時間(face detect run_time)和利用Camshift 算法改進之后的人臉檢測運行時間(Camshift run_time)進行對比分析,可以得到,用Camshift 目標跟蹤算法改進的人臉檢測速度提升40%左右,不會出現(xiàn)視頻播放不流暢的情況,且跟蹤效果比較好.

圖6 實驗對比數(shù)據(jù)

此中的設定值不是固定不變的,應根據(jù)實際工作場合進行調整,設定值的大小會影響檢測的準確性.

如圖7所示,為人臉區(qū)域H 通道的直方圖,用于Camshift 算法中直方圖反射投影,從而對人臉跟蹤.

圖7 ROI 區(qū)域數(shù)據(jù)直方圖

如圖8、圖9所示,利用改進的算法之后,圖中的人臉矩形區(qū)域就是Camshift 的ROI 區(qū)域,通過圖8和圖9對比可知,基本消除了光照對檢測的影響.

圖8 檢測到的人臉區(qū)域

圖9 光照對比檢測

6 結論與展望

本文提出了一種新的人臉檢測算法,在傳統(tǒng)人臉檢測算法中融合Camshift 目標跟蹤,該算法可以很好的彌補傳統(tǒng)人臉檢測算法中無法滿足實時性需求的缺點,并通過圖像處理手段消除噪聲和光照的影響,最后通過測試證實該方法的可行性.該算法有效的改善了檢測速度和準確性,適用一定的工作場合,今后的工作會在此基礎上完善算法使其更適合當今的圖像處理問題.