基于巡邏小車的人臉遮擋異常事件實時檢測①

張偉峰,朱 明

(中國科學技術大學 信息科學技術學院,合肥 230026)

基于巡邏小車的人臉遮擋異常事件實時檢測①

張偉峰,朱 明

(中國科學技術大學 信息科學技術學院,合肥 230026)

近年來,隨著城市化進程的加快,銀行、政府、學校等場所的安全越來越成為人們關心的問題,智能監控已成為目前的一個研究熱點問題. 本文主要研究室內巡邏小車監控下,面部異常遮擋問題. 本文首先對監控視頻進行前景提取; 接著,基于提取的前景,進行肩部定位、頭部區域橢圓擬合; 然后通過膚色檢測判斷人臉區域; 最后,通過Haar檢測器檢測人臉區域的眼睛和嘴巴,以此來判斷是否存在異常遮擋行為. 實驗結果表明,本文提出的算法能夠實時、有效的檢測出面部異常遮擋問題.

人臉遮擋; codebook 模型; 橢圓擬合; 膚色檢測; Haar檢測器

近年來,智能視頻監控系統已經成為一個非常活躍的研究領域,并且產生了很多實用的應用,如人臉識別,行為識別,異常事件檢測等. 這些都極大的減少了人工檢查和驗證的工作量,并能及時有效的給出提示. 人臉面部遮擋檢測是智能視頻監控系統的基本組成部分,隨著銀行、政府等部門等敏感區對安全的迫切需求,人臉面部遮擋檢測已經成為一個非常熱門的研究領域.

1 概述

監控視頻中面部遮擋檢測分為兩個步驟: 面部檢測和異常檢測.

當前已經有很多比較成熟的面部檢測方法,主要分為五個類別: 基于知識的方法[1,2]、基于特征的方法[3,4]、模板匹配、基于模板匹配的方法[5]、基于外觀的方法[6]. 每種方法都有各自的優缺點: 基于知識的方法計算成本較低但檢測的準確率低; 基于特征的方法(如皮膚顏色、面部特征等)很容易實現良好的性能,但不能適用于復雜的場景; 基于模板匹配的方法,當模板數量很大時非常耗時,達不到實時檢測的需求; 基于外觀的方法比較準確,但外觀條件比較復雜. 以上方法在面部檢測方面都有各自的優點,但這些方法對有遮擋面部的檢測效果都不是很好.

面部異常主要是面部遮擋,面部遮擋可分為上遮擋和下遮擋. 上遮擋即遮擋鼻子以上區域,主要戴墨鏡遮擋眼睛; 下遮擋即遮擋鼻子及以下區域,主要是使用口罩遮擋嘴巴及附近區域. 面部異常檢測方法也有很多,主要分為三種: 基于膚色的方法[7,8]、基于學習的方法[9,10]、基于組件的方法[11,12]. 基于膚色的方法,如果對整幀圖片進行膚色檢測,如果有類皮膚顏色的地板或物品,就很容易出現較大的誤檢,本文采用固定區域的膚色檢測,可以最大程度的減少誤檢的概率; 基于學習的方法比較復雜,并且需要較多的訓練樣本,監控攝像頭下遮擋人臉的樣本采集比較困難; 基于組件的方法,通過檢測眼睛、鼻子、嘴巴等面部組件,來實驗面部遮擋的檢測. 本文就是通過檢測眼睛來判斷是否存在上遮擋,通過檢測嘴巴來判斷是否存在下遮擋.

2 算法設計與實現

本文的基本思路是: 首先,提取每一幀視頻圖像的運動前景,然后根據提取的運動前景進行人頭區域定位,人頭區域定位分為肩部定位和橢圓擬合兩個步驟,接著對定位的人頭區域進行膚色檢測以確定是否是人的正臉區域,最后對正臉區域進行眼睛和嘴巴檢測來判斷是否有異常遮擋行為,具體過程如下.

2.1 前景提取

前景提取是檢測人臉遮擋異常的第一步,通過前景提取步驟可以把監控視頻序列幀中的前景提取出來.前景提取方法有很多,主要分為以下三類: 幀差法、光流法、背景減除法.

幀差法是最為常用的運動目標檢測和分割方法之一,基本原理就是在圖像序列相鄰兩幀或三幀間采用基于像素的時間差分通過閉值化來提取出圖像中的運動區域. 由于相鄰兩幀間的時間間隔非常短,用前一幀圖像作為當前幀的背景模型具有較好的實時性,其背景不積累,且更新速度快、算法簡單、計算量小. 算法的不足在于對環境噪聲較為敏感,閩值的選擇相當關鍵,選擇過低不足以抑制圖像中的噪聲,過高則忽略了圖像中有用的變化. 對于比較大的、顏色一致的運動目標,有可能在目標內部產生空洞,無法完整地提取運動目標.

光流法的主要任務就是計算光流場,即在適當的平滑性約束條件下,根據圖像序列的時空梯度估算運動場,通過分析運動場的變化對運動目標和場景進行檢測與分割. 通常有基于全局光流場和特征點光流場兩種方法. 最經典的全局光流場計算方法是L-K(Lueas&Kanada)法和 H-S(Hom&Schunck)法,特征點光流法通過特征匹配求特征點處的流速,具有計算量小、快速靈活的特點,但稀疏的光流場很難精確地提取運動目標的形狀. 總的來說,光流法不需要預先知道場景的任何信息,就能夠檢測到運動對象,可處理背景運動的情況,但噪聲、多光源、陰影和遮擋等因素會對光流場分布的計算結果造成嚴重影響; 而且光流法計算復雜,很難實現實時處理. 本文要實現實時檢測異常人臉遮擋,因此光流法也不能滿足要求.

背景減除法是一種有效的運動對象檢測算法,基本思想是利用背景的參數模型來近似背景圖像的像素值,將當前幀與背景圖像進行差分比較實現對運動區域的檢測,其中區別較大的像素區域被認為是運動區域,而區別較小的像素區域被認為是背景區域. 研究人員已提出了許多背景建模算法,如codebook模型[13]、VIBE算法[14]、高斯混合模型[15]等.

codebook模型為每個像素建立一個包含一個或多個碼字. 檢測過程包含在顏色和亮度兩方面檢查當前圖像與背景模型的差異. 如果一個新像素在某個碼字的色彩失真量小于檢測閾值,或者新像素的亮度在該碼字的亮度區間內,該像素被歸為背景. 反之,此新像素被歸為前景.

codebook模型可以更準確地檢測前景,并能有效地處理包含移動背景的場景或照明變化,本實驗是以室內巡邏機器人為平臺,codebook模型特別適合本實驗.

2.2 人頭區域定位

在準確進行前景區域提取以后,我們基于提取的前景區域來進行頭部區域的定位.

頭部區域定位主要分為兩個步驟: 肩部定位和肩部以上區域的橢圓擬合.

圖1是頭部和肩部的示意圖,其中頭部區域是近似對稱的橢圓形. 如圖中橫線所示,肩部存在一個長度急劇變化的區域,我們就可以根據這個長度急劇變化的特征來定位肩部,并對肩部以上區域進行橢圓擬合,進而精確定位出頭部區域.

圖1 人頭肩部示意圖

2.2.1 肩部定位

根據上面所說的基本原理,我們做出如下定義:fleft和fright分別代表視頻幀前景區域的最左邊和最右邊,sbottom和stop分別表示頭肩部區域的底部和上部,height表示頭肩部進行統計的單位區域行高,gap表示當前行與上一行的差值,m_gap表示最大的差值.

式(1)表示頭肩部單位行高前景像素個數的和.

算法1. 肩部定位輸入: 運動前景圖輸出: 肩部位置1. 根據提取的運動前景進行初始化、、、、、、、 .2. 計算底部小區域的值 .3.,如果,轉到6. 4. 計算從底部小區域往上的小區域 值.5. 相鄰兩小區域差:,賦值為:. 如果,則;最大差值位置,最大差值處單位行高值:. 轉到3; 6. 如果,定位出肩部的位置即為的最后取值,否則就說明不是肩部位置.

2.2.2 橢圓擬合

根據上節我們定位出了肩部的位置,可以得到頭部的大致位置,即為肩部以上的區域. 由于頭部是近似對稱的橢圓形,因此我們可以近似用矩形框框出頭部區域. 下面我們對框出的區域進行橢圓擬合.

平面上任意位置的橢圓方程可以表示為:

使式(3)達到最小值,可求出五個參數的值,進而球出了擬合的橢圓.

2.3 人臉區域判斷

通過上述步驟,我們定位出了人頭的區域,但定位出的人頭區域有可能是人頭的后腦部分,如果不加區分,很顯然我們無法進行下面的人臉遮擋判斷. 因此我們需要通過膚色檢測技術辨別出定位的區域是否是人臉區域.

膚色檢測的原理是根據皮膚的固有顏色,在圖像中選取相對應的顏色范圍作為皮膚顏色. 膚色作為人的體表顯著特征之一,盡管人的膚色因為人種的不同有差異,呈現出不同的顏色,但是在排除了亮度和視覺環境等對膚色的影響后,皮膚的色調基本一致,這就為利用顏色信息來做膚色分割提供了理論卜的依據.

在膚色識別中,常用的顏色空間為YCbCr顏色空間. 在 YcbCr顏色空間中,Y 代表亮度,Cb 和 Cr分別代表藍色分量和紅色分量,兩者合稱為色彩分量. YcbCr顏色空間具有將色度與亮度分離的特點,在YcbCr色彩空間中,膚色的聚類特性比較好,而且是兩維獨立分布,能夠比較好地限制膚色的分布區域,并且受人種的影響不大. 對比RGB顏色空間和YcbCr顏色空間,當光強發生變化時,RGB 顏色空間中 (R,G,B)會同時發生變化,而YcbCr顏色空間中受光強相對獨立,色彩分量受光強度影響不大,綜上所述,YcbCr顏色空間更適合用于膚色識別. 因此,膚色檢測的第一步就是把圖像從RGB顏色空間轉到YcbCr顏色空間.

由于膚色在YcbCr空間受亮度信息的影響較小,因此直接考慮YcbCr空間的CbCr分量,映射為兩維獨立分布的CbCr空間. 在CbCr空間下,滿足式(5)即為膚色區域,否則即為非膚色區域,由此形成二值圖像.

通過對2.2節定位出的人頭區域做膚色檢測,得到的膚色區域大于整個人頭區域的1/4即可判斷2.2節的區域為人臉區域.

2.4 異常人臉遮擋判斷

經過研究,室內人臉異常遮擋主要行為有戴墨鏡、戴口罩、壓低帽檐等,這幾種遮擋人臉的行為也就是遮擋了眼睛或嘴巴. 因此,我們可以根據這個規律,對2.3節判斷的人臉區域進行眼睛和嘴巴的檢測,由于本文實驗平臺是室內巡邏小車,因此可以較近距離的拍到行人,這樣我們定位的人頭區域就可以達到識別眼睛和嘴巴的大小.

根據上面分析,人臉遮擋主要分為上遮擋和下遮擋,上遮擋即通過墨鏡等遮住眼睛,下遮擋主要通過口罩等遮住嘴巴,因此我們可以通過Haar檢測器檢測2.3節定位的人臉區域的嘴巴和眼睛,只有嘴巴和眼睛都檢測到說明人臉沒有遮擋,否則人臉存在異常遮擋.

若要用Haar檢測器檢測嘴巴和眼睛,首要就是要提取Haar特征,Haar特征分為: 邊緣特征、線性特征、中心特征和對角線特征. 這些特征組合成特征模板,特征模板內有白色和黑色兩種矩形,并定義該模板的特征值為白色矩形像素和減去黑色矩形像素和.Haar特征值反映了圖像的灰度變化情況. 臉部的一些特征可以通過矩形特征簡單的描述,如: 眼睛要比臉頰顏色要深,鼻梁兩側比鼻梁顏色要深,嘴巴比周圍顏色要深等. 但矩形特征只對一些簡單的圖形結構,如邊緣、線段較敏感,所以只能描述特定走向(水平、垂直、對角)的結構. 在提取出Haar特征以后,我們利用積分圖來進行計算,并把計算結果通過AdaBoost算法來訓練,進而實現一個Haar檢測器.

本文由于在固定人臉區域內進行眼睛和嘴巴的識別,我們利用OpenCV自帶的眼睛和嘴巴檢測器就可以達到需要的檢測效果.

OpenCV的訓練文件在源碼目錄的data文件夾下,里面包含 haarcascades、hogcascades、lbpcascades,在haarcascades文件下包含大量的針對不同目標的訓練文件,如圖2所示.

通過載入haarcascade_mcs_mouth.xml來識別嘴巴,通過載入 haarcascade_eye_tree_eyeglasses.xml來識別眼睛. 正常的無遮擋人臉應該都可以在檢測到眼睛和嘴巴,但是在實際小車巡邏場景中,由于小車的動態移動,必然會導致拍到的視頻可能存在模糊,進而出現誤檢現象. 因此,我們規定連續出現3幀檢測不到嘴巴,或者連續3幀檢測不到眼睛,就說明出現了異常人臉遮擋行為.

圖2 OpenCV 器官識別文件示意圖

3 實驗與分析

本實驗的硬件平臺為搭載攝像頭的室內巡邏小車和處理實時視頻流的 PC(Intel i5 3.3GHz + 6G 內存),軟件平臺為VS2013+OpenCV.

3.1 人臉遮擋異常檢測實驗

根據我們上述提出的算法流程,我們在實驗平臺上對每一步流程分別進行實驗,并驗證算法的有效性.

圖3 自制室內巡邏小車

3.1.1 前景提取

根據我們的巡邏小車的視頻提取出前景,效果如圖4.

圖4 前景提取效果圖

3.1.2 人頭區域定位

根據我們的算法,我們先定位肩部,即途中藍線;然后根據肩部框出頭部區域,即圖5中矩形框; 然后進行橢圓擬合得到臉部區域,即圖5中橢圓區域.

圖5 人頭區域確定

3.1.3 人臉區域判斷

在圖6中進行膚色檢測,并把檢測到為膚色的區域值除整個橢圓區域值,如果大于閾值說明是正面人臉. 如圖6檢測結果都為正面人臉.

3.1.4 人臉異常遮擋

對上述區域進行Haar檢測. 在本實驗中,如果被墨鏡遮,則檢測不到眼睛,就會發出面部遮擋的報警;如果口罩遮擋住嘴巴,也會同樣發出面部遮擋的報警.

圖6 膚色檢測

3.2 實驗結果與分析

本實驗數據為兩段自錄視頻. 一段是口罩遮擋住人臉,并把口罩取下的對比視頻,總共 750 幀,其中有遮擋的幀數100幀,正常檢測出93幀; 另一段是墨鏡遮擋住眼鏡,并把眼鏡取下的對比視頻,總共1036幀,其中有遮擋的幀數224幀,正常檢測出210幀. 實驗達到了很高的準確率,

4 結語

本文提出的面部異常遮擋檢測方法,能夠較為準確地定位臉部區域,并能實時檢測出是否有面部異常遮擋行為. 實驗結果表明,本文提出的算法不僅滿足了實時檢測(每幀毫秒級),在準確率上也達到了傳統經典算法的水平. 但是本文對多人場合無法很好的完成檢測.

下一步的工作,將側重算法的改進,提出能夠檢測出人群異常面部遮擋行為,并搜集數據訓練異常遮擋模型,達到精確檢測效果.

1Yang GZ,Huang TS. Human face detection in a complex background. Pattern Recognition,1994,27(1): 53–63. [doi:10.1016/0031-3203(94)90017-5]

2Kotropoulos C,Pitas I. Rule-based face detection in frontal views. Proc. of 1997 IEEE International Conference on Acoustics,Speech,and Signal Processing. Munich,Germany. 1997. 2537–2540.

3Yang L,Waibel A. A real-time face tracker. Proc. of the 3rd IEEE Workshop on Applications of Computer Vision.Sarasota,FL,USA. 1996. 142–147.

4Yow KC,Cipolla R. Feature-based human face detection.Image and Vision Computing,1997,15(9): 713–735. [doi:10.1016/S0262-8856(97)00003-6]

5Craw I,Tock D,Bennett A. Finding face features. Proc. of the 2nd European Conference on Computer Vision. London,UK. 1992. 92–96.

6Sung KK,Poggio T. Example-based learning for view-based human face detection. IEEE Trans. on Pattern Analysis and Machine Intelligence,1998,20(1): 39–51. [doi: 10.1109/34.655648]

7Lin DT,Liu MJ. Face occlusion detection for automated teller machine surveillance. Proc. of the First Pacific Rim Conference on Advances in Image and Video Technology.Hsinchu,Taiwan,China. 2006. 641–651.

8Kim G,Suhr JK,Jung HG,et al. Face occlusion detection by using b-spline active contour and skin color information.Proc. of 2010 the 11th International Conference on Control Automation Robotics & Vision. Singapore. 2010. 627–632.

9Priya GN,Banu RSDW. Detection of occluded face image using mean based weight matrix and support vector machine.Journal of Computer Science,2012,8(7): 1184–1190. [doi:10.3844/jcssp.2012.1184.1190]

10Kim J,Sung Y,Yoon SM,et al. A new video surveillance system employing occluded face detection. Proc. of the 18th International Conference on Innovations in Applied Artificial Intelligence. Bari,Italy. 2005. 65–68.

11Suhr JK,Eum S,Jung HG,et al. Recognizability assessment of facial images for automated teller machine applications.Pattern Recognition,2012,45(5): 1899–1914. [doi: 10.1016/j.patcog.2011.11.014]

12Eum S,Suhr JK,Kim J. Face recognizability evaluation for atm applications with exceptional occlusion handling. Proc.of IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. Colorado Springs,CO,USA. 2011. 82–89.

13Kim K,Chalidabhongse TH,Harwood D,et al. Real-time foreground-background segmentation using codebook model.Real-Time Imaging,2005,11(3): 172–185. [doi: 10.1016/j.rti.2004.12.004]

14Barnich O,Van Droogenbroeck M. ViBe: A universal background subtraction algorithm for video sequences. IEEE Trans. on Image Processing,2011,20(6): 1709–1724. [doi:10.1109/TIP.2010.2101613]

15Zivkovic Z. Improved adaptive Gaussian mixture model for background subtraction. Proc. of the 17th International Conference on Pattern Recognition. Cambridge,UK. 2004.28–31.

Real-Time Detection of Face Abnormal Occlusion Based on the Indoor Patrol Car

ZHANG Wei-Feng,ZHU Ming

(School of Information Science and Technology,University of Science and Technology of China,Hefei 230026,China)

In recent years,with the acceleration of urbanization process,people become more concerned about security in public places like banks,official buidings and schools etc. Therefore,intelligent monitoring has become a hot topic in current research. This paper mainly studies the face abnormal occlusion events based on the indoor patrol car. Firstly,we extract the foreground of surveillance video. Then,we locate shoulders and use an ellipse to fit the area of head based on the foreground. And then,we determine the face area through the skin color rate. Lastly,we detect the eyes and mouth of the area through Haar detector to determine whether there are abnormal occlusion events. The experimental results show that the algorithm proposed can detect abnormal occlusion events effectively.

face occlusion; codebook model; ellipse fitting; skin color detect; Haar detector

張偉峰,朱明.基于巡邏小車的人臉遮擋異常事件實時檢測.計算機系統應用,2017,26(12):175–180. http://www.c-s-a.org.cn/1003-3254/6122.html

中科院先導項目(XDA06011203)

2017-03-17; 修改時間: 2017-04-10; 采用時間: 2017-04-17