基于DirectShow的人眼檢測

萬 泉，徐 斌，劉曉亮，王元慶，曹利群，周必業，李鳴皋

（1.南京大學 電子科學與工程學院，江蘇 南京210093；2.中國人民解放軍海軍總醫院，北京100088）

0 引 言

目前基于立體視差技術的立體顯示器，采用的是輔助立體顯示和無輔助立體顯示兩種方式［1］，其中輔助立體顯示多是借助立體眼鏡和立體頭盔，該方式具有舒適性不強和易疲勞的缺點。而裸眼立體顯示器基于無輔助立體顯示，解決了上述缺點。本文中的裸眼立體顯示器采用了指向背光式的方式實現裸眼立體顯示［1］，該技術方案主要是將左、右圖像分別精確投影到觀看者的左、右眼，為此，精確定位人眼的位置是該技術方案的關鍵技術之一［2］。

本文提出了基于DirectShow 的人眼檢測方案，采用人臉－人眼的兩層結構進行人眼檢測，將基于統計特征的Ada－Boost算法和基于模板匹配的ASM 相結合，彌補了二者的不足之處，在保證實時性的基礎上提高了人眼定位的精度。本文在用膚色檢測選出候選點后，采用多尺度Ada－Boost算法實現人臉檢測，并在參考AdaBoost檢測結果的基礎上，采用ASM 算法精確快速地定位人眼的位置，在一定距離內實時精確地檢測并定位人眼。此外，該方案可以在無需關注硬件具體執行細節的情況下實現雙焦視距拼接技術。

1 人眼檢測算法

目前常用的人眼檢測的方法可以分為以下3類：基于模板匹配的方法、基于灰度投影的方法和基于統計的方法［3］。在基于模板匹配的方法中［4］，早期采用眼睛作為單個子模板建模，每一個子模板按照線分割定義。后期Coots［5］等提出了基于主動形狀模型 （ASM）和主動表觀模型 （AAM）兩種方法。基于模板匹配的方法計算量高，不適用于實時處理，且初始位置要求在檢測目標的附近。基于灰度投影的方法中，Kanade［6］最早將積分投影函數成功地應用于人臉識別。Feng和Yuen［6］提出了方差投影函數，然而這種方法對背景復雜的情況效果不佳，同時易受到眉毛、睫毛、眼鏡等因素干擾。基于統計特征的方法［4］包括神經網絡方法、隱馬爾可夫模型方法、支持向量機方法（SVM）等，其中最具代表性的是AdaBoost算法［7］。基于統計特征的方法相對與前兩種提高了檢測的精確度，但是它需要大量合理分布的樣本完成分類器的訓練，過程復雜，精度與基于模板匹配的方法相比有所降低。

由于人眼檢測問題的復雜性，上述人眼定位方法的精度與算法實現的實時性之間是相互矛盾的。如果精確定位人眼的位置，相應的算法在時間復雜度上較高，很難滿足實時定位的要求，如果降低其時間復雜度，快速定位人眼的位置，定位的精度又會因此下降。同時，人眼檢測算法對圖像的分辨率也有相應的要求，分辨率較低的情況下很難實現準確的人眼定位，這使得人眼定位在實際應用中的范圍十分有限。

為了達到實時精確檢測人眼位置的目的，本文采用的是基于DirectShow 系統將膚色檢測、AdaBoost和ASM（主動變形模板，Active Shape Model）等方法相結合完成人眼檢測。算法的大致流程是：首先，采取隔行抽樣的膚色檢測預處理辦法，在圖像中選取人臉可能的候選區域，并通過AdaBoost在候選點中排除非人臉區域，確定人臉區域；然后，在檢測到的人臉范圍內，運用ASM 算法精確定位人眼位置。該算法流程提高了區域分割的預處理速度，并借助多尺度的AdaBoost檢測算法，提高ASM 中特征點定位的速度和精度。

1.1 膚色檢測

膚色是人臉區域中重要而穩定的特征，在人臉檢測中，膚色檢測作為預處理階段廣泛使用的區域分割方法，在速度方面具有顯著的優勢，并且在存在遮掩以及不同尺度姿態等不利因素的情況下，擁有較強的魯棒性。目前在膚色檢測時經常使用RGB、HSV、YCrCb、HSI和YIQ 等色彩空間表示膚色。由于不同膚色之間的差異主要是由亮度差異引起，而在色度方面較為接近并趨于集中在一個很小的區域內，因此可以通過色度選取人臉的候選區域。本文膚色檢測中選取的色彩空間為YCrCb，Y 分量表示亮度，Cr分量表示RGB信號中紅色部分與其亮度值之間的差值，Cb分量表示RGB信號中藍色部分與其亮度值之間的差值。該色彩空間的優勢是實現了色度和亮度之間的分離，從而可以快速提取色度信息，并將其用來選取圖像中人臉區域的候選點［8］。

在膚色檢測中，目前常見的算法有直方圖歸一查表法、分布閾值界定法、單高斯模型法、混合高斯模型法和橢圓邊界模型法等。膚色在YCrCb色彩空間中的CrCb平面上呈現近似橢圓的分布特性。實際中膚色的顏色與亮度之間呈現非線性函數關系。在低亮度的條件下，色度的聚類性會隨亮度的變化呈現非線性降低。為了避免色度的聚類受到亮度變化的影響，在研究YCrCb色彩空間的膚色聚類情況時，將其中的高光陰影部分排除。在YCrCb空間內進行色度非線性變換的過程中，用Cb－Y 和Cr－Y 表示膚色區域的中軸線，將選取的樣本點投影到CrCb平面后，效果如圖1所示。由于該橢圓模型在該平面上是傾斜的，為方便建立橢圓邊界方程，采用K－L 變換進行旋轉和平移，得到了統計橢圓模型。變換投影過程中的公式如式 （1）所示，投影后的橢圓邊界方程公式如式 （2）所示

圖1 YCrCb色彩空間樣本點的投影

在膚色檢測的過程中，將YCrCb色彩空間內的采樣點在此平面內進行投影，并將投影在該橢圓邊界內的樣本點視為膚色候選點。

1.2 AdaBoost算法

AdaBoost［9］算法的訓練和檢測，使用的是輸入圖像的矩形特征，即Haar特征，作為其特征模板，矩形特征的信息可用5元組 （x，y，w，h，angle）表示，其中 （x，y）表示該矩形特征的左上角坐標， （w，h）分別表示該矩形特征的寬和高，angle表示該矩形特征的旋轉角度。常用的矩形特征有線性特征、邊緣特征、點特征、對角線特征等，圖2中展示了部分矩形特征，一般將矩形中白色部分和黑色部分的差值作為該矩形特征的特征值。

圖2 部分矩形特征

為了提高運算速度，Viola等引入了積分圖的概念，在積分圖中，s（x，y）為原圖像中點i（x，y）上方和左方所有點的灰度值之和

t（x，y）為i（x，y）上方所有點的灰度值之和，s （x，y）的計算公式如式 （4）所示

（x，y，w，h，angle）的矩形特征的特征值W 計算表達式為式 （5）所示

在計算多尺度Haar－Like特征時，可利用積分圖，通過查表法快速計算。由于其消耗時間為常量，因此可以提高運算速度。

1.3 ASM 算法

ASM 是一種基于統計學習模型的特征點提取的方法，其特征點一般選取高曲率點、拐角點、T 型連接處等，同時在圖像的邊界點處等間距選取中間點。通過對大量訓練樣本中的特征點位置進行統計，對當前標定好的形狀作歸一化處理，將人臉訓練樣本集中的形狀向量對齊，并在此基礎上進行PCA 主成分分析，尋找形狀變化的統計信息和規律，得到由特征點構建的起點分布模型 （principle distribute model，PDM），將其作為反映人臉形狀變化規律的形狀統計模板。本文中的特征點采用的是XM2VTS人臉庫標準模型，其中定義了68個人臉特征點。

在訓練集中有N 個樣本，每個樣本有n 個特征點，（xij，yij）是第i個樣本第j個特征點坐標，每個樣本為一個形狀向量S［10］i原字符串

N 個向量協方差矩陣C為

并且Pk，λk（k＝1，2，...，2n）分別為協方差矩陣C的特征向量和特征值，其中λk≥λk＋1，這里選取前t個特征值和特征向量使得特征值滿足式 （9）

式中：fv——比例系數，通常取值范圍為95%～99%，VT為所有特征值之和，用來構建線性模型，從而近似地表示點分布模型S′

式中：b——分布模型的參數，通過改變b的數值能夠改變點分布模型的形狀［11］，一般取bi＝，i＝1，2，...，t。

對于N 個訓練樣本及待檢測的人臉區域，由于在相同的特征點周圍的灰度信息是相似的，可通過搜尋紋理信息匹配的最佳位置作為特征點的位置。因此記錄每個特征點附近的紋理信息，得到特征點附近的灰度分布規律，構建局部灰度模型。當對指定的人臉區域進行ASM 特征點定位時，將點分布模型覆蓋在待檢測圖像上，利用局部灰度模型進行搜索，通過循環迭代尋找馬氏距離最小的點作為每個特征點的最新位置，調整形狀模型的參數，修正模板與待檢測人臉之間的偏差，并在多次迭代之后確定特征點的最佳位置。

1.4 人眼定位的實現流程

完整的人眼定位流程如圖3所示。為了達到實時人眼定位的效果，在檢測的過程中，相對于原先的算法，有如下幾處優化：在膚色檢測中，會出現投影在橢圓邊界內的噪聲干擾。為了克服個別噪聲點的干擾，同時提高實時檢測的速度，在檢測過程中，將待檢測圖像分割成若干4＊4的較小區域，對每個區域隔行抽取相同數量的像素并進行投影，只有滿足投影后橢圓內像素總數超過閾值的區域才會被設定為候選區域。對上一步膚色檢測中得到的候選區域使用AdaBoost進行人臉檢測，排除候選區域中非人臉區域。為了檢測到不同距離的觀測者，應對大小不一的人臉，在使用AdaBoost進行人臉檢測的過程中采用多個尺度對同一個候選區域進行多次檢測，不僅可以提高檢測的準確率，并確保可以檢測到一定范圍內不同尺寸的人臉，同時也確定待檢測人臉區域的最佳匹配尺度，為其后使用ASM 定位人眼位置做好相應準備。在使用ASM 進行特征點定位的過程中，由于實際應用中背景差異過大，人臉外部的像素特征無法事先確定，可能會形成局部極小值的問題，影響循環迭代的結果。為了提高ASM 的準確率，ASM 的統計模板以多尺度AdaBoost算法中尋找到的人臉大小及最佳匹配尺度為參考，使用比該尺度即人臉略小的模板進行特征點定位。將該尺度作為ASM 在人臉區域的初步搜索范圍，使得點分布模型從人臉內部逐漸向外擴張，從而減小人臉外部區域的影響，同時減少迭代次數，提高特征點定位的速度，經過多次迭代最終確定表示人眼位置的特征點。

圖3 人眼檢測算法流程

2 基于DirectShow的人眼檢測

2.1 DirectShow簡介

DirectShow 是Microsoft在ActiveMovie 和Video for Windows的基礎上經過Direct X6.0 中的DirectX Media發展而來的新一代基于COM 的流媒體處理的開發包，集成了DirectDraw、DirectSound等技術。它為在Windows平臺上開發不同格式的媒體文件播放、音視頻采集等高性能要求的多媒體應用，提供了相應完備的解決方案，使客戶能夠輕松地在Windows應用平臺上創建多媒體應用程序。DirectShow 的主要優勢在于削弱了應用程序開發成員和硬件廠商之間的聯系，使開發人員能夠在無需關注硬件的具體執行細節的情況下使用該硬件。其設計的核心思想是使應用程序開發人員不再處理復雜的數據傳輸、硬件差異、同步性等工作，由DirectShow 完成相應的總體應用框架和底層工作。基于DirectShow 開發的多媒體應用，具有能處理巨大的多媒體數據量，保證數據處理的高效性，處理各種各樣的媒體格式問題，支持目標系統中不可預知的硬件等優點［12］。

Filter作為DirectShow 中基本單位之一，屬于COM 組件。DirectShow 系統位于應用層中，通過采用Filter Graph的模型對整個數據流處理過程進行管理，其中參與數據處理的各個功能模塊即為Filter，通過一系列Filter按一定順序鏈接協同工作實現指定的多媒體功能。Filter分為以下3類：

Source Filter：負責讀取數據，其來源有本地文件、計算機網絡、廣播電視或其余的一些數碼產品等。

Transform Filter：負責從上一個Filter中接收數據并對其進行相應處理，之后將數據發送給下一個Filter，本文提出的解決方案中的人眼檢測主要是在Transform Filter中進行實現。

Rendering Filter：一般處于整個Filter鏈的末端，用于將處理后數據輸出，將其展現給用戶或進行保存等處理。

2.2 基于DirectShow的人眼檢測框架

采用DirectShow 系統對常見的視頻捕捉問題進行處理是比較容易的。這是因為DirectShow 擁有一套先進的應用架構。視頻捕捉卡通常以一個Filter的形式出現在Direct－Show 中。在處理視頻捕捉時，我們借助Filter Graph，將該Filter作為Source Filter接入整個系統，實現在無需考慮硬件具體信息的情況下完成視頻捕捉。

本文構建的DirectShow 系統結構如圖4所示，其中上文中的人眼檢測算法在Transform Filter中實現，Transform Filter負責對Source Filter中捕捉的圖像進行檢測，將處理后的圖像發送到Rendering Filter中使其在屏幕上顯示出來。由于AdaBoost和ASM 算法均要求圖像分辨率不能太低，因此實際應用中單個攝像頭的縱向探測范圍有限，使得人眼檢測的縱向范圍也相應有限。為了能夠增加實際中的縱向探測范圍，在該體系結構的基礎上采用雙焦視距拼接技術。同時為了減少切換攝像頭時對整個系統的改動以及減少總共使用的Filter數量，當應用程序選定需要切換的攝像頭后，DirectShow 中各Filter之間斷開鏈接，在將新的攝像頭作為Source Filter接入整個系統后再重新鏈接，其余的Filter均不改動。Transform Filter中的人眼定位算法對于不同攝像頭是通用的，僅在使用的參數方面有所不同。為了實現不同攝像頭對同一個Transform Filter的共用，該系統在Transform Filter中儲存所有攝像頭使用的參數。由于在DirectShow 中Filter之間以Sample的形式傳遞數據，而Sample中只包含圖像信息，很難直接在Transform Filter中得知正在使用攝像頭的信息，因此需要在應用程序和Transform Filter之間構建進程通信，使Tranform Filter在切換攝像頭時得知更換后攝像頭的信息，并將參數修改為該攝像頭對應的數據。通過這種方式，可以在切換攝像頭時只替換其中的Source Filter，而DirectShow 中的其余部分保持不變，從而減少整個系統中使用的Filter數量。

3 實驗結果

本文選取的人眼檢測距離分別為1m 和5m，采用640＊480的攝像頭。

在實時監測的過程中，抽取50幀圖像進行分析。分析數據如表1所示，其中虹膜直徑平均為13.9個像素。由表中數據可知，采用AdaBoost算法和ASM 算法相結合時人眼定位的精度相對于僅用AdaBoost算法有所提高。

距離為1 m 檢測效果如圖5 所示。其中圖5 （a）～（c）為僅用Adaboost檢測結果，圖5 （d）～ （f）為加入ASM 后檢測的結果。

距離為5 m 檢測效果如圖6 所示。其中圖5 （a）～（c）為僅用Adaboost檢測結果，圖5 （d）～ （f）為加入ASM 后檢測的結果。

圖4 用于人眼檢測的DirectShow 系統結構

表1 人眼檢測精度比較

圖5 距離1 M 的測試結果

從實際中僅用AdaBoost算法和AdaBoost算法與ASM算法相結合的測試效果相比較，可以觀測到加入ASM 算法后人眼定位的精度有所提高。同時，在人臉－人眼的兩層結構中，先采用AdaBoost算法確定人臉的位置，提高了檢測速率，實現了實時檢測。并通過雙焦視距拼接技術提高了縱向探測深度，實現了不同縱向距離的人眼定位。

圖6 距離5m 的測試結果

同時，在膚色檢測的預處理過程中采用了橢圓邊界模型，對不同光照條件適應性強，圖7為不同光照條件下的對比圖，實際檢測效果良好，未受光照條件不同的影響。

4 結束語

使用DirectShow 進行多媒體應用開發是十分高效的。本文設計了基于DirectShow 實現的實時人眼檢測系統方案，該方案穩定可靠、易于維護、視頻質量高。將多尺度AdaBoost檢測出的人臉尺度大小與ASM 的初步搜索范圍相結合，實現了實時精確的人眼定位，并使用雙焦視距拼接技術提高了縱向探測范圍。同時，由于DirectShow 具有無需關注硬件具體屬性的特性，因此后期攝像頭的更改與加入對整個系統的修改量極小，從而使得不同檢測范圍與環境下的硬件配置易于實現，具有良好的通用性。此外，在DirectShow 開放性的體系下，可通過接入第三方的Transform Filter實現更多功能，擁有良好的擴充性，使得該體系結構具有良好的發展前景。

圖7 不同光照條件下的對比

［1］WANG Yuanqing.Overview of 3DTV technologies［J］.Journal of Nanjing University （Natural Sciences），2014，50 （3）：361－370 （in Chinese）.［王元慶.立體電視技術及其現狀 ［J］.南京大學學報 （自然科學），2014，50 （3）：361－370.］

［2］Xue YL， Wang YQ. Multi－user autostereoscopic 2D／3D switchable flat－panel display ［J］.Journal of Technology，2014，10 （9）：737－745.

［3］HAN Jing，WANG Yuanqing.Eye detection based on real AdaBoost and bright pupil effect［J］.Electronic Measurement Technology，2009，32 （8）：114－117 （in Chinese）. ［韓晶，王元慶.基于亮瞳效應的連續AdaBoost人眼檢測 ［J］.電子測量技術，2009，32 （8）：114－117.］

［4］XU Lai，ZHOU Delong.Technology of human eyes detection［J］.Computer Systems＆Applications，2010，19 （6）：226－232 （in Chinese）.［徐來，周德龍.人眼檢測技術的方法研究［J］.計算機系統應用，2010，19 （6）：226－232.］

［5］LI Ying，LAI Jianhuang，RUAN Bongzhi. Multi－template ASM and its application in facial feature points detection ［J］. Journal of Computer Research and Development，2007，44（1）：133－140 （in Chinese）.［李英，賴劍煌，阮邦志.多模板ASM 方法及其在人臉特征點檢測中的應用 ［J］.計算機研究與發展，2007，44 （1）：133－140.］

［6］LU Yufeng，LI Chunling，YANG Xiujian.Recognition of eyes’states based on variance projections function ［J］.Journal of Shandong Institute of Light Industry，2009，23 （4）：74－77 （in Chinese）.［路玉峰，李春玲，楊秀建.基于方差投影函數的人眼狀態識別［J］.山東輕工業學院學報，2009，23 （4）：74－77.］

［7］CAO Ying，MAO Qiguang，LIU Jiachen，et al.Advance and prospects of AdaBoost algorithm ［J］.Acta Automatica Sinica，2013，39 （6）：745－758 （in Chinese）. ［曹瑩，苗啟廣，劉家辰，等.AdaBoost算法研究進展與展望 ［J］.自動化學報，2013，39 （6）：745－758.］

［8］ZONG Xinlu，XIONG Shengwu，ZHU Guofeng.Color image face detection based on skin color and AdaBoost algorithm ［J］.Application Research of Computers，2007，24 （10）：178－180（in Chinese）. ［宗欣露，熊盛武，朱國鋒.基于膚色和Ada－Boost算法的彩色人臉圖像檢測 ［J］.計算機應用研究，2007，24 （10）：178－180.］

［9］XU Pin，TONG Gui，QU Jing.Face detection in video based on AdaBoost algorithm and eye location ［J］.Video application＆project，2011，35 （9）：114－117 （in Chinese）.［徐品，童癸，瞿靜.基于AdaBoost 算法和人眼定位的動態人臉檢測［J］.視頻應用與工程，2011，35 （9）：114－117.］

［10］ZHENG Yuduo，TIAN Yangmeng，JIN Wei.Eye localization based on AdaBoost and active shape model［J］.Journal of Beijing Information Science and Technology University，2013，28 （3）：73－76 （in Chinese）. ［鄭玉鐸，田楊萌，靳薇.基于AdaBoost和ASM 算法的人眼定位 ［J］.北京信息科技大學學報，2013，28 （3）：73－76.］

［11］ZHU Jie，TANG Zhenmin.ASM and color Gabor features for facial feature extraction ［J］.Computer Science，2010，37（4）：265－268 （in Chinese）. ［朱杰，唐振民.ASM 與彩色Gabor特征相結合的人臉關鍵特征點提取 ［J］.計算機科學，2010，37 （4）：265－268.］

［12］LU Qiming.Direct show development guide［M］.Beijing：Tsinghua University Press，2003：1－4 （in Chinese）. ［陸其明.DirectShow開發指南［M］.北京：清華大學出版社，2003：1－4.］