基于“大T”型區域的AdaBoost人臉檢測算法

李晶惠++葉學義++夏胡云++葉楓

摘要：針對AdaBoost人臉檢測算法分類器訓練時Haar特征數目過多，導致訓練過程過于耗時的問題，提出了一種基于“大T”型區域的AdaBoost人臉檢測算法。通過提取500張人臉樣本中的主要特征區域，投影到20×20的模板中，對重疊區域取其并集求得“大T”型特征篩選區域，以此模板優化Haar特征，使用于分類器訓練的Haar特征集中于人臉面部的關鍵區域。實驗結果表明，在LFW、PKU數據庫中進行人臉檢測，在不降低原始AdaBoost算法檢測率的同時，對PKU數據庫中的多人臉檢測算法的漏檢率有所改善，同時優化了算法訓練時間。

關鍵詞：人臉檢測；AdaBoost算法；Haar特征；“大T”型特征篩選模板

DOIDOI：10.11907/rjdk.171551

中圖分類號：TP312文獻標識碼：A文章編號：16727800（2017）010002205

0引言

AdaBoost算法最初由Freund等[1]提出，其關鍵思想是針對同一個訓練集訓練多個弱分類器，最后將這些弱分類器集成起來構成最終的強分類器。人臉檢測是自動人臉識別系統中一個關鍵環節[2]，它是指采用一定的策略對任意給定的圖片或視頻進行搜索，從而判斷其中是否存在人臉，如果存在則定位出每個人臉的位置、大小以及姿態的過程。Viola 等[3]提出的AdaBoost人臉檢測算法，在提高人臉識別準確率的同時，極大加快了檢測速度。人臉的特征選取對于人臉檢測精度起著重要作用[4]，基于AdaBoost的人臉檢測算法通常采用Haar特征來表示人臉的灰度變化，由于訓練時Haar特征數目巨大導致訓練過程過于耗時，而實際構成人臉檢測分類器的Haar特征僅有幾千個。因此，有必要對Haar矩形特征進行優化篩選以提升算法的整體訓練速率。

針對Haar特征數目過多問題，文獻[5]介紹了兩種常用的優化Haar特征數目方法：①采用限制最小Haar特征尺寸大小并調整Haar特征的偏移量方式，優化訓練時Haar矩形特征個數。該方法雖然可以有效減少Haar矩形特征數量，但同時也會漏掉一些分類效果較好的矩形特征，因此會影響訓練生成的分類器檢測率；②通過限制Haar矩形特征在檢測窗口中的遍歷范圍優化Haar特征的數目，但采用這種方式會漏掉部分有效的人臉邊緣特征，同時矩形區域內也包含了部分臉狹部位等分類特征不太明顯的區域。介于此，本文提出基于“大T”型區域的AdaBoost人臉檢測算法，通過采用“大T”型區域對所有Haar特征進行篩選，使得用于訓練的Haar特征集中于人臉面部的關鍵區域，降低了訓練時Haar特征數目，加快了分類器的訓練速度。實驗結果表明，采用 “大T”型區域篩選后的Haar矩形特征訓練生成的分類器，在LFW、PKU數據庫中進行人臉檢測時，在不降低原始AdaBoost算法檢測率的同時，能改善PKU數據庫中的多人臉檢測算法漏檢率，同時優化了算法的訓練時間。

1AdaBoost人臉檢測算法

1.1AdaBoost算法概述

基于AdaBoost算法的人臉檢測由Paul Viola和Michael Jones于2001年提出，通過從正負樣本中提取大量不同的Haar特征，并采用“積分圖”的計算方式求得對應的特征值，對特征值遍歷找出分類錯誤率最低的特征值即對應的最優弱分類器，然后將訓練樣本進行多次學習，求出一系列最優弱分類器線性組合成強分類器，最后將強分類器按照一定的規則組合成一個更加復雜的級聯分類器，并采用該級聯分類器進行人臉檢測。訓練時若某個樣本被正確分類，則在下一次訓練中該樣本的權重就會降低，相反分類錯誤的樣本在下一次訓練中樣本權重就會增加。在不斷的循環中，弱分類器將其注意力集中至權重較大的分類器，根據檢測率和誤檢率要求，將簡單的弱分類器按照權重疊加成強分類器，并將強分類器級聯起來生成最需要的分類器[6]，AdaBoost算法正是通過這種動態調整方式使訓練生成的分類器更加關注于那些錯分的樣本。在進行人臉檢測時采用級聯分類器可快速排除圖像中明顯不是人臉的背景區域，進而在有可能存在人臉的區域更精細地檢測。

1.2Haar矩形特征

Viola構建的人臉檢測分類器采用Haar矩形特征訓練弱分類器，該特征是計算機視覺領域一種常用的特征描述算子，能較好地體現人臉的局部特征的灰度變化[7]。Haar矩形特征是由兩個或多個形狀大小相同的矩形組合而成，并采用黑白矩形塊反映人臉灰度變化差異。Haar矩形特征結構簡單，計算方便。利用該特征訓練生成的分類器，分類性能往往僅比隨機猜想的正確率略高，在實際應用中難以起到較好的分類效果，屬于典型的弱分類器。本文選擇Viola提出的5種常用矩形特征原型進行實驗，具體的Haar特征原型如圖1所示。

Haar矩形特征可以在檢測窗口中以“任意”尺寸放置，每一種形態表示不同的特征，準確計算檢測窗口中矩形特征的個數是弱分類器訓練的基礎，以大小為W*H像素的檢測窗口為例：令X=W/w」，Y=H/h」，其中.」表示取整操作，W和H分別表示檢測窗口的寬度和高度，w和h分別表示Haar矩形特征的寬度和高度，t和ht（x）分別表示檢測窗口橫向和縱向可放大的倍數。因此一個大小為w×h的矩形特征在檢測窗口為W×H中的特征個數由公式（1）計算求得：

X×Y×W+1-wX+12×H+1-hY+12（1）

采用公式（1）計算出每個Haar特征原型在檢測窗口中的特征個數，本文選用5種Haar特征原型在檢測窗口大小為20×20的情況下，矩形特征總數超過7萬個，而AdaBoost人臉檢測級聯分類器所用的Haar矩形特征數目遠少于訓練特征個數。因此有必要對大量的Haar特征進行篩選，選出關鍵區域的Haar特征進行分類器訓練，提升算法的訓練速率。

2訓練特征優化endprint

2.1分類器構成分析

由于Haar矩形特征結構簡單，應用于人臉檢測時，可以根據人臉面部的灰度分布特點選擇不同的矩形特征原型，理論上影響訓練時間的主要是訓練樣本數目和參與訓練的特征數目，為了使訓練出的分類器具有很好的泛化能力，訓練樣本數目不能太少，因此只能通過減少訓練特征的數量來達到減少訓練時間的目的[5]。AdaBoost算法是一種有效的特征選擇算法，通過從大量的特征中提取出對人臉檢測真正有用的特征，并從眾多特征中選擇最有效的弱分類器形成強分類器[8]。人臉的主要特征集中于面部中央位置，因此僅選擇該區域內的Haar特征訓練分類器以減少特征訓練的數目，進而起到優化訓練時間的目的。

根據人臉檢測的先驗知識，人臉圖像有一些明顯的基本特征，如臉部區域通常包括雙眼、鼻子和嘴巴等臉部特征和這些部位的結構關系[9]，是生物特征識別的重要依據。對于人臉的檢測即對圖像中包含人臉面部的這些關鍵部位的檢測。AdaBoost人臉檢測算法通常采用Haar矩形特征訓練弱分類器，本文通過實驗對訓練生成的分類器進行分析發現，矩形特征集中分布于人臉面部的關鍵位置，圖2給出部分弱分類器對應的Haar矩形特征與人臉樣本的匹配關系，由此提出采用包含人臉面部關鍵部位的Haar矩形特征來訓練AdaBoost人臉檢測分類器。

2.2“大T”型Haar特征篩選方法

由人臉檢測的先驗知識可知，正面人臉的面部器官分布結構是相對固定的，且人臉樣本中的雙眼、鼻子和嘴巴的幾何分布近似位于一個“大T”型區域內。該區域涵蓋了人臉面部特征的主要區域，根據圖2分類器構造分析可知，弱分類器對應的Haar矩形特征幾乎全部涵蓋了該區域，因此本文提出采用“大T”型區域來篩選Haar矩形特征，并選擇篩選后的矩形特征來訓練AdaBoost級聯分類器。

本文主要針對正面人臉進行檢測，因此訓練樣本集中人臉樣本的選擇主要包括正面人臉和旋轉角度小于45°的人臉圖片。圖3是在人臉樣本中標記出對應的“大T”型區域示意圖，由于部分樣本中人臉的旋轉角度問題，例如圖3（c）和圖3（d）中的“大T”型區域略靠近圖像的邊緣部分，因此有必要對 “大T”型區域進行規范，使采用該區域構建的特征篩選模板可以有效地對Haar特征進行篩選。本文通過從訓練樣本中抽取500張人臉圖片來構建特征篩選模板，具體模板構建方法為：首先標記出每個人臉樣本中 “大T”型區域，然后分別將樣本中的標記區域投影到一個20×20的模板，最后對投影區域的重疊部分求取并集，得到最終的“大T”型區域篩選模板。圖4為本文采用上述方法構建的20×20大小的“大T”型Haar特征篩選模板，且經過多次實驗驗證當“大T”型模板與檢測窗口邊緣的間隔像素值為圖中所示的數字時，檢測效果最好。將得到的“大T”型特征篩選模板用于訓練特征篩選，篩選過程如下：①求出5種矩形特征原型在20×20大小的檢測窗口中所有Haar矩形特征；②利用上述方法構建一個“大T”型特征篩選模板，并設定模板中表示人臉面部特征的關鍵區域值為1，其它區域值為0 ；③分別將上述Haar矩形特征平鋪于“大T”型特征篩選模板，若Haar特征的最外層矩形區域內所有像素值的和大于或等于該矩形區域面積的一半，則保留該特征用于分類器訓練，反之則拋棄該特征；④將上述篩選后剩余的Haar特征作為AdaBoost人臉檢測的訓練特征。

通過 “大T”型區域對所有的Haar矩形特征進行篩選，使用于分類器訓練的Haar矩形特征集中于人臉面部的關鍵區域，通過濾去非關鍵區域的Haar特征，有效降低訓練特征的數量。表1給出了在20×20的檢測窗口中，對5種Haar特征原型采用“大T”型區域篩選后對應的Haar矩形特征數量。

由表1可知，經過“大T”型區域樣本篩選后，剩下的Haar特征數量為57 120個，相對于優化之前的矩形特征數量減少了近2萬個，優化后的Haar矩形特征更集中于人臉面部的關鍵區域，對于人臉面部的灰度分布特征表征能力更好。根據以往的分類器訓練經驗[10]，對于Haar矩形特征中寬度或高度等于1的矩形特征用于人臉檢測時，隨機性太大，不適合用作人臉檢測分類器，因此再排除掉矩形特征中寬度或高度等于1個像素的Haar矩形特征，剩余的特征總數為45 768個。由于“大T”型篩選模板可以有效提取人臉面部主要區域的Haar特征，因此對不同的訓練樣本庫，“大T”型特征篩選模板同樣有效，且只針對于AdaBoost人臉檢測算法的分類器訓練過程。綜上所述，本文選擇上述篩選方法得到的矩形特征訓練人臉檢測分類器。

3實驗結果與分析

選取5500張來自CASPEAL數據庫[11]和1 500張來自LFW數據庫[12]的人臉圖，根據數據庫中人臉坐標信息截出圖像中的人臉區域，歸一化為20×20大小的圖片，構成訓練人臉樣本集。LFW數據庫中的圖像為自然環境下拍攝的人臉圖，因此圖像中包含的人臉具有一定的旋轉角度，且各人臉圖像之間的面部變化不一；CASPEAL人臉庫涵蓋了姿態、表情、裝飾、光照、背景、距離和時間等特征變化，本文從中挑選出全部正面人臉，佩戴眼鏡、帽子等飾物，以及人臉圖像在水平或垂直方向旋轉角度小于45°的人臉圖像，用于增強分類器對正面人臉、多表情姿態以及佩戴飾物的人臉檢測性能。負樣本的選擇來自于網絡中不包含人臉的20 000張圖像，訓練時通過“自舉”方式生成與正樣本同樣大小尺寸，實驗所選的部分訓練樣本如圖5所示。

3.1單人臉檢測

通過采用“大T”型模板來篩選Haar特征，從而使得用于訓練的Haar特征集中于人臉面部的關鍵區域，同時降低了訓練特征數目，提升了算法的訓練速率。為了驗證由本文方法訓練求得的分類器對人臉檢測分類器性能的影響，設計了如下實驗內容。

首先驗證采用“大T”型區域優化后的Haar特征對于訓練樣本的分類效果。歸一化的樣本集中隨機選取5 500張人臉圖片和18 500張背景圖片構成AdaBoost算法訓練集，剩余的1 500張人臉圖片和1 500張背景圖片構成測試集。分別采用原Haar矩形特征以及本文Haar矩形特征訓練一個AdaBoost人臉檢測分類器。圖6是采用每次迭代生成的強分類器分別對測試集中的樣本進行分類時的誤檢率對比試驗結果。endprint

由實驗結果可知，對上述測試集中的人臉樣本進行分類，由本文Haar矩形特征訓練生成的人臉檢測分類器的誤檢率基本接近于原Haar矩形特征訓練生成的分類器，只是由前幾輪迭代求出的強分類器誤檢率曲線波動較大，但經過對訓練樣本近20次的學習后，誤檢率曲線基本與原Haar矩形特征相吻合。因此，本文的改進方法對AdaBoost算法[2]的誤檢率影響較小。

3.2視頻人臉檢測

在歸一化后的樣本集中選擇全部的人臉樣本和非人臉樣本構成訓練樣本集，然后采用原Haar矩形特征、文獻[5]限制檢測窗口的方法求得訓練特征，以及本文“大T”型模板篩選得到的Haar特征，分別訓練生成15層級聯分類器用于人臉檢測。實驗選擇了LFW數據庫中和PKUSVDB數據庫[13]的視頻圖像作為本文人臉檢測測試集，用來驗證本文方法檢測效果。

選擇LFW數據庫中剩余的1000張大小為250×250視頻圖像進行單人臉圖像檢測性能驗證，表2是對應的實驗結果，圖7為部分實驗檢測結果。

由表2可知，對LFW數據庫中的單個人臉圖像進行檢測時，本文的改進方法在檢測率方面要略高于文獻[5]中的方法，基本接近原矩形特征的檢測效果。

多人臉的視頻檢測采用PKUSVDB數據庫，該數據庫是北京大學視頻編解碼技術國家工程實驗室聯合北京大學保衛部提供的，通過對連續400幀大小為1 920*1 080視頻圖像共879個正面人臉進行檢測，得出表3的實驗結果，部分實驗結果如圖8所示。

在進行多人臉視頻檢測時，由于人臉表情復雜、姿態各異，以及背景圖像中近似人臉區域的干擾，導致AdaBoost人臉檢測的檢測率有所降低。由表3實驗對比結果可知，本文方法不管是在檢測率還是漏檢率方面均優于文獻[5]中的改進方法，而且基本與原矩形特征分類器的檢測效果接近，同時降低了人臉檢測的漏檢率。上述實驗結果中本文改進方法誤檢率略高的原因是，由于訓練特征集中于人臉面部的關鍵區域即“大T”型區域內，因此訓練求得的分類器對于近似于人臉區域的識別率較高，可能會把一些近似人臉的背景區域誤檢為人臉。

本文的改進算法使用于訓練的Haar特征更集中于人臉面部的關鍵區域，從而降低了訓練特征的數目，使得AdaBoost人臉檢測分類器的訓練速度明顯提升，表4是在同等條件下分類器訓練時間對比結果。

由表4數據可知，本文的改進方法可以較好地優化AdaBoost人臉檢測分類器的訓練時間。對于訓練一個識別率為0.995的強分類器時，本文方法所需平均時間為1 182.72s，而采用原矩形特征所需訓練時間為1 759.24s，限制檢測窗口[5]的方法為1 395.26s，同時對于訓練15級的人臉檢測分類器時，采用“大T”型區域優化后的Haar特征所需的訓練時長約為19.2小時，比原始的AdaBoost算法縮短了近11個小時。由此可知，基于“大T”型區域的Haar特征篩選方法在不降低AdaBoost算法檢測效率的同時優化了訓練時間，因此本文方法對于AdaBoost算法人臉檢測分類器訓練性能的提高具有一定效果。

4結語

針對AdaBoost人臉檢測算法在分類器訓練時Haar特征數目過多，導致訓練過程極其耗時的問題，本文提出了基于“大T”型區域的AdaBoost人臉檢測算法。通過對AdaBoost人臉檢測分類器的構成進行分析，弱分類器對應的Haar特征主要集中于人臉面部的關鍵區域，將該區域作為人臉檢測識別的依據。通過選取500個人臉樣本，提取其面部關鍵區域投影到20×20大小的模板中，對重疊區域取其并集求得“大T”型特征篩選模板，以此模板優化Haar特征，使得用于分類器訓練的Haar特征集中于人臉面部的關鍵區域，最后采用篩選后剩余的Haar特征來訓練人臉檢測分類器。“大T”型篩選模板只限于AdaBoost算法訓練時訓練特征的優化，與不同的訓練樣本庫無關。實驗結果表明，采用“大T”型區域對Haar特征進行篩選，不僅降低了訓練特征的數目，還起到了優化訓練時間的目的。在LFW、PKUSVDB數據庫中的檢測結果表明，本文的改進方法在不降低AdaBoost算法檢測率的同時，對PKU數據庫中的多人臉檢測算法的漏檢率有所改善，對AdaBoost人臉檢測分類器的訓練性能提高有一定的作用。

致謝

感謝北京大學視頻編解碼技術國家工程實驗室提供的PKUSVDB數據庫和中科院計算技術研究所提供的CASPEAL人臉數據庫。

參考文獻：

[1]許劍，張洪偉.AdaBoost算法分類器設計及其應用[J].四川理工學院學報：自然科學版，2014（1）：2831.

[2]劉王勝，馮瑞.一種基于AdaBoost的人臉檢測算法[J].計算機工程與應用，2016（11）：209214.

[3]曹瑩，苗啟廣，劉家辰，等.AdaBoost算法研究進展與展望[J].自動化學報，2013（6）：745758.

[4]張君昌，張譯.基于改進AdaBoost算法的人臉檢測[J].計算機仿真，2011，28（7）：240244.

[5]徐信.基于Adaboost人臉檢測算法的研究及實現[D].太原：太原理工大學，2015.

[6]甘玲，朱江，苗東.擴展Haar特征檢測人眼的方法[J].電子科技大學學報，2010，39（2）：247250.

[7]鐘銳，吳懷宇，吳若鴻.基于強跟蹤Kalman濾波的魯棒人臉跟蹤算法[J].計算機工程與設計，2016，37（2）：475480.

[8]王慶偉，應自爐.一種基于HaarLike T特征的人臉檢測算法[J].模式識別與人工智能，2015，28（1）：3541.

[9]韓玉峰，施銅興，王小林.臉部特征點定位方法綜述[J].計算機工程與應用，2012（1）：180218.

[10]劉俠，李蘇，李廷軍.一種改進的Adaboost算法的人臉檢測分類器[J].空軍工程大學學報：自然科學版， 2009， 10（2）：7680.

[11]GAO W， CAO B， et al. The CASPEAL largescale Chinese face database and baseline evaluations[J]. IEEE Transactions on Systems， Man and Cybernetics， Part A： Systems and Humans， 2008，38（1）：149161.

[12]HUANG G B， RAMESH M， BERG T， et al. Labeled faces in the wild： a database for studying face recognition in unconstrained environments[D]. Massachusetts， USA： Amherst College， 2007：949.

[13]PKU SVD B. Database [EB/OL].http：//www.smartcitycompetition.com

責任編輯（責任編輯：杜能鋼）endprint