利用判決回歸的快速人臉特征定位算法

劉 暢，畢篤彥，熊 磊，李岳云

（空軍工程大學 航空航天工程學院，陜西 西安710038）

0 引 言

當前，跟蹤與記錄非剛體物體 （比如人臉）的形狀與外觀變化，仍然是一個十分具有挑戰性的問題。經過幾十年的探索，人們研究出了一系列高效而又準確的方法，包括常用的主動形狀模型 （active shape models，ASM）、主動外觀模型 （active appearance models，AAM）以及受限局部 模 型 （constrained local models，CLM）［1］。若 干 衍 生的AAM［2，3］匹配方法中，一些具有實時的人臉跟蹤能力，這使得AAM 成為最常用的人臉跟蹤方法之一，然而該方法的特征點初始化準確度對于最終匹配結果的精確度影響非常大。由此學者們又提出了AAM 的判別匹配方法［4，5］，它利用已有的訓練數據來學習匹配更新模型，對于粗略的特征點初始化顯示出了很強的魯棒性，但是該算法在運算效率方面差強人意［5］。

Cristinacce等提出的受限局部模型從某種程度上解決了這個問題，之后Saragih創造性地提出了正則特征點均值漂移法 （regularized landmark mean－shift，RLMS），在特征點定位精確度方面已經超越了AAM 算法，并且被認為是在一般性人臉匹配情景下當今最好的算法之一。Asthana等［6］提出了一種CLM 框架下的判別響應圖匹配法 （discriminative response map fitting，DRMF），它 的 性 能 優 于RLMS［1］和樹狀模型的算法［7］，并且實驗顯示基于HOG 特征的塊專家方法能夠大幅提高CLM 框架下匹配的表現及其魯棒性。

本文對DRMF方法中的回歸算法進行了進一步優化，可以實現魯棒的形狀參數更新，并大幅提高了算法的處理速度。

1 研究中存在的問題

人臉可變形模型的目標是對未知圖像中的人臉形狀進行預測并用參數表示。人臉可變形模型大致可以被分為兩大類：①全局模型：利用全局紋理對人臉進行表示；②局部模型：主要利用特征點周圍的局部圖像塊對人臉進行表示。第一類中比較著名的模型有AAM［2］；第二類包括的模型有CLM［1］和樹狀模型［7］。

1.1 全局模型

全局模型首先需要建立一個形狀模型，通常先標記n個面部基準特征點x＝ ｛xi，yi｝T，i＝1，…，n 并把它們串聯成一個向量s＝ ｛x1，…，xn｝T，然后就可以對這些訓練樣本點進行PCA 降維并通過學習來建立一個統計的形狀模型，之后我們分別針對每個特征點建立一個局部的紋理特征，并在搜索過程中在形狀模型的約束下，利用建立好的紋理特征與目標圖像進行匹配來更新特征點位置，反復迭代從而獲得準確地人臉特征點定位。

全局模型的缺點：①定義一個線性統計模型來說明身份、表情、姿態、光照的變化比較困難；②同樣，由于面部紋理的巨大變化，實現紋理特征到形狀參數的回歸也很困難 （在最新的一個算法當中利用隨機選擇的紋理樣本實現了全局形狀回歸［8］，但文中沒有提及具體的實現方法）；③部分遮擋問題不容易處理；④由于需要對整個圖像定義一個翹曲函數，三維形狀模型也不易被合成，只能通過犧牲效率［9］或在代價函數中加入其它參數來實現。

1.2 局部模型

局部模型的主要優點有：①因為我們關心的只有人臉區域，所以部分遮擋問題可以很容易地解決；②由于不需要對翹曲函數進行估計，三維的人臉模型可以直接進行合成。通常來說，利用局部模型表達人臉時，可以用M ＝｛S，D｝進行表示，其中是一組面部特征的檢測器 （每個檢測器與形狀模型中的特征相對應）。目前有許多種構造局部模型的方法［1，7］，在本文當中我們主要研究的是ASM 與CLM 的方法［1］。

CLM 的形狀模型可由下式表示

其中，R （通過俯仰rx、偏航ry和滾轉rz進行計算），s和t＝ ［tx；ty；0］分別控制著形狀剛性的旋轉、尺度和平移變化，q控制著形狀的非剛性變換。因此形狀模型的參數就是p＝ ［s，rx，ry，rz，tx，ty，q］。另外，D 是一組用于檢測人臉n 個分塊的線性分類器，可以寫作D＝ ｛wi，，其中wi和bi是人臉第i 個分塊的線性檢測器 （例如嘴角檢測器），這些檢測器把第i個分塊與給定圖像L 中位置x被正確定位 （li＝1）定義為

式中：f（x； ）是從圖像 中以xi為中心的分塊中提取的特征。顯然，在x處沒有被正確定位的概率就是p（li＝－1｜x， ）＝1－p （li＝1｜x， ）。

ASM 和CLM 的目標就是從參數p中建立一個形狀模型，使得模型中形狀與特征點的位置與圖像能夠準確地對應。用概率論的方法，我們可以通過求解下面的公式來找到形狀模型s（p）

在文獻 ［1］中，通過假設一個等方差各向同性的高斯核密度對于每一個訓練集的每一個分塊i都進行估計，即p（li＝（xi（p）｜yi，p ）上面的優化問題可以被重寫為

先驗概率p（p）起到規范的作用，一般選擇關于q的零均值高斯先驗函數 （p（p）＝ （q）｜0，Λ））。在文獻［1］中采用了期望最大化 （expectation maximization，EM）算法解決了上述優化問題。

2 判別響應圖匹配

在本文當中，我們借用了不同于1.2中RLMS中最大化重建概率的方法，在已知圖像中所有塊區域都被正確定位的條件下，用判別回歸的方法來估計模型參數p，找到一個形狀變化的響應估計到形狀參數更新的映射。我們假設在訓練集中引入一個形變Δp，并且我們對每一個形變點周圍w×w 的區域進行響應估計，Ai（Δp）＝［p（li＝1｜x＋xi（Δp）］；然后從得到的響應圖f（｛Ai（Δp））中，我們希望學習到一個函數f，滿足f（｛Ai（Δp））＝Δp，我們把這種方法就叫做判別響應圖匹配 （DRMF）［6］。選擇這種方法主要是考慮到與紋理特征在基于全局回歸方法的AAM框架下不同，響應圖有以下特點：①可以在參數集很小的情況下準確地表示人臉；②具有學習能力的概率響應圖字典可以非常忠實地重建出未知圖像的響應圖。

總體來說，DRMF方法的訓練過程包含兩大步：首先，我們需要訓練一個用于響應圖近似的字典，用它來提取相關的特征來對更新的匹配模型進行學習；然后通過一個改良的Boosting方法來進行迭代學習更新模型，目的是學習弱分類器來對所有特征點響應圖的聯合低維投影和形狀模型的更新參數Δp 之間的非線性關系進行建模。

2.1 訓練響應塊模型

在進入到學習步驟之前，我們首先要建立一個響應圖的字典，使它可以對任何未知圖像的響應圖進行表示，也就是用很少的參數去表示Ai（Δp）。假設我們已經獲得了一組包含著多種形狀變化的訓練響應數據 ｛Ai（Δpj）｝j＝1，可以通過一個簡單的方法來對第i個字典進行學習：將訓練響應集向量化并列成一個矩 陣Xi＝［vec（Ai（Δp1）），...，vec（Ai（Δpn））］，然后進行非負矩陣分解 （non－negative ma－trix factorization，NMF））得到我們需要處理的非負響應。這樣矩陣就被分解為Xi≈ZiHi，Zi就是我們要求的字典，Hi表示對應權重。在給定一個字典的條件下，響應圖的對應權重可以通過下式得到

公式的求解可以采用NMF的方法。之后，與之前直接在形變響應 ｛Ai（Δp）中計算回歸函數不同，本文是在低維的權重向量 ｛hi（Δp）中計算回歸函數來 更新參數Ltest。

根據實際需求考慮并且為了避免在匹配過程中對每個分塊進行式 （5）的優化求解，我們對 ｛Ai（Δp）進行PCA 處理。在對其進行PCA 處理后，對應的權重向量hi就可以通過在PCA 主成分中進行簡單的投影得到。可以從圖一看出運用PCA 響應圖進行重建的效率 （能捕捉到人臉85%的變化）。我們把這種字典稱作響應塊模型

其中，mi和Vi分別是從n個特征點中得到的平均形狀向量和PCA 主成分。

2.2 訓練參數更新模型

給定N 個訓練圖像L 和對應的形狀模型S，我們的目標是對從響應塊模型 ｛M，V｝當中得到低維投影與參數更新之間的關系進行迭代建模。使用改進Boosting的方法在一個在預先標定好的真實參數附近來采樣形狀模型參數空間，然后對當前采樣形狀響應塊的低維投影 （由第t個采樣形狀參數pt表示）和更新參數Δp（Δp＝pg－pt）之間的關系進行迭代建模。詳細的訓練步驟如下：

令T 為從形狀S中采樣得到的參數個數，初始采樣形狀參數集就可以用p（1）表示

式中：上標 “1”表示初始集 （第一次迭代）。然后提取出響應塊 （用p（1）中的采樣形狀參數來表示），并用響應塊模型 ｛M，V｝來計算其低維投影。之后將這些投影排列成一個 聯 合 低 維 投 影 向 量c（） ＝ ［h1（Δ），...，hn（）］T，與每個采樣形狀一一對應，得到

其中，χ（1）表示從訓練集中得到的初始聯合低維投影。通過訓練集T（1）＝ ｛x（1），Ψ（1）｝，我們學習到了第一次迭代的匹配參數更新函數，也就是一個弱學習器

我們再把所有T（1）中的樣本通過F（1）來生成并去除掉）中已經收斂的樣本來生成T（2）進行第二次迭代，這里的收斂指的是預測形狀與標定好的真實形狀之間的標準差小于某個閾值 （本文設此閾值為2）。

任何一種回歸都可以運用到這個框架下，本文對這一環節進行了具體的優化，采用線性支持向量回歸（SVR）［10］方法。我們總共設置了16個形狀參數，包括6個全局形狀參數和重要性排名最靠前的10 個非剛性變化參數?；诮Y構化的方法同樣也可以運用到我們這個框架下，對于那些被去除的收斂樣本，我們從相同的圖像I中利用第一次收斂中被去除的樣本生成一個新的樣本集來替代。我們把這個新樣本通過F（1）繼續增殖并去除掉其中的收斂樣本來另外生成第二次迭代的替代訓練集T（2）rep，第二次迭代的更新為

得到了第二次迭代得到的匹配參數更新函數，即弱學習器F（2）。在每次迭代中這種去除與替代的方法有兩層優點：一是它可以保證匹配更新函數是利用在先前迭代中未收斂的樣本進行訓練，來增強模型的魯棒性；二是矯正之前迭代過程中因過度匹配而出現的樣本偏移。

上述的訓練過程將會不斷迭代進行直到訓練樣本收斂或者到達我們所設置的最大迭代次數η。最終得到的匹配參數更新模型U 就是一個弱學習器的集合

整個訓練過程如算法1所示。

算法1：訓練參數更新模型輸入：PDM， ，S，｛M，V｝1 初始化形狀參數樣本集2 初始化聯合低維樣本集3 生成樣本集 （1），進行第1次迭代4 for i＝1→ηdo 5 利用樣本集 （i）計算弱分類器 （i）6 通過 （i）增殖 （i），生成 （i）new 7 消除 （i）new 中的收斂樣本，生成 （i＋1）8 if （i＋1）是空集 then 9 所有訓練集收斂，停止訓練。10 else 11 從步驟7被消除的樣本圖片中得到新的形狀參數樣本集12 計算步驟11中生成樣本集的聯合低維投影集13 生成新的替代訓練集 （i）rep 14 for j＝1→i－1 do 15 通過 （j）增殖 （i）rep 16 去除 （i）rep中收斂的樣本17 更新 （i＋1）← ｛ （i＋1）， （i）rep ｝輸出：匹配參數更新模型U

2.3 匹配過程

給定訓練圖像Ltest，匹配參數更新模型U 就可以對參數更新Δp 進行迭代計算。匹配結果的好壞由當前形狀模型在當前迭代步驟中對每個特征點的位置的匹配得分 （概率值）來評判，得分最高的就是最后的匹配形狀。

3 實 驗

我們對算法在Multi－PIE 數據庫進行一般性的人臉匹配實驗。Multi－PIE是最常用的一般性人臉匹配實驗數據庫，也是與前人算法進行比較最常用的數據庫，并且其中包含有數千張不同人臉及各種表情、光照和姿態的圖片，也就更能突顯出DRMF算法在一般性人臉匹配當中處理多種人臉變化的準確性。本文選取樹狀模型作為對比算法，我們截取部分實驗圖像如圖1～圖3 所示，結果表明本文提出的算法優于樹狀模型。并且我們還發現在同等條件下在特征點定位方面CLM 的表現要比樹狀模型要好，我們猜測是因為樹狀模型并不是專門應對人臉而建立的模型，它允許其它非人臉的結構出現，這就使得在匹配過程中很難準確的定位，特別是在處理人臉表情比較豐富的圖像時。另外，從表1 可以看出本文算法的匹配過程非常高效，可以實現對圖像的實時處理。在目前的MATLAB平 臺上，在Intel Xeon 3.80 GHz處理器上處理一張圖片只需要1s。

圖1 對 “Psy”的定位結果比較

圖2 對 “Obama”的定位結果比較

圖3 對 “Blonde”的定位結果比較

表1 算法速度／s

4 結束語

我們提出了一種在CLM 框架下的判別響應圖匹配法，該方法可以用很少的參數表示響應圖并且高效地對未知的響應圖進行重構并對其回歸方法進行了優化，實現魯棒的形狀參數更新，并大大提高運算速度。我們在一般性的人臉匹配環境（Multi－PIE）下進行了深入的實驗，結果表明DRMF方法對于非標記的人臉圖像表述效果顯著并優于目前流行的樹狀模型算法。而且DRMF方法在計算方面非常地高效，能夠達到實時處理的要求，其定位準確度也有一定提高。

［1］Saragih J，Lucey S，Cohn J.Deformable model fitting by regularized landmark mean－shift ［J］.IJCV，2011，91 （2）：200－215.

［2］Asthana A，Asragih J，Wagner M，et al.Evaluating AAM fitting methods for facial expression recognition ［C］／／In ACII，2009.

［3］Tzimiropoulos G，Alabort－i－medina J，Zafeiriou S，et al.Generic active appearance models revisited ［C ］／／In ACCV，2012.

［4］Liu X.Discriminative face alignment ［J］.IEEE PAMI，2009，31 （11）：1941－1954.

［5］Saragih J，Goecke R.Learning AAM fitting through simulation ［J］.Pattern Recognition，2009，42 （11）：2628－2636.

［6］Asthana A，Zafeiriou S，Cheng S，et al.Robust discriminative response map fitting with constrained local models［C］／／In CVPR，2013.

［7］Zhu X，Ramanan D.Face detection，pose estimation and landmark localization in the wild ［C］／／In CVPR，2012.

［8］Cao X，Wei Y，Wen F，et al.Face alignment by explicit shape regression ［J］.International Journal of Computer Vision，2014，107 （2）：177－190.

［9］Albrecht T，Lüthi M，Vetter T.A statistical deformation prior for non－rigid image and shape registration ［C］／／In CVPR，2008.

［10］Ho C，Lin C.Large－scale linear support vector regression［J］.Journal of Machine Learning Research，2012，13：3323－3348.