基于表觀模型的人臉特征點提取

閆保中，何偉，韓旭東

哈爾濱工程大學自動化學院，黑龍江哈爾濱150001

隨著5G 時代的到來，催生了諸如人機交互、生物鑒別等方向的應用。眾多國內外高校和科研機構在尋求創新的同時把目光轉向了以人臉識別、姿態估計和人臉圖像編碼為基礎的與人臉相關的圖像處理技術研究。而這些技術能得到快速發展的一個前提是較高精度和較快速度的人臉特征點提取。

不同的研究人員對人臉特征點研究的側重點有所不同，根據人臉器官的分布規律，人臉特征點涵蓋了眼睛輪廓點、瞳孔中心點、眉毛輪廓、鼻尖位置、嘴部輪廓、臉部外輪廓等[1]。Kass等[2]提出的主動輪廓模型，以及Yuille、Hallinan 提出的可變形模板等方法可用于人臉、人眼定位。這類方法稱為非參數方法，雖可以在任意圖像中獲取目標區域，但是精度不高。Cootes等[3]提出的主動形狀模型（active shape model，ASM）利用了人臉特征點之間的束縛關系，將獲取的特征點限制在一個合理的模型之下，能比較精確地對人臉特征點進行定位。Cootes等[4]在ASM的基礎上，提出將紋理模型和形狀模型進行融合，進一步得到了主動表觀模型[5]（AAM），使得人臉特征點提取有較高的精度，此模型已經被廣泛應用于人臉特征點檢測、人臉定位、人臉表情分析中。

AAM算法在對人臉特征點進行擬合的過程中，過度依賴模型的初始位置[5]，當模型的初始位置離目標位置過大時，會影響擬合的精度和速度；而且在擬合過程中會出現不滿足人臉器官分布的人臉模型[6]，使提取特征點的精度變低。針對以上不足，利用不同的模型進行初始位置的匹配，并對形狀參數進行限制，防止非法變形。

1 基于AAM的人臉特征點定位分析

AAM包括模型的建立和對輸入圖像的擬合計算2個部分[7]。AAM 模型是對象的表觀模型，是建立在對象的形狀模型之上。基于AAM的人臉特征點提取算法先根據人工標記的數據集訓練構建表觀模型，再以訓練的模型與目標圖像作差取平方和來建立能量損失函數模型，以能量值的大小來作為擬合程度的評價指標。在擬合的過程中，通過擬合算法來改變模型參數，參數改變引起形狀控制點改變，使模型實例與目標圖像完成擬合[8]。當擬合完成后，形狀控制點的位置，就是目標圖像的特征點位置。

1.1 AAM 模型建立

1.1.1形狀建模

當根據數據訓練出平均形狀S0和形狀特征向量S i后，此時AAM 的形狀模型就建立完成。

1.1.2表觀建模

通過對形狀的建模，得到了形狀特征向量S i和平均形狀向量S0。利用S0經過Delaunay 三角化[10]作為映射的基準網絡，將數據集中標記好的特征點進行三角化，通過分段線性仿射的方法映射到基準網絡中[11]，如圖1所示。這時建立表觀模型達到歸一化的目的。

圖1 分段線性仿射示意

然后以與形狀建模相似的方式，用主成分分析（principal component analysis，PCA）方法獲取前m個表觀特征向量A i和平均表觀模型A0[12]，建立的表觀模型公式為通過設置不同的參數，可以獲取不同的表觀模型實例，就完成了表觀模型的建立。

1.2 利用反向組合進行AAM 擬合計算

早期的AAM 擬合計算是通過Lucas-Kanade算法[13]實現的，Lucas-Kanade的數學模型為

為了獲取Lucas-Kanade數學模型的最小值，對其進行求導，零求導式的左右兩邊等于0，得到的表達式為

2 AAM初始化模型優化

AAM 利用全局形狀和紋理對人臉的特征點進行搜索和擬合，首先需要訓練出一個初始化模型，然后在初始化模型的基礎上進行擬合。但是由于初始化模型的預估能力在一定情況下效果不佳，當偏離的位置在能處理的范圍之外時，模型將不能進行正確的擬合，收斂的速度慢且不精確。

為了在擬合過程中使模型收斂的速度加快且使擬合的精度提高，提出將不同的頭部姿態訓練不同的人臉模型。在訓練模型時，首先將頭部姿態相似的人臉歸為一類進行訓練，獲取多個模型；之后在進行選取初始化模型時，對輸入圖像進行支持向量機(support vector machines，SVM)分類匹配，粗略判斷輸入人臉的姿態，相應的姿態選取相應的初始化模型進行擬合，從而提高擬合速度和精度。整體檢測流程如圖2所示。

圖2 基于多模板AAM 的人臉特征點檢測

2.1 頭部姿態粗估計

基于多模板AAM的核心在于如何將輸入的人臉圖像對應訓練好的人臉模型，所以需要對輸入的圖像姿態進行預估。頭部姿態預估的具體方案是：選取CASIA-webface 人臉數據集和自己采集的人臉作為數據集，在數據集中找出頭部正向前方、頭部左偏45°、頭部右偏45°、頭部上揚45°和頭部下低45°這5種姿態，如圖3所示。

圖3 5種人臉初始姿態

2.1.1方向梯度直方圖人臉特征提取

在提取方向梯度直方圖（histogram of oriented gradient，HOG）特征時，將所有的數據集都縮放到128像素×128像素，處理的速度更快。所以HOG特征提取時窗口個數為15×15，HOG塊的大小為16×16。一個block 有4個細胞，且核的個數為9，所以HOG 特征最終得到的特征向量的維數是8 100。

選取HOG作為分類器的特征進行訓練，HOG特征參數如表1所示。提取HOG 特征如圖4所示。

表1 HOG 參數選擇

圖4 HOG 特征提取

由于SVM是一個二分類器[15]，但是在進行頭部姿態粗分類的過程中需要區分5個頭部姿態，采用一對一法，將5 種姿態的數據集分為數據集A、B、C、D、E。在訓練時，選取A,B；A,C；A,D；A,E；B,C；B,D；B,E；C,D；C,E；D,E這10對子數據集，訓練出10個訓練結果。然后將輸入的被分類對象進行分別測試，采取投票的形式得到最后的結果。

投票的過程如下：假設a、b、c、d、e分別對應5 種姿態結果的計數器，當利用A,B組成的數據集訓練的分類器給被分類的對象進行分類，若分類的結果為A，則a進行累加，否則b進行累加。其余組的判斷方式與該組相同。最后對應結果為a、b、c、d、e中最大值所對應的類。

通過一對一得到的10個訓練模型，通過一張輸入的圖片，就可以得到初步預估頭部姿態。

2.2 多模板AAM 模型建立

在2.1節中，已知輸入人臉的初步姿態，需要找到合適的AAM 人臉初始化模型進行匹配，所以需要訓練出5個相對應的人臉初始化模型。

在訓練初始化模型過程中使用300-W 數據集，該數據集共有訓練集樣本3 148張，測試集樣本共有689張，每張都有標記好的人臉特征點坐標，不需要再進行人工的手動標注，減少了重復性工作。從300-W 數據集中選出頭部正向前方、頭部左偏45°、頭部右偏45°、頭部上揚45°和頭部下低45°這5種類型的照片和標注點，每種類型200張，進行訓練，獲取5種類型的初始化模型。模型圖如圖5所示。

圖5 AAM 模型

2.3 特征點獲取過程

獲取了人臉初始姿態模型和多模板AAM 初始化模型，就可以進行人臉特征點獲取，具體步驟如下：

1）提取輸入圖片HOG 特征，利用訓練好的SVM分類器進行頭部姿態初步估計；

9月下旬至10月上旬播種，選擇中熟油菜品種，用種量是0.3～0.4公斤/畝。基肥施復合肥(15-15-15含量)50公斤/畝，硼肥(10%含量)0.5～1公斤/畝；苗肥于4～5葉期施尿素5公斤/畝，臘肥每畝施尿素5公斤/畝，氯化鉀2公斤/畝，于春節前施用；薹肥每畝施尿素、氯化鉀各3公斤/畝，初花和盛花期結合一促四防噴施磷酸二氫鉀和硼肥。

2）根據預估的頭部姿態匹配對應的初始化AAM 模型；

3）利用反向組合進行AAM 擬合計算；

4）多次重復步驟3），不斷地迭代擬合，使模型擬合到正確的位置；

5）通過擬合的最終結果獲取特征點。

3 AAM擬合改進

不同人臉的外形、表情可能都不相同，但是人臉器官的分布是有規律可循的，即器官特征點之間的距離關系不會有特別大的區別。在利用表觀模型進行回歸時，AAM的人臉形狀會超出這種關系，得到了非人臉的形狀。而原AAM 沒有對這種情況進行判斷，沒有對這種非正常的擬合變形進行修正，最終導致特征點沒有擬合到正確的位置。

3.1 形狀限制項解決非法形變思路

由第1節可知，建立了形狀模型S，其表達式如式（1），給定任意一組參數p之后，就能得到一個形狀實例S，p值不同，得到的形狀就不同。由于S0和S i在擬合的過程中都是已知的值，這時p就決定了擬合的形狀。

AAM在模型訓練過程中選取了不同表情和不同姿態的50張人臉標注點，這些數據集能很好地表示人臉可能出現的形狀情況。將這些人臉數據投影到對應的人臉形狀，得到形狀系數p，將p值進行統計分析，可以得到一個p值系數空間，如圖6所示。如果在擬合的過程中，p值系數超過這個系數空間，表示擬合形狀是不合理的，需要修正和限制。

圖6 符合人臉形狀的p值空間

3.2 改進實現模型

4 基于AAM的特征點提取實驗

在實驗過程中，依然選用300-W 作為測試數據，300-W 數據集中有689張測試數據集。

實驗主要對反向組合AAM算法、多模板AAM算法以及基于多模板AAM的改進算法在特征點定位的時間效率和定位的精度上作比較。本實驗的開發環境為Intel Core i5 CUP，利用Matlab程序對不同的算法進行人臉特征點提取。

實驗用測試數據集進行實驗，利用提取的人臉特征點坐標和數據集中原有標定的人臉特征點坐標的差值作為誤差標準，誤差標準的計算公式為

在數據集中選取不同姿態的人臉圖像，用改進的和未改進的AAM算法進行特征點提取，如圖7所示。圖中三角形特征點為數據集中手動標記的特征點，圓點為算法提取的特征點。

圖7 特征點提取

實驗記錄了3種算法300-W 數據集中20張不同姿態測試圖片的特征點定位誤差和時間效率，3種算法的時間效率分布和誤差分布散點圖如圖8、9所示。

圖8 3種算法時間效率散點

圖9 3種算法誤差散點

從測試樣本中選取8幅圖像的實驗數據記錄，得到特征點定位時間效率表2和定位誤差表3。

表2 不同算法對不同圖片特征定位時間效率ms

表3 不同算法對不同圖片特征定位誤差比較pixel

通過對表2、3中的8組時間和像素誤差求平均值，得到對比結果如表4所示。

表4 不同算法速度和定位誤差對比表

分析實驗數據可以發現：通過初始化模板優化和擬合改進后的AAM 算法在提取特征點時所用的時間明顯減少，速度有了明顯的提升，這是因為不同姿態的人臉匹配了不同的初始化模型，使初始化模型與輸入的人臉模型更貼合，同時擬合的改進減少了模型迭代計算的時間，使速度提升，初始化模板的優化對速度提升的影響更大；改進后的定位誤差也與傳統的AAM算法相比有明顯的改善，因為優化的初始化模型更接近輸入模型，且對擬合的過程進行了改進，對不符合人臉器官分布規律的形狀做了限制，有效防止了非法變形，使精度進一步提升。

5 結論

針對人臉特征點檢測設計多模板的AAM 算法，對不同的人臉匹配不同的初始模型，彌補了傳統AAM 算法在初始位置偏離目標位置過大時，難以收斂的不足，使特征點提取速度和精度得到提升。

1）同時對擬合過程中的形狀變量進行限制，有效解決了擬合過程中非法變形問題，進而使特征點提取精度進一步提升。

2）使用公開數據集對不同人臉姿態進行了特征點提取實驗，實驗結果表明，本文的算法能有效提高人臉特征點提取的速度和精度。在后續的研究中，將進一步研究更有效的人臉特征點提取算法，以適應頭部偏轉較大情況下的特征點提取。

在后續的研究中，將進一步研究更有效的人臉特征點提取算法，以適應頭部偏轉較大情況下的特征點提取。