多民族人臉表情變換

劉瑾煜+魏巍+李振元

摘要：我國是一個多民族國家。不同民族在表達相同表情時，會因文化，地域和習慣的不同，產生一定的區別。為了表達多民族人臉表情變換的特點，實現了一種以民族人臉中性表情為輸入，依據各民族人臉表情特點，自動生成的民族人臉表情變換方法。首先利用構建的多民族人臉表情數據庫標準人臉庫，多民族人臉表情庫，以及多民族人臉表情AU部件庫，統計多民族人臉表情變化時的規律，利用主動形狀模型ASM對民族人臉進行特征點定位。其次，根據統計不同民族人臉的表情，獲得民族表情變換參數，結合一般人臉表情變換參數計算民族人臉表情變換特征點的形變位置。最后，使用紋理映射和仿射變換生成變換表情后的人臉圖像。實驗結果顯示，所提方法能夠仿真出不同民族人臉表情變換的基本表情。

關鍵詞：計算機圖形；民族；人臉表情；仿射變換

中圖分類號：TP391.41 文獻標識碼：A DOI：10.3969/j.issn.1003-6970.2016.03.015

0引言

隨著計算機圖像技術的快速發展，人臉圖像處理越來越引人矚目，雖然人臉照片可以應用修圖軟件進行調光，美白，遮瑕等處理，但少有或沒有軟件可以直接對人臉表情進行變換。

基于我國是一個多民族國家，每個民族由于地域，習俗，飲食，文化等差異，可能會造成不同民族再變換同一表情時可能有一些區別，為了驗證這種想法是否正確，并探索其變化規律，本文將提出一種方法，基于人臉活動單元AU編碼等技術，利用多民族人臉表情數據，來探尋民族差異對人臉表情變化的影響并生成各個民族的多種表情。

1多民族表情變換系統架構

本文提出的多民族人臉表情變換，主要分為兩大模塊，第一個模塊是利用多民族人臉表情庫的中性表情與非中性表情計算出平均變化值C，第二個模塊是利用變化量C通過三角仿射變換來生成表情變換圖像。

第一模塊步驟如圖1，首先用某一民族的中性表情提取特征點，便可以得到中性表情各特征點的數據，在用相同的方法得到變化表情（如微笑）的特征點數據，通過對兩個數據的對比，可以得到表情的變化量C。再將同一民族多個人得到的同一表情變化量求平均值，最后可得到此民族多人平均的變化量C。以此方法，可求的不同民族多種表情的平均變化量。

第二模塊的步驟為圖2，首先求得任意中性表情的特征點參數，其次求出中性人臉網格，然后利用第一模塊求得的平均變化量C與中性表情特征點的參數進行運算，再略加調整，得到表情變換后的人臉網格，最后利用三角仿射變換，生成表情變換后的人臉圖像，得到最終的效果。

1.1統計各民族不同表情的變化規律

1.1.1建立多民族人臉表情數據庫

本文在爭得志愿者同意的前提下，采集了多民族的各種表情，完成了蒙古族，藏族，維吾爾族等20個民族的標準人臉庫MSFD（Multiethnic Standard Face Database），多民族人臉表情庫MFED（MultiethnicFacialmotion Database），以及多民族人臉表情AU部件庫MFAU（Multiethnic FacialAction UnitDatabase）的構建。如圖3。

1.1.2特征點定位

本文基于主動形狀模型（ASM）標定人臉特征點。

具體的方法是首先選取一張標準模型，對其重要的105個特征點進行規范標點，如圖4，并把標號的形狀作為標準形狀保存起來。然后選取未標定的圖像，并依次對其手動標定三個點：左眼，右眼，嘴中心，如圖5所示。根據這三個點和標準圖對應的三個點，計算仿射變換，并把所有的特征點都投射到該圖像上，如圖6。

1.13變化量C的計算

根據《人體測量方法》和大量的數據分析，人臉標定的105個特征點在變換表情時只有嘴部，眼部和眉的相對位置會發生較大的改變，而人臉的相對寬度（以下記作FW，即89號點與79號點橫坐標的差值）與鼻尖（即標定的46號點，以下記作NT）的相對位置不會發生改變。因此，為了使程序運行的更快，效果更加逼真良好，我們只對嘴部（49～68號點90-97號點）、左右眼部（28～39、98～105號點）、眉（18～27、69～73號點）的特征點求變化量。

由此得出一個公式來計算n組變化量的平均值：

即使是同一個人的兩張照片也會因一些不可避免的因素，也會使一些與研究無關的條件發生改變，從而造成計算差值的誤差太大。為了避免這種情況，我們需要選取一個參照物，即臉寬（FW）作為每一幅圖像變化的基本單位。

下圖7是通過五位少數民族同學的中性表情和微笑表情計算出來的部分特征點的變化參數C。

1.1.3計算表情變化后的坐標

同理，如果要求若變換某種表情時，任意中性圖片各個特征點的數據，只需要用原始坐標減去本圖像的單位參數即可得到變化后的坐標，得出以下公式：

只要將所得的坐標帶人圖像，就可以得到變換后特征點的坐標。

1.2人臉表情變換

得到變換后的特征點坐標后，還需要利用三角剖分原理來劃分人臉網格，然后再進行仿射變換，才能最終生成變換表情后的圖像。

因提取特征點的方式方法與第一模塊一樣，故此處不在贅述。

1.2.1人臉網格生成

本文采用Delaunay三角剖分算法生成人臉表情的三角網格，如下圖8。

1.2.2紋理填充與仿射變換

再得到中性表情網格和微笑表情網格的前提下，三角內部的像素值也要相對應的發生變換。本文采用仿射變換的方式，將中性表情自然的轉換為某種表情。利用生成的表情變化網格，對其進行紋理填充，可以得到如圖9的效果圖：

1.2.3添加經驗值進行優化

從圖9中看，利用求出的參數直接進行變換，效果不為明顯，主要是由于測試數量較少，和每個人的表情變化程度不同造成的，基于這兩個原因，可以對公式2添加一個經驗值參數N，從而放大表情變化的幅度。下圖10，為N=1.5時，生成的變化表情：

2實驗結果

本文在建立了較為完善的少數民族人臉表情數據庫，并利用主動形狀模型（ASM）標定人臉特征點，探尋了多個民族（如蒙古族，朝鮮組，維吾爾族，烏孜別克族）在變化多種表情（如喜怒哀樂等）時的規律，并找到了相對應的表情變化參數。

基于已知的表情變化參數，可以得到人臉在表情變換后的特征點位置，采用Delaunay三角剖分算法生成人臉中性即表情變換的三角網格，再利用紋理填充和仿射變換的方法對人臉三角網格進行像素填充，生成變換表情后的人臉圖像。

本文下圖11是烏孜別克族的表情變換。

3總結

本文在OpenCV和Matlab的環境下進行實驗，得出了多民族再變換不同表情時變化的參數，發現每個民族在變化同一表情時都有一些的差別，并且利用參數生成了人臉表情圖像。發現在完全運用已知參數來生成人臉圖像時，表情變換都較為淺顯，因此將已知參數放大0.1-1倍就會得到明顯的效果，又顯得較為自然。