對人臉表情遷移與分析方法的探討

胡詩琦

?

對人臉表情遷移與分析方法的探討

胡詩琦

（鄭州大學，河南 鄭州 450000）

人的面部表情是表達思想情感的重要渠道，人臉表情遷移則是通過先進的技術方法，再現人臉表情，以滿足藝術設計等領域的需要。首先對人臉表情遷移與分析的研究現狀進行了介紹，然后分別研究了靜態人臉表情遷移的頻域分析方法和動態人臉表情遷移的非線性TensorFace分析方法，并給出了具體的模型及算法。

人臉圖像；面部表情；表情遷移；遷移方法

人的面部表情是一種十分微妙的形體語言，對其進行分析，可以洞察人的內心世界。在影視、動漫等藝術設計領域，要塑造一個逼真的人物形象，對人的面部表情刻畫十分重要。在計算機技術的快速發展下，已經能夠通過采用相應的模型和算法再現人臉表情，實現人臉表情遷移。但不同算法各有優缺點，還需要對其進行進一步研究。

1 人臉表情遷移與分析的研究現狀

人臉的生理結構非常復雜，從外部的皮膚層到中間的肌肉層，再到內部的骨架層，都會對人的表情產生一定影響。一個表情的產生過程是臉部肌肉復雜運動的結果，常伴隨著眼輪匝肌、皺眉肌、口輪匝肌等的運動。有學者通過對不同種族的人臉表情進行分析，通過構建人臉表情編碼系統，將人臉劃分為44個獨立運動單元，并對各個運動單元的特征進行分析，指出不同運動單元的控制面區和對人臉表情的影響等。目前關于人臉表情遷移的研究較多，作為一個跨學科研究課題，其涉及的領域主要包括圖像處理、模式識別、計算機視覺、計算機圖形學、機器挖掘等。近年來，虛擬現實技術也在人臉表情遷移中得到了應用，并成為制作虛擬人物的重要技術手段。人臉表情遷移的應用領域十分廣泛，包括數字娛樂領域、企業辦公領域、醫療領域、刑偵領域等[1]。總體而言，對人臉遷移與分析方法進行研究具有多方面的意義。同時，由于人臉表情的復雜性，對其進行遷移或合成也具有較高的難度。目前已有的研究成果包括基于面部表情產生原理的肌肉模型、模擬人臉生理結構的有限元方程模型、基于行為驅動的視頻流獲取方法、三維人臉形變模型等。本次研究將在已有研究成果的基礎上，重點探討基于頻域分析方法的靜態人臉表情遷移和基于非線性TensorFace的動態人臉遷移方法。

2 靜態人臉表情遷移的頻域分析方法

2.1 人臉表情靜態遷移的特點

人臉是非剛性結構，在表情變化的過程中，存在自遮擋現象。比如產生高興和驚恐等表情，會引起人臉的眼部、嘴部發生非線性形變。人臉靜態遷移方法就是基于形變合成技術，通過訓練待遷移的表情形狀，將人臉表情紋理信息等映射到目標狀態下。但如果在遷移過程中，只關注于局部特征點的運動，而沒有實現對諸多微小褶皺信息的遷移，則會導致遷移圖像失真。因此，可采用將表情比率圖與形變模型結合的方法，使遷移圖像能夠最大化地保持人臉表情的特點。從目前已有的研究成果來看，有學者利用參數表觀模型（AAM）和主成分分析技術（PCA）對人臉表情的形狀、紋理分量等進行處理，然后通過合成再現人臉表情細節。也可以采用梯度下降搜索及其他優化方法，擬合人臉形狀與紋理分量。這些方法都對人臉表情靜態遷移提供了很好的思路。基于頻域分析的靜態人臉表情遷移，先對輸入的人臉圖像進行AAM處理，得到形狀和紋理分量，然后利用小波分解方法，將其變換到頻域，進一步合成人臉表情細節，最后完成人臉表情的合成。由于頻域中的圖像細節表現更加明顯，所以采用這種從時域變換到頻域的遷移方法可以獲得更好的人臉表情遷移效果[2]。

2.2 小波變換理論

在人臉表情分解和頻域變化的過程中，主要以小波變換理論為基礎。小波變化理論是由法國工程師J.Morlet率先提出的，屬于信號時間尺度分析方法，具有多分辨率分析的特點。相比于窗口傅里葉變換等，小波變換理論在時序和頻域都具有較好的局部化特性，非常適用于圖像信息提取，擁有“數學顯微鏡”之贊譽。在圖像處理方面，小波變化的基本流程是圖像信號輸入、小波正變換、頻域圖像處理、小波逆變化、圖像輸出。在人臉表情遷移過程中，還需要使用到連續小波變化，即對基本小波的尺度進行伸縮和平移。由于數字圖像具有二維離散信號的特征，也涉及到離散小波變化，即尺度和位移兩個參數是離散的，需要針對其具體參數進行離散化，而不是對時間變量.再加上實際觀測的信號是非連續的，所以必須要利用離散小波變化進行處理。目前在離散小波變換算法中，效率較高的是塔式算法，將輸入信號分為高頻與低頻一部分，高頻部分包含邊緣、突變信息，低頻部分包含輸入信號主要特征信息。

2.3 基于頻域分析的遷移方法

基于頻域分析的人臉表情遷移方法就是利用上述離散小波變化算法，將人臉圖像分為高頻、低頻兩部分分量，用高頻分量表現人臉紋理的詳細信息，用低頻分量表現人臉臉型和幾何結構特征信息。這種遷移方法的基本流程是采用AAM模型完成輸入圖像的形狀信息與紋理信息分離，然后將人臉形狀對齊到平均形狀下。選擇目標人臉中性表情后，經過仿射變化，將中性表情圖像映射到源人臉表情狀態下，得到形變后的目標人臉圖像。此時該圖像還缺少表情細節，需要對形變表情圖像進行二維離散小波分解。通過頻域變化得到源表情圖像與形變表情圖像之間的差異，計算合成圖形所需權值，然后通過頻域處理，提取出表情細節。最后將表情細節轉移到目標人臉圖像中，完成圖像合成。采用這種方法，能夠較好地保持源人臉表情圖像的細節，同時完美地嵌入到目標人臉的外貌特征中。

3 動態人臉表情遷移的非線性TensorFace分析方法

3.1 動態人臉表情遷移需求

人臉表情變化伴隨著復雜的肌肉運動，一些表情持續時間較長，一些表情可能轉瞬即逝，研究動態面部表情遷移方法需要充分考慮這些特點。而且從應用角度來看，掌握臉部動態變化比在靜態下完整的提取人臉表情特征更加重要。在動態人臉表情的研究中，需要同時關注人臉的特征信息及面部運動。其中，運動信息對合成真實感較強的人臉表情有重要影響。目前人臉表情遷移在影視和游戲制作方面已經得到了廣泛應用，比如《長江7號》中的“七仔”就是遷移了喜劇演員周星馳的人臉表情，這種技術在《阿凡達》《指環王》《金剛》等作品中都得到了廣泛應用。動態人臉表情遷移主要是通過構建人臉三維模型或建立人臉表情流，實現人臉表情的遷移與合成。在游戲制作領域具有出色表現的韓國研究機構利用計算機圖形學合成三維人臉動畫模型，在模型克隆過程中，可以較好地保持人臉個性特征。在借鑒已有方法的基礎上，本次研究主要采用非線性TensorFace模型完成動態人臉表情遷移，以多線性分析張量理論為基礎，滿足面部運動變化等方面的遷移需求[3]。

3.2 張量基本理論

張量基本理論研究的是多維矩陣，是在矢量與矩陣概念基礎上形成的一種確定類型，用來表達多線性概念。其中，張量維數稱為階數，三階以下的張量形象可以用圖示表示，三階以上則無法用圖示表示，統稱高階張量。張量的本質是多線性函數，在傳統線性方法基礎上，由矩陣奇異值分解（SVD）概念發展為張量SVD。利用張量人臉模型進行人臉表情遷移，可以在光照、姿勢、角度等多因素影響下，成功獲取人臉圖像特征，而且非線性較強。向量不能替代全部人臉表情信息，采用張量模型進行表征可以獲得更自然的模型數據。早期張量模型將人臉表情圖像的影響因素排列為高階張量，給定一組人臉圖像序列，將圖像按照像素信息、表情變化、結構特征等排列成張量D，用張量SVD對其進行分解，依次擴展到表情參數空間、像素基空間。相比于傳統線性分析方法，采用張量模型可以在人臉表情受多因素影響時，仍然采用統一基向量表示，分別利用不同模矩陣代表不同影響因素。最后在不同影響因素的相互作用下，生成人臉表情圖像。

3.3 基于非線性TensorFace的遷移方法

面部表情運動會同時引起人臉形狀及紋理信息的變化，可以采用AAM模型實現對人臉表情圖像中形狀、紋理的分離。其中，顯著特征點包括眼睛、嘴巴、鼻子、眉毛和臉輪廓等，表示為向量，紋理信息表示為向量，為描述動態表情序列，引入表情流，并與張量模型結合，可以同時解決人臉表情的線性與非線性問題。首先對人臉表情進行預處理，然后將中性表情紋理信息映射到表情平均形狀下，采用靜態處理的方法完成人臉圖像對齊，再進行歸一化，確保各圖像大小一致。接下來在給定人臉圖像訓練集上按結構特征、表情、像素信息等對人臉圖像進行排列，得到三階張量T。經過張量SVD分解后，樣本圖像被分解到結構特征空間、表情空間和像素空間中。其中，表情系數都是離散的，按從中性到峰值順序排列，采用樣條擬合方法進行插值。最后得到平滑的表情流結構，可代表表情動態變化過程，保持在表情鄰域結構中，此時可以用非線性TensorFace模型生成表情動態變化序列圖，為影視、游戲人物頭像制作等提供支持。

4 結束語

綜上所述，人臉表情圖像遷移由于人臉表情的復雜性以及運動過程中的復雜肌肉變化，導致其難度較高。通過在已有研究成果的基礎上，分別采用基于頻域的靜態遷移方法和基于非線性TensorFace模型的動態遷移方法，可以較好地再現人臉表情細部特征，反映其運動變化過程。本次研究提出的兩種遷移方法，可以為實際應用領域提供支持，滿足人臉表情遷移需求。

［1］劉春平，高翔，張建偉，等.基于人臉關鍵點的表情實時動態遷移［J］.現代計算機（專業版），2019（02）：41-45.

［2］翟懿奎，劉健.面向人臉表情識別的遷移卷積神經網絡研究［J］.信號處理，2018，34（06）：729-738.

［3］姜慧.基于遷移學習的人臉識別研究［D］.青島：青島科技大學，2018.

2095－6835（2019）05－0096－02

TP391.44

A

10.15913/j.cnki.kjycx.2019.05.096

〔編輯：王霞〕