基于交互式進化算法的三維表情動畫生成

中圖分類號：TP391

隨著網絡技術的不斷發展，人與人之間面對面的交流越來越少，取而代之的是通過各種社交媒體，使用文字或者是表情符號去交流。雖然表情符號可以輔助情感表達，但其真實度十分有限。而且人類情感極其復雜且豐富，即使傳達的是同一個表情符號，在不同的使用者看來，也可能是不同的情緒，所以用戶在選用表情符號或動畫時經常會遇到無法找到任何一個能準確表達自我的表情符號的情況。除情感表達之外，三維表情動畫也越來越多地應用在影視制作、虛擬現實、人機交互、醫療保健、心理研究等各種領域。因此，提出一種支持用戶引導的表情動畫生成方法具有十分重要的意義。

現今大多數的表情生成技術都是生成指定心理原型下的表情，如開心、驚訝等。例如深度神經網絡在生成6種基本表情圖像時表現突出，但在生成難以描述或非典型心理原型相關的表情時，卻表現不佳，導致可生成的表情類型受到限制。對于真實感更高的三維表情動畫，目前大多是采用數據采集設備或者專業的建模軟件得到[1-2]，過高的財力和人力成本

文獻標志碼：A

使得這些方法不具有普適性，無法推廣給用戶個人使用。另外，三維表情質量的高低很大程度上取決于用戶個人的喜好，一些用戶認為搞怪夸張的表情更好，另一些用戶則可能偏好真實生動的表情，這很難通過具體的數量指標來說明。若能在表情生成過程中直接將用戶的個人想法考慮到其中，定量評價指標缺失的問題將會得到有效的解決。

本文采用交互式進化算法（InteractiveGeneticAlgorithm，IGA）3]實現表情動畫的自動進化，基于由FaceGen[4導出的標準三維人臉模型，結合Dirichlet自由變形算 法（DirichletFree-Form Deformations，DFFD）5，提出了一套全新的表情動畫個體編碼。與傳統的遺傳算法（GeneticAlgorithm，GA）l相比，IGA根據用戶評價獲取每個個體的適應度值，這使得毫無專業知識背景的普通用戶可以參與到表情進化的過程中，引導表情動畫朝向個人偏好的方向進化。進化開始前初始種群隨機生成，無需事先給定相應心理原型下的目標表情編碼，進化過程由用戶把控，通過不斷的進化迭代，使進化得到的表情不再局限于一些典型的心理原型，如“快樂”“悲傷\"等，相反基因解碼后得到表情個體所對應的心理原型可能是用戶所理解的“無語”、“假笑”等，甚至無法用簡單的言語描述，全憑用戶個人理解。但也正因為引入了用戶評價過程，IGA通常會面臨用戶疲勞和種群多樣性過早喪失的問題。所以本文選擇采用多用戶評價的模式，并針對性地提出了兩種變異算子，旨在降低種群內表情個體之間的相似度，進化出豐富多樣、符合大眾審美的表情動畫。

1相關工作

1.1表情生成

除情感表達之外，三維表情生成技術因其在游戲或電影角色制作[7-8]、虛擬現實[9-10]、人機交互[11-12]、醫療美容[13]、心理研究[14-15]等領域的廣泛應用而越來越多地受到學者們的關注。當前主流的表情生成技術主要分為兩種：基于計算機圖形學的表情合成方法和基于深度學習的表情合成方法。早期基于計算機圖形學的方法通過變形三維模型得到表情，其中多需要專業人士參與調控[16-17]。如，Liu等[18]采用基于人工建模的圖像插值和變形方法，通過對多幀不同表情的人臉紋理和細節進行線性插值以獲取中間表情，從而得到連貫的表情動畫。Zhang等[19提出的幾何驅動的面部表情合成系統能夠在面部表情特征點位置給定的前提下，自動合成具有相應紋理細節的表情圖像。這類方法生成的表情精度很大程度上取決于使用的三維人臉模型的精度，故表情的精細度一直有待提升。基于生理結構的面部動作編碼系統（Facial Action Coding System，FACS）[20]，定義了44個模擬面部肌肉運動的動作單元（ActionUnits，AUs）。崔韶[21基于柔性AUs識別和剛性姿態估計的手段，將用戶實際的表情同步到虛擬角色上，但這在實際上并沒有直接生成表情動畫。Cuculo等22提出的OpenFACS系統允許用戶交互式地直接選擇需要激活的AUs以及激活的強度，從而直接獲取需要模擬的人臉表情。但由于AUs數量有限，采用FACS生成的表情通常都面臨多樣性不足的問題。基于深度學習的表情合成方法以生成對抗網絡（GAN）[23]為代表，GAN在生成二維表情圖像方面表現十分突出，它的各種變體[24-26]也被學者們不斷提出。Pumarola等[27]提出的GANimation網絡結合FACS，允許控制每個動作單元的激活幅度，這使得合成的表情圖像強度連續可變，克服了許多網絡僅生成強度單一的表情的問題。林本旺[28提出的稠密分組卷積生成對抗網絡減輕頭部姿態對于面部表情生成帶來的影響，但應用場景也還是局限于6種基本表情圖像的生成。Wang等[29]提出了一種基于GAN的地標引導殘差模塊，用于捕捉微妙的表情運動，該方法可以很好地將視頻序列中的任意表情轉移到源圖像上。然而，利用神經網絡直接生成三維人臉表情的相關研究仍然較少，主要是由于三維人臉數據的敏感性使得獲取合適的訓練數據集較為困難[30]。

以上這些方法都面臨著兩個問題：（1）缺少用戶的主觀評價，即沒有考慮用戶的個性化需求;（2）無法生成復雜多樣的心理原型對應的表情動畫。為此，本文設計表情動畫的基因編碼，采用交互式進化算法將用戶的偏好引入進化過程，根據編碼規則隨機生成初始種群，解碼后得到的表情動畫對應的心理原型和適應度值完全由用戶感知。

1.2交互式遺傳算法

IGA的概念最早是由日本學者Takagi3提出，其最核心的思想是將人的主觀評價引入到傳統的遺傳算法中，個體的適應度由用戶決定，這使得IGA在解決隱式優化問題時表現突出。

目前IGA在產品設計[31-34]、藝術創作[35-37]、圖像處理[38]與檢索[39-40]等領域都有廣泛的應用。但其在表情動畫生成方面的應用還較少。2018年，Hailemariam等[41]采用IGA進化表情動畫，他們根據面部F曲線設計編碼，在最初分別給定嘴部、眼部和頭部的若干種動作曲線，進化過程中僅兩父代相同的關鍵幀之間可以進行交叉，再將不同部位的動作曲線進行排列組合。這種情況下所有表情動畫的幀數和幀率都相同，而且每個部位的動作都局限在最開始給出的動作庫中，合成的表情不夠多樣。同年Reed等[42]提出的基于用戶引導的表情動畫生成也具有相同的問題，所生成的表情都局限于FACS中所提供的44個運動單元的排列組合，很難進化出令人感到驚喜的表情。故本文的編碼結合DFFD算法，旨在能夠生成新穎、豐富多樣的三維表情動畫。

1.3 Dirichlet自由變形算法

自由變形（Free-FormDeformation，FFD）算法[43]是一種與物體表示無關的變形方法，它能夠被廣泛地應用于計算機動畫和幾何建模中。本文使用的DFFD算法[5是FFD的一種傳播較廣的改進，其特點在于引入了Sibson局部坐標系統[44]之后，算法允許控制點集合在合理范圍內自由設定。一旦控制點確定，每個頂點的Sibson坐標將保持不變，這避免了在多次變形過程中重復計算頂點坐標，從而提高了算法處理高維數據的效率。當控制點集 P_c={p_ci|i=

1，2，…，n} 和待變形的點集 P={p_i|i=1，2，…，q} 確定后（其中 p_ci 和 p_i 均表達了具有三維坐標的空間中的某個點），依次找到待變形頂點 p_i 的Sibson鄰居點集合 （20 P_s^（i）?P_c ，便可計算p_i 的 Sinson 坐標 X^（i）={x_j^（i）|j=1，2，…，m} ，其中 m 為點 p_i 在控制點集 P_c 下的Sibson鄰居數。點 p_i 變形后的坐標可以根據式 （1）^[45] 計算得出，其中 Δp_sj^（i） 是點p_i 的第 j 維個Sibson鄰居點的坐標增量，這由控制點集的坐標增量 ΔP_c={Δp_ci|i=1，2，…，n} 給出。

考慮到面部表情的變化主要體現在眼晴、眉毛和嘴部，本文的基因編碼會主要針對這3個部位進行設計，其中眉毛和嘴巴兩部分的動作使用變形算法控制。本文首先選取了10個面部關鍵點作為第1級變形的控制點集合 P_c¹={p_ci¹|i=1，2，…，10} ，如圖1所示，分別是左右眉的眉尖、眉峰和眉尾，左右嘴角、上下嘴唇的中點。為優化變形效果，第1級變形將控制點集 P_c² 作為待變形的點， ΔP_c² 可根據第1級變形的結果計算得出。第2級變形則通過控制點集 P_c² 的移動去牽引整個面部網格其他頂點的移動，最終表現為面部肌肉的運動。由于 P_c² 數量較多且選取方式不唯一，這里不再列出。

2交互式進化算法的實現

群中適應度最低的兩個個體，用父代種群中適應度值最高的兩個個體替換；（2）在開始進化之前無需預設目標表情動畫，支持用戶在任意一代保留自己偏好的個體而不終止進化，故希望每一代種群中的個體盡可能多樣化。

2.1IGA進化流程

IGA算法流程與GA基本一致，差別在于個體適應度值不再由適應度函數計算，而是根據用戶的評價直接給出，本文IGA的算法流程如圖2所示。在開始進化前，需要根據設計好的基因編碼規則隨機生成初始種群，解碼后呈現給用戶的表情個體為gif動圖文件。區別于常規的IGA，本文的進化流程有兩點不同：（1）引入精英替換策略，對于當前代的種

圖2交互式進化算法流程圖Fig.2 Flow chart of interactive genetic algorithm

2.2 編碼方式

圖1面部關鍵點 Fig.1Facial key points

本文進化得到的三維面部表情動畫最終以gif文件呈現，一個表情動畫的變化過程如圖3所示。為了使個體的表現更加豐富，每個表情動畫個體包含兩個靜態目標表情Expression1和Expression2，初始的Expression0為不帶任何表情的標準人臉。在圖3中，從ExpressionO變化到Expression1，再變化到Expression1'，是一個完整的表情變化過程，同樣從Expression 1'到 Expression 2，再到 Expression 2'，是第2個完整的變化過程，兩個過程的變化規則相同。

以第1個完整的表情變化過程為例，如圖4所示，我們考慮6個部位的動作，分別是左右眉、左右眼、嘴部和頭部。每個部位單獨運動，這意味著不同部位動作的速度、起始幀和結束幀互不影響。同時每個部位都有4個動作過程，依次是P1-s，P1-m，P2-s和 P2-m ，如圖5所示，圖中矩形條的長度表示對應過程耗費的幀數。以嘴部的動作為例，過程P1為朝向目標狀態的變化過程，過程P2為回復過程，即當嘴部從初始狀態Mouth0變化到目標表情Expressionl的嘴部狀態Mouth1后，再回到初始狀態Mouth0的過程。但是此回復過程是否存在取決于嘴部的回復控制位，若該控制位基因的值為0則過程P2不存在。 Px-s 和 Px-m 1 為1或2決定著動作過程 Px 的起始幀與結束幀， Px-s 為動作開始前保持靜止的幀數， Px-m 為持續動作的幀數，持續的幀數越少，動作變化越快。

圖3表情動畫的變化過程

Fig.3Changing process of an expression animation

圖4第1個完整的目標表情變化過程

Fig.4Whole changing process of the first target expression

圖5一個目標表情變化過程的4個動作過程（以嘴部動作為例）

Fig.5Four movement processes for one target expression （Taking mouth as an example）

綜上，染色體編碼需要包含兩個目標表情的信息以及表情變化過程的幀數信息。圖6示出了個體表情動畫的染色體結構，1條染色體由4段基因組成（C1～C4），共有134個基因位。各基因位點的含義在單個目標表情的編碼規則（表1和各部位4個動作過程的幀數信息編號規則（表2）中也有說明。C1和C2控制Expression1的變化過程，C3和C4控制Expression2的變化過程。表情個體的染色染編碼向量可以表示為 I_a={c_a1 ， c_a2，…，c_ai，…，c_a134} ，其中 c_ai 表示第 i 個基因位。

本文采用實數編碼的方式，首先兩個靜態目標表情的編碼規則相同，表1示出了單個目標表情的編碼規則，共37位基因，對應圖6中的C1和C3基因段。就單個表情而言，左右眉和嘴部的動作形態通過圖1中10個面部關鍵點的坐標變化量 ΔP_c¹ 控制（其中上角標1表示第1層變形，下角標c表示控制點集合）。從表中可以看出，對于左右眉，我們選取了眉尖、眉峰和眉尾的 x 、 y 坐標增量，角標 i 代表的是圖1中關鍵點 p_ci¹ 的索引。另外，對于每個部位均設有對稱約束位，用于控制左右兩邊的動作是否對稱，故目標表情中左眉和右眉的形態共由13位基因（C1中 c_a1～c_a13，C3 中 c_a68～c_a80 ）控制。嘴部共由11位基因（C1中 c_a21～c_a31 、C3中 c_a88～c_a98 ）控制，本文選取了左右嘴角的 x 、 y 坐標，以及上下嘴部中點的 x 、y、 z 坐標增量，同樣，對稱約束位用于控制左右嘴角的動作是否一致。為了防止出現過分夸張的表情，我們事先給出了各個坐標值變化的上限。除了控制下嘴部中點 y 坐標的基因取值范圍在[-1，0.5]外，其他基因取值都在[-1，1]。基因與相應的上限相乘即可得到圖1中10個關鍵點的坐標增量 ΔP_c¹

眼部動作包括眼球的旋轉和眼皮的閉合程度，基因取值均在[-1，1]，同樣眼部也設一個對稱約束位，用于控制左右眼的動作是否一致，故靜態目標表情中控制眼部動作的基因共7位（C1中 c_a14～c_a20 ！C2中 c_a81～c_a87 ）。頭部涉及上下旋轉、左右旋轉和歪頭3個動作，控制頭部動作的基因共6位（C1中c_a32～c_a37 、C3中 c_a99～c_a104 ），其中3位用于控制這3個動作是否發生，另外3位控制相應動作的幅度，取值在 [-1，1] 。故控制一個靜態目標表情的基因編碼共37位，即C1和C3基因段各37位，分別負責控制兩個靜態目標表情。

圖6個體表情動畫的染色體結構

Fig.6 Chromosomal structure of expression animation individuals

表1中6個面部部位動作的過程主要由圖6中的C2和C4基因段（各有30個基因位）控制。表2示出了C2和C4基因段中各基因位點的含義，從表中可以看出，對于每個部位都有相應的基因位點去控制4個動作過程（P1-s、P1-m、P2-s、P2-m）的幀數，另外每個部位均設有回復控制位“Retumornot。為了控制生成的表情動圖gif文件的大小，解碼時可以預設最大幀數的限制，故控制4個動作過程的幀數的基因位取值范圍在0～1之間，同樣與幀數上限相乘并取整后得到相應過程的實際運動幀數。回復控制位\"Returnornot\"取值為0或1。

綜上，一個完整的表情變化過程的編碼共有67位（ Cl+C2 或 C3//C4 基因段），C1和C3、C2和C4中的基因值不同，但含義基本相同，所以一個表情動畫個體共包含兩個相互獨立的表情變化過程，染色體共有 67×2=134 位基因。

2.3遺傳策略

針對本文表情動畫的個體編碼規則，本文初步選取了表現較好的平坦交叉[46]和均勻變異[47]策略。如式（2）所示，平坦交叉依次操作每一位基因，子代的基因值隨機落在兩父代對應的基因值之間，交叉一次只得到一個子代。其中兩父代 I_a 與 I_b 的染色體編碼為： I_a={c_a1，c_a2，…，c_ai，…，c_a134} ， I_b={c_b1 c_b2，…，c_bi，…，c_b134} ， u_i 為0～1之間的隨機數， c_i^' 為子

表1單個靜態目標表情的編碼規則

Table1Coding rules of a single static expression

表2各部位4個動作過程的幀數信息編碼規則

Table2Coding rules of frame number information of four movement processes in various parts

代第 i 位的基因值。

c_i^'=min（c_ai，c_bi）+u_i|c_ai-c_bi|

對于需要變異的基因位，均勻變異直接在該基因位的取值范圍內隨機生成一個新值 c_i^′′ 取代原有基因值，如式（3）所示。 lo_i 和 up_i 分別是該基因位的上、下限值， r_i 為該基因位的變異點。

為了解決IGA的小種群規模帶來的種群多樣性過早喪失的問題，本文基于均勻變異提出了另外兩種變異策略，分別是帶屏蔽區間的均勻變異（Uniformmutationwithexclusionzones）以及共享變異點的均勻變異（Uniform mutation with shared mutation points）。前者改進變異機制，后者結合編碼的實際意義改進基因變異點 r_i 的給定方式。本文從基因編碼層面去量化個體間的相似性從而去衡量種群多樣性，種群內個體間平均相似性越高，表明多樣性越低。因此，本文將比較不同變異算子在降低種群內平均相似度（Intra-populationsimilarity）[i5]方面的效果。

2.3.1 種群內平均相似度由于文中種群多樣性個體染色體編碼涵蓋不同的基因取值范圍，部分基因位點采用0-1編碼的方式表示不同的屬性，如是否回復位和是否轉頭等，故而在進行相似度計算時需要將屬性相似與空間數據相似進行融合；并且由于編碼長度較長，維度災難問題也需要得到妥善處理，所以本文個體間相似度基于謝明霞等[48]的研究，按式（4）進行計算。其中 sim_a，b 為個體 I_a={c_a1，c_a2，…，c_a134} （204號與個體 I_b={c_b1，c_b2，…，c_b134} 之間的相似度; l=134 ，為個體基因編碼的長度; w_i 為第 i 維的權重， w_igt;1 ，w_i 取值越小，第 i 維對計算結果的影響越大。在本文中，控制靜態目標表情的基因位對應的 w_i 值相對較小。 δ（c_ai，c_bi） 算子的引入減小了布爾位帶來的偏差，當第 i 維為布爾位，且 c_ai≠c_bi 時， δ（c_ai，c_bi）=0 ；其他時候， δ（c_ai，c_bi）=1 。

另外，由于個體編碼的數據維度過高，個體之間的初始相似度 sin_a，b 大多集中在0.5附近。本文為了放大不同相似度之間的差異，再對 sin_a，b 進行sigmoid放縮，最終得到 sim（I_a，I_b） 用于衡量個體 I_a 與 I_b 之間實際的相似度。所以，若以 I={I₁，I₂，…，I_N} 表示當前種群集合，則種群內平均相似度 simI 可以由式（5）計算得出。

2.3.2帶屏蔽區間的均勻變異屏蔽區間的核心思想是通過避開原基因值附近的值以提高不同表情動畫的染色體編碼的差異性。屏蔽空間如圖7所示，在原基因值 c_i 的左右兩邊各有一段長度為 d 的屏蔽區間，變異后得到的新值隨機落在 [log_id_-]∪[d₊，up_i] 中，也就是在屏蔽區間之外。屏蔽區間長度 d 主要由simI 和當前代種群多樣性決定。

圖7屏蔽區間Fig.7Exclusion zones

種群多樣性的計算主要與 simI 和種群中個體分布相關，式 （6）^[49] 為種群中個體分布的均勻度 γ（t） 的計算方法，其中 f_avg^t 、 f_max^t 和 f_min^t 分別為第 t 代種群適應度的平均值、最大值和最小值。 σ（t） 是第 t 代種群的適應度方差， max{σ（t）} 和 min{σ（t）} 分別表示進化到第 t 代時適應度方差的最大值和最小值。γ（t） 的值越接近1，表示種群分布越均勻。因此，種群多樣性指標定義如式（7）所示，當 div（t） 越接近1時，種群多樣性越高。

div（t）=γ（t）?[1-simI（t）]

我們希望當種群內相似度越高或種群多樣性越低時，屏蔽區間的長度更長。但為了避免局部最優解逃逸現象的發生，僅當種群多樣性低于一定范圍時，屏蔽區間才被引入。所以對于第 Φ_t 代的每個個體，對每一位需要變異的基因，屏蔽區間長度 d 根據式（8）計算。 f[div（t）] 可以取3種形式，分別是cos、sin和linear，用于控制 d 隨 div（t） 的變化趨勢，如式（9）所示。

其中， s 用于控制屏蔽區間的最大長度 d_max 隨當前代的 simI 的變化趨勢。 k 用于控制 div（t） 值的閾值，當 div（t） 超過 k 時，不再存在排除區間。

圖8（a）示出了不同 s 值下 d_max 隨 simI 的變化情況，從圖中可以看出， simI 一定時， s 越小， d_max 的值越大。圖8（b）和圖8（c）分別示出了不同的 k 值和 f 函數對 d 的影響。圖9示出了 l₁=0.8 、 l₂=0.2 、 s=2.0 、k=0.4 ！ f 取cos時， d 隨 simI 和div（t的變化，可以看出，當 simI 越大， div（t） 越小時， d 越大。

2.3.3共享變異點的均勻變異由2.2節可知，一條表情動畫的染色體主要可以分為靜態目標表情的控制位（C1和C3基因段）和運動過程的幀數控制位（C2和C4基因段）兩個部分，其中對最終呈現效果影響更大的是靜態目標表情的控制位。因此，共享變異點的均勻變異主要是為靜態目標表情的基因控制位（C1和C3基因段）設計的，也就是說對于C2和C4基因段還是采取原始的變異方式。此方法核心思想在于相同的面部部位傾向于有相同的變化，對于控制同一個部位的基因位設置相同的變異點，即式（3）中參數 r_i 的值被設置為相同的隨機值，但是變異方式還是采取均勻變異。面部部位根據表3劃分，以控制目標表情Expression1左眼的3個基因位c_a14～c_a16 為例，這3位基因的變異點 r₁₄～r₁₆ 共享相同的值 r₁^EL 。相較于表1中的面部區域劃分，這里再將嘴部動作的控制基因段細分為了左嘴角、右嘴角和嘴部中點3段。

2.4用戶評價和適應度更新

本文的用戶評價環節充許多位用戶同時根據自己的喜好選擇自己喜歡的表情動畫。為減輕用戶的任務量，我們不需要用戶對每個表情個體評分，取而代之的是\"收藏（Collect）\"和“保存（Save）\"兩個操作，如圖10所示（圖中進化代數為23）。用戶對于滿意的表情可以點擊“收藏”，而對于想留下的表情可以進一步\"保存\"到自己的表情庫中。這樣簡單的選擇方式同時也減小了因為主觀因素引起的評分偏差。個體 I_a 的適應度值 F（I_a） 根據其收獲的收藏數 c（U，pmbI_a） 和保存數 u（U，I_a） 按式（10）進行更新，其中 U 為用戶集合， U={U₁ ， U₂，…，U_M} ， M 是參與評價的用戶的總數。

F（I_a）=c（U，I_a）+2ν（U，I_a）

3 實驗部分

為了克服無法獲取足夠多的實際用戶數據用于多次對比實驗的問題，本文引入了一個簡易的多用

圖8不同的k、s、 f 對屏蔽區間長度的影響（ l₁=0.8 ， l₂=0.2 ）

Fig.8Impact of different k， （204號 s valuesand f function forms on the length of exclusion zones （ 號

圖9屏蔽區間長度隨 simI 和div（t）的變化趨勢 Fig.9Changing trends of the length of exclusion zones with siml and div（t）

戶行為代理模型用以輔助實驗，在參數確定以及算子有效性驗證時使用用戶偽代理模型進行實驗，驗證本文所提方法有效性時則邀請了實際用戶參與實驗。

3.1多用戶偽代理模型

用戶偽代理模型用來模擬用戶在選擇偏好表情時的行為，通過收集多位用戶在選擇表情動畫時的心理，發現了兩個最明顯的規律：（1）每位用戶都有自己獨特的偏好，有些用戶更傾向保存夸張搞怪的表情動畫，他也愿意收藏普通但真實的表情；然而有些用戶只看重表情的真實性，他們只收藏或保存能明顯看出心理原型的表情，如高興、悲傷等。（2）當進入到進化后期，種群中表情的相似度變高，對于同一種群中類似的表情動畫，用戶可能只會保存其中一個，而不會每一個都保存。對于第（1）點，本文記錄了由多個實際用戶選出的100個偏好表情動畫的編碼，作為100個用戶的偽代理模型，用來表示不同用戶的不同偏好，則表情個體 I_a 收獲到的來自用戶偽代理模型的收藏數和保存數可根據式（11）計算，其中 U={U₁，U₂，…，U_j，…，U_M}，M=100 ，為用戶偽代理模型的集合， sim（U_j，I_a） 為個體 I_a 與偽用戶模型U_j 的相似度，thc和thv分別是達到收藏和保存條件的相似度閾值。

鑒于提到的第（2）點，每一代收藏的閾值thc和保存的閾值thv根據當代的 simI 進行調整，如式（12）所示。保存是在收藏的基礎上進行，所以thv要適當高于thc。在同一代種群中，用戶往往不會選擇兩個高度相似的個體，保存兩個相似個體的可能性更小。所以，在本文中，當 simI 超過一定值時，thc和thv都隨 simI 的增大而增大，且thv增大的趨勢被設置得更快。圖11所示為實際用戶引導進化時，simI對種群所獲的收藏數和保存數的影響，從圖中可以看出，當 simI 達到0.50時，收藏數和保存數的上升趨勢明顯停滯，保存數甚至開始下降。同時考慮用戶的直觀感知，當 simI 超過0.60時，就能明顯感覺到種群中同代表情動畫個體的表現越來越相似，此時種群多樣性已喪失，當 simI 維持在0.50以下時，表情動畫的多樣性較高。故thc和thv的起始值分別設置為0.45和0.55，當 simI 超過0.45之后，thc和thv開始隨 simI 增大而增大。

3.2基于用戶偽代理模型的實驗

實驗所用交叉策略為2.3節中的平坦交叉，選擇采用輪盤賭[50的方式，通過對比不同變異策略和參數下的種群平均適應度值（ ）、最大適應度值（ F_max（I）） 和 simI ，確定式（8）和式（9）中的最佳參數以及最佳變異策略。實驗中種群大小 N=10 ，最大迭代次數 G=50 ，交叉率（pc）和變異率（pm）分別被設置為1和0.2。為了減少單次實驗帶來的偶然性，每種變異策略下的評價指標都是100次重復實驗之后的均值。

3.2.1帶屏蔽區間的均勻變異第1組實驗選擇式（9）中的 f 為cos函數、并將 k 值設為0.4，對比不同s 取值下 、 F_max（I） 以及 simI 隨進化過程的變化，結果如圖12所示。從圖12中可觀察到，當s?1.0 時， 的值明顯比 s 取其他值時要低；當s?2.0 時，不同 s 值下 之間的差異不明顯。同時，不同 s 值下的最大適應度 F_max（I） 幾乎相等，這表明不同的 s 取值對每一代種群中最優個體的搜索并沒有顯著影響。值得注意的是， s 的值越小，在進化過程中 simI 也越低。在保持種群質量，即種群的平均適應度值 沒有明顯下降的前提下，當 s=2.0 時 simI 最低。

表3帶屏蔽區間的均勻變異中不同面部部位的變異點

Table3Mutation points for different facial parts in uniform mutation with exclusion zones

圖10用戶評價界面

Fig.10 User evaluation interface

圖11收藏數和保存數隨simI的變化趨勢

Fig.11 Changing trends of save number and collect number with simI

第2組實驗同樣選擇cos函數，并固定 s 取值為2.0，對比不同 k 值下帶屏蔽區間的變異算子的表現，如圖13所示。從圖中可以明顯看出 和 simI 都隨 k 值的增大而減小，然而當 kgt;0.4 時， F_max（I） 也開始有明顯的下降。當 k=0.4 時， 相比k?0.3 時略微有下降，但此時可以保證最大適應度不下降，并同時將 simI 保持在0.50以下。綜合考慮不同的 s 和 k 取值對適應度值和種群相似度的影響，最終選定 s=2.0 、 k=0.4 0

最后，本文還對比了不同的 f 函數對帶屏蔽區間的均勻變異算子性能的影響，如圖14所示，從圖中可以看出，不同的函數形式對該變異算子的表現并沒有很大的影響，但當 f 采用cos形式時， simI 在進化過程中最低。所以最終確定屏蔽區間長度 d 的計算公式如式（13）所示：

3.2.2不同變異算子的對比實驗將原始的均勻變異作為對照組，對比本文提出的兩種變異算子，本文考察了 、 F_max（I） 、 simI 的變化趨勢，如圖15所示。從圖中可以看出，在表情進化過程中，采用均勻變異算子時，大約在第10代時simI值超過了0.60，而本文所提出的兩種算子可以在不影響種群適應度的前提下，很好地將 simI 保持在0.60甚至是0.50以下，從而在提高了種群多樣性的同時保持了整個種群的質量，尤其是帶屏蔽區間的均勻變異能夠將 simI 保持在0.50以下。

圖16和圖17分別示出了在指定進化代數下、3種變異策略各自實驗100次，simI超過0.50或0.60的實驗次數。結果表明，在100次實驗中，采用帶屏蔽區間的變異策略時，simI超過0.50和0.60的次數都是最少的，尤其是 simI 超過0.60的次數基本都在5次以下。和原始的均勻變異相比，采用共享變異點的均勻變異時， simI 超過0.50的次數略少，但超過0.60的次數相比均勻變異有明顯下降。表4示出了在指定進化代數下整個種群的總保存數，即每個個體被保存的次數的總和，總保存數越高，說明當前種群越受用戶所喜愛。從表中的數據可以看出，在整個進化過程中，采用均勻變異策略時種群收到的總保存次數總是最少的。

3.3 真實用戶評估

在實際用戶的評估階段，本文邀請了20位用戶跟進20代的表情動畫進化過程，每位用戶同時對3種變異策略下所得的種群進行選擇，并根據自己的偏好去收藏或保存表情個體。為確保結果的全面性和客觀性，選取的20位用戶性別比例均衡（男女各半），并涵蓋了多樣化的專業背景。其中，4名用戶為本實驗室成員，具備與本研究相關的專業背景，另外

圖12帶屏蔽區間的均勻變異中，不同 s 值下 、 F_max（I） 和 simI 的變化趨勢

圖13帶屏蔽區間的均勻變異中，不同 k 值下""、 F_max（I） 和 simI 的變化趨勢

圖14帶屏蔽區間的均勻變異中，不同 f 函數下 、 F_max（I） 和 simI 的變化趨勢

圖153種變異策略下， 、 F_max（I） 和 simI 的變化趨勢

Fig.15Trends of ， F_max（I） and simI under three mutation operators

圖16 simIgt;0.50 的實驗次數

6名用戶來自校內其他專業，余下的10名用戶為社會人士，他們年齡分布在20～50歲，學歷從高中至碩士，職業包括醫生、銷售代表、軟硬件工程師等，代表了廣泛的社會群體。

實驗過程中，為了降低用戶多次重復評價的不穩定性，首先在開始實驗前，每位用戶都有機會熟悉評分規則和系統；正式開始實驗時，3種變異算子下的進化同步進行，即用戶每次對3種算子下的種群同時進行選擇，但是用戶并不知曉當前評價的種群背后使用的變異算子類型。實驗過程中，用戶“收藏/保存\"的操作從評價方式上減輕了用戶疲勞，一定程度上降低了用戶疲勞帶來的評價偏差。圖18示出了實際用戶參與時、3種變異策略下， 、 F_max（I） 和simI 的變化趨勢。從圖中可以看出，我們提出的變異策略在實際用戶參與評估時也起到了良好的作用，3種變異方法下種群的 都穩步提升，但本文提出的兩種變異策略在降低 simI 方面有明顯效果，同時還在一定程度上提升了種群中最優個體的適應度值。

圖19示出了實際用戶選擇下第20代的表情動畫個體。由于我們的初始種群是隨機生成的，并且不同用戶的選擇偏好也不盡相同，所以每次進化過程最終都會產生出各種各樣，甚至意想不到的表情。這也說明了在不預先給定心理原型的條件下，通過本文的方法自動進化出復雜多樣的表情動畫供給用戶挑選是切實可行的。

圖17 simIgt;0.60 的實驗次數

表4100次實驗中總保存數均值

Table 4 Average total save number of1o0 experiments

4結束語

針對目前大部分的表情生成方法所面臨的多樣性不足和缺少實際用戶評價的問題，本文采用IGA引入多用戶評價，并結合DFFD算法提出了一套全新的三維表情動畫編碼。區別于一般的表情生成方法，本文方法不需要預設目標表情的心理原型，這使得進化得到更加復雜多樣的表情動畫成為現實。將用戶評價嵌入到整個表情生成過程的方式，降低了表情生成的門檻，使得普通用戶也可以輕松生成自己喜歡的表情動畫，很好地解決了生成表情時缺少用戶主觀評價指標的問題。另外，考慮到采用IGA進化表情動畫時所面臨的種群多樣性過早喪失的問題，本文提出了帶屏蔽區間的均勻變異和共享變異點的均勻變異算子，實驗結果表明，這兩種變異算子在降低種群內表情個體之間的相似度方面具有明顯的優勢。兩種算子的思想也可以用于其他使用IGA的場景，防止種群在進化過程中過早收斂。

圖18實際用戶參與時，3種變異策略下， 、 F_max（I） 和 simI 的變化趨勢

Fig.18 Trends of ， F_max（I） and simI under three mutation operators， evaluated byactual users

圖19實際用戶選擇下第20代的表情個體示例

Fig.19Several expression animations of the 2Oth generation under the actual user's choices

本文后續將設計更加有趣的用戶評價方式并進一步完善用戶偽代理模型，旨在減輕用戶評價負擔的同時進一步提高表情動畫的多樣性。此外，目前的表情動畫僅在標準人臉模型上呈現，后續將嘗試遷移到各種不同的人臉模型上，進一步提高用戶在表情生成過程的可操作空間。

參考文獻：

[1] MINR，KOSE N，DUGELAYJL.KinectFaceDB：A kinect database for face recognition[J].IEEE Transactions onSystemsManamp;Cybernetics Systems，2017，44（11）： 1534-1548.

[2] CHENH，WANGL，LIUW，etal.CombinedX-rayand facial videos for phoneme-level articulator dynamics[J]. Visual Computer，2010，26（6/8）：477-486.

[3] TAKAGI H. Interactive evolutionary computation：Fusion ofthe capabilities of EC optimization and human evaluation[J].Proceedingsof theIEEE，2001，89（9）：1275-1295.

[4] 卞芳明.巧做人物面部表情動畫一 淺談FaceGenModeller與Maya的結合制作[J].電視字幕（特技與動畫）， 2007（9）： 39-41.

[5] MOCCOZETL，THALMANNNM.Dirichletfree-form deformationsand theirapplication to hand simulation[C]//Computer Arimation and Simulation 97： Proceedings of the Eurographics Workshop.Geneva， Switzerland： IEEE，1997：93-102.

[6]EIBENAE， SMITHJE.Introduction to evolutionary computing[J].Assembly Automation，2004，24（3）： 324.

[7]AMINI R，LISETTIC，RUIZG.HapFACS 3.0：FACSbased facial expression generator for 3D speaking virtual characters[J].IEEE Transactions on Affective Computing， 2015，6（4）： 348-360.

[8]MOLANOJSV，DIAZGM，SARMIENTO WJ.Parametric facial animation for affective interaction workflow for avatar retargeting[J].Electronic Notes in Theoretical Computer Science，2019，343：73-88.

[9]CAO C，BRADLEYD，ZHOUK，et al.Real-time highfidelity facial performance capture[J].ACM Transactions on Graphics（TOG），2015，34（6）：225.

[10]THIES J，ZOLLHOFER M，STAMMINGER M，et al. Face2Face： Real-time face capture and reenactment of RGB videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Las Vegas， NV，USA：IEEE，2016：2387-2395.

[11] HYUNG HJ，YOON H U，CHOI D，et al.Optimizing android facial expressions using genetic algorithms[J]. Applied Sciences，2019，9（16）：3379.

[12] NI H，LIU J.3DFace dynamic expression synthesis system based on DFFD[C]//2019 IEEE 3rd Information Technology，Networking，Electronic and Automation Control Conference （ITNEC）.Chengdu，China：IEEE，2019：1125-1128.

[13] CHARLINEG，LAURENCEC，HUNSTEPHANIE，etal. Children facial expression production： Influence of age， gender，emotion subtype，elicitation conditionand culture[J].Frontiers inPsychology，2018，9：446.

[14] CARLISI CO，REEDK，HELMINKFGL，et al.Using genetic algorithms to uncover individual differences in how humans represent facial emotion[J].The Royal Society， 2021（10）：202251.

[15]YAN S， SOLADIE C，SEGUIER R. Exploring mental prototypes by an eficient interdisciplinary approach：Interactive microbial genetic algorithm[C]//2023 IEEE 17th International Conference on Automatic Face and Gesture Recognition （FG）.Waikoloa Beach，HI，USA：IEEE，2023：1-8.

[16]ZHANG Y，JIQ，ZHU Z，et al.Dynamic facial expression analysis and synthesis with MPEG-4 facial animation parameters[J].IEEE Transactions on Circuits amp; Systems for Video Technology， 2008，18（10）： 1383-1396.

[17] 王俊培.真實感三維人臉表情動畫生成[D].北京：北京 工業大學，2011.

[18] LIU Z， SHAN Y， ZHANG Z. Expressive expression mapping with ratio images[C]//Computer Graphics and Interactive Techniques. USA： ACM， 2001： 271-276.

[19]ZHANG Q，LIU Z，GUO B，et al. Geometry-driven photorealistic facial expression synthesis[J]. IEEE Transactions on Visualization and Computer Graphics， 2006; 12（1）： 48-60.

[20]EKMAN P， FRIESEN W V. Facial Action coding system （FACS）：A technique for the measurement of facial actions[J].Rivista Di Psichiatria，1978，47（2）： 126-138.

[21]崔韶.人臉面部特征識別與虛擬角色表情生成算法研究 [D].河北：河北科技大學，2023.

[22] CUCULO V， D'AMELIO A. OpenFACS： An open source FACS-Based 3D face animation system[C]// Intermational Conference on Image and Graphics.Beijing， China： Springer Intermational Publishing，2019：232-242.

[23]GOODFELLOWI，POUGET-ABADIE J，MIRZA M， et al. Generative adversarial nets[C]//Advances in Neural Information Processing Systems.USA： MIT Press， 2014： 2672- 2680.

[24]CHOI Y， CHOI M， KIM M， et al. Stargan： Unified generative adversarial networks for multi-domain image-to-image translation[C]/IEEE Conference on Computer Vision and Patern Recognition. Saltlake City， UT， USA： IEEE， 2018： 8789-8797.

[25]KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020，43（12）： 4217-4228.

[26]EKMAN P. Constants across cultures in the face and emotion[J]. Journal of Personality and Social Psychology，1971， 17（2）： 124-129.

[27]PUMAROLA A，AGUDO A，MARTINEZ A M，et al. Ganimation： Anatomically-aware facial animation from a single image[C]//Proceedings of the European Conference on Computer Vision （ECCV）. Springer International Publishing，2018， 818-833.

[28]林本旺.基于生成對抗網絡的人臉表情生成方法研究 [D].北京：北京建筑大學，2023.

[29]WANG X， WANG Y，LI W， et al. Facial expression animation by landmark guided residual module[J]. IEEE Transactions on Affective Computing， 2023， 14（2）： 878-894.

[30]POTAMIAS R A， ZHENG J， PLOUMPIS S， et al. Learningtogeneratecustomized dynamic 3D facial expressions[C]//ComputerVision-ECCV2020：16th European Conference. Glasgow， UK： Springer International Publishing，2020： 278-294.

[31]ZHU X，LI X， CHEN Y，et al. Interactive genetic algorithm based on typical style for clothing customization[J]. Journal of Engineered Fibers and Fabrics，2020，15（10）： 1-9.

[32] NUTTHANON L， SUNISA R. Generating Kranok patterns with an interactive evolutionary algorithm[J].Applied Soft Computing，2020， 89：106121.

[33]謝元媛，王磊.基于改進型交互式遺傳算法的醫療機械優 化設計[J].微型電腦應用，2022，38（11）：129-133.

[34] 張冪，陳慶，劉肖健.基于交互式遺傳算法的布藝沙發 CMF 情感化設計研究[J].包裝工程，2023，44（16）：79-88.

[35]GUO Q. Computer-asssted music composition algorithm design dependent on interactive genetic algorithm with interval fitness[J]. Journal of Physics： Conference Series， 2021，2066（1）： 1-7.

[36]FUKUMOTO M， NOMURA K. Music melodies suited to multiple users' feelings composed by asynchronous distributed interactive genetic algorithm[J]. International Journal of Software Innovation， 2018， 6（2）： 26-36.

[37]蘇勝，顧森，宋志強，等.基于深度表征學習和遺傳算法的 軍用座艙色彩設計方法[J].兵工學報，2024，45（4）：1060- 1069.

[38]YUNIARTI A， ANGGARA S， AMALIAH B. Resize My Image：A mobile app for interactive image resizing using multi operator and interactive genetic algorithm[C]//2016 International Conference on Information amp; Communication Technology and Systems（ICTS）. Surabaya， Indonesia： IEEE，2016： 58-62.

[39]LAI C C， CHEN Y C. A user-oriented image retrieval system based on interactive genetic algorithm[J]. IEEE Transactions on Instrumentation and Measurement，2011， 60（10）： 3318-3325.

[40] MIGUEL A， FERRI F J， MORENO-PICOT S. Distancebased relevance feedback using a hybrid interactive genetic algorithm for image retrieval[J]. Applied Soft Computing， 2011，11（2）： 1782-1791.

[41]HAILEMARIAM M， GOERTZEL B，YOHANNES T. Evolving 3D facial expressions using interactive genetic algorithms[C]/International Conference on Advances of Science and Technology.Cham：Springer International Publishing，2018： 492-502.

[42] REED K，COSKER D. User-guided facial animation through an evolutionary interface[J]. Computer Graphics Forum，2019，38（6）： 165-176.

[43]SEDERBERG T W，PARRY S R. Free-form deformation of solid geometric models[C]//Proceedings of the 13th Annual Conference on Computer Graphics and Interactive techniques. USA： ACM， 1986： 151-160.

[44]SIBSON R. A brief description of natural neighbour interpolation[J]. Interpreting Multivariate Data，1981，27（1）： 21-36.

[45] 倪虎.基于Dirichlet自由變形算法的人臉表情動畫技術 研究[D].武漢：武漢理工大學，2019.

[46] RADCLIFFE N J. Equivalence class analysis of genetic algorithms[J]. Complex Systems，1991，5（2）：183-205.

[47]MAITI A K， MAITI M. Discounted multi-item inventory model via genetic algorithmwith Roulette wheel selection， arithmetic crossover and uniform mutation in constraints bounded domains[J]. International Journal of Computer Mathematics，2008，85（9）：1341-1353.

[48] 謝明霞，郭建忠，張海波，等.高維數據相似性度量方法研 究[J].計算機工程與科學，2010，32（5）：92-96.

[49] SUN N，LU Y. A self-adaptive genetic algorithm with

improved mutation mode based on measurementof population diversity[J]. Neural Computing and Applications，2019，31（5）： 1435-1443. [50] QIANW，CHAIJ，XUZ，etal.Differentialevolution algorithm with multiple mutation strategies based on roulettewheel selection[J].Applied Intelligence，2018，48： 3612-3629.

3D Facial Expression Animation Generation Based on Interactive Evolutionary Algorithm

ZHANGWenting，LIUMandan，ZHUBaoxu，XIELizhi （School of Information Science and Engineering， East China University of Science and Technology， Shanghai 200237， China）

Abstract： Three-dimensional facial expressionanimation has been widely integrated into people's daily lives，but most existing expression generation techniques have not taken into account the end-user preferences.These methods mostlyrelyonpre-defined psychological archetypes，limiting their potentialto generate richand expressive facial expressions.Aiming at the above issues，this paper proposes a novel encoding scheme for individual facial expression animations，anduses Interactive Genetic Algorithm （IGA）to achieve automatic evolutionof facial expression animations.During decoding，the Dirichlet Fre-Form Deformation （DFFD）algorithm is used tocontrol the deformation of the entire facial mesh.By introducing human evaluation and generating the initial population randomly， theaforementioned issuesareefectivelyresolved.Additionally，tomaintain the diversityof the facial expression animation population， two mutation operators are designed： Uniform Mutation with Exclusion Zones introduces the concept of exclusion Zones，and Uniform Mutation with Shared Mutation Points considers the actual meaning of chromosomes and employs the same mutation points for gene segments that control the same parts.Finaly，the experimental results show that these two operators effectively reduce the similarity within the population during the evolution process.The actual user participation experiments further validate the feasibilityof the proposed approach in generating various facial expression animations that meet user preferences.

Key words： facial expression animation; IGA; user evaluation; mutation operators; population diversity

（責任編輯：李娟）