基于位移特征與個性化學習的動態序列人臉表情識別方法

耿 濤

(亳州學院 電子與信息工程系，安徽 亳州 236800)

人工智能識別技術在近幾年的新興技術中脫穎而出，得到了越來越多專家學者的關注，并被廣泛應用在相關領域中.人臉識別與表情分析是智能識別技術的主要內容，在生活中也發揮著重要作用，是應用范圍最廣泛的技術之一.例如在身份識別與身份鑒定中，人臉識別可有效避免鑒定結果異常，降低用戶信息的識別誤差[1-2].為了更好地進行人臉智能化識別，將人臉表情融入到識別過程成為智能識別技術在未來主要的發展方向.面部表情是人類溝通過程中除去語言后最重要的載體，不僅可以表達當事人的情緒，也可以確定當事人的人格特征，可作為人體行為信息對人的精神狀態進行表達.與此同時，智能家居、輔助醫療器械等智能技術不斷滲透到日常生活中，大量的新興技術與設備均需要根據人的情感作出設置，這與表情識別技術具有直接的聯系，使得人臉表情識別技術具有非常廣闊的發展前景[3].

由于個體的差異性，表情的表達形式多種多樣，如何應用計算機技術對動態序列中的人臉表情作為當前人臉識別領域的研究重點.在研究中提出了多種動態序列人臉表情識別方法.文獻[4]中提出了一種在現有的人臉數據集上人為增設破損樣本集，修復圖像采集結果，提高人臉表情識別效果的方法.此方法對人臉數據采集量的要求較大，應用過程復雜，無法在短時間內完成識別過程.文獻[5]提出了一種通過情感標簽完成人臉表情識別過程的方法，此方法識別精度較高，但具有一定的應用局限.針對以上動態序列人臉表情識別方法存在的問題，本次研究使用位移特征以及個性化學習對當前方法進行優化，設計基于位移特征與個性化學習的動態序列人臉表情識別方法，以期對當前方法的不足進行完善.

1 基于位移特征與個性化學習的動 態序列人臉表情識別方法

在本次研究展開前，對當前動態序列人臉表情識別方法的不足展開分析.同時，對位移特征與個性化學習技術的應用過程進行了全面了解，根據文獻研究結果可知，個性化學習方法是一種基于機器學習與深度學習算法的新型人工智能識別技術.在其使用過程中需要大量的數據運算，以此確保識別結果精度.

1.1 人臉表情檢測與預處理

在對大量的文獻進行分析后，選擇積分圖法獲取動態序列人臉表情圖像[6-7].在當前識別方法中多使用Haar-like方法獲取人臉表情圖像[8]，此方法計算過程較為復雜，計算難度較大，積分圖法可以簡化其使用過程.在動態序列圖像中，獲取點Z(x,y)的積分值也就是此點上方范圍內的像素值c(x,y)之和，將其設定為call(x,y)，點Z(x,y)為目標圖像區域內的任意一點.其中，q(x,y)為點Z(x,y)對應列中的像素點之和，則call(x,y)可表示為：

call(x,y)=∑x≤xall,y≤yall(xall,yall).

(1)

式中:xall表示橫坐標像素點之和;yall表示縱坐標像素點之和.此公式推導后可得到人臉表情積分圖像，具體推導過程如下所示：

(2)

當前方法需要對圖像中的像素點展開頻繁計算，降低人臉識別速度[9-10].使用上述公式后，可有效減少計算量，通過計算獲取動態序列中的原始人臉圖像，具體人臉圖像檢測過程設定如圖1所示.

圖1 人臉檢測過程

根據圖1流程，構建人臉特征弱分類器，具體公式如下：

(3)

式中:gi(x)表示經過公式(1)和公式(2)整合得到的弱分類器，fi(x)表示人臉表情識別過程中的特征值；αi表示分類器閾值；di表示分類器方向.gi(x)=1說明人臉表情檢測成功，gi(x)=0說明人臉表情檢測失敗.使用此分類器獲取人臉圖像，并對人臉表情圖像展開權值初始化計算，具體公式如下：

(4)

使用上述公式，對獲取的人臉表情圖像賦值，賦值結果應符合后續處理過程的使用要求.通過歸一化計算控制賦值結果的合理性，則有：

(5)

式中:rij表示人臉表情圖像賦值權重.由上述公式確定權重賦值的合理性，完成人臉圖像的預處理過程,將處理后的人臉圖像作為后續人臉表情識別的數據來源.

1.2 構建動態序列人臉表情位移特征提取模型

應用公式(3)可得到動態序列中原始人臉圖像，由于動態序列受到時間序列的影響，人臉中的表情特征點會發生相應的位移.在本次研究中構建動態序列人臉表情位移特征提取模型，提高人臉表情特征提取精度.

設定β表示模型激活函數，rs表示原始圖像輸入時的權值，li表示當前輸入動態序列，li-1為動態序列中第i-1幀的人臉表情信息，將其作為動態序列人臉表情位移特征提取模型中t時刻的輸入值，rt表示特征輸入時對應的權值，gi表示i時刻的輸入值，則模型原始輸入值可表示為：

w=β(rsli+rtli-1+rtpi-1+gi).

(6)

式中:pi-1表示特征提取模型在上一時刻的輸入值.為獲取位移數據，對歷史數據展開計算，則有：

wl=β(rlsli+rltli-1+rltpi+1+gl).

(7)

式中:rls表示表示原始圖像輸出時的權值;rlt表示特征輸出時對應的權值;pi+1表示特征提取模型在上一時刻的輸出值;gl表示i時刻的輸出值.根據此公式得到對應的位移數據，從而得到人臉面部表情的特征信息，特征提取過程如下：

gl=wl×tang.

(8)

由上述公式可得到人臉表情圖像中的位移特征數據，并對位移特征數據進行保存、讀取與重置.如果位移特征數據不符合使用要求時，可以通過更新長距離的方式獲取新的特征數據[11-12].特征數據處理過程不是每個時刻的位移數據都具有同等的重要性，因此，使用公式(7)對動態序列人臉圖像進行多次計算，設定相應的損失函數[13-15]，剔除數據中的差異性信息，得到最終的表情特征數據，并將其設定為表情標簽，為后續的表情識別提供幫助.

1.3 動態序列人臉表情識別

本部分中將使用采集到的表情特征，通過對位移特征點跟蹤的方式，完成人臉表情識別過程[16-17].由于研究中的圖像具有動態性，因此在位移特征的原始輸入位置計算光流，將采集到的表情動態位移作為后續位置特征輸出的初始值，不斷重復計算過程，得到一個不斷精確的光流估計數值.

在研究中，根據個性化學習算法中的相關原理作為指導思想，獲取光流估計值[18].采用下列表達形式，確定光流向量的取值范圍，使得

R=Q+m.

(9)

式中:Q表示動態序列中未識別的人臉表情圖像的位移特征點，m表示在預設表情圖像中對應的特征點，然后在待檢測圖像中確定表情定位點k的位置，即

(10)

式中:kx表示圖像中確定表情定位點橫坐標，表示ky圖像中確定表情定位點縱坐標，T表示轉置，q表示系數.根據獲取到的表情定位點信息，利用L-K迭代算法進行多次運算得到人臉表情圖像的梯度矩陣E，確定動態序列人臉圖像中的光流[19-20]，其計算公式為

G=E-1×θ.

(11)

式中:θ表示圖像中的不匹配向量.同時使用公式(9)與公式(10)進行反復運算，得到最終的光流估算值.使用上述計算過程對采集到的位移特征點展開計算，確定人臉表情的動態特征，完成人臉表情識別工作.

2 實驗結果及分析

2.1 實驗準備

為驗證本文方法的識別效果，選擇兩種識別方法作為對照組，使用人臉表情數據庫，完成應用實驗分析過程.此次使用的實驗人臉表情庫通過視頻采集獲取，圖像通過兩組相應設定的相機同時拍攝，共獲取600組實驗樣本，其中標簽樣本共計350組，包含生氣、恐懼、喜悅、傷心、厭惡以及好奇六種表情.此實驗表情庫在使用的過程中不計入光線條件，僅對人臉表情進行分析.

本實驗過程中涉及圖像識別以及計算部分較多，為此對實驗平臺設定，具體參數如表1所列.

2.2 實驗過程

在完成實驗準備工作后，對本實驗的實施過程進行設定.將文中提出的個性化學習識別方法與文獻[4]方法、文獻[5]方法所需軟件安裝到實驗平臺中，對預先設定的人臉表情實驗集進行表情識別.在實驗中將精細人臉表情劃分、指定表情檢索以及表情細節關鍵點識別作為實驗的主要內容.每一組實驗將進行20次，每4次取一次平均值作為實驗結果輸出.根據此實驗數據，確定個性化學習識別方法的識別能力，完成個性化學習識別方法與當前識別方法的對比.

表1 實驗參數表

2.3 實驗結果分析

2.3.1 人臉表情劃分精度實驗結果分析

在本實驗中，將人臉表情劃分精度作為實驗的第一組指標，確定實驗方法的圖像類別劃分能力.人臉表情化劃分精度結果如表2所列.

表2 人臉表情劃分精度

根據表2可知，個性化學習識別方法的類別劃分性能明顯優于當前識別方法.每次實驗中都會對預設的6種表情進行劃分，個性化學習識別方法在使用后可對每一種表情展開高精度劃分，確保后續表情識別結果的可靠性.文獻[4]方法和文獻[5]方法對預設的部分表情無法完成高精度劃分，時常出現部分表情圖像無法歸類的問題，對后續的處理會造成不良影響.綜合上述分析結果可知，本文個性化學習識別方法的表情類別劃分能力更強.

2.3.2 指定表情檢索實驗結果分析

在進行表情檢索時不同的識別方法會得到不同的結果，具體結果如表3所列.

表3 指定表情檢索結果

在本實驗中，個性化學習識別方法對于指定表情的檢索能力較強，可獲取大部分表情圖像，其圖像檢索結果與表情圖像實際數量大致相同.與個性化學習識別方法相比，文獻方法雖然可以完成指定表情的識別工作，但是其檢索出的數量與實際數量相差較大，可見其檢索精度較差.通過上述分析結果可以確定，個性化學習識別方法的使用效果優于當前方法.

2.3.3 表情細節關鍵點識別實驗結果分析

在此實驗過程中，主要將實驗目標設定為隨機篩選的5張人臉表情圖像，同時對此部分圖像中的主要表情識別點進行了分析，使用本文個性化學習識別方法與當前識別方法對其進行識別，具體結果如表4所列.

表4 表情細節關鍵點識別數量

通過表4可知，個性化學習識別方法對于表情關鍵點的識別能力明顯優于文獻方法.通過文獻研究可知，面部表情關鍵點的識別效果對人臉表情識別效果有一定影響.

綜上所述，在本實驗過程中共進行了3組實驗，從多個角度對個性化學習識別方法的識別精度與識別能力進行分析，證實本文方法的使用效果優于當前方法.

3 結論

隨著人工智能技術的不斷發展，用戶確定增加情感分析部分已經成為云計算發展的重要方向.人臉表情識別作為用戶情感信息交流中的重要手段，其識別結果精度對用戶分析具有重要意義.人臉表情識別是人臉識別技術應用的重要環節，也是人工智能交互領域中的重要研究課題.本次研究將當前動態序列中的表情識別方法作為設計藍本，使用位移特征及個性化學習方法對其進行優化設計，在現有基礎上提升識別精度與使用效果.在今后的研究中，將會增加信息融合技術對所提方法進行完善，在表情的基礎上增加語音等信息的識別過程，使用更加準確的用戶信息，捕捉用戶的表情類型，進一步提升識別精度.