基于深度特征融合的面部表情智能識別技術

馬輝

（河南質量工程職業學院 現代教育技術中心，河南 平頂山467000）

面部表情智能識別技術（Facial Expression Recognition，簡稱FER），是憑借當下現有的計算機技術，所進行的有關人工智能方面新型技術探索。人的面部表情在日常生活情緒的傳達當中有著極為重要的地位。人類面部表情識別技術的開發，除了能夠應用于日常生活當中，由于計算機對人類表情的識別本身極具復雜性，故而對表情識別技術的研究與創新，也有助于對其它類似研究方向進行探索。其在計算機科學技術方面的科研價值同樣不容忽視，面部表情智能識別有助于拓展計算機數據庫、建模以及相關視覺系統[1]。深度特征融合的概念，對于各項科學技術和算法的發展都提供了極大助力。基于這樣的方法，面部表情智能識別技術在實際開發和應用過程中，衍生出了多種人臉數據收集的方法。對需要識別的人臉進行檢測和面容數據分割，然后利用算法對收集到的面容數據進行快速且準確的計算[2]。這對于算法的運算速度和準確性都有很高要求，一個合格的算法需要做到在光線不足、檢測背景復雜、人臉位置偏斜的情況下，仍然可以準確地捕捉到面容并得出所需數據。而利用先進的、性能極高的面部表情智能識別技術，在當前主要目的是為了給動畫制作領域、個人情緒的綜合判斷研究以及方興未艾的人工心理學領域研究提供更好的技術條件。

1 基于深度特征融合的面部表情智能識別技術

1.1 基于膚色分辨和模板匹配采集面部表情數據

結合當前的技術跟進情況，我們可以發現其實并沒有一種識別方式特別被全社會所公認。不過專業的教授學者們卻在一些流程分類上能夠達成共識。當前的情況就是，面部表情智能識別的相關技術被分為了三大塊，分別是人臉檢測、特征提取、表情分類。而基于被采集者的膚色進行分割檢測，是一種十分基礎且常用的檢測方法。皮膚顏色作為一種常見面部特征，是可以被外界快速感知和獲取的。利用膚色來確定面容位置，依據顏色分布來進一步分割檢測到的人臉，也就是說利用膚色分辨技術，是可以將人臉檢測和特征提取這兩個大的步驟快速完成的，因為膚色作為最容易識別的面部特征，具有很強的直觀性，但該方法的缺點也非常明顯，當攝像頭捕捉到類似膚色的物體，可能會做出錯誤的識別動作，并且膚色很容易受光照變化的影響，直接導致特征提取和檢測動作的失敗。而比面部膚色分辨更進一步的采集方案，就是利用模板匹配的方法，來進行一個類似于搜索對比的動作。涉及到具體的操作，就是將使用模板對比的識別設備，在投入使用以前就錄入一些具有代表性的人臉圖像，或者直接設定一個“標準臉”的模板。后期在進行人臉識別檢測的過程時，設備通過攝像頭或者后臺上傳的圖像，與已有模板進行對比。如果匹配的程度高達一定的閾值，就可以做到成功識別。不過該方法在原理解釋上十分簡單，但在運算量上卻不具有任何優勢，同時在圖像錄入的過程中，不能適應“近大遠小”的人臉變化，對面容的尺寸和位置要求十分嚴格。這樣來看，模板匹配并不能很好地滿足“智能識別”的要求，性能上有所欠缺[3]。

1.2 設計多級聯分類智能識別方案

基于多級聯分類的智能識別方案的主要原理和核心就是分類器，其級聯的原則是從前至后越來越復雜。在實際應用過程中，人臉或人臉圖像能被級聯上所有的強分類器識別，數據才最終能夠被識別和匯總，成功完成一次識別。如果想要順利做出識別動作，就離不開專用分類器作為支撐[4]。分類器又分為強分類器和弱分類器，幾個弱分類器通過被分配到不同的權重，組成強分類器。假設我們設置樣本有n 個，那么（x1,y1）……（xn,yn）,然后yi=1（1 個正樣本），共有p 個，yi=0（0 個負樣本），共有q 個。兩種樣本初始權重相同，正樣本的權重就是1/2p，負樣本權重為1/2q。由此權重歸一為wi。

y 代表測試輪數，而在某一識別時收集面容的矩形特征q出現測試誤差時，選擇誤差最小的分類器，則權重值更新為：

則樣本的權重分類值為β=θ/（1-θ），如果β>1 則分類器分類正確，如果β≤1 則分類器分類錯誤。最終得到一個強分類器：

在疊加計算得到強分類器過后，結合前面提到的從前到后越來越復雜的順序，通過順序級聯最終形成一個性能高效的面部檢測分類器，以及更加智能的識別方案。

圖1 特征為H1 的臨近深度融合模塊示意圖

表1 對比實驗結果

1.3 基于深度特征融合識別面部表情模態特征

在識別面部表情的過程當中，必然就會提到深度特征融合的概念。所謂深度特征融合[5]，是通過構建臨近深度融合模塊，進一步得到面部表情識別的相關模態特征。再對多級聯模態中，所具備的全部特征進行捕捉，從而找到多模態特征之間跨通道關聯性。為解釋深度特征融合概念下[6]，怎樣對捕捉識別面部表情模態進行協助。現將生成特征用H1 表示，個體間不同深度的特征用F 表示，得出圖1 的深度融合模塊示意圖。

由圖1 可知，每個模塊當中都會存在3 個卷積操作和1 個反卷積操作。這代表著每個模塊當中都有兩個卷積層和一個反卷積層，這三個層面分別作用于不同的特征通道，進一步保證面部表情識別的極高空間分辨率，做到更為精準的雙向信息傳遞。最后，依照深度特征融合下形成的模塊，根本上是為了解決輔助面部表情識別流程的算法問題，進一步優化現有算法的性能。

2 實驗論證分析

實驗選取了本文算法，將其與運算流程上極其相似的LBP算法進行對比。在人臉數據的選取上，隨機抽取了MIT 人臉數據庫和ORL 人臉數據庫作為實驗的工具。并在兩個數據庫當中，均選擇相同數量的人臉圖像作為測試樣本，再分別利用本文算法和傳統算法進行了共計528 次的識別測試，實驗結果如表1 所示。

根據實驗結果表1 得知，使用本文算法在人臉數據庫當中進行識別測試，所得出的平均識別率要比使用傳統算法得出的平均識別率高出2%。盡管利用本文算法進行識別時，出現了運算時間長于傳統算法的情況。但考慮到MIT 數據庫當中收集的面部數據，在光照、配飾等因素上改變更多，傳統算法又極易受光照的影響，識別率會受到嚴重削弱。故而綜合比對來看，在環境光照變化等復雜因素影響下，依舊是本文算法更具有優勢。

3 結論

本文旨在通過總結和分析，基于深度特征融合概念所進行的對于面部智能識別技術及其相關算法的列舉。結合識別測試實驗進行了對比和分析，比較出了LDP 算法在具體應用過程當中的明顯優勢。但由于文章只進行了對多級聯、多模態算法特征的淺顯分析，因此在面部智能識別技術領域的具體開發和算法應用過程中，本文所得出的結論并不能作為方法論使用，實際結論僅供參考。