一種面部微表情識別算法在職業微笑評價中的應用

陳瑋 蔣金

摘? 要：應用現有比較成熟的人臉面部表情開源算法模型，建立一套機器智能識別系統，量化評價職業微笑的符合度，對人臉表情進行預處理得到純表情圖像，采用優化Gabor提取表情特征，用PCA進行數據冗余處理和用支持向量機識別人臉表情并進行仿真。通過篩選融合現有的開源人臉識別算法，應用于量化評價學員表情中職業微笑的符合度，積累培訓學員的模型采樣處理，不斷優化算法，建立科學的評價系統。

關鍵詞：表情特征;微表情;微笑評價

1? 引言

人臉表情識別（FER）是計算機視覺研究熱點，微表情識別是人機交互的一個新興研究課題，面部微表情識別目的是讓人工智能產品能夠識別出人的表情，應用于職業禮儀類培訓、強化職業微笑表情分析，進而量化標準，從而提高評價的精確度。

2? 面部表情識別主流方法

微表情識別是用計算機對人臉表情信息進行特征提取分析，按照人類認知和思維方式加以歸類和理解，結合人類具有的情感信息方面的經驗知識使計算機進行聯想、思考及推理，進而從人臉信息中去分析理解人的情緒。

2.1有效提取微表情特征，消除與識別無關信息。傳統Gabor濾波器存在提取特征時間較長和特征數據存在冗余性的缺點。

2.2 Gabor和PCA相結合的特征提取，通過支持向量機，對微表情進行預處理得到純表情圖像，采用Gabor提取表情特征，用PCA進行數據冗余處理和用支持向量機識別人臉表情并進行仿真。

3? 面部微表情識別的步驟

3.1 預處理

人臉面部對齊，拿到訓練數據后，第一步檢測人臉，去掉背景和無關區域。使用OpenCV和Matlab得到人臉邊界框，原圖像裁剪至面部區域。數據增強，以足夠的訓練數據保證識別任務的泛化性能。而 FER公開數據庫達不到這樣的訓練數據量。

3.2人臉表情特征學習

應用CNN 對人臉位置變化和尺度變化有更好的健壯性，而且對于未見人臉姿態變化比多層感知器有更好的表現。用逐層貪婪訓練法初始化，在不需要大量標注數據下得到局部最優解。然后對網絡的參數和輸出進行微調。

3.3特征分類

在學習深度特征之后，最后一步是識別測試人面部微表情。在網絡的末端加上損失層，來修正反向傳播誤差，每個樣本的預測概率可以直接從網絡中輸出，使用SVM 和隨機森林，對提取的特征進行分類。

4.? 優化的R-Net算法流程

Refine Network （R-Net）：此網絡結構是通過邊界框回歸和NMS來去掉那些false-positive區域。抑制false-positive的作用，將PNet的輸出resize成正方形，是基于人臉一般都是正方形。由此生成（dy， edy， dx， edx， y， ey， x， ex， tmpw， tmph）數組;生成的元素意義如下：

dx，dy：bbox相對本身起點坐標（0，0）

edx，edy：bbox相對本身終點坐標（tmpw-1， tmph-1）

x，y ：原始圖片bbox起點

ex，ey：原始圖片bbox結束點

在生成過程中避免bbox坐標超出原圖片或負值;接著遍歷這數組，將bbox從原圖片摳出，對resize進行歸一化，將24x24的圖片喂入RNet，下圖表示RNet結構：

R-Net最后是采用的全連接層，由上圖得到，一張24x24x3圖片最終輸出結果3x3x64的特征圖，再經歷全連接層后分成三條支路，用于人臉分類、邊框回歸、人臉特征點定位。三條支路損失函數各項損失權重比為1：0.5：0.5。

將圖片輸入RNet后，得到了cls_ scores， reg兩個數組，cls_ scores表示是否人臉的概率，reg表示bbox的回歸值。將cls_ scores中人臉的概率與實現設定的閾值比較，將大于閾值的圖片對應的bbox提取出來，過濾掉一部分非人臉的bbox。接著拋棄掉重疊率高的人臉框，經過兩次篩選， bbox數量將會減少很多。最后進行R-Net操作，用回歸信息reg來調整bbox坐標，將bbox4個坐標乘bbox寬或高，其中x和寬相乘，y和高相乘，返回調整后的四個坐標。

5.結論

本項目的特色是應用現有的比較成熟的人臉面部表情開源算法模型，建立一套機器智能識別系統，通過改良R-NET算法，更好地量化評價職業微笑的符合度。

參考文獻：

[1]兒童人臉識別和成長預測系統的設計與實現[D]. 周凡. 重慶.西南大學. 2021（01）

[2]基于跨連接LeNet-5網絡的面部表情識別[J]. 李勇，林小竹，蔣夢瑩.? 自動化學報. 2018（01）

[3]Identity-aware convolutional neural networks for facial expression recognition[J]. Chongsheng Zhang，Pengyou Wang，Ke Chen，Joni-Kristian Kmrinen.? Journal of Systems Engineering and Electronics. 2017（04）

[4] 基于全景相機的側臉表情識別和目標檢測[D]. 彭磊. 重慶. 西南大學. 2021（01）

[5]基于Gabor參數矩陣與改進Adaboost的人臉表情識別[J]. 楊凡，張磊.? 計算機應用. 2014（04）

作者簡介：陳瑋，女，出生1982年，福建福州，漢族，助教，本科學士，福建船政交通職業學院，主要研究方向為：圖像識別、機器學習

作者簡介：蔣金，男，出生1973年，福建福州，漢族，高工，本科學士，福州量子中金數碼技術有限公司， 主要研究方向為：軟件工程

[基金項目]：福建省教育廳中青年教師教育科研項目（科技類）（JAT201051），基于人臉特征點識別算法的職業微笑量化評價系統研究，審批單位是福建省教育廳