多維度人臉表情識別方法綜述

摘要：人臉表情識別是計(jì)算機(jī)視覺領(lǐng)域的重要研究課題，具有廣泛的應(yīng)用價(jià)值。其發(fā)展經(jīng)歷了從傳統(tǒng)機(jī)器學(xué)習(xí)方法到深度學(xué)習(xí)的轉(zhuǎn)變，目前，大多數(shù)研究采用深度學(xué)習(xí)技術(shù)。文章綜述了表情識別的四個(gè)主要方向：模型架構(gòu)改進(jìn)、數(shù)據(jù)處理與增強(qiáng)、基于注意力機(jī)制和其他特殊策略方法，具體包括神經(jīng)網(wǎng)絡(luò)優(yōu)化、多模塊融合、圖像預(yù)處理、數(shù)據(jù)增強(qiáng)、注意力模塊嵌入等。盡管人臉表情識別技術(shù)取得了顯著成就，但仍存在一些挑戰(zhàn)，如跨域泛化和實(shí)時(shí)識別的效率問題。未來的研究需要在提升模型準(zhǔn)確性和魯棒性的同時(shí)，注重算法的輕量化和應(yīng)用的多樣化，以便更好地服務(wù)于實(shí)際應(yīng)用。

關(guān)鍵詞：人臉表情識別；深度學(xué)習(xí)；模型架構(gòu)；注意力機(jī)制；數(shù)據(jù)增強(qiáng)

中圖分類號：TP18" " 文獻(xiàn)標(biāo)識碼：A

文章編號：1009-3044（2025）07-0041-03

開放科學(xué)（資源服務(wù)） 標(biāo)識碼（OSID）

0 引言

人類表情傳遞的信息往往比語言更為豐富，因此，面部表情識別在計(jì)算機(jī)視覺領(lǐng)域中成為一個(gè)重要的研究方向。該技術(shù)的應(yīng)用涵蓋了人機(jī)交互、心理疾病治療、情感計(jì)算和遠(yuǎn)程教育等多個(gè)領(lǐng)域。例如，左義海等學(xué)者[1]提出了一種基于改進(jìn)協(xié)調(diào)注意力機(jī)制的面部表情識別模型（NCA-MobileNet） 。在模型構(gòu)建過程中，針對現(xiàn)有模型復(fù)雜度高且準(zhǔn)確率欠佳的問題，他們創(chuàng)新性地引入了改進(jìn)的協(xié)調(diào)注意力機(jī)制模塊（NCA Bneck） ，提升了空間和通道上的特征提取能力，增強(qiáng)了對感興趣區(qū)域的關(guān)注，從而有效解決了上述問題，為面部表情識別技術(shù)的發(fā)展提供了新的思路和方法。王坤俠等研究人員[2]通過在Swin Transformer的Patch Merging層中引入混合注意力模塊CBAM，同時(shí)借助遷移學(xué)習(xí)技術(shù)對模型權(quán)重進(jìn)行初始化。這一舉措不僅顯著加快了模型的訓(xùn)練速度，還大幅提升了面部表情識別的精度。這一研究成果展示了在深度學(xué)習(xí)框架下，通過合理的模塊引入和優(yōu)化技術(shù)，可以有效提升模型性能，為后續(xù)相關(guān)研究提供了有益的參考。

隨著人臉識別算法的不斷演進(jìn)和豐富，本文基于對當(dāng)前眾多算法的深入研究與分析，旨在系統(tǒng)全面地綜述人臉表情識別領(lǐng)域的最新進(jìn)展，呈現(xiàn)該領(lǐng)域的前沿技術(shù)、創(chuàng)新方法以及面臨的挑戰(zhàn)，為相關(guān)研究人員和從業(yè)者提供全面而深入的參考資料，推動(dòng)人臉表情識別技術(shù)的進(jìn)一步發(fā)展。

1 人臉表情識別算法發(fā)展歷程

關(guān)于人臉表情識別的算法經(jīng)歷了眾多個(gè)階段。早期主要采用傳統(tǒng)機(jī)器學(xué)習(xí)方法，如局部二值模式（LBP） 、支持向量機(jī)（SVM） 、主動(dòng)形狀模型（ASM） 等，通過手工提取特征和簡單分類器進(jìn)行識別。這些方法在特征提取和分類方面依賴于人工設(shè)計(jì)，工作量大且對復(fù)雜表情的分類準(zhǔn)確性和一致性存在局限。隨著深度學(xué)習(xí)的興起，卷積神經(jīng)網(wǎng)絡(luò)（CNN） 等模型被應(yīng)用于人臉表情識別領(lǐng)域，如AlexNet、VGGNet等經(jīng)典網(wǎng)絡(luò)在一些公開數(shù)據(jù)集上取得了一定進(jìn)展。

進(jìn)入模型改進(jìn)與創(chuàng)新階段，研究人員不斷改進(jìn)深度學(xué)習(xí)模型，如改進(jìn)的MobileViT、ResNet等網(wǎng)絡(luò)，通過融合多尺度卷積、注意力機(jī)制等模塊增強(qiáng)特征提取能力，同時(shí)引入特征融合、損失函數(shù)優(yōu)化、多模態(tài)融合等新方法提高性能。此外，領(lǐng)域泛化和自適應(yīng)算法也受到重視，以解決模型在不同領(lǐng)域和數(shù)據(jù)集上的泛化問題。

當(dāng)前，人臉表情識別已進(jìn)入多模態(tài)融合與綜合發(fā)展階段，結(jié)合圖像、文本、音頻等多模態(tài)信息進(jìn)行情感分析成為重要方向，旨在提高識別的準(zhǔn)確率和魯棒性。研究人員持續(xù)探索更先進(jìn)的模型結(jié)構(gòu)、算法和技術(shù)，推動(dòng)人臉表情識別的發(fā)展和應(yīng)用。大部分最新的研究采用了深度學(xué)習(xí)的方法或其相關(guān)技術(shù)，利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的自動(dòng)特征學(xué)習(xí)能力來提取表情特征并進(jìn)行分類，顯著提升了識別性能。本文從模型架構(gòu)改進(jìn)、數(shù)據(jù)處理與增強(qiáng)、基于注意力機(jī)制和其他策略4個(gè)方面綜述人臉表情識別的方法，并總結(jié)出傳統(tǒng)方法和深度學(xué)習(xí)方法的比較（見表1） 。

2 基于模型架構(gòu)改進(jìn)的方法

2.1 神經(jīng)網(wǎng)絡(luò)優(yōu)化

不同研究針對不同基礎(chǔ)網(wǎng)絡(luò)進(jìn)行優(yōu)化，如MobileNet[1]、EfficientNet[3]、ResNet、MobileViT[4]等，具體優(yōu)化策略包括以下幾點(diǎn)。

1） MNCA-MobileNet。通過調(diào)整網(wǎng)絡(luò)層數(shù)、通道數(shù)，采用Mish激活函數(shù)和改進(jìn)的協(xié)調(diào)注意力機(jī)制，降低模型復(fù)雜度，提升信息保留能力和關(guān)鍵特征關(guān)注度，適用于算力受限的移動(dòng)設(shè)備[1]。

2） LA-EfficientNetB0。改變卷積塊結(jié)構(gòu)，結(jié)合ACON激活函數(shù)，淺層使用大核卷積提取全局特征，深層使用小核卷積提取局部特征，并自適應(yīng)激活神經(jīng)元，提升表情識別準(zhǔn)確性和泛化能力[3]。

3） Res2Net改進(jìn)方法。引入廣義平均池化（GeM） 關(guān)注顯著區(qū)域，選用Focal Loss解決類別不平衡問題，增強(qiáng)特征表達(dá)和對難分類樣本的處理能力[9]。

4） 融合RAPSConv的MobileViT。結(jié)合新特征重構(gòu)模塊和改進(jìn)損失函數(shù)，提高網(wǎng)絡(luò)特征提取能力，在多個(gè)數(shù)據(jù)集上表現(xiàn)良好，適用于高精度和輕量化的自然場景應(yīng)用[4]。

這些優(yōu)化策略從不同角度提升了模型性能，滿足了不同應(yīng)用場景的需求，推動(dòng)了人臉表情識別技術(shù)的發(fā)展。

2.2 模塊融合策略

1） 特征融合型方法。如Chakrapani Ghadai等[5]提出的基于特征融合和注意力機(jī)制的人臉表情識別方法，采用多通道融合并行網(wǎng)絡(luò)，結(jié)合全局和局部特征，通過CBAM注意力機(jī)制聚焦關(guān)鍵表情特征，提高識別能力。

2） 模態(tài)融合型方法。Jixiang Li和Jianxin Peng[6]提出的基于面部表情和遠(yuǎn)程光電容積描記信號的端對端多模態(tài)情感識別方法，融合面部表情和非接觸生理信號（rPPG） ，利用Transformer的跨模態(tài)注意力機(jī)制學(xué)習(xí)兩種模態(tài)的相關(guān)性，實(shí)現(xiàn)多模態(tài)情感識別。

3 基于數(shù)據(jù)處理與增強(qiáng)的方法

3.1 圖像預(yù)處理

1） 幾何校正型[7]。通過人眼定位進(jìn)行眼距尺度歸一化，將圖像灰度化處理并垂直投影，定位人眼眼眶，進(jìn)行旋轉(zhuǎn)校正和灰度預(yù)處理。這些步驟規(guī)范了圖像數(shù)據(jù)，減少了角度和光照等因素對表情識別的影響，便于后續(xù)特征提取。

2） 特征提取型[8]。利用集合播述待識別的紅外人臉圖像，建立局部優(yōu)化保留投影目標(biāo)函數(shù)，通過等效系數(shù)變換分析，確定最優(yōu)投影矩陣，實(shí)現(xiàn)人臉圖像的降維。應(yīng)用主ActiveModel檢測面部關(guān)鍵點(diǎn)，校正人臉姿態(tài)，抽取感興趣區(qū)域，為后續(xù)表情識別提供基礎(chǔ)。

3.2 數(shù)據(jù)增強(qiáng)

1） 關(guān)鍵幀選擇方法。從視頻圖像中提取時(shí)空興趣點(diǎn)構(gòu)建視覺詞典，統(tǒng)計(jì)視覺詞匯的概率分布，使用離散粒子群算法選擇關(guān)鍵幀。該方法篩選出具有代表性的表情變化關(guān)鍵幀，減少冗余信息，提升模型訓(xùn)練效率和識別準(zhǔn)確性。

2） 類別自適應(yīng)的偽標(biāo)簽標(biāo)記。構(gòu)建類別自適應(yīng)的偽標(biāo)簽標(biāo)記（CAPL） 模塊與類別特征約束（CWFC） 模塊，挑選高質(zhì)量樣本并賦予偽標(biāo)簽，同時(shí)對齊不同域同類樣本特征，優(yōu)化樣本數(shù)據(jù)。該方法增加了有效標(biāo)注樣本數(shù)量，提升了多目標(biāo)域表情識別性能。

4 基于注意力機(jī)制的方法

1） 在特定層嵌入方法。王坤俠等[2]在Swin Transformer模型的Stage 3的Patch Merging層中嵌入CBAM混合注意力模塊，使模型更好地提取全局和局部特征，提升表情識別準(zhǔn)確性。

2） 特征增強(qiáng)方法。通過CBAM注意力機(jī)制結(jié)合通道和空間注意力，對輸入特征圖進(jìn)行處理，關(guān)注重要特征，抑制無關(guān)信息。該方法增強(qiáng)了關(guān)鍵表情特征的提取能力，提高了特征表達(dá)能力[13]。

5 其他特殊策略方法

1） 跨域識別型。采用領(lǐng)域泛化算法和表征自挑戰(zhàn)（RSC） 方法，通過丟棄訓(xùn)練數(shù)據(jù)上的部分特征強(qiáng)制網(wǎng)絡(luò)使用剩余特征進(jìn)行訓(xùn)練，改善跨域泛化性能。聶倩倩等[16]的研究表明，該策略有效提升了跨域情感識別的活應(yīng)性。

2） 特定應(yīng)用場景型。① 疼痛表情識別方法：王乾勝等[12]引入GhostNet中的Ghost模塊卷積，壓縮模型參數(shù)量；使用改進(jìn)的FReLu激活函數(shù)替換SiLu激活函數(shù)；引入CA注意力機(jī)制?；诟倪M(jìn)YOLOv5s的人臉疼痛表情識別方法，提升了識別精度和檢測效率，適用于移動(dòng)端實(shí)時(shí)識別。② 多尺度特征提取方法：采用多尺度注意力模塊，包括不同的多尺度塊（如MSL和MS-R） 與注意力網(wǎng)絡(luò)級聯(lián)，學(xué)習(xí)多樣特征?；诨パa(bǔ)特征的多尺度注意力融合表情識別模型（FCMSA-AF） 通過多尺度特征提取，減少姿態(tài)和局部遮擋對類內(nèi)變異的影響，提升識別性能。

6 結(jié)束語

人臉表情識別作為一項(xiàng)極具前沿性的技術(shù)，正以前所未有的深度和廣度深刻重塑著我們的生活模式，其應(yīng)用觸角已廣泛延伸至人機(jī)交互、心理健康監(jiān)測、安防監(jiān)控以及眾多其他領(lǐng)域，展現(xiàn)出了巨大的社會(huì)價(jià)值和應(yīng)用潛力。然而，隨著人臉表情識別技術(shù)的廣泛推廣和深入應(yīng)用，一系列嚴(yán)峻的倫理和法律問題也隨之浮出水面。一方面，技術(shù)濫用的風(fēng)險(xiǎn)如影隨形。在缺乏嚴(yán)格監(jiān)管的情況下，人臉表情數(shù)據(jù)可能被非法收集、使用和傳播，對個(gè)人隱私構(gòu)成嚴(yán)重威脅。為了有效規(guī)避這些風(fēng)險(xiǎn)，必須建立健全完善的倫理規(guī)范和法律法規(guī)體系，明確規(guī)定人臉表情數(shù)據(jù)的收集、存儲(chǔ)、使用和共享規(guī)則，加強(qiáng)對技術(shù)應(yīng)用過程的監(jiān)督和管理，確保個(gè)人隱私和權(quán)益得到充分尊重和保護(hù)。

展望未來，人臉表情識別技術(shù)有望在多方面取得更為顯著的突破和發(fā)展。多模態(tài)融合技術(shù)將成為提升識別性能的關(guān)鍵驅(qū)動(dòng)力之一。通過將人臉表情與語音語調(diào)、肢體語言、文本語義等其他模態(tài)的信息進(jìn)行有機(jī)結(jié)合，實(shí)現(xiàn)全方位、多層次的情感理解和識別，從而進(jìn)一步提高識別的準(zhǔn)確率和魯棒性。情感計(jì)算領(lǐng)域的持續(xù)深入發(fā)展也將為人臉表情識別技術(shù)注入新的活力。借助先進(jìn)的機(jī)器學(xué)習(xí)算法和深度學(xué)習(xí)模型，研究人員致力于開發(fā)出更具智能化和情感感知能力的系統(tǒng)，使其不僅能夠準(zhǔn)確識別表情所代表的基本情緒類別，還能深入理解情緒的強(qiáng)度、細(xì)膩?zhàn)兓约氨澈蟮那楦袆?dòng)機(jī)，從而實(shí)現(xiàn)更精準(zhǔn)的情感回應(yīng)和交互。此外，實(shí)時(shí)性和算法輕量化也是重要的發(fā)展方向，以適應(yīng)移動(dòng)端和嵌入式設(shè)備的需求。

盡管人臉表情識別技術(shù)在近年來已經(jīng)取得了令人矚目的顯著進(jìn)展，但仍有一些棘手的問題亟待解決?？缬蚍夯芰κ钱?dāng)前面臨的一個(gè)重要挑戰(zhàn)。在實(shí)際應(yīng)用中，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)往往來自不同的領(lǐng)域或具有不同的分布特征，導(dǎo)致模型在新領(lǐng)域或新數(shù)據(jù)集上的性能大幅下降。數(shù)據(jù)隱私保護(hù)問題也是制約人臉表情識別技術(shù)發(fā)展的關(guān)鍵因素之一。加強(qiáng)數(shù)據(jù)隱私保護(hù)技術(shù)的研究和應(yīng)用至關(guān)重要。

通過持續(xù)不斷的深入研究和創(chuàng)新，人臉表情識別技術(shù)必將在未來不斷完善和發(fā)展，逐步克服現(xiàn)有挑戰(zhàn)，實(shí)現(xiàn)更為廣泛和深入的應(yīng)用。這將有力地推動(dòng)社會(huì)向智能化、人性化方向邁進(jìn)，為人類創(chuàng)造更加便捷、安全、美好的生活。

參考文獻(xiàn)：

[1] 左義海，白武尚，何秋生.NCA-MobileNet：一種輕量化人臉表情識別方法[J].液晶與顯示，2024，39（4）：522-531.

[2] 王坤俠，余萬成，胡玉霞.嵌入混合注意力機(jī)制的Swin Transformer人臉表情識別[J].西北大學(xué)學(xué)報(bào)（自然科學(xué)版），2024，54（2）：168-176.

[3] 丁祥，唐宏偉，石書琪，等.基于改進(jìn)EfficientNet的表情識別方法[J].自動(dòng)化應(yīng)用，2024，65（8）：203-206.

[4] 鄧翔宇，裴浩媛，盛迎.基于網(wǎng)絡(luò)融合的改進(jìn)MobileViT人臉表情識別[J].計(jì)算機(jī)工程與科學(xué)，2024，46（6）：1072-1080.

[5] GHADAI C，PATRA D，OKADE M.A novel facial expression recognition model based on harnessing complementary features in multi-scale network with attention fusion[J].Image and Vision Computing，2024（149）：105183.

[6] LI J X，PENG J X.End-to-end multimodal emotion recognition based on facial expressions and remote photoplethysmography signals[J].IEEE Journal of Biomedical and Health Informatics，2024，28（10）：6054-6063.

[7] 王康毅，邵蘇杰.基于Gabor變換的多角度人臉表情識別方法[J].計(jì)算機(jī)仿真，2024，41（4）：233-236.

[8] 羅夢貞，秦鵬，初人杰.基于深度學(xué)習(xí)網(wǎng)絡(luò)的近紅外人臉表情識別[J].激光雜志，2024，45（5）：176-181.

[9] 唐宏偉，丁祥，鄧嘉鑫，等.基于Res2Net的人臉表情識別方法[J].邵陽學(xué)院學(xué)報(bào)（自然科學(xué)版），2024，21（2）：28-35.

[10] 范琪，王善敏，劉成廣，等.類別特征約束的多目標(biāo)域表情識別方法[J].計(jì)算機(jī)工程與科學(xué)，2024，46（5）：836-845.

[11] 周揚(yáng)，方向忠.基于表征自挑戰(zhàn)的跨域表情識別[J].信息技術(shù)，2024，48（5）：149-154.

[12] 王乾勝，劉新妹，殷俊齡，等.基于改進(jìn)YOLOv5s的人臉疼痛表情識別[J].工業(yè)控制計(jì)算機(jī)，2024，37（4）：109-110.

[13] 張博程，李威.基于特征融合和注意力機(jī)制的人臉表情識別[J].長江信息通信，2024，37（4）：17-20.

[14] 劉經(jīng)緯，許少偉.基于深度學(xué)習(xí)的圖像中人臉檢測與表情識別[J].信息系統(tǒng)工程，2024（7）：70-73.

[15] 王夢嬌， 李瑤， 李捍東. 基于網(wǎng)絡(luò)重構(gòu)的改進(jìn)Resnet表情識別研究[J/OL]. 智能計(jì)算機(jī)與應(yīng)用， [2024-07-27]. https：//doi.org/10.20169/j.issn.2095-2163.23122201.

[16] 聶倩倩，秦潤澤，高育新，等.人臉表情識別算法綜述[J].物聯(lián)網(wǎng)技術(shù)，2018，8（5）：55-57.

【通聯(lián)編輯：唐一東】