基于面部表情分析的抑郁癥識別研究

陳坤林，胡德鋒，陳楠楠

(南京審計大學計算機學院，江蘇 南京 211815)

0 引言

近些年來，抑郁癥逐漸走進人們的視野，該疾病是一種患病率高、臨床治愈率高的精神障礙疾病。然而大多數人對于此病的認知較低，導致堅持接受正規治療的患者較少，另一方面，對于該類疾病的診斷仍處于簡單的初級階段。據世界衛生組織[1]數據顯示，全球抑郁癥患者數量超過3.5 億，預計在2030 年將成為常見疾病之一。抑郁癥對于個人、家庭以及社會都產生了巨大的困擾，因此，結合當前計算機技術提升抑郁癥的診斷水平成為了研究的重點/熱點問題之一。

對于抑郁癥的識別，眾多研究者做了相關的研究。余濤[2]等提出了一種基于機器學習檢測抑郁癥患者自殺意圖的方法，通過K 最近鄰(KNN)、一般線性模型(GLM)、隨機森林(RF)等傳統機器學習方法構建模型，預測以及預防抑郁癥患者自殺等不良行為。辛逸男[3]等人提出了一種基于語音特征的抑郁癥診斷方法，該方法根據語音信號作為特征區分抑郁癥患者和正常人群。王萌[4]等結合深度學習技術設計了一種抑郁癥患者表情識別系統，利用卷積神經網絡(CNN)，構建模型，提取患者表情特征，實現表情識別。

深度學習作為當今熱門技術之一，在計算機視覺領域和自然語言處理領域都發揮著重要的作用，因此，將該類技術應用于抑郁癥預防具有良好的可行性。抑郁癥患者常有失望等負面面部表情且長期處于負面情緒階段，而對患者面部表情的數據采集具有成本低、效率高等優點。故本文提出一種基于面部表情分析的抑郁癥識別方法。通過卷積神經網絡(CNN)建立模型并訓練得到抑郁癥患者的各類表情參數，其中表情參數包括憤怒、厭惡、恐懼、開心、傷心、驚訝、中性、蔑視，最后從數據集中選取百分之三十的數據作為測試集并檢測其正確率。

1 準備工作

本文所采用的數據集是包含抑郁癥患者的音頻和面部掃描視頻的中文抑郁庫數據集EATD，該數據集由接受咨詢的212 名志愿者的視頻組成，其中包含80 名抑郁癥患者。卷積神經網絡(CNN)[5]是一種帶有卷積結構的前饋神經網絡，如圖1所示，其主要結構包含輸入層、卷積層、池化層、全連接層和輸出層，其中輸入層接受輸入的訓練數據，卷積層可以為多層且主要作用為使用卷積核進行特征提取和特征映射，池化層與卷積層可任意搭配并同樣存在多層，其作用是下采樣降維，最后由全連接層在尾部進行擬合，減少特征信息的損失，由輸出層輸出數據。

圖1 抑郁癥識別模型結構圖

在訓練數據之前，由于獲取的數據集是以視頻的形式存在，我們需要對該數據集進行一定的預處理，過程如下。

⑴圖片截取：我們對于數據集中每個視頻按10秒間隔截取一張照片且大小為320×240，處理完的圖片格式統一為.png。

⑵濾波去噪：采用Pyhton中blur函數對于圖片進行濾波去噪處理，該函數使用歸一化框過濾器模糊圖像，計算每個像素中對應核的平均值，對輸入的圖像進行均值濾波后用目標圖像輸出。

⑶特征點標定：特征點是指在其他相似的圖像或目標中，以相同或相似的不變形式表示的點，我們可以在不同圖像之間建立幾何或統計關系，實現輸入人臉圖片的識別。在本文中采用HOG特征基礎，通過尋找數據集中人臉照片的68 個標定點，遍歷所有點，打印出其坐標作為特征點標定。

2 神經網絡模型搭建

2.1 網絡初始化

如圖1 所示，本文所搭建網絡結構包含5 層卷積層和2 層池化層，我們從高斯分布中隨機采樣權重且這些隨機初始化的權重將在網絡的訓練過程中逐漸調整以適應任務，除了權重，每個卷積層和全連接層還包含一個偏置（bias）項，偏置的初始化為隨機最小值。其中卷積層的卷積核大小和池化層大小、向量維度、步長和填充參數如表1 所示，在卷積層中我們使用Relu函數取代Sigmoid函數，其作為激活函數，能夠有效地避免飽和問題且對抗梯度消失等情況。另一方面，該函數使用了簡單的閾值化，具有很高的計算效率，能夠降低本文實驗對算力的要求。

表1 網絡初始化參數表

Relu函數和Sigmoid函數定義為公式⑴和公式⑵，在全連接層中的激活函數，我們仍使用Relu函數。

2.2 輸入層

本文中輸入層采用三維張量(H,W,C)，其中H表示圖像的垂直維度大小，即圖像的行數；W 表示圖像的水平維度大小，即圖像的列數。C 指的是圖像的顏色通道數量。本文數據集圖片為彩色圖像，因此采用三原色通道(RGB通道)。經過數據預處理后，我們將每張圖片轉換為(48,48,3)的三維張量作為輸入層的輸入。

2.3 卷積層

在卷積過程中，卷積核的權重起到了特征提取的作用，通過多次訓練學習得到適合任務的卷積核權重，從而幫助模型提取數據中有效特征。卷積計算公式如公式⑶，其中l-1 為卷積層，采樣大小為a*a，g(x)將x中a*a 的大小中像素值進行求和并乘以權重系數w，然后加上偏置項b，最后做Sigmoid函數運算。公式⑷、公式⑸為每一層卷積層的長度與寬度的計算法則，Hi、Wi分別為上一層長度和寬度，F為卷積核大小，S為步長，P為邊界填充參數。

2.4 池化層

池化層用于減小特征圖尺寸從而實現降維作用并且有效緩解過擬合問題，在該層中卷積核個數不給予改變。如圖1 所示，池化層特征提取維度為(2,2)，我們采用圖2中最大匯聚(Max Pooling)，從每個2*2的特征數據中提取最大的數作為新的特征數據，公式⑹、公式⑺為池化層中長度與寬度的計算公式。

圖2 Max Pooling

2.5 全連接層

在經過卷積層和池化層處理之后，我們通過全連接層將數據轉換為一維張量，本文中使用Flatten 層和兩層Dense 層構建全連接層。在該層中，如圖3 所示，采用Dropout 機制降低過擬合能力，該機制隨機選取部分神經元不參與計算，這樣一來可以減少神經元之間的依賴，權值的更新不再依賴固有關系的隱含節點的共同作用，從而提高模型學習的魯棒性。

圖3 Dropout機制

2.6 輸出層

從圖1可以看出，從界面中輸入測試圖片后，圖片經訓練過的抑郁癥檢測模型處理，輸出每個表情的得分概率值，將該數據與抑郁癥患者數據進行對比，從而預測測試者患抑郁癥的幾率。在輸出層，soft max函數計算各表情的概率值，公式如下：

其中，P 表示每個表情的概率值，eak表示所有表情的得分值。

3 實驗與結果分析

3.1 實驗環境

本文采用64 位操作系統Windows 10，處理器為AMD Ryzen5-4500U with Radeon Graphics 2.38 GHz，RAM 16.00GB，程序編寫以及運行環境為Python 3.10。

3.2 GUI界面

為了方便觀察抑郁癥患者各個表情元素的占比，本文通過Python 中PyQt5 設計了可視化界面，如圖4所示，我們在該界面中輸入一張抑郁癥患者的圖片，并通過直方圖顯示了各類表情的概率值，其中傷心和中性情緒占比最高，其次是害怕和憤怒。總體而言，該患者的負面情緒占比較高，本文所采用模型識別效果符合患者情況。

圖4 基于面部表情分析的抑郁癥識別系統

3.3 檢測結果以及結論

我們將數據集劃分為訓練集和測試集，比例為7：3，通過訓練集中訓練出抑郁癥識別的模型并并將測試集進行檢測。由于數據集是以視頻的形式，因此我們按照上述10秒間隔截取一張患者照片，每個視頻各截取15 張照片。我們從中隨機抽取了5 個抑郁癥患者進行檢測并給出了每個患者各類感情因素的平均占比率，如表2所示。

表2 患者各類情緒因素的平均占比表

從表2 中數據可以得出檢測的5 名患者傷心情緒比例最大，其次是中性表情，總體上來看，這些檢測者的負面情緒比較多，抑郁癥者個人很難保持開心的狀態，因此我們對于患者應該著重關注他們的情緒心態等問題。另一方面，抑郁癥是一種長期困擾患者的精神類疾病，因此單次對于患者的檢測并不能完全體現其準確性，為提高實驗有效性，我們對于檢測者進行了持續一周的不定期檢測，并抽取了一名患者一周內情緒的變化，其數據如表3所示。

表3 某患者一周內各類情緒因素的平局占比表

從表3可以看出，該患者長期處于低落狀態，這很符合抑郁癥患者的情緒狀態；他們偶爾會出現恐懼的心態，這說明患者個人情緒不僅長期處于負面情緒狀態，而且會出現情緒變化幅度大且不穩定的情況。

最后，我們采用抑郁庫數據集EATD 中30%數據作為測試數據，采用本文模型進行檢測，當檢測出負面情緒占比大的測試者符合患者自身情況，則視為正確的數據，反之則視為錯誤數據。本文檢測的正確率為71.3%，該方案對于識別抑郁癥具有較高的準確性，并且詳細的分析了這些患者情緒變化情況。

4 結論

本文結合深度學習技術提出了一種基于人臉面部表情分析的抑郁癥識別方法，該方法通過循環神經網絡建立模型，以面部表情為分析因素，實現抑郁癥識別。根據上述實驗結果可知，該方案能夠較好的識別出測試者的個人情緒變化是否符合抑郁癥的癥狀，且測試集檢測的正確率良好。通過分析面部表情，我們能夠更好地預測和診斷抑郁癥，為患者提供早期干預和治療的機會。此外，該方案還具有良好的可行性和合理性，可為抑郁癥的診斷提供一種新的非侵入性方法。

本方案可應用于輔助抑郁癥的診斷和預防。對于方案的改進與完善有以下考慮：①患者的日常行為和言語也會影響到抑郁癥識別，應考慮這部分因素；②隨著深度學習技術的快速發展，研究者對于神經網絡的研究可以更全面和深入，可以繼續探討將其他模型應用到該問題上，進一步提升識別效率。