私人心理“醫生”設計與實現

周神美　朱屹誠　李星燁　張大秀

摘? 要：在信息爆炸的時代，針對人們常伴有焦慮抑郁等不良情緒會對其生理和心理造成不可逆轉傷害的問題，文章設計了一款私人心理“醫生”。該私人心理“醫生”通過所收集的用戶面部表情的照片或視頻，運用面部識別技術來識別人臉;繼而通過微表情技術，精準地識別微表情中隱藏和壓抑的情緒信號;最后通過情感識別技術推測和初步判斷用戶的情緒，并對其心理問題做出診斷。

關鍵詞：面部情感識別;微表情;心理健康;緩解推薦

中圖分類號：TP391.4? ? ? ? ? ? ? ? ? ? 文獻標識碼：A文章編號：2096-4706（2021）20-0011-05

Design and Implementation of Private Psychological “Doctor”

ZHOU Shenmei， ZHU Yicheng， LI Xingye， ZHANG Daxiu

（Bengbu University， Bengbu? 233030， China）

Abstract： In the era of information explosion， aiming at the problem that people are often accompanied by adverse emotions such as anxiety and depression， which will cause irreversible damage to their physiology and psychology， this paper designs a private psychological “doctor”. The private psychological “doctor” uses face recognition technology to recognize faces through the collected photos or videos of users facial expressions; then， through micro expression technology， it can accurately identify the hidden and repressed emotional signals in micro expression; finally， the emotion of users is inferred and preliminarily judged through emotion recognition technology， and their psychological problems are diagnosed.

Keywords： facial emotion recognition; micro expression; mental health; mitigation recommendation

0? 引? 言

2020年初，受新冠肺炎疫情的影響，人們需要居家隔離減少社會活動，網絡的過度使用以及身體活動受限，影響了人們的心理狀態，使其更容易產生負面情緒。由于出行受限，許多群眾不能及時前往醫院就醫。近幾年出現了如好醫生、健康小屋、欣九康健康等一系列網絡問診平臺，這些平臺具有智能診斷、智能病例分析、快速復診等功能，使醫生可以方便快捷地為患者診療，為出行不便的患者就醫提供便利。然而，這些網絡問診平臺基本上只關注生理方面的診斷治療，心理方面的診療卻寥寥無幾。本文提出的私人心理“醫生”可以完成對患者心理問題的初步診斷，給出科學的建議，從而達到輔助治療、緩解壓力的效果。

1? 系統設計

私人心理“醫生”的整體結構如圖1所示，主要包括圖像采集、人臉識別系統、情感匹配數據庫、控制系統等部分。其整體工作流程為：首先自動打開攝像頭，對用戶進行圖像采集，通過攝像頭讀取用戶的臉部模型和臉部表情;然后通過人臉識別系統對用戶的微表情進行識別分析，并將分析結果傳送至情感匹配數據庫進行匹配，從而得到用戶當前的情感狀態;隨后將情緒匹配結果傳送至控制系統，控制系統對聽覺、視覺、空氣條件三大模塊發布指令，通過智能設備調節出一個相對舒適的環境，從而達到改善用戶心情的目的。用戶也可以依照自己的生活習慣，通過操作系統自行設置待啟動的模塊，從而實現更加人性化、個性化的調節。

1.1? 圖像采集

圖像采集是指相機將采集到的光學圖像轉換成視頻信號，然后把視頻信號送入圖像采集卡，進行數字化處理，再轉換成圖像數據的過程，最后通過計算機對這些數據進行處理和存儲。圖像采集有灰度和采集分辨率兩個指標，將視覺傳感器采集到的光信號轉換為電信號，經過空間采樣和幅度轉換后，信號被轉換成數字圖像。

1.2? 人臉識別系統

二十世紀六十年代，西方國家德國、日本、美國率先開始研究人臉識別，到九十年代后期，人臉識別技術才開始在中國起步。人臉識別是一項復雜的技術，人體面部檢測和面部身份認證都屬于面部識別技術的范疇，并涉及許多領域的知識內容，例如人工智能、圖像數字化處理、計算機視覺層面和神經網絡。人臉識別通過人臉特征采集、人臉部位檢測、人臉匹配等環節，快速識別和獲取目標的身份信息，從而達到解鎖設備、人臉支付、考察考勤、偵查犯罪分子等目的，具有無須接觸、侵擾性弱、采集便捷等優點。

人臉識別系統[1-3]有兩個模塊：人臉檢測模塊和人臉識別模塊。人臉檢測模塊采用自帶人臉檢測器的dlib庫，并采用經典的方向梯度直方圖加線性分類器的方案，提高人臉識別的準確性。人臉識別模塊需要用到兩個模型，一個是人臉關鍵點檢測模型，另一個是人臉識別模型。人臉關鍵點檢測模型用于檢測和收集面部的68個特征點。為了使人臉識別更加精準，同時使不同表情的人臉置于相同的位置時，系統均會對整個五官和面部輪廓進行有效識別，在繪制完68個特征點之后，人臉識別模型可以將面部信息提取成128維的向量空間，并對所收集的信息進行分析。編碼人臉識別過程如圖2所示。

1.3? 微表情

人們通過觀察某人面部表情、肢體語言或者聽聞其聲音達到認識了解該人的目的，其中通過表情分析情緒在心理學領域受到廣泛的關注[2]。但由于人類的自我保護意識較強，在很多情況下習慣于通過偽裝或者抑制自己的真實情感來自我保護，這將導致通過正常的面部表情分析所得到的情感并不準確。然而，在人們偽裝的情緒下會產生一種局部、瞬間的面部表情，即微表情。微表情是指人們在試圖隱藏或壓抑情緒信號，卻又無法做到完全隱藏或壓抑情緒信號而不自覺流露出來的不易覺察的表情。此外，由于微表情呈現時間極短，只會在臉上持續1/25到1/5秒的時間，而且無法被有意識地壓制，所以通常它又被視為揭示人類隱藏真實情緒的重要途徑。

1.4? 情感識別

情感識別有兩種方式：一種是通過給定圖片路徑對獲取的圖片進行情感識別;另一種是通過攝像頭獲取圖片進行識別并且實時顯示識別結果。情感識別的主要流程如圖3所示，即先用dlib庫的人臉檢測算法獲取圖片中的人臉，將人臉圖片部分截取下來后進行大小調整以及灰度化，接著通過已經訓練好的卷積神經網絡模型對圖片進行情感識別，最后顯示識別的結果[4，5]。

因為面部表情具有豐富性和復雜性等特征，所以采用了客觀的編碼標準，即采用面部動作編碼系統（Facial Action Coding System， FACS）對面部表情進行客觀的編碼。根據面部的運動強度分解面部表情，分析各個面部肌肉。

1.5? 識別功能實現

1.5.1? 圖片剪輯

圖片剪輯是利用dlib.get_frontal_face_detector（）初始化人臉檢測器detector，檢測人臉在圖片中的位置，再進行圖片裁剪，只保留圖片中的人臉部分，具體代碼為：

gray = cv2.cvtColor（image， cv2.COLOR_BGR2GRAY）

clahe = cv2.createCLAHE（clipLimit=2.0， tileGridSize=（8， 8））

clahe_image = clahe.apply（gray）

detections = detector（clahe_image， 1）

for k， d in enumerate（detections）：

1.5.2? 提取特征

圖片剪輯后，通過提取人臉的坐標特征、動作單位（AUs）、動作特征獲取整個人臉的主要特征：

Step1：提取人臉坐標特征，圖片剪輯后利用dlib.shape_predictor（）初始化predictor，提取出68個人臉坐標。

for k， d in enumerate（detections）：

shape = predictor（clahe_image， d）

xlist = []

ylist = []

for i in range（0， 68）：

cv2.circle（clahe_image， （shape.part（i）.x， shape.part（i）.y）， 1， （0， 0， 255）， thickness=2）

xlist.append（float（shape.part（i）.x））

ylist.append（float（shape.part（i）.y））

Step2：提取動作單位（AUs），利用68個人臉坐標特征，通過幾何法運算得出動作單位。

Step3：提取動作特征，結合opencv2的Video Capture? （），遍歷視頻的每一幀圖像，得到整個人臉表情特征。

def getVideoFeature（path_video， path_feature）：

1.6? 控制模塊

檢測識別面部表情之后，需要對檢測出的對應情感進行緩解治療，具體的控制模塊如圖4所示。

1.6.1? 聽覺調節模塊

聽覺是影響人們情緒變化的重要因素，人們的喜怒哀樂等情緒可以通過音樂來表達，音樂對人的心理具有一定的調節作用。例如，悠長的音樂會讓管理人類情緒和感覺的大腦產生自主反應，從而引起個人情緒上的變化。人的不同意識和狀態會產生不同頻率的腦電波，頻率在8～12 Hz之間的α波通常出現在人們輕松、愉悅、舒適時;大腦處于β波狀態時，說明人們感到焦慮或不安。利用這些特征，對不同的音樂進行相應的分類，將其保存在系統數據庫中，以便為處于不同情感狀態的個人給出相應的音樂。系統成功識別出用戶情緒后，由控制系統發出指令，控制音樂播放器播放適當的音樂（甚至是控制音樂的頻率和波形），通過控制聲樂，達到調節用戶心情的目的。

1.6.2? 視覺調節模塊

人的視力也是影響情緒的重要因素之一，不同的顏色會對人產生不同的影響。比如，充滿活力的紅色，可以讓人富有激情;藍色可以讓人的內心平靜下來，使人放松。外在的意象豐富，內在的心理復雜，外在意象對內在心理的影響是神奇而微妙的。同一人不同境況下對于相同的景物，產生的情緒可能大有不同。比如，某人看到一朵花，當其處于高興狀態時就會覺得花在嬌艷中透著可愛，難過時不禁覺得花在美麗中暗含幾分憂傷;同樣的景色，初次觀看的人欣賞它的秀美，經常過目的人感受它的平淡。與聽覺模塊類似，系統在接收到來自控制系統的命令后，可以根據當前的情緒匹配結果控制視頻播放不同的畫面，達到色彩控制的目的，從而調節用戶的情緒。

1.6.3? 空氣條件調節模塊

除了聽覺和視覺會影響情緒外，觸覺和嗅覺也會在一定程度上影響情緒。例如，新鮮的空氣可以為大腦帶來更多的氧氣，使人體細胞擁有大量的氧氣，從而確保其能夠高效運行。悶熱的空氣會使人心煩意亂、無精打采，沮喪和困倦。當一個人的情緒處于緊張、焦慮狀態時，淡淡的清香可以使其大腦放松，情緒逐漸得以改善?？諝鈼l件調節模塊主要利用空調、加濕器等裝置來改變空氣環境，控制系統發出指令后，可以根據用戶的情緒匹配情況調整溫度和濕度。同時，芳香精油被設置在加濕器內部，如有必要，可以將其自動添加到加濕器的水中，飄出一絲絲淡淡的芳香，協助調整用戶的情緒[6]。

2? 程序流程設計

2.1? 初始化

產品的開啟可以通過微信一鍵登錄功能實現，在用戶同意授權后即可完成微信號免密登錄（無須驗證），給用戶帶來更高的安全性和更好的使用體驗，也可使用賬號密碼登錄。為提高識別的準確性，首次使用時，用戶需要在喜、怒、哀、樂四個圖標中分別上傳對應的表情，作為四種基礎表情，如圖5所示。

2.2? 識別

初始化完成后，進入識別頁面，用戶需點擊一鍵識別，并將手機的前置攝像頭正對面部，穩定地保持一會，即可得到表情分析報告。情感報告以六邊形的模塊實現，體現用戶的情感區間，再點擊解決方案。私人心理“醫生”將會根據用戶的表情分析報告給出適當的建議，同時控制系統會控制智能家居對室內環境進行調節，讓用戶處在一個更加舒適的環境之中，具體識別過程如圖6所示。

2.3? 個人

如圖7所示，在個人頁面中用戶可以綁定自己佩戴的手環、智能家居等健康監測設備。用戶佩戴設備，系統可以記錄其每日的運動消耗，睡眠質量等參數。借助藍牙可以將參數上傳到該應用，用戶可以隨時在該應用中查看自己的身體狀況。智能家居則會根據所識別的用戶情感情況，從舒適度方面適度調節室內環境，從而更好地調節用戶情緒。

2.4? 其他功能設計

2.4.1? 青少年模式和老年模式

老年模式與子女賬號綁定，子女可以實時查看了解老年人心理狀況，有助于將老年人的生活起居照顧周全。青少年模式與父母賬號綁定，便于父母隨時了解孩子的心理健康狀況，有利于青少年身心健康發展。

2.4.2? 交流社區

用戶可以通過社區交流功能，與社區其他用戶進行必要的交流和分享。用戶通過分享自己的生活意趣，激勵自己多做一些感興趣的事情，調動其生活的積極性。適當的交流和分享既可以幫助用戶獲得和諧的人際關系，交到志同道合的朋友，又對舒緩用戶焦慮的心情和治療起到積極的作用。

2.4.3? 智能家居環境

私人心理“醫生”可以與智能家居綁定，智能家居可以根據用戶的狀態智能調節環境，從視覺、聽覺、空氣質量三個方面為用戶營造舒適的環境，協助調理用戶的情緒，同時解放雙手，給用戶帶來更好的體驗。

2.4.4? 用戶反饋

好的產品并非是一蹴而就的，為了提高用戶體驗感，以為用戶提供更加有效的幫護，設置用戶反饋模塊，用戶在使用過程中有任何問題或建議都可以隨時進行反饋，產品也會根據用戶反饋不斷地予以完善。

3? 測試

如圖8所示，私人心理“醫生”設計完成之后，進行了相應的測試。主要包括對登錄注冊、人臉識別分析等功能進行測試：

測試1：正確注冊的賬號和密碼登錄。

測試2：注冊的賬號和錯誤的密碼登錄。

測試3：未注冊賬號和已注冊賬號密碼登錄。

測試4：只輸入賬號不輸入密碼登錄。

測試5：不輸入賬號只輸入密碼登錄。

結果：測試2、測試3、測試4、測試5如圖9測試結果所示，均無法登錄。

測試1可以登錄，測試1的結果如圖10所示。

測試6：打開攝像頭，正常檢測正臉，觀察能否在人臉檢測中識別到人臉。

測試7：打開攝像頭，正常檢測側臉，觀察能否在人臉檢測中識別到人臉。

結果：測試6可以識別到人臉，測試6的結果如圖11所示。

測試7無法識別到人臉，測試7的結果如圖12所示。

經過測試可知，私人心理“醫生”基本可以實現需求的功能，具有一定的可行性。

4? 結? 論

基于在重大災難之際人們出行不便，許多人對便利的心理問題診療平臺有剛性需求的狀況，本文設計并實現了私人心理“醫生”，能夠在用戶足不出戶的情況下對其進行心理診斷和治療。本項目投入實踐，將為不方便出行的群眾帶來諸多便利，節約醫生方對患者心理問題診斷的時間和成本，及時緩解和輔助心理問題的治療，且能夠提高用戶對心理問題的重視。

參考文獻：

[1] 巫春玲，馮志文，鐘沈豪，等.基于人臉識別技術的高校課堂自動考勤管理系統 [J].智能建筑與智慧城市，2020（5）：20-24.

[2] 張人，何寧.微表情識別研究綜述 [J].計算機工程與應用，2021，57（1）：38-47.

[3] 鄭浩鑫，林楷焱，陶銘.視覺情感識別系統的設計與實現 [J].計算機時代，2021（3）：33-36.

[4] 何正軒.基于面部識別的情感輔助調節系統 [J].中國新技術新產品，2017（1）：10-11.

[5] 許嘉誠.基于并行算法的快速人臉識別系統設計與實現 [J].無線互聯科技，2020，17（6）：63-65.

[6] Kotsia I， Pitas I. Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines [J].IEEE Transactions on Image Processing，2007，16（1）：172-187.

作者簡介：周神美（2000—），男，漢族，安徽合肥人，本科在讀，研究方向：計算機與信息技術;

朱屹誠（2001—），男，漢族，安徽宣城人，本科在讀，研究方向：計算機與信息技術;

李星燁（2000—），女，漢族，安徽淮南人，本科在讀，研究方向：計算機與信息技術;

張大秀（1992—），女，漢族，安徽宿州人，助教，碩士研究生，研究方向：移動邊緣計算、深度學習、計算機技術。