基于人工智能的自閉癥兒童情緒識別系統研究

孫宏林 程敬 李茜 彭俊峰 張佳偉

（西安工程大學機電工程學院，陜西 西安 710600）

引言：自閉癥又稱孤獨癥,是一種腦功能障礙引起的嚴重的長期發展障礙的綜合癥，主要表現在言語發展與溝通、社會交往以及情緒與行為模式等方面的障礙或異常。研究發現自閉癥患者很難識別出自己的或者是其他人的面部表情以及情緒。這種識別他人情緒表情能力的缺乏影響了他們與他人交往的能力[1]。根據世界衛生組織的調查顯示，全世界自閉癥患者已達6700 萬以上，這一上升趨勢還在不斷的加劇，據全國殘疾人普查情況統計估算，我國自閉癥患者已超過1000 萬人，自閉癥尤以兒童占比較高，我國0-14 歲兒童患者數量在200 萬人左右，并且數量逐年增高。

一、研究背景

自閉癥又稱孤獨癥,是一種腦功能障礙引起的嚴重的長期發展障礙的綜合癥，主要表現在言語發展與溝通、社會交往以及情緒與行為模式等方面的障礙或異常。隨著自閉癥近年來的增長趨勢，已經逐漸的得到廣大人群的關注，據2013 年美國精神病學會的最新診斷標準《精神疾病診斷與統計手冊》第五版，ASD 的典型特征劃分為3 大特征:社交障礙，語言交流障礙，重復刻板的異常行為[2]。Baron 等人使用標準的面部表情圖片研究自閉癥兒童對不同情緒種類的識別,發現自閉癥兒童對他人由外部情境引發的簡單表情識別得較好,如高興和悲傷,但難以識別由信念和愿望引發的面部表情如驚奇、窘迫等[3]。他們對于害怕、不安、痛苦等表達負性情緒的表情更不敏感[4]。根據世界衛生組織的調查顯示，目前全球有自閉癥患者約6700 萬人，我國自閉癥患者已超過1000 萬人，自閉癥尤以兒童占比較高，我國0-14 歲兒童患者數量在200 萬人左右，每59 名兒童中就有1 名為自閉癥患者。

迄今為止，自閉癥病因尚不明確，因此沒有特別有效和有針對性的治療藥物，目前自閉癥治療方案大多采取教育和行為干預的方法，以藥物為輔助手段，而教育和行為干預效果并不明顯，而且費用高昂，給患者家庭帶來巨大的經濟負擔。

二、系統實施

（一）總方案實施

實施方案包括三個方面：

1.基于腦電信號的自閉癥兒童情緒識別

設計出自閉癥患兒易于接受的智能可穿戴設備，形狀類似日常生活中佩戴的帽子，用來采集自閉癥患兒腦電信號，采用人工智能中深度學習的方法對腦電信號進行特征提取，構建多維情緒分類系統，將特征信號與情緒類型進行關聯，建立自閉癥兒童情緒識別模型進行情緒識別。

2.基于面部表情的自閉癥兒童情緒識別

拍攝自閉癥患兒面部圖像，通過人工智能中機器學習的方法針對不同患兒進行面部圖像與情緒對應關系的訓練和學習，進而建立自閉癥兒童面部表情與情緒和需求的對應關系模型。

3.綜合腦電和面部信號的自閉癥兒童情緒識別

將自閉癥兒童腦電信號和面部圖像情緒識別結果進行綜合分析，給出自閉癥兒童情緒類型和建議，并將結果反饋給家人和交流者，以便準確把握自閉癥患兒的情緒，滿足其需求和進行正確的情緒引導。

方案實施技術路線如圖1。

圖1 方案實施路線圖

（二）面部表情的自閉癥兒童情緒識別

采集自閉癥兒童面部圖像，采用通過人工智能中機器學習的方法針對不同患兒進行面部圖像與情緒對應關系的訓練和學習，進而建立自閉癥兒童面部表情與情緒的對應關系模型的方案。

首先收集圖片數據，將各個表情圖片數據進行標注，將“自然”情緒設置為“0”,將“生氣”設置為“1”，將“厭惡”設置為“2”，將“害怕”設置為“3”，將“高興”設置為“4”，將“傷心”設置為“5”。然后，運用深度學習框架PADDLE 搭建RNN 模型。將圖片放進模型里進行訓練，取參數較好的時訓練結束。再將測試集進行測試，訓練數據如圖2 所示，若測試集準確率合格，則模型訓練完畢：若測試集準確率過低，則進行數據深度修改和框架改進。

圖2 訓練數據可視化圖

訓練合格后，運用銳爾威視高清攝像頭模組（銳爾威視IMX322 高清，0.01lux1080P，焦距6mm，視角60°）拍攝面部表情圖像，通過識別面目表情圖像，輸出結果。

（三）腦電信號的自閉癥兒童情緒識別

所設計的頭皮腦電信號采集前端電路主要由帶有斬波調制器的前置放大器、增益可編程放大器以及外置低通濾波器組成，電路的整體構架如圖3。

圖3 整體電路架構

前置放大器電路結構，對于極其微弱的頭皮腦電信號，要求前置放大器具有較高的增益、較高的共模抑制比和低噪聲。為了抑制共模信號，前置放大器通常采用全差分結構。

增益可編程放大器和低通濾波器，記錄部位、環境以及電極的變化都會導致頭皮腦電信號的幅度出現大范圍的變化，因此放置可變增益放大器對前置電路的總增益進行調節以避免輸出信號發生飽和現象。

三、設備設計

（一）穿戴式腦電傳感兒童帽

根據兒童頭部形狀和相應腦電波信息采集位置，將腦電傳感器（頭皮腦電信號采集前端電路）設計成適合兒童舒適配戴的兒童帽，可以隨時采集腦電信息。傳感器以條幅交叉的結構覆蓋在帽子內壁，與頭部貼合，既滿足了采集腦電信號的功能，又能夠滿足受眾兒童對舒適性的要求。

根據產品功能的要求，以鴨舌帽為原型設計本產品：如圖4 所示，帽頂部分內部覆蓋腦電傳感器，在佩戴時，收集腦電信號；帽檐部分放置微型電池和信號發送器，為腦電傳感器提供電源同時將收集到的信號發送給計算終端。

圖4 兒童帽透視圖

（二）面部表情識別眼鏡

將面部識別攝像頭安裝在眼鏡上，用戶在觀察自閉癥兒童時佩戴眼鏡，便能采集自閉癥兒童的面部表情信息，同時結合穿戴式腦電傳感兒童帽收集到的腦電信息，綜合計算出自閉癥兒童此刻的情緒，轉化成語音告訴眼鏡佩戴者。

以普通眼鏡為原型設計面部表情識別眼鏡：如圖5 所示，在眼鏡橫梁正中放置面部表情識別攝像頭；如圖6 所示，鏡腳處安裝微型播放器，用以將計算出來的自閉癥兒童情緒信息以語音形式告訴眼鏡佩戴者；在鏡腿處設計可充電式微型電源，為面部表情識別攝像頭和播放器供電。

圖5 面部表情識別攝像頭

圖6 鏡腳處微型播放器

四、結論

人工智能技術的飛速發展為改善自閉癥兒童社會功能與生活質量提供了可能，此智能可穿戴系統通過將自閉癥兒童腦電信號和面部圖像情緒識別結果進行綜合分析，給出自閉癥兒童情緒類型和建議，并將結果反饋給家人和交流者，以便準確把握自閉癥患兒的情緒，滿足其需求和進行正確的情緒引導。同時通過深度學習和機器視覺相關技術開發智能可穿戴設備，在自閉癥患兒與一般人之間架起一座橋梁，讓一般人擁有“讀心術”，能讀懂他們的情緒，滿足他們的需求，提升他們溝通和社交能力，提高他們生活質量，進而改善他們的病癥，減輕他們的痛苦。