基于OpenCV與Face++的自閉癥兒童情緒識別系統

葉繼陽　屠益軍

關鍵詞：自閉癥;OpenCV;情緒

中圖法分類號：TP312 文獻標識碼：A

1概述

情緒反映個體的認知心理狀態，對行為表現具有調節效用，是診斷性評價和形成性評價的關鍵指標之一。自閉癥兒童的面部表情與正常兒童存在一定差異，目前學術界和教育界均沒有發布針對自閉癥兒童情感計算的面部表情圖像數據集，尤其缺少基于真實教育場景的自閉癥兒童面部表情圖像數據集。因此，開展面向自閉癥兒童的情緒智能感知已成為一個重要研究方向。本次研究開發了一套情緒識別數據分析系統，該系統主要有三大功能：按指定幀數間隔截取視頻幀，并將圖像保存到指定位置;通過機器學習對圖片進行分類，識別截取的圖像中是否包含人臉，對包含人臉的圖像進行標注并保存，對不包含人臉的圖像則進行刪除;對保存位置的所有文件夾下的圖像進行情緒識別分析，主要識別憤怒、厭惡、恐懼、高興、平靜、傷心、驚喜七類最重要的情緒，最后以Excel形式輸出分析數據。

目前，在一些普通的應用中，主要依靠訓練好的深度學習模型進行人臉識別，國內如曠視科技、華為、阿里巴巴和騰訊等云平臺都提供此功能。用戶直接調用平臺開放的公共接口就可以進行分類和預測。使用這種方式，不需要購置GPU等硬件設備，不需要花費大量的時間進行樣本數據訓練，技術和開發難度小，成本較低。Face++是世界最大的人臉識別技術平臺，提供人臉檢測與情緒分析等功能，其情緒識別功能較為完善，所以本文選用Face++分析自閉癥兒童的臉部情緒。

2系統總體架構

獲取自閉癥兒童臉部表情信息的渠道主要是：兒童在學習、表演、娛樂、生活時的視頻。首先借助OpenCV處理視頻流，然后通過Face++AI對臉部表情數據進行分析，可以挖掘其中的情緒信息。情緒識別系統采用Python進行開發，計算機視覺庫則選用OpenCV。

3數據處理流程

情緒監測系統中的數據處理流程如圖1所示。

4相關技術

4.1視頻采集

絕大多數的自閉癥兒童或多或少都有語言交流的障礙，他們與他人交流的意愿不強，與人交際存在困難，往往在與人交往時有逃避的心理。相較于參加群體活動，他們更喜歡獨自一人相處，因此社交障礙是自閉癥患兒面臨的最大問題。但是，這并不意味著他們沒有感情，因此，自閉癥兒童的臉部視頻采集需要在特殊的環境和場景（比如專門的機構或者學校）下進行。

4.2抽取視頻幀

視頻的讀取操作通過OpenCV中的VideoCapture類來實現;視頻的寫入操作是通過OpenCV中的VideoWriter類來實現。其中，VideoCapture類支持從視頻文件和攝像機中讀取視頻信息。

首先，要想獲取視頻信息需創建一個VideoCapture對象，VideoCapture對象的創建方式有以下三種：從文件中讀取視頻，對象創建以后，OpenCV將會打開文件并做好讀取準備，如果文件打開成功，則可以開始讀取視頻的幀;從攝像機中讀取視頻，在這種情況下，系統會給出一個標識符，用于表示想要訪問的攝像機及其與操作系統的握手方式;先創建一個捕獲對象，然后通過成員函數open（）來設定打開的信息。

每幀都是一幅基于BRG格式的圖像，可以通過VideoCapture類中的read（）函數來獲取新的幀，用grab（）或retrive（）方法讀取一組或者一個多頭攝像頭。由于情緒變化有一個過程，對視頻每秒抽取1幀圖像進行分析，足以滿足對自閉癥兒童臉部的情緒監測要求。

4.3圖像預處理

對抽取的圖像中不包含人臉信息的圖像進行剔除，主要借助Dlib庫來實現。Dlib是一個機器學習的開源庫，其包含機器學習諸多算法，使用起來很便捷，直接包含頭文件即可使用，并且不依賴于其他庫。用Dlib庫來實現人臉識別，它已經替我們做好了絕大部分工作，對其進行調用即可。Dlib庫含有人臉檢測器，具有訓練好的人臉關鍵點檢測器。使用Dlib庫所帶的cvtColor（）方法可以將彩色圖像轉換為灰度圖像，這個過程雖然丟失了顏色信息，但保留了紋理及輪廓等特征，可以有效減少存儲空間。處理效果如圖2所示。

4.4情緒檢測

針對需要檢測人臉的圖像，首先將這些圖像在本地進行Base64編碼，圖片數據被編碼成一系列字符串，然后將編碼后的圖像上傳到Face++平臺提供的通用接口即可。

目前，Face++AI人臉檢測支持的圖片格式有PNG、JPG、JPEG，平臺支持對檢測到的人臉進行直接分析，以獲得人臉的關鍵點和各類屬性信息。此外，該平臺對上傳的圖片有一些基本的格式要求，比如圖片像素尺寸最小是48?48、圖片像素尺寸最大是4096?4096、圖片文件小于2MB等。

通過調用Face++AI的人臉檢測API，并在調用人臉檢測接口時帶上emotion參數，即可對這張人臉圖片進行情緒識別。Face++平臺可識別的情緒主要包含7種，分別為憤怒、厭惡、恐懼、高興、傷心、驚訝和無情緒。

4.5情緒分析與存儲

Xlwt是一個支持使用Python語言對Excel表格操作的庫，不過目前只支持xls格式。最后，可通過調用循環語句將Face++平臺返回的json數據寫入Excel單元格，然后通過Excel的統計和分析功能形成圖標分析統計數，以文件的形式保存在電腦上。

5結束語

在開發自閉癥兒童情緒識別系統的過程中，首先對采集的視頻資料進行抽幀，并對抽幀后的圖像進行分析，再對包含人臉的圖像進行base64格式編碼，最后調用Face++平臺的人臉識別接口，分析自閉癥兒童的臉部情緒，并利用Xlwt操作Excel電子表格文件。通過調用循環語句將Face++平臺返回的json數據寫入Excel單元格，然后通過Excel的統計和分析功形成圖標分析統計數，以文件的形式保存在電腦上，再將檢測結果反饋給研究人員。今后，可結合更多的傳感設備來獲取對象的數據，讓自閉癥兒童的情緒檢查更加準確。

作者簡介：

葉繼陽（1982—），本科，講師，主要研究方向：虛擬現實技術、人工智能技術。

屠益軍（1981—），本科，工程師，主要研究方向：計算機輔助技術在自閉癥治療中的應用。