基于情緒識別的遠程老年人看護系統

姜建浩

衢州市人民醫院設備處 （浙江衢州 324000）

隨著人口結構的老齡化發展，我國老年人口在總人口中所占比例越來越大。老年人機體抵抗力差，是各種疾病的高發人群，而且老年人普遍存在行動不便、就醫困難的問題[1]。解決老年人看病和保健的難題，實現智慧健康養老是我國醫療服務體系改革的重要目標[2]。現階段的養老服務不夠人性化，存在獨居老年人缺乏親情關愛、安全隱患多、醫療服務需求不能滿足、子女無法實時了解老年人生活狀況等問題。情緒是人對客觀事物的態度體驗以及相應的行為反應，情緒狀態成為檢測老年人對生活狀態態度的一個定量指標，研究一種能夠及時獲取老年人情緒狀態，尤其是負面（悲傷）情緒狀態的遠程監控系統具有重要意義。基于面部表情的情緒識別方法是一種不影響老年人日常生活的檢測方法。本研究設計了一種基于情緒識別的遠程老年人看護系統，該系統通過英特爾開放式視覺推理和神經優化模塊Openvino 進行基于表情的情緒識別以判斷家中老年人的情緒，利用Python 的微信操作模塊Wxpy 進行微信信息交互，使用圖靈機器人進行用戶語句的模糊查詢[3]。

1 系統架構

該系統基于微信構建聊天機器人，以微信為操作終端構建聊天平臺，通過圖靈機器人對微信中的查詢內容進行匹配，反饋查詢結果。其中，聊天機器人采用Python 的Wechat_sender 模塊進行構建，Wechat_sender 模塊是一個基于微信操作模塊Wxpy 和Tornado 的可以將網站、爬蟲、腳本等其他應用中的各種消息發送至微信的工具[4]。

系統采用微信群作為用戶界面，將檢測老年人情緒狀態的聊天機器人和家屬加入微信群中。于老年人家中設置一個常規攝像頭和服務器，該服務器包含兩個運行單元，其中情緒識別檢測單元用于獲取攝像頭圖像并進行識別，然后將識別到的悲傷情緒信息發送至微信交互單元，由微信交互單元將悲傷情緒信息發送至聊天群組，同時存儲相應的悲傷情緒圖片到指定位置。

微信交互單元為圖像獲取程序，負責在微信群組通信。微信交互單元檢測群組發出的文字信息，當接收到用戶文字信息后，將文字消息傳送至圖靈機器人平臺進行處理；圖靈機器人平臺接收信息后，查詢語料知識庫進行模糊匹配，并將匹配查找的內容反饋給微信交互單元；微信交互單元判斷是否為需應答指令，如果為需應答指令，則提供悲傷情緒圖片。系統架構見圖1。

圖1 系統設計架構

2 系統的設計與實現

2.1 服務器搭建

通過可以接入網絡的電腦作為服務器，搭載情緒識別、微信信息交互相應程序。服務器配置如下：Inter?Core?i5 CPU 4.5GHz，Windows 7 專業版 64 位，4G 內存，500GB硬盤。Python 使用3.7版本。

2.2 情緒識別

情緒識別硬件使用英特爾神經計算棒二代，插入服務器USB 端，情緒識別通過搭載在神經計算棒的英特爾Openvino 工具套件實現[5]。Openvino 工具套件是英特爾于2018年發布的，主要用于計算機視覺、實現神經網絡模型優化和推理計算加速的軟件工具套件。本系統使用Python 面向Openvino 的模塊進行數據處理[6]。

情緒識別的模型采用在Caffe，TensorFlow 等框架中預先訓練的深度學習計算機視覺模型，然后使用Openvino 工具套件進行優化，獲得模型的中間表示[7]。中間表示包括兩個文件，一個是存儲模型權重參數的*.bin 文件，另一個是描述神經網絡拓撲結構的*.xml 文件。獲得中間表示文件后，就可以在用戶應用程序中調用推理引擎完成推理計算。本系統直接獲取中間表示文件實現情緒識別，具體流程如下。

2.2.1 載入硬件插件和中間表示文件

2.2.2 準備輸入輸出張量

2.2.3 載入模型

2.2.4 準備輸入數據

2.2.5 執行推理計算，獲取情緒識別輸出

2.3 微信信息交互

2.3.1 情緒信息發送

在服務器上使用Python 搭建情緒識別程序，程序中使用Wechat_sender 模塊與微信交互單元進行交互，即：

sender = Sender(token='test', receivers='家庭群')

2.3.2 微信信息交互

2.3.3 智能應答系統設計

這部分內容在圖靈機器人的語料庫完成。通過查詢圖靈機器人的開發者文檔，開發者可通過創建自己的語料庫實現自定義的智能問答功能[8]。此外，對于同一個返回答案，可以在圖靈機器人語料庫中添加相似問法，從而使圖靈機器人能夠更加準確地理解用戶意圖，如“幫我獲取現在照片”的相似問法有“返回現在照片”“給我拿現在照片”等。為了進一步提高圖靈機器人的應答準確率，可以修改應答匹配度。

在微信中輸入的查詢語句主要包含兩類文字數據。一類為獲取檢測到悲傷情緒的圖像，如“幫我獲取悲傷時照片”，應答數據為“PIC_SAD_OUT”，當獲取到該應答數據時，返回悲傷時照片；另一類為獲取當下及時的圖像，如“幫我獲取現在照片”，應答數據為“PIC_NOW_OUT”，當獲取到該應答數據時，返回及時照片。

3 系統的應用

當聊天機器人進入家屬群之后，群內家屬用戶等待悲傷情緒檢測信息。當檢測到悲傷情緒時，聊天機器人會給出“檢測到悲傷情緒”的信息，家屬通過發布文字信息，如“幫我獲取悲傷時照片”，聊天機器人返回最近檢測到的悲傷照片。

4 討論

本系統為一種基于情緒識別的遠程老年人看護系統，是通過情緒識別和微信交互模塊構建的實時監控老年人情緒的看護系統，目的是實現對老年人的及時關愛。本系統基于Openvino 的情緒識別判斷家中老年人的情緒，通過Python 的微信操作模塊Wxpy 進行微信信息交互，利用圖靈機器人進行用戶語句的模糊查詢。本系統實例實現了家中監控老年人情緒狀態，檢測到悲傷情緒后發送到微信群，老年人家屬通過文字信息獲取悲傷情緒時圖片。

雖然面部表情可以相對直接地反映出人們的心理活動和情緒狀態，是情緒表達的重要方式，但在真實環境中，姿勢、光照、距離等因素會對表情的識別產生較大影響。通過觀察身體動作、姿勢、語調等不同的形式可提高對情緒狀態的識別準確度[9]。因此，研究如何通過整合身體姿態、面部表情等多模態信息以提高情緒識別準確率是下一步的研究重點。