人臉識別的看護機器人

雷相玉 周依婷 龍春曉 鐘陳昊

編者按：這篇文章中，作者針對傳統輪椅交互模式存在的操作不便、效率低，難以滿足行動不便人群等缺陷，設計了一款具有表情控制的輪椅型看護機器人。該設計利用外部攝像頭對使用者進行表情圖像采集，通過esp8266模塊將數據傳輸到處理器，進行數據判斷后向輪椅機器人發出指令。同時利用GPS定位模塊、紅外檢測模塊、心率模塊對使用者的各項心理與環境參數進行采集，且通過GSM模塊將這幾項數據發送給使用者的監護人，實現二者之間的信息交互。總體來看，該裝置既能增強使用者的自主能力，尊重其人格尊嚴，也能使監護人安心。

調查數據顯示，我國殘疾人口基礎數據庫入庫持證殘疾人數從2016年的3219.4萬人增長至2020年的3780.7萬人，期間增加561.3萬人。而僅有 23.3% 左右的殘疾人得到康復服務，殘疾人主動要求配置個人移動輔助器的占38.56%，而實際配置個人移動輔助器的占有 7.31%，由此可見，我國殘疾人服務缺口巨大。隨著社會經濟的快速發展，社會老年化問題嚴重，殘疾人士的生活服務水平應該在科技智能的幫助下得到提升。在市面上的一般輪椅和電動輪椅，大多通過手動操作的方式控制，存在著操作不便、效率低、靈活性不夠、功能簡單等問題，無法滿足使用者的實際生活需求。與此同時，數字智能的興起讓面部表情識別技術受到了許多消費者與國內外科研人員的青睞，具有較高的研究價值與應用前景。因此，針對傳統輪椅的操作不便與控制指令局限等缺陷，我們選擇面部表情識別作為控制智能輪椅機器人新方式。

設計思路方法

這是針對手腳不便人群開發的利用面部表情識別技術控制輪椅出行的裝置，這種以攝像頭裝置為主和以各類傳感器為輔的可實時監測使用者身體參數與地理位置的智能化出行輔具，對手腳不便人群具有很高的應用價值。其中電機驅動板使用了電磁學的原理，攝像頭運用凸透鏡成像的原理，紅外體溫傳感器運用熱輻射效應，心率傳感器運用光的發射與折射的原理，GPS與GPRS運用萬有引力定律和開普列三大定律。

設計原理

系統的設計包括輪椅的行駛系統、多功能監測系統以及軟件設計系統三部分。

輪椅行駛系統

輪椅的行駛系統主要由控制板和電機驅動板兩部分構成。通過處理器模塊（樹莓派）實現對識別模塊發送的數據進行接受與對比，再通過無線模塊向控制板傳輸相應的動作指令，從而操控輪椅的行駛。

多功能監測系統

考慮到使用者的生理特征，多功能監測系統由心率脈搏傳感器、紅外溫度傳感器、GPS、無線WIFI模塊、電池及微處理器等模塊構成。考慮到設備的低功耗與低價格，采用STM32 F103 系列的處理器，可通過 Keil Mdk5 直接對其進行編程。該模塊通過無線通信模塊與監控中心相連，實現對用戶者的體溫、心率以及地理位置等參數的測量、儲存以及傳輸等功能。后期將制作成手環連接到輪椅上。

軟件設計系統

軟件設計系統包括從機端的操作系統移植，無線網卡驅動、應用開發以及主機端的數據接收顯示開發。最初采用 PC作為攝像頭面部特征識別的處理終端，后期將程序移植到 Linux，放置于基于A53的樹莓派中。

系統構成模塊

該模型主要由五個部分組成：執行模塊，識別模塊，監測模塊，顯示和報警模塊，處理模塊。

WI-FI通訊模塊

ATK-ESP8266 WI-FI模塊是一款高性能的UART-WIFI（串口-無線）模塊。該模塊采用串口與MCU通訊，內置TCP/IP協議，能夠實現串口與WI-FI之間的轉換，傳統串口通訊設備進行簡單的串口配置后即可通過WI-FI來傳輸自己的數據。

紅外體溫傳感器

GY-MCU90615 是一款低成本紅外溫度模塊。工作電壓 3-5v，功耗小，體積小。其工作原理，是通過單片機讀取紅外溫度數據，串口通信方式輸出。通過非接觸式的傳感器，采集病人的體溫信息，利用連接線接到傳感器信號采樣器總線上，通過無線信號發送給處理器。

生物心率傳感器

MDL0025 是光電反射式信號傳感器，用于監測血管輕微的擴張所產生的光電反射強度來反應脈搏的跳動情況。 脈搏傳感器捆綁在病人手指上，或者粘于病人胸前，并且將數據線與傳感器信號采樣器相連，可獲取病人的脈搏信息。

GPS定位模塊

GPS定位模塊用于監測用戶者的地理位置，它與GSM模塊相連接，實現與監護人的聯系，用戶者通過主動報警或者被動報警即可了解用戶者所處的地理位置。

GSM模塊

GSM模塊可與GPRS網絡通信，當有SIM卡插入時自動讀取SIM卡信息，連接GSM網絡，能夠發送短信、撥打電話、連接2G網絡等。

攝像頭部分

通過 USB 協議的攝像頭，處理器讀取攝像頭拍攝的圖像，通過內置程序識別面部動作。

顯示器部分

顯示器部分可采用標準串口顯示器，來顯示用戶者的各項身體指標以及輪椅的電量。

蜂鳴器

通過蜂鳴器實現報警功能，當輪椅電量低于百分之二十時或者用戶者生理異常時蜂鳴器發出鳴叫用于提醒用戶者。

具體實施

輪椅模型如圖 1所示，應用于四肢不便人群。服務對象在家人的幫助下坐上輪椅，系上腰帶。

在圖 1中，1為采集裝置，主要采集使用者面部特征;2為可伸縮桿，用于調節攝像頭的高度和角度;3為腰帶，主要用于監測服務對象的各項生理指標;4為手環，主要連接在輪椅上，監測使用者的生理與環境指標;5為A35樹莓派微型處理器，主要對采集到的數據進行處理并對輪椅或監護人發送指令。本裝置能夠前進、轉彎以及停止，可在室內外使用，比如使用者公園游玩等，可讓使用者進行心理放松和參與社會活動，減少監護人的陪護量。

工作方法

系統進行初始化，當系統監測到服務對象后，開始工作。

識別模塊開始工作，通過USB協議的攝像頭進行照片采集，將圖像等信息傳輸到基于ARM 7的STM32 F103系列處理器進行整理集合，而后通過無線模塊將數據傳輸到基于x64的筆記本電腦，電腦將會通過機器學習算法對圖像數據進行識別并做校驗判斷處理。若識別到用戶者的面部特征為系統認知的“指令特征”，則處理器會對執行機構發送命令使其進行相應操作。使用者用張嘴控制總開關;使用者抬頭，啟動輪椅前行;使用者低頭，輪椅停止行駛;使用者轉臉，輪椅隨之旋轉，直至使用者回正臉，輪椅停止旋轉。

同時監測模塊通過各類傳感器實時監測使用者的地理位置、心率以及體溫等，再將獲得的數據在ARM 7STM32 F103系列處理器中處理好，并計算出相應的數值，而后通過無線模塊將數據傳輸到x64的筆記本電腦，在電腦中判斷是否越限及報警。若使用者的生理參數超過一定閾值，會發送短信通知監護人的到來;監護人也可主動發送“position”指令來查詢使用者的各項生理與環境指標。

場景模擬

系統流程如圖2所示。

情形一如圖3所示：駕駛者坐在輪椅中，對準攝像頭，當用戶第奇數次張嘴且界面顯示OPEN，解開輪椅總開關;當用戶第偶數次張嘴且界面顯示CLOSE，關閉輪椅總開關。

情形二如圖4所示：駕駛者坐在輪椅中，對準攝像頭，當用戶抬頭處于設定范圍內，便會啟動輪椅前行;若駕駛者遇到前方障礙物，可以低頭來操控輪椅停止運動。

情形三如圖5所示：駕駛者坐在輪椅中，對準攝像頭，若駕駛者遇到前方轉彎，可以在一定范圍內左轉臉或者右轉臉，輪椅便會相應的左旋轉或者右旋轉，直至駕駛者回正臉部，輪椅便會停止旋轉。

創新特點

由上述的針對四肢不便人群的智能輪椅的原理與流程可知，本發明的特色與創新點如下：

1.采用新穎的面部控制，顛覆了傳統輪椅的操控模式。使用者僅需進行張嘴、抬頭 、低頭以及轉臉便可控制輪椅，極大地滿足了四肢不變人群的出行需求，實現了便捷的人機交互。

2.集合多種傳感器，監測使用者的心率、體溫等生理參數，實時反饋其身體狀況，保障了使用者的出行安全。

3.結合GPS、GPRS以及GSM技術，實時監測用戶的地理位置，建立與監護人的信息交互。

4.本裝置操作簡單、兼容性強、適用范圍廣。使用者可在家中或者康復院較安全的環境使用，能夠減少其監護人的工作量，也有助于殘疾人增強自尊并與外界環境進行互動。此作品還可開發運用于病人臉部鍛煉康復、病房監測植物人情況等。

應用前景

隨著社會的發展與科技的進步，四肢不便人群對于保障健康、便利生活的需求不斷提高，因此智能輔助機械成為一個新研究熱點。且人工智能領域在各個方面有著廣泛的應用，其中的面部識別技術受到了許多消費者與國內外科研究人員的青睞，具有較高的研究價值與應用前景。針對傳統輪椅的操作不便與控制指令單一等缺陷，我們選擇面部特征識別作為人機交互的新方式。

本文為滿足四肢不便人群的出行需求，在傳統輪椅的基礎上，進行了功能的改進與創新，特別是采用面部識別及計算機軟件技術來控制輪椅的行駛方向，實現了人機交互功能，提高了四肢不便人群的生活質量。同時結合GPS定位和GSM通訊來實時監測出行者的地理位置，建立與家屬或醫院的信息交互，并配載紅外體溫傳感器和心率傳感器監測使用者的生理特征，反饋用戶的實時身體狀況，保障了出行者的戶外安全。此外，利用太陽能電池板和蓄電池進行供電，輔之蜂鳴器預警輪椅的電量不足。我們將合適的硬件和人工智能相結合，賦予了殘障人士更多的自主性與便利性，增加四肢不便生活的自信心，同時也減少其監護人的工作量。在后續的開發中，我們將研究眼睛以及眉毛等部位表情的人機互動功能，能夠有效幫助特定人群及時表達需要被幫助的需求。

結語

社會在不斷的發展，科學在不斷地進步。科技發展造福的是全人類，是服務人民的存在。本裝置的初心是為了改善四肢不便人群的生活水平、自主能力和人格尊嚴。在就算沒有人員陪同的情況下也能自由出行，也讓監護人能放心其自我出行。當然本裝置只是一個初步的設計，僅僅只能滿足四肢不便人群的一部分需求，我們也會加強改進，實現更多的表情控制，達到更高精度的監測水平。為部分四肢不便人員有更美好的生活不斷努力，繼續鉆研。

參考文獻：

[1]韓德洋. 依法保護殘疾人的公民權利和人格尊嚴[N]. 人民法院報，2021-11-25（005）.

[2]史浩，邢瑜航，陳煉.基于多尺度融合注意力機制的人臉表情識別研究[J/OL].微電子學與計機：1-8[2021-11-30].https：//doi.org/10.19304/J.ISSN1000-7180.2021.0799.

[3]張曉玉. 我國個人移動輔助器具領域的發展現狀和趨勢[A].中國康復醫學會，2010：6.

[4]羅椅民.我國適老輔具與殘疾人輔具需求分析[J].STANDARD SCIENCE，2019（6）：57-61.

[5]張天.面部表情識別的研究與集成實現[D].重慶郵電大學，2016.

[6]吳景軍.基于面部表情的智能輪椅控制系統研究[D].沈陽工業大學，2015.

[7]黃曉光，葉振合，鄭穎.殘疾人輔具產品安全性設計研究[J].包裝工程，2018（16）：16-18.

[8]吳賡.藍牙技術在單片機控制中的應用[J].機電信息，2021（26）：60-61+64.

[9]張琥石，林偉龍，楊發柱，黃向軍，金星伊，陳潔，羅曉春，張盈盈，甘辛.基于ESP8266 WiFi模塊的物聯網體溫監測系統[J].物聯網技術，2020，10（12）：32-35.

本文受到國家級大學生創新創業訓練計劃項目《健康城市與智能出行——針對手腳皆殘的智能輪椅》（202010349021）資助。