基于NAO平臺的自閉癥兒童陪護機器人設計與實現

王 楊，汪家豪，李元金，楊 斌，趙根源

(滁州學院 計算機與信息工程學院，安徽 滁州 239000)

全球現有自閉癥患者6700萬人，兒童占40%[1]。據中國衛生產業相關文獻可知，優質的護理服務可以讓自閉癥兒童焦慮抑郁狀態減輕，舒適度及安全感提高，從而縮短康復時間。但由于我國經驗豐富的治療師人數缺乏，導致治療師長時間勞累工作、兒童康復周期較長[2]。如何減輕治療師的壓力同時又能給自閉癥兒童營造愉悅的治療環境，進而增強治療效果是亟待解決的問題[3]。

基于此問題，本文借助NAO平臺設計出一款自閉癥兒童陪護機器人，能將人工智能技術有效融入醫療工作中。該自閉癥兒童陪護機器人是使用大數據技術將編寫語言到數據庫，應用到機器人內部，也是未來陪護型機器人的發展方向之一[4-6]。這種陪護機器人擁有智能語音聊天和娛樂兩大重要功能，其能夠識別某一固定特征目標，與機器人的陪護運動控制系統以及后端數據庫相結合，在一定的條件下追蹤該目標并與其溝通交流[7-10]。這種語音交互型機器人具備了一定的識別、感知、處理、決策和動作能力，能夠智能地完成任務。

1 NAO機器人平臺簡介

NAO作為雙足智能機器人，身高58公分，NAO本體配備有多款軟、硬件模塊，外形具備高度的擬人化特征[11-12]。NAO身上可運動的“人體”關節使得其擁有25個自由度，甚至其雙手都具備抓握能力，動作靈活。另外機器人還搭配了多種傳感器及其他硬件設備，例如超聲波傳感器、攝像頭、揚聲器等，集成度較高的硬件設備使得NAO機器人能夠滿足本次設計對機器人外形的需求，NAO機器人的外形設計圖如圖1所示。

NAO腳上的壓力傳感器用于判斷它是否與地面接觸。根據腳底接觸改變內存的數值，腳部接觸指令盒會決定輸出信號。如果腳底沒有保持跟地面接觸的話，對應的保護程序會啟動從而進一步保護機器人的安全。使用者將腳部接觸指令盒輸出信號作為NAO是否跌倒的依據之一。

圖1 NAO機器人外形設計圖

2 程序設計與場地分析

2.1 程序設計平臺介紹

Choregraphe 基于圖形的編程工具，實現對NAO的二次開發，以指令盒數據庫為基礎，通過連線的方式即可完成編程。操作過程中可以調整機器人的姿勢、文件傳輸、編寫指令盒及調節機器人音量等。

NAOqi是 NAO的編程結構，擁有并行、資源管理、同步和事件等功能，NAO功能模塊之間能夠互相交流，從而滿足二次開發中的需求。在Pycharm中調用NAOqi庫，之后在Pycharm里面編譯機器人的代碼，代碼最后需要加上當前連接中機器人的IP地址以及端口號，方可正常向機器人發送指令運行，界面如圖2所示。

圖2 Pycharm編程開發圖

2.2 實地場地分析

本文設計的陪護機器人工作場地以滁州市第二人民醫院為案例：工作環境包含病房、醫護站、看護室及走廊這四個主要場景，如圖3所示。

總體需求為協助醫護人員陪護患者的治療過程，以減輕醫護人員的負擔及緩解患者病情為目標，因此自閉癥兒童陪護型機器人的設計應用對象不僅是患者，也包含醫護人員。于是，我們將二者的需求進行收集整理得到：

患者日常的休息位于病房，應當設計安排機器人看護患者的正常起居；

醫護人員于醫護站進行辦公，機器人能夠對日常工作進行提醒、協助醫護人員為訪客作導覽及自身調整充電；

患者的部分治療、飲食及閑余集中在看護室，機器人需要協助醫護人員提醒患者按時吃飯吃藥，通過語音交互安撫患者的情緒，通過舞蹈音樂等為患者帶來樂趣；

走廊和看護室等需要醫護人員實時工作，他們可以通過機器人視頻監控觀察，利用監測器遠程實現近距離監護；

為了方便功能的實現以及管理維護，應規劃并設計好陪護機器人的工作任務；機器人應具備區域性，合理規劃主線任務、支線任務及處理特殊情況的功能。

圖3 場地結構圖

3 功能設計與實現

3.1 功能需求介紹

基于NAO平臺的自閉癥兒童陪護機器人是在簡單對話基礎上增加微表情識別功能，需要考慮以下幾個問題：

機器人與自閉癥兒童的交互與娛樂內容互動的情況。(智能交互)

機器人的微表情識別系統應能準確快速的識別出目標的情緒狀態。(人臉識別)

在識別目標后，機器人能以一定的速度和距離對目標進行實時跟隨。在對目標進行跟隨運動時，若出現障礙物，應及時避障并重新規劃路徑，再次跟隨目標。(智能規避障礙)

若目標無法取得所需物品，通過機器人將物品進行傳遞。(協助拿取物品)

機器人通過視頻監控，觀察注意力集中的持續時間和面部的瞬間性表情變化，傳輸到后臺進行數據收集與分析。(視頻監控)

整體模塊流程圖如圖4所示。

圖4 整體流程圖

3.2 人臉識別模塊

基于NAO平臺的智能語音交互型機器人可以通過攝像頭捕捉到被測者面部的瞬間性表情，利用圖像處理技術從圖片中提取到人像特征點，再利用生物統計學的原理進行分析并建立數學模型，將已建成的人臉特征模板與被測者的人的面像進行特征分析比對，根據分析的結果來確定識別每個人面部信息的身份。

除此之外，基于獨立探索的微表情分析算法分析捕捉到的面部表情，了解被測者當前情緒，根據自閉癥兒童面部肌肉的運動變化推斷出病人現有的情緒，主動與被測者進行相應的語音的交互，運行更加適合該對象的功能，提供真正意義上的一對一服務，核心代碼如下：

def load_database():

h5file = h5py.File('people_infor.h5' 'r')

for name in h5file.keys():

people_source[name] = h5file[name] if h5py != None: people_infor = os.path.split(image)

people_name = None

if len(people_infor) == 2: people_name=os.path.splitext(people_infor[1])[0]

else:

people_name=os.path.splitext(people_infor[0])[0] data_h5[people_name] = emb[0，:]

3.3 智能避障模塊

智能避障模塊是NAO機器人的關鍵技術之一。當用戶給出行走指令后，機器人首先向前行進，當機器人胸前的聲吶傳感器探測到障礙物時，規劃出無碰撞的有效路徑，同時滿足最短時間和最短路程的要求。

用聲吶測距模塊測出前方有無障礙物，若測出有障礙物則應當暫停自動導航并進入避障模塊，利用云平臺控制模塊旋轉聲吶測距模塊確定左右障礙物的距離，朝無障礙物方向進行轉向，左右同時有障礙物時自動后退重新測距選定方向前行。確定左右及前方無障礙物時恢復自動導航，核心代碼如下：

motionProxy = ALProxy(“ALMotion”， robotIP， PORT)

postureProxy = ALProxy(“ALRobotPosture”， robotIP， PORT)

motionProxy.wakeUp()

postureProxy.goToPosture(“StandInit”， 0.5) sonarProxy.subscribe(“myApplication”)

while 1:

left = memoryProxy.getData(“Device/SubDeviceList/USLeftSensor/Value”)

Right = memoryProxy.getData(“Device/SubDeviceList/US/Right/Sensor/Value”)

3.4 智能語音交互模塊

NAO機器人本身自帶的語音識別裝置，識別精度不高，無法適用于嘈雜的環境。本團隊調用百度API，通過使用百度大腦的UNIT語音定制平臺創建專屬技能，對機器人的對話算法進行優化，實現聯網搜索問題答案、定制對話、聯想問答等功能。修改系統內置語音模塊，通過開源語音交互引擎實現機器人對中文的高識別精度，更改機器人音色，核心代碼如下：

def use_cloud(file):

with open(file， “rb”) as f:

speech = base64.b64encode(f.read())．

decode('utf8') size = os.path.getsize(file) headers = { 'Content-Type' : 'application/json'} url = “https://vop.baidu.com/server_api”

definit(self):

GeneratedClass.init(self， False)

3.5 物品抓取模塊

基于NAO平臺的自閉癥兒童陪護機器人可以協助拿取物品，解決了行動不便等問題。為了提高物體定位的準確度和抓取的成功率，采用Bumblebee2雙目相機機構構建伺服控制系統。

當陪護機器人處于正常工作狀態時，在接收到無線終端或觸發下達物品抓取任務口令后，可以實現識別特定物品上的已知標志，從而判斷該物體類別及合適的抓取動作并執行相應的支線任務。例如完成抓取藥品任務后前往看護站或病房區域，協助醫護人員利用視頻監督患者按量服用藥品。物品抓取流程，核心代碼如下：

def userArmArticular2(motionProxy): Arm2 = [70.5，25.0，-63.5，-59.6，-39.3，1]

Arm2 = [x * motion.TO_RAD for x in Arm2] pFractionMaxSpeed=0.1 motionProxy.angleInterpolationWithSpeed(JointNames， Arm2， pFractionMaxSpeed) motionProxy.openHand('LHand') motionProxy.closeHand('LHand')

userArmArticular3(motionProxy) userArmArticular4(motionProxy)

3.6 視頻監控模塊

陪護機器人到達指定工作區域進行監護時，機器人預置的高清攝像頭及視覺軟件結合無盡行走模塊，可為醫護人員提供近距離的視頻監控，醫護人員無需走動通過終端即可對異常情況進行巡護觀察。通過視頻監控，觀察注意力集中的持續時間和面部的瞬間性表情的變化，傳輸到后臺進行數據收集與分析。當自閉癥兒童出現異常時，觸發視頻功能觀察當前片段或之前片段兒童的狀態，及時了解問題并解決問題。

另外醫護人員可自主調節視頻分辨率及色彩等參數，也可決定是否拍照或錄像保存到本地。視頻監控流程，核心代碼如下：

self._imgData=self._videoProxy.getImageRemote(self._imgClient) cv.SetData(self._img， self._imgData[6]) cv.ShowImage(“Camera_OpenCV”， self._img) except KeyboardInterrupt:

break

if cv.WaitKey(10) == 27:

break

cv.DestroyAllWindows()

self._unregisterImageClient()

4 測試

為判斷當前陪護機器人功能實現的完整性及可靠性，我們將待測試的陪護機器人帶入真實環境下進行測試。測試過程中機器人以區域劃分，完成不同的工作任務，觀察各個功能模塊能否在真實的環境下正常運行。完整測試中進一步改進一些問題，例如語音交互誤觸發、行走存在偏差、標志識別誤差等，用戶體驗良好，得到了使用者的一致好評，測試如圖5所示。

圖5 陪護機器人測試圖

5 結束語

本文設計了一款面向自閉癥兒童的陪護型機器人，主要作用是為了減輕醫護人員的工作負擔，以及促進患者病情的好轉。設計遵循需求分析、功能設計、軟硬件學習、程序開發及實景測試等流程，探索了機器人在協助醫護人員看護自閉癥兒童的可行性，是智能機器人在醫療領域的一次大膽嘗試，最終實現了智能交互、人臉識別、娛樂互動及視頻監控等功能模塊。

本文首先針對醫護人員及自閉癥兒童的需求展開功能設計，結合醫院實際環境將機器人依照區域劃分各自的工作任務；最后對機器人功能依次展開了模擬場景下單獨模塊測試和實際環境下完整應用測試，智能避障模塊的實現，是在平衡的移動狀態下運用超聲波傳感器探測障礙物并繞走，失衡的狀態下結合壓力傳感器、陀螺儀及跌倒和恢復管理器自我保護、自我站立；語音交互模塊的實現，是通過麥克風或揚聲器實現語音輸入或輸出，實現關鍵字匹配語音交互數據庫后做出回應：行為動作或問答。視頻監控模塊的實現，是在陪護機器人到達指定工作區域進行監護時，機器人預置的高清攝像頭及視覺軟件結合無盡行走模塊，可為醫護人員提供近距離的視頻監控，醫護人員無需走動通過終端即可對異常情況進行巡護觀察，但同時該陪護機器人對標識識別及物品抓取的精準度及成功率上仍需要進一步作優化。