運動干預計算機輔助認知訓練系統設計

徐言東 鄒任玲 陳燕燕 馬少軒 盧旭華

摘? 要：在中國步入中等老齡化社會以及新冠肺炎對認知障礙患者的感染性更強的背景下，針對認知障礙患者的康復訓練，提出通過運動鍛煉來干預認知訓練的認知康復軟件訓練系統。該系統由Kinect數據采集模塊和康復訓練軟件模塊構成，結合數據庫，實現運動鍛煉干預認知訓練。通過鏡像的模型映射促進認知功能鍛煉，通過循環多次檢測保證姿勢識別率，通過運動干預提高認知訓練的康復效果。通過該系統可以將運動鍛煉和認知訓練相結合，虛擬訓練可以提高患者的訓練興趣和注意力，為認知障礙的非藥物治療手段提供新的思路和方法。

關鍵詞：認知訓練;運動鍛煉;虛擬游戲

中圖分類號：TP31? ? ?文獻標識碼：A

文章編號：2096-1472（2021）-09-58-05

Abstract： China has now entered a medium aging society and Covid-19 is more infectious in patients with cognitive impairment. Aiming at the rehabilitation training of patients with cognitive impairment， this paper proposes to design a cognitive rehabilitation software training system that intervenes cognitive training through exercise. The system is composed of Kinect data acquisition module and rehabilitation training software module， combined with the database， to realize the cognitive training of sports exercise intervention. Mirrored model mapping is used to promote cognitive function exercise， posture recognition rate is ensured through repeated testing， and the rehabilitation effect of cognitive training is improved through exercise intervention. The system combines exercise and cognitive training， and virtual training can increase the training interest and attention of patients. The proposed system provides new ideas and methods for non-drug treatment of cognitive impairment.

Keywords： cognitive training; exercise training; virtual games

1? ?引言（Introduction）

ZHOU等人試驗驗證了老年認知障礙患者作為易感人群更容易引起心理應激反應，加重精神行為癥狀風險[1-3]。過去幾十年，人們針對阿爾茲海默癥等認知障礙類疾病的治療提出了各種方案，但藥物治療方面一直沒有實質性突破，更多的研究轉向了效果明顯的非藥物治療。在非藥物干預方法中，認知功能訓練已被證明對改善患者的認知功能是有效的[4]。在計算機認知訓練軟件方面，HOFMANN等人在1996年首次實現了計算機認知訓練軟件，并應用于阿爾茲海默癥患者。結果表明，患者訓練結束后日常活動錯誤率降低[5]。BONNECH?RE等人針對老年人進行商業認知游戲訓練的薈萃分析，進一步證明了計算機認知訓練游戲的有效性[6]。NILSSON等人研究運動鍛煉對認知訓練的效果影響，證明了運動鍛煉可以提高血漿中腦營養因子水平，進而對認知訓練起到促進作用[7]。

本文針對目前尚無將運動鍛煉和認知訓練結合進行認知康復訓練的軟件，設計了一種運動鍛煉干預認知訓練虛擬游戲系統。計算機技術和設備的發展促進了虛擬現實技術（VR）的產生。VR技術沉浸式的交互體驗又可以在游戲中進一步調動患者的訓練興趣。本文系統創新之處在于：將運動鍛煉和認知訓練結合，以VR游戲的方式作為認知康復的治療手段，采用Kinect體感設備進行人機交互，患者身體沒有負重，不需要佩戴任何設備。

2? ?總體設計思路（Overall system design）

運動干預計算機輔助認知訓練系統由Kinect體感設備和運行認知訓練軟件的PC機兩部分構成，包括軟件訓練系統和數據采集系統。軟件訓練系統包括姿勢數據采集、姿勢數據識別、認知訓練、運動訓練、訓練數據存儲。整個系統設計結構如圖1所示。患者站立于Kinect體感設備前面采集人體姿勢數據。計算機上部署認知訓練系統，用于實現認知訓練和運動鍛煉。整個軟件系統使用Unity3D進行開發，使用Kinect作為人體姿勢數據采集設備實現人機交互。Kinect作為微軟發布的一款針對VR游戲的設備，通過相關的處理算法可以實時采集用戶動作信息，作為輸入設備擺脫了鍵盤、鼠標。第二代Kinect在0.8—3.5 m范圍內有較高的識別準確率，水平視角為70°。它可以滿足游戲設計的運動鍛煉范圍，并在最佳識別距離內檢測到人體主要骨骼點（滿足游戲設計要求檢測到16個骨骼點），如圖2所示。

3? ?系統軟件設計（System software design）

運動干預作為認知訓練的手段，參與認知障礙患者的康復治療中的有效性目前已得到了臨床上的認證。3 個月和6 個月的有氧運動干預訓練的薈萃分析認為，有氧運動可以提高認知障礙患者的記憶力、執行能力、協調能力等認知能力[8-9]。綜合相關研究，運動干預認知訓練可以作為尚有運動能力的認知障礙患者康復治療的極大補充。

使用Unity設計運動鍛煉干預認知訓練的認知游戲，包括數據采集模塊、游戲模型映射模塊、認知訓練模塊。數據采集模塊采集Kinect體感設備前的患者姿勢數據，并進行識別，并將采集的數據映射在游戲模型中。認知訓練模塊開始計算力、記憶力、圖形識別、方向感認知訓練。

數據采集分為Kinect數據采集、姿勢識別兩個步驟。Kinect采集的數據包括彩色圖像、深度圖像、音頻等原始數據和經圖形處理后的骨骼數據。數據采集模塊使用IBodyFrame獲得患者骨骼數據和空間位置信息。采集數據后進行姿勢識別，姿勢識別通過事先使用Kinect Studio和Visual Gesture Builder建立gbd姿勢文件的方式進行檢測。實現姿勢檢測首先需要讀入人體姿勢數據，然后采用非連續的姿勢識別方法檢測患者運動姿勢是否與規定的姿勢一致，以及連續多次采樣檢測姿勢是否符合要求。非連續姿勢采用置信值衡量用戶姿勢的完成度，是Kinect進行離散姿勢識別時的返回值，其范圍為0—1。置信值越大，表示用戶動作完成度越高。考慮到運動鍛煉干預認知訓練游戲針對的是認知障礙患者，為提高患者訓練信心，經過多次臨床測試設定置信值為0.2，可以增強患者的信心和參與感，提高訓練興趣。

3.1? ?游戲模型映射

3.1.1? ?游戲模型制作

訓練游戲使用3D Max來設計兩個主要的模型：人物模型和墻體模型。人物模型包括頭部、上肢、軀干、下肢4 個部分。人體結構由骨骼撐起，由肌肉的變化和走向決定人體外部表現。人體建模需要考慮的主要是軀干主體和四肢支撐骨骼。左側上臂和右側上臂共6 塊骨骼，左下肢和右下肢共6 塊骨骼，軀干和脖頸共8 塊骨骼。人體上肢具體是由上臂肱骨，前臂的尺骨、橈骨和手部構成;下肢由大腿股骨，小腿腓骨、脛骨和腳部構成。軀干由上胸和下腹兩個主體部分構成。模型制作時下腹模型3 塊骨頭，上胸3 塊骨頭，兩部分通過一塊骨頭連接。頭部不考慮動作故不添加骨骼。模型制作時首先新建BOX，不斷根據實際情況調整成各部分對應的形狀。墻體模型用于提示患者擺出何種姿勢，通過新建BOX，再通過“拾取”操作，獲得帶有人體墻洞的墻體。

3.1.2? ?人體姿勢映射

模型動作映射是基于Unity的人物模型動畫系統Humanoid進行骨骼映射的。本次人物模型需要映射人物軀干的關節有：踝關節、膝關節、髖關節、脊柱下部、脊柱中心、腕關節、肘關節、肩關節以及兩肩關節中間位置。在映射前，需要將人物模型設置為：兩腿并立站好，雙臂水平抬起姿勢（后文簡稱T形姿勢），將模型的兩臂伸展，使兩臂腕關節、肘關節、肩關節處于同一水平線，兩腿呈豎直狀態，提示患者開始訓練。模型采用鏡像的方式實現將實際動作賦予模型，順應患者習慣。首次需要對關節角度做初始化，以防止出現人物骨骼折斷的情形。在每次采集到正確的數據后，將通過HumanBodyBones實現模型人物的實時映射，給出實時反饋，并將患者空間水平面的位置賦予模型，提示患者調整姿勢和位置。

3.2? ?認知訓練模塊

運動鍛煉干預認知訓練游戲通過認知訓練結合運動鍛煉來彌補傳統認知訓練游戲不能充分調動患者積極性的缺點。認知訓練作為其中重要的訓練部分，需要患者根據認知訓練題目得出正確答案后做出判斷：需要擺出哪一個姿勢;然后站在正確的墻洞前，擺出符合正確墻洞的姿勢，從而達到認知訓練的目的。游戲訓練時，由于每個墻都有兩個人形墻洞，患者根據認知題目做出判斷后，需要移動自身位置并變換肢體動作，才能穿過正確的墻洞。認知訓練的不同題目可以鍛煉患者的多種認知能力。通過題目提示患者根據左右方向選擇正確的墻洞穿過，可以訓練患者的方向感，如圖3（a）所示;通過題目計算簡單的四則運算并根據算數結果選擇正確的墻洞，可以鍛煉患者的計算能力，如圖3（b）所示;通過題目提示患者選擇正確顏色或標有正確圖形的墻洞穿過，可以鍛煉患者的圖形識別能力，如圖3（c）所示;認知訓練題目通過要求患者結合上一堵墻的提示信息和現在的提示信息，做出判斷來穿過正確的墻洞，可以鍛煉患者的工作記憶能力，如圖3（d）所示。患者在訓練過程中首先根據題目做出判斷，然后不斷調整自身位置和姿勢，需要集中注意力才能做到，這對患者的注意力也可以起到鍛煉作用。為達到有氧運動的目的，需要至少訓練30 分鐘。根據墻由產生到銷毀的時間間隔，模塊設定患者每次訓練需要完成60 次認知訓練模塊的更新訓練。

認知訓練模塊更新包括墻體更新和題目更新。題目更新是指在患者訓練視角界面中隨機顯示認知訓練題目。通過隨機從數據庫中讀取題目和答案，實現隨機獲取并顯示題目。患者再根據這些題目做出判斷，達到認知訓練的目的。由于工作記憶力訓練要求能夠根據上一次的題目做出相同或相反的判斷，故第一次隨機題目不能為工作記憶訓練題。通過設置flag標志判斷是否是第一次隨機題目，來避免游戲設計邏輯錯誤。墻體更新是指完成上次訓練后更新墻體模型，患者需要根據新的墻體，在墻體向前移動到患者前，擺出同墻洞一致的姿勢同時站在正確的位置上。在這個過程中通過患者不斷移動自身位置并調整姿勢，可以達到運動訓練的目的。墻體更新采用非隨機的循環方式生成。由于認知題目采用隨機生成的方式，墻體的循環生成并不會導致可以通過記憶的方式完成訓練，因此可以起到包括記憶力訓練在內的多種認知能力訓練的作用。由于游戲中不同的墻體模型上的姿勢不同，因此需要在墻體更新的同時更新待檢測姿勢，即墻體每次更新時需要為VisualGestureBuilderFrameSource數據源更新目標檢測姿勢。更新流程如圖4所示。

3.3? ?系統工作流程

首先顯示墻體模型和認知訓練題目，更新目標檢測姿勢，然后墻體不斷向患者移動。患者需要在墻體到達之前，根據認知訓練題目進行判斷，站在正確的位置并做出符合墻洞的姿勢。如果患者的題目結果正確，而且位置和姿勢符合墻洞，成功穿過墻洞;否則患者沒有正確穿過墻洞。之后隨機更新題目和墻體模型，不斷重復訓練。其中還包括計時和得分的顯示、統計。系統工作流程如圖5所示。

4? ?姿勢識別關鍵技術實現（Key technology）

4.1? ?連續多次檢測

認知訓練的虛擬游戲場景中，人物模型采用鏡像的方式實現將患者實際姿勢映射在場景人物模型上，用來提示患者調整姿勢。為防止Kinect體感設備本身的誤差，經過多次測試，連續兩次檢測的誤識別率為35%，連續三次檢測的誤識別率為20%，連續四次檢測的誤識別率介于20%—15%。由于連續四次和連續三次檢測之間的識別率差別不明顯，而且會增加識別時間，故患者姿勢檢測采用連續三次檢測采集到的數據幀是否符合目標姿勢的方法。如果連續三幀的姿勢存在一次不符合待檢測姿勢，則認為用戶動作姿勢錯誤;如果三次檢測均符合要求，初步判斷正確，再進一步進行姿勢識別。

4.2? ?姿勢識別算法

在得到16 個主要骨骼點數據后，可以通過關節距離和關節角度判斷骨骼點的相對位置識別姿勢[10]。系統實現了兩種用戶姿勢的識別算法：“T形”姿勢、“在T形姿勢的基礎上將兩臂下垂45°姿勢但下肢姿勢不變”姿勢。通過利用三個骨骼點之間的歐氏距離可以得出對應的關節角度[11]。歐式距離的計算公式如下：

關節屈曲角度計算公式如下：

在檢測“T形姿勢”的上肢姿勢時，左上肢的肩關節、肘關節、手處于空間同一條直線上，分別計算出三個關節組成的邊長，便可通過余弦定理得出肘關節屈曲角度。若角度誤差在允許范圍內，并且三個關節處于同一豎直高度，則認為上半身姿勢正確，右上肢采用同樣的檢測方法。下肢姿勢則檢測髖關節、膝關節、踝關節是否處于水平面的同一位置，同時判斷左、右膝關節的相對位置是否在允許范圍內。若所有肢體均符合姿勢要求，判定姿勢正確。

在檢測“在T形姿勢的基礎上將兩臂下垂45°姿勢”時，上肢判斷肩中間骨骼點、肩關節、肘關節、手的相對位置。首先根據肩關節、肘關節、手的空間位置計算肘關節的屈曲角度，再根據肩中間骨骼點、肩關節、肘關節計算肩關節的角度。若肘關節和肩關節的角度均在允許范圍內，判斷上肢姿勢正確。下肢采用同“T形姿勢”相同的判斷方法。

4.3? ?姿勢識別流程

患者在訓練過程中，除了需要做出人形墻洞的姿勢，還需要在墻體到達前站在對應墻洞的位置。姿勢檢測的算法方案如圖6所示。在連續三次檢測到目標姿勢后，還需檢測墻體和人物模型是否處于z軸的同一位置。

5? ?結論（Conclusion）

本系統利用運動鍛煉后進行認知訓練可以促進認知康復效果，將運動鍛煉和認知訓練相結合，共同作用于認知康復訓練。同時采用虛擬場景訓練的形式，利用游戲可以提高患者的訓練興趣的特點，使用Unity3D開發認知康復訓練游戲，主要面向仍有運動能力的輕度認知障礙患者。通過虛擬游戲的訓練形式進行康復訓練需要同時使用肢體和大腦來完成康復訓練，可以集中患者的注意力，提高訓練興趣。如圖7所示，訓練者在Kinect前運動，在程序中判斷是否符合要求的姿勢。相比于單一認知訓練，患者的單次訓練時長也進一步增加，進一步提高認知訓練的效果。

本文系統填補了在計算機領域尚無將運動鍛煉和認知訓練結合的認知康復軟件系統的空白，總體上達到了設計要求，實現了一款運動鍛煉干預認知訓練軟件系統，但是也存在一些缺陷，如人物模型骨骼設計不夠精細，復雜姿勢識別還有困難等。下一步的工作將進一步精細化游戲模型，識別多種人體姿勢，實現一種可以進行復雜姿勢識別的運動鍛煉干預認知訓練虛擬游戲軟件系統。

參考文獻（References）

[1] 新型冠狀病毒肺炎防控期間認知障礙患者及其照護者精神衛生與心理社會支持專家建議[J].中華精神科雜志，2020（02）：89-94.

[2] ZHOU H T， LU S J， CHEN J K， et al. The landscape of cognitive function in recovered COVID-19 patients[J]. Journal of Psychiatric Reseach， 2020， 129：98-102.

[3] MANTOVANI E， ZUCCHELLA C， BOTTIROLI S， et al. Telemedicine and virtual reality for cognitive rehabilitation： A roadmap for the COVID-19 pandemic[J]. Frontiers in Neurology， 2020， 11：926-929.

[4] 健康中國行動（2019—2030）[J].中國組織工程研究，2020，24（36）：5905-5906.

[5] HOFMANN M， HOCK C， KUHLER A， et al. Interactive computer-based cognitive trainning in patients with alzheimer's disease[J]. Journal of Psychiatric Research， 1996， 30（6）：493-501.

[6] BONNECH?RE B， LANGLEY C， SAHAKIAN B J. The use of commercial computerised cognitive games in older adults： A meta-analysis[J]. Scientific Reports， 2020， 10（1）：15276-15289.

[7] NILSSON J， EKBLOM O， EKBLOM M， et al. Acute increases in brain-derived neurotrophic factor in plasma following physical exercise relates to subsequent learning in older adults[J]. Scientific Reports， 2020， 10（1）：4395-4409.

[8] 劉東祺，李榮梅，張美琪，等.有氧運動干預老年輕度認知功能障礙的Meta分析[J].中國組織工程研究，2019，23（35）：5727-5731.

[9] 徐瓊，趙津磊，王興.有氧運動對阿爾茨海默病患者認知功能干預效果的meta分析[J].中國康復醫學雜志，2019，34（07）：824-830.

[10] 謝亮，廖宏建，楊玉寶.基于Kinect的姿勢識別與應用研究[J].計算機技術與發展，2013，23（05）：258-260.

[11] 徐洋凡.基于Kinect虛擬現實下肢游戲的臨床設計及應用[D].廣州：暨南大學，2016.

作者簡介：

徐言東（1996-），男，碩士生.研究領域：康復虛擬游戲設計.

鄒任玲（1971-），女，博士，副教授.研究領域：康復醫療器械研制，生物電信號提取.

陳燕燕（2001-），女，本科生.研究領域：康復虛擬游戲訓練.

馬少軒（1999-），男，本科生.研究領域：康復虛擬游戲訓練.

盧旭華（1971-），男，博士，教授.研究領域：脊髓損傷，脊柱退行性疾病，腰椎退變性側凸畸形，脊柱微創.